近日在備受矚目的2025世界人工智能大會暨人工智能全球治理高級別會議上,77歲的“深度學(xué)習(xí)之父” 、圖靈獎得主、2024年諾貝爾物理學(xué)獎獲得者杰弗里·辛頓(Geoffrey Hinton)發(fā)表了主旨演講。
各位同事、閣下、領(lǐng)導(dǎo)、女士們、先生們,
首先非常感謝大家給我這個機會,分享我對AI歷史及未來的個人觀點。在過去60多年里,AI發(fā)展存在兩種不同的范式和路徑。一種是邏輯性范式,這是過去一個世紀(jì)的主流,認為智能的本質(zhì)在于推理,通過符號規(guī)則對符號表達式進行操作來實現(xiàn)推理,以此幫助我們更好地理解世界。另一種是以生物為基礎(chǔ)的范式,這是圖靈和馮?諾依曼所認同的,他們認為智能的基礎(chǔ)是學(xué)習(xí),是理解網(wǎng)絡(luò)中的連接速度,而理解是前提,之后才能進行轉(zhuǎn)化。與這兩種理論相對應(yīng)的是不同的AI類型。符號型AI關(guān)注數(shù)字,而這些數(shù)字如何成為核心關(guān)注點,心理學(xué)家則有完全不同的理論——他們認為數(shù)字的意義在于一系列語義學(xué)特征,這些特征的存在使其成為獨特的標(biāo)志。
1985年,我做了一個小型模型,嘗試結(jié)合這兩種理論,以此理解人們對詞語的理解方式。我給每個詞設(shè)置了多個不同特征,記錄前一個詞的特征后,就能預(yù)測下一個詞是什么。在這個過程中,我沒有存儲任何句子,而是生成句子并預(yù)測下一個詞。其中的相關(guān)性知識,取決于不同詞的語義特征之間的互動方式。
如果問未來30年會發(fā)生什么,從發(fā)展軌跡能看到一些趨勢。十年后,有人沿用這種建模模式,但將規(guī)模大幅擴大,使其成為自然語言的真實模擬。20年后,計算語言學(xué)家開始接受用特征向量嵌入來表達語義。又過了30年,谷歌發(fā)明了Transformer,OpenAI的研究人員也向人們展示了它的能力。所以我認為,如今的大語言模型就是我當(dāng)年微型語言模型的 “后代”。它們使用更多詞作為輸入,采用更多層的神經(jīng)元結(jié)構(gòu),由于需要處理大量模糊數(shù)字,學(xué)習(xí)特征之間也建立了更復(fù)雜的交互模式。但和我做的小模型一樣,大語言模型理解語言的方式與人類相似——基本邏輯是將語言轉(zhuǎn)化為特征,再以完美的方式整合這些特征,這正是大語言模型各層級所做的工作。因此我認為,大語言模型和人類理解語言的方式相同。
用樂高積木來打比方或許能更好地解釋 “理解一句話” 的含義。符號型 AI 是將內(nèi)容轉(zhuǎn)化為清晰的符號,但人類并非如此理解。樂高積木能拼出任何 3D造型,比如小車模型。如果把每個詞看作多維度的樂高積木(可能有幾千個維度),語言就成了一種建模工具,能隨時與人溝通,只要給這些 “積木” 命名——每個 “積木” 就是一個詞。
不過,詞和樂高積木有很多不同:詞的符號形態(tài)可根據(jù)情況調(diào)整,而樂高積木造型固定;樂高積木的拼接是固定的(比如正方形積木插入正方形孔洞),但語言中每個詞仿佛有多個 “手臂”,要通過合適的 “握手” 方式與其他詞互動,詞的 “造型” 變化,“握手” 方式也會改變。當(dāng)一個詞的 “造型”(即意思)改變,它與下一個詞的 “握手” 方式就會不同,進而產(chǎn)生新的含義。這就是人腦或神經(jīng)網(wǎng)絡(luò)理解語義的根本邏輯,類似蛋白質(zhì)通過氨基酸的不同組合形成有意義的結(jié)構(gòu)。
所以我認為,人類理解語言的方式與大語言模型幾乎一致,人類甚至可能和大語言模型一樣產(chǎn)生 “幻覺”,因為我們也會創(chuàng)造出一些虛構(gòu)的表達。
軟件中的知識是永恒的,即便存儲LLM的硬件被摧毀,只要軟件存在,就能隨時 “復(fù)活”。但要實現(xiàn)這種 “永生”,晶體管需在高功率下運行以產(chǎn)生可靠的二進制行為,這個過程成本很高,且無法利用硬件中不穩(wěn)定的類似特性——它們是模擬型的,每次計算結(jié)果都不同。人腦也是模擬型而非數(shù)字型的,神經(jīng)元每次激發(fā)的過程都一樣,但每個人的神經(jīng)元連接方式不同,我無法將自己的神經(jīng)結(jié)構(gòu)轉(zhuǎn)移到他人腦中,這就導(dǎo)致知識在人腦間的傳播效率遠低于在硬件中的傳播。
軟件與硬件無關(guān),因此能 “永生”,還能帶來低功耗優(yōu)勢——人腦只需30瓦特就能運轉(zhuǎn)。我們的神經(jīng)元連接達數(shù)萬億個,無需花費大量資金制造完全相同的硬件。但問題在于,模擬模型間的知識轉(zhuǎn)移效率極低,我無法直接將腦中的知識展示給他人。
Deepseek的做法是將大神經(jīng)網(wǎng)絡(luò)的知識轉(zhuǎn)移到小神經(jīng)網(wǎng)絡(luò)中,即 “蒸餾”,類似教師與學(xué)生的關(guān)系:教師將詞語在上下文中的關(guān)聯(lián)教給學(xué)生,學(xué)生通過調(diào)整權(quán)重學(xué)會表達。但這種方式效率很低,一句話通常只有100個比特的信息,即便全被理解,每秒最多也只能傳遞約100個比特。而數(shù)字智能間的知識轉(zhuǎn)移效率極高,同一神經(jīng)網(wǎng)絡(luò)軟件的多個拷貝在不同硬件上運行時,能通過平均化比特的方式分享知識。如果智能體在現(xiàn)實世界中運行,這種優(yōu)勢更明顯——它們能不斷加速、拷貝,多個智能體比單個智能體學(xué)得更多,還能分享權(quán)重,這是模擬硬件或軟件做不到的。
生物計算功耗低,但知識分享難。如果能源和計算成本低廉,情況會好很多,但這也讓我感到擔(dān)憂——幾乎所有專家都認為,我們會創(chuàng)造出比人類更智能的AI。人類習(xí)慣了作為最智能的生物,很難想象AI超越人類的場景。其實可以換個角度:就像養(yǎng)雞場的雞無法理解人類一樣,我們創(chuàng)造的AI智能體已能幫我們完成任務(wù),它們能拷貝自身、評估子目標(biāo),還會為了生存和完成目標(biāo)而尋求更多控制權(quán)。
有人認為可以在AI變得過強時關(guān)掉它們,但這并不現(xiàn)實。它們可能會像成年人操縱3歲孩子一樣操縱人類,勸說控制機器的人不要關(guān)閉它們。這就像把老虎當(dāng)寵物,幼虎很可愛,但長大后可能傷人,而養(yǎng)老虎當(dāng)寵物通常不是好主意。
面對AI,我們只有兩個選擇:要么訓(xùn)練它永遠不傷害人類,要么 “消滅” 它。但AI在醫(yī)療、教育、氣候變化、新材料等領(lǐng)域作用巨大,能提升所有行業(yè)的效率,我們無法消除它——即便一個國家放棄AI,其他國家也不會。因此,若想讓人類生存,必須找到訓(xùn)練AI不傷害人類的方法。
我個人認為,各國在網(wǎng)絡(luò)攻擊、致命武器、虛假信息操縱等領(lǐng)域的合作難度較大,因利益和看法不同。但在 “人類掌控世界” 這一目標(biāo)上,各國存在共識:若有國家找到防止AI操控世界的方法,一定會愿意分享。因此我提議,全球主要國家或AI大國應(yīng)建立一個由AI安全機構(gòu)組成的國際社群,研究如何訓(xùn)練高智能AI向善 —— 這與訓(xùn)練AI變得聰明的技術(shù)不同。各國可在自身主權(quán)范圍內(nèi)研究,再分享成果。盡管目前還不知道具體怎么做,但這是人類長期面臨的最重要問題,且所有國家都能在此領(lǐng)域合作。
謝謝大家。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )