在NeurIPS 2025的一場(chǎng)備受矚目的爐邊談話中，AI領(lǐng)域的兩位標(biāo)志性人物——Geoffrey Hinton與Jeff Dean，展開(kāi)了一場(chǎng)關(guān)于人工智能發(fā)展歷程與未來(lái)展望的深度對(duì)話。這場(chǎng)訪談不僅回顧了AI從早期突破到如今引領(lǐng)技術(shù)潮流的輝煌歷程，還揭秘了諸多鮮為人知的幕后故事。

訪談一開(kāi)始，Hinton便拋出了一個(gè)引人深思的問(wèn)題：谷歌是否后悔發(fā)表了奠定現(xiàn)代AI基石的Transformer論文？Jeff Dean毫不猶豫地回應(yīng)：“不后悔，因?yàn)樗鼘?duì)世界產(chǎn)生了深遠(yuǎn)的影響?！边@一回答不僅彰顯了谷歌對(duì)技術(shù)共享的開(kāi)放態(tài)度，也凸顯了Transformer在推動(dòng)AI技術(shù)普及與應(yīng)用中的關(guān)鍵作用。

Hinton在對(duì)話中透露，自己對(duì)模型規(guī)模擴(kuò)展（Scaling）重要性的深刻認(rèn)識(shí)，源自于Ilya Sutskever的一次演講。他坦言，自己本應(yīng)在更早的時(shí)候意識(shí)到算力與模型規(guī)模之間的緊密聯(lián)系，但直到2014年，聽(tīng)完Ilya的報(bào)告后，才徹底醒悟Scaling的至關(guān)重要性，并堅(jiān)信這一趨勢(shì)將持續(xù)下去。

回顧AI發(fā)展史上的重要時(shí)刻，2012年AlexNet的誕生無(wú)疑是一個(gè)里程碑。Hinton分享了這段經(jīng)歷中的趣事：當(dāng)時(shí)，他們申請(qǐng)項(xiàng)目資助續(xù)期時(shí)遭遇了挫折，被評(píng)審認(rèn)為項(xiàng)目缺乏工業(yè)應(yīng)用價(jià)值。然而，正是這一不被看好的項(xiàng)目，在糾正了權(quán)重衰減參數(shù)的錯(cuò)誤后，憑借在ImageNet上的出色表現(xiàn)，引發(fā)了AI領(lǐng)域的革命性變革。Hinton幽默地提到，訓(xùn)練AlexNet的兩塊英偉達(dá)GTX 580 GPU，不僅為多倫多大學(xué)節(jié)省了成本，還讓Alex在自家臥室里完成了這一歷史性的訓(xùn)練。

Jeff Dean則回憶了谷歌大腦（Google Brain）的誕生過(guò)程。他提到，這一項(xiàng)目的靈感源自于一次在谷歌茶水間的偶遇閑聊。當(dāng)時(shí)，Andrew Ng提到他的學(xué)生用神經(jīng)網(wǎng)絡(luò)取得了不錯(cuò)成果，這句話激發(fā)了Jeff Dean的靈感：既然谷歌擁有海量的CPU資源，為何不嘗試訓(xùn)練超大規(guī)模的神經(jīng)網(wǎng)絡(luò)呢？于是，谷歌大腦應(yīng)運(yùn)而生，通過(guò)模型并行與數(shù)據(jù)并行的技術(shù)，成功訓(xùn)練出了參數(shù)達(dá)20億的龐大模型，驗(yàn)證了Scaling Laws的可行性。

在談到谷歌與Hinton團(tuán)隊(duì)的合作時(shí)，Jeff Dean透露了一段鮮為人知的拍賣(mài)故事。為了吸引更多資源支持，Hinton團(tuán)隊(duì)決定將自己包裝成一家“公司”，并在南太浩湖的賭場(chǎng)舉辦了一場(chǎng)拍賣(mài)會(huì)。盡管樓下老虎機(jī)的聲音不絕于耳，但樓上的競(jìng)價(jià)卻異常激烈。最終，谷歌在這場(chǎng)拍賣(mài)中脫穎而出，成功將Hinton及其團(tuán)隊(duì)納入麾下。Hinton坦言，這一決定背后，是他對(duì)谷歌實(shí)習(xí)生經(jīng)歷的深刻認(rèn)同。

在訪談的后半部分，兩位嘉賓還就AI的未來(lái)發(fā)展方向進(jìn)行了探討。Jeff Dean對(duì)Scaling注意力機(jī)制的觸達(dá)范圍表示興奮，他設(shè)想未來(lái)模型將能夠直接訪問(wèn)所有科學(xué)論文和視頻資源，而非將海量信息壓縮進(jìn)有限的模型參數(shù)中。同時(shí)，他也指出了當(dāng)前模型缺乏持續(xù)學(xué)習(xí)能力的局限性，并透露谷歌正在探索更動(dòng)態(tài)、腦啟發(fā)的架構(gòu)設(shè)計(jì)。Hinton則對(duì)AI在醫(yī)療與教育領(lǐng)域的變革潛力表示樂(lè)觀，他認(rèn)為大模型將能夠壓縮巨量知識(shí)，發(fā)現(xiàn)人類未見(jiàn)的共通性，從而展現(xiàn)出非凡的創(chuàng)造力。