北京
“我們有點處在自己的科技泡沫里?！?br/>“五年后的谷歌只有一款產品。”
“過去我們分散精力和算力，這太蠢了?！?br/>
當地時間5月30日，谷歌官方發布了一支重磅對談視頻，Google DeepMind 團隊的四位巨頭罕見地坐到了同一個鏡頭前：Google Brain 奠基人 Jeff Dean、Transformer 奠基人之一Noam Shazeer、Gemini 聯合負責人 Oriol Vinyals 以及 DeepMind 首席技術官 Koray Kavukcuoglu。
這四個人，幾乎參與了過去十多年谷歌 AI 最重要的每一次技術躍遷。
在這場由 Logan Kilpatrick 主持的深度對話中，四位巨頭不僅揭秘了 Gemini 3.5 Flash 研發幕后，還復盤了谷歌從 PaLM 到 Gemini 的融合陣痛與“算力集中”內幕。
這幾個人基本就是Gemini背后最核心的一批人。
所以這期表面上是在聊Gemini3.5，實際上信息量要大很多。
他們聊了Gemini這個項目最早為什么要成立，Google內部為什么要把分散的模型團隊和算力合到一起，也聊了接下來一年大模型最重要的幾個方向：
agentic coding、self-learning、long-running agent、world model，以及模型怎么反過來參與改進下一代Gemini。
對于Gemini感興趣的朋友們建議聽一下。
這次對談的主要內容概括如下：
第一，Gemini最早不是一個單純的模型項目，而是Google內部一次研究力量和算力的合并。
Jeff Dean表示Gemini之前，Google內部已經有很多團隊在做通用模型、Pathways、PaLM、PaLM2等方向。
Jeff覺得繼續分散研究團隊和compute很荒謬，如果Google真要做一個足夠強大的模型，就必須把人、算力、基礎設施、數據團隊集中到一起。
Noam Shazeer也表示：當時有很多團隊都在做LLM，最后確實需要合到一起。Koray則從組織角度解釋，AI研究早期更像學術探索，可以多路并行。
但當模型越來越大、越來越復雜，靠小團隊分散探索已經不夠了，必須變成一個集中式的大工程。
所以Gemini其實是Google和DeepMind把分散能力合并的結果。
第二，Gemini3.5這代的重點，是coding和agentic experience。
Oriol說Gemini從2023年開始一路迭代，底層一直在多模態、工具使用、agentic能力上往前推，這次3.5 Flash的重點尤其是agentic coding。
Koray說：現在coding能力和agentic experience正在定義用戶怎么體驗AI。
換句話說，Google自己也承認，大模型競爭已經不只是聊天質量，而是模型能不能進入真實工作流，尤其是寫代碼、用工具、長期執行任務。
Noam的視角更內部一點。
他說大版本發布本身反而沒那么刺激了，大家更關心的是：明天自己做工程和研究時，到底會用哪個模型？辦公室里的同事會不會抱怨？
Gemini已經先變成Google內部研發工具，再變成外部產品。
第三，Google很強調真實產品反饋，而不是只看benchmark。
Jeff Dean提到，如果一個模型有很多用戶，就能看到它在哪些地方有效、哪些地方不行。
Google過去做Search就是這么迭代的，用戶怎么用搜索，會反過來告訴團隊哪里需要改進。
他認為AI模型也應該一樣，必須放到真實用戶面前。
Noam Shazeer直接說：真正的測試是用戶有沒有在用。如果你只是關在盒子里爬benchmark，最后優化出來的就是benchmark，甚至可能污染benchmark。
這個判斷挺關鍵，因為它解釋了為什么Google一定要把Gemini塞進Search、Workspace、Android、眼鏡這些真實入口里。
Koray進一步把這個叫做「frontier」的一部分。前沿不只是研究能力的前沿，也是產品能讓用戶做什么的前沿。
技術能力和產品反饋必須同時推進。
第四，Gemini的多模態方向就是world model。
Koray說，Omni不是簡單的文本到視頻、文本到圖像，而是一個要理解物理世界所有模態的模型。
它要理解視覺、動態、物理規律，還要能模擬未來狀態。因為如果一個模型真的要做決策，它不能只理解當前畫面，還要能往前推演。
Oriol更偏技術。
他說過去做視頻生成時，很多東西要手工指定，比如復雜場景如何保持一致，物體轉動后不能消失。
但現在通過大規模聯合訓練和混合數據，模型開始自然涌現出更好的時序一致性、3D世界、聲音等能力。
Jeff則把多模態范圍繼續擴大。他說多模態不應該只理解文本、圖像、音頻、視頻這些人類常見輸入，還應該理解基因序列、化學結構、機器人抓取數據、LiDAR數據等科學和物理世界數據。
所以他們說的world model，本質是Gemini從「理解互聯網內容」往「理解物理世界和科學數據」擴。
第五，最讓他們驚訝的進展之一，是能持續把Pro級能力壓進Flash。
Oriol說他沒想到Google能一代又一代把Pro模型的智能壓回Flash模型里。
甚至有時下一代Flash可以超過上一代Pro。
這個點很重要，因為Flash不是單純的小模型，而是Google試圖把高能力變成低成本、高速度、可大規模分發的載體。
Jeff解釋了蒸餾的邏輯：有一個很好的teacher model，再訓練一個student model。
基本精神和早期distillation類似，只是做了一些調整。
Koray還開了個很形象的玩笑，說這就像擠檸檬，把汁擠出來倒進小杯子里，小杯子就是小模型。
Google不只是追求最強模型，也在追求把強模型能力盡可能便宜地塞進更多產品。
畢竟Google這種體量，模型不能只在demo里漂亮，還得能被幾十億用戶反復調用。
算力賬單這種東西，最終會讓所有豪言壯語變得很樸素。
第六，他們也承認，現在還有幾個明顯沒解決好的問題。
Jeff覺得，continual learning和更靈活、更有可塑性的模型架構進展不夠快。
他提到現在的MoE還是很多結構相似的expert，他原本期待一種更有機、更流動的結構，但現在還沒做到。
Noam半開玩笑地說，遺憾是模型還不能直接「發明癌癥療法」。
模型離真正解決復雜科學問題還有距離。
Oriol說得更具體，他認為evaluation被低估了。以前學術論文里就是幾張benchmark表格，但現在模型進入真實產品后，評估變復雜了：
能力怎么拆開測？
數據有沒有泄露？
用戶會不會認同這個分數？
模型下一步的大能力怎么提前判斷？
這些都很難。
Jeff還提到一個更底層的問題：模型學習效率比人類低很多。
他認為現在大模型看了遠多于人類的數據，才達到類似或部分超過人類的能力。
如果能從每個樣本、每個token里榨出更多信息，模型效率會大幅提升。
第七，接下來一年，他們最期待的方向是self-learning，也就是讓模型參與改進Gemini本身。
Koray預測，到27前后，他們可能會開始談self-learning?，F在模型已經越來越agentic，也越來越會寫代碼，Google內部也在用它們做研究。
接下來會出現一個階段：他們會在某些實驗層面依賴模型來改進Gemini的不同部分。
Jeff也認同這個方向。他說到時候可能能指出Gemini里的某個重要改進，是由模型和Agent工作產生的。
Noam表示以前你會對團隊成員說，「你去試試這個實驗，下周告訴我結果」。以后你會把這個任務交給模型。
Google不是只想讓Gemini服務用戶，它也想讓Gemini進入Gemini自己的研發流程。
模型從產品變成研發系統的一部分。
第八，另一個明確前沿是long-running agent，但這會把記憶、硬件、工具鏈的問題一起暴露出來。
Logan提出了一個判斷：即使coding模型明天再提升20%，真正的問題也會變成你愿意讓模型自主運行多久。
如果到到了IO2027，Google能說某個模型已經連續自主運行30天，那會讓很多人震驚。
但他們也馬上意識到，這不是單靠模型更聰明就能做到。
Logan說，這需要memory system、continual learning、更好的硬件，因為讓一個東西跑30天會消耗巨量token。
Jeff補了一刀：還要低延遲的推理硬件。如果一個任務名義上跑30天，但更好的硬件能讓它一天跑完，那當然更有價值。
更現實的問題是工具太慢。
Jeff說，Agent會讓大家發現，今天很多工具都是按人類延遲設計的。人類點一下、等幾秒、看頁面覺得正常；但Agent如果高頻調用這些工具，模型再快也會被工具卡住。
Noam順勢說，30天任務里可能29.5天都在等待。
這個點其實很重要。
Agent時代不只是模型公司繼續堆參數，整個軟件工具鏈都要適配機器調用。現在很多工具看起來高級，其實只是給人類慢吞吞點擊設計的電子家具。
第九，他們對Google未來產品形態的判斷是：底層可能越來越像一個模型，但上層入口不會真的只剩一個。
Logan問了一個很好的問題：五年后Google到底會只有幾個產品，還是會有一萬個產品？
Koray先給了一個很狠的答案：只有一個產品，就是模型。
Jeff認為，會有很多產品出口，但讓這些產品變強的東西會更少、更集中。
比如Search是一個產品，眼鏡也是一個產品，但它們都會被更強的模型能力改造。
Oriol作為用戶反而更謹慎。
他說人類使用數字設備時，還是會主動選擇自己要做什么，比如看日歷、查郵件、購物。這種分工可能是人類因素，不完全是技術限制。
他自己并不愿意押注未來只剩一個產品。
Noam則把問題推到更遠。
他說信息產品可能有很多消費方式：文字、視覺、眼鏡，甚至更奇怪的腦機接口。
更遠一點，模型也許會進入physical products，開始moving atoms，而不只是moving bits。
Gemini不是單點模型競爭。
它越來越像Google未來AI系統的核心操作層。
模型負責理解和生成，Agent負責長期執行，產品負責收集真實反饋，硬件負責把成本和延遲打下來，工具鏈負責讓機器真的能干活。
誰能把模型接進自己的研發、產品和基礎設施循環里，讓它持續變強。
誰就會取得領先地位。
以上內容由【MaxForAI】整理。
以下為本次對談完整版，由【51CTO技術?！烤幾g。
Google DeepMind 四巨頭齊聚，首次揭秘 Gemini 3.5 幕后
Logan Kilpatrick：大家好，我是來自 Google DeepMind 團隊的 Logan Kilpatrick。今天我們邀請到了 Jeff、Koray、Noam 和 Oriol，一起聊聊關于Gemini 的一切、Gemini 項目的起源以及更多精彩內容。
我們剛剛推出了以 Flash 為首的 Gemini 3.5 時代模型。我想這已經是第三代半的 Gemini 模型了，期間我們發布了很多產品和模型。Oriol，你想帶我們了解一下 Gemini 3.5 推出的這一刻嗎？
Oriol Vinyals：好的，或許我們每個人都可以分享一點。說到烘托氛圍，我想我們是在 2023 年開始的。我們已經發布了好幾個版本，有些是“半代”模型，甚至還有點一個（.1）的版本，對吧？我們從一開始就建立在多模態、工具使用和智能體（Agentic）的基礎架構之上，并且一直在不斷提升這些能力。所以能發布 3.5 的 Flash 版本令人非常興奮。這是一個非常強大的系列，這次的重點可能放在了編程能力上，當然，同時也保留并增強了其他原有的能力。
Koray Kavukcuoglu：我想大家都感覺到，現在正是編程能力和智能體體驗定義 AI 體驗的時代，而 3.5 在這方面邁出了一大步。而且我認為大家確實體會到了這一點，它正被公認為一個非常強大的模型。
Noam Shazeer：從某種程度上說，這些重大的發布時刻反而變得沒那么讓人興奮了，因為現在每個人腦子里最關心的甚至不是對公眾的重大發布，而是：我明天要用什么工具來做我的工程和研究？我周圍辦公室的朋友們會用什么來進行他們的工程和研究？他們會對我有怨言，還是會覺得滿意？這種日常的反饋其實總是充滿樂趣和挑戰的。
從 PaLM 到 Gemini，
Jeff Dean：把精力和算力分散，過去我們太蠢了！
Logan Kilpatrick：回想最初大家聚在一起、組建 Gemini 項目并發布第一批模型的那段時光，當時對你們所有人來說，如何將 Gemini 模型帶向世界的“產品故事”會如此重要，是顯而易見的嗎？我的意思是，顯然在谷歌我們有很多產品，我們通過這些產品將 AI 帶來客戶，但為了“改進模型本身”，這種產品路徑是屬于“我們希望它發生并有意為之”的，還是隨著時間的推移變得越來越顯而易見，因為現在的應用場景比最初版本的 Gemini 要復雜得多？
Koray Kavukcuoglu：哈哈，對我來說，這就是我的工作。
Jeff Dean：我認為這在當時其實是顯而易見的：如果你的模型有很多人在使用，你就會獲得大量的經驗和教訓，知道什么是行得通的，什么是行不通的。我們在搜索領域已經見證了許多年：用戶對搜索的使用，真正啟發了我們哪些地方做得不好、哪些地方應該做得更好。通過聚合大量有趣的日常使用數據來更深層次地理解這些問題，然后致力于改進它們，這至關重要，AI 模型也不應該有什么不同。所以這從一開始就顯而易見，但前提是我們要有一個產品擺在那里供人們使用。
當“跑分”失效，誰來定義 AI 時代的真正“前沿”？
Noam Shazeer：是的，這才是真正的考驗，有人去用它，并且它對人們有用。因為如果你只是關起門來，試圖在基準測試上盲目刷榜，那你最終得到的就只是好看的分數，甚至還可能導致基準測試數據泄露，結果并不會好。
Koray Kavukcuoglu：你不想在一個黑盒里閉門造車地構建智能，你希望人們去使用它。因此，理解用戶的需求至關重要。探索前沿不僅是指在技術能力上探索研究的前沿，也是在探索你下一步能為用戶做什么。如果不把它和產品結合起來，你就無法做到這一點。這兩者相輔相成，共同定義了“前沿”的含義。
Oriol Vinyals：在 Gemini 啟動時，其實已經有很多機器學習模型應用到產品中了。當時顯而易見的是，如果我們能創造出一個單一的、能力超越其他模型平均水平的模型來驅動一切，那絕對是一個巨大的飛躍。至于是否能圍繞一個單一模型創造出一個單一的產品，當時可能還沒那么清晰。但我認為有一點非常明確，那就是將所有的算力和智能投入到一個單一的強大模型中，將會使谷歌已經在使用機器學習的許多業務實現跨越式發展。在最初被賦予如此多的算力和責任時，大家都感到非常興奮。而現在，它確實被證明已經成為了谷歌智能的核心引擎。
Jeff Dean：甚至在我們啟動 Gemini 項目之前，就有很多人在思考如何構建具有超強通用能力的模型。Oriol 當時在 DeepMind 領導一些工作，而我則在協助推進 Pathways 項目以及 PaLM 和 PaLM 2 等項目。我當時說，這太蠢了，我們正在分散我們的精力和算力。如果我們想打造一個極其強大的模型，我們就必須聯合起來，集中力量構建一個單一的模型。這其實就是 Gemini 這個名字的由來。
Oriol Vinyals：我們先進行了映射（Map），然后進行了化簡（Reduce）。
Koray Kavukcuoglu：我還以為是因為我有雙胞胎呢。
Jeff Dean：那也是原因。
擁有一個大團隊，總好過五個各自為戰的小團隊
Logan Kilpatrick：Jeff，這是一個很好的過渡，讓我們再次回到 Gemini 項目的組建時期。我很想知道，當時這個決定有多大的爭議？顯然，正如你現在所說，我們已經進行了三次半的迭代，把團隊召集在一起的所有組織層面的復雜問題現在都已經成為過去了。但在當時，這件事情是顯而易見到“如果我們不這樣做，我們就無法贏，也無法為客戶構建出正確的產品和模型”的程度，還是說它最初更像是一個不切實際的高遠想法？我很想知道你當時的信心程度是怎樣的？
Jeff Dean：我當時非常確定，將大家聯合起來才是正確的做法。我甚至在一份半頁紙的備忘錄里明確闡述過：分散精力的做法太蠢了。當時我感覺，把我們最好的想法分散在不同的、并沒有真正協同工作的研究團隊中，同時也分散了我們的算力，這兩個問題顯然都是我們應該去解決的。雖然在組織層面上有點復雜，而且還有時差問題，比如倫敦有很多人，這里也有很多人，相隔 8 小時從來都不是輕松協作的方法，但我認為我們在協調和把大家聚集在一起方面做得非常好?，F在我們在世界各地擁有了一個非常棒、令人驚嘆的團隊，并且正在源源不斷地打造出優秀模型。
Noam Shazeer：當時有一堆團隊在各自構建大語言模型，你基本上只需要把他們融合在一起。
Koray Kavukcuoglu：在過去的某個階段，人工智能研究其實更偏向學術界，對吧？如果你回到10年前，它更多的是學術研究。在那個階段，你如何組織它并不是最關鍵的要素，更多的是關于探索，探索的速度才是重要的。但隨著目標越來越集中，你真正想要的就是像 Jeff 所說的這種聚焦式的運作。因為這些工作需要更多專注的投入，而且就眾多研究人員聚集在一起解決許多問題而言，其中的每一個項目都是一項重大工程，我們不再需要嘗試并行地去構建各種東西。在那個節點上，我認為這真的是一個非常棒的主意。我認為兩家組織（Google Brain 和 DeepMind）對此都行動迅速，并促成了這件事。這當然是一次特別的經歷，把兩個組織融合在一起從來都不是一件容易的事，但我認為每個人都意識到了這是正確的時刻，并且能從中獲得巨大的價值。我想我們所有人都能看到，整個組織都為我們共同構建的成果感到非常自豪，Gemini 真正就是這一融合的果實。
Noam Shazeer：這就是規模的魅力，當你構建出一個美麗且龐大的單一 LLM 時，它能做這么多的事情。所以你確實需要把這么多人、這么多的算力，以及基礎設施團隊、數據團隊等等全部整合在一起。擁有一個這樣的團隊，總好過五個規模很小的團隊。
從 Pathways 到 Gemini Omni：
探索一個包攬所有模態的“萬能后端”
Jeff Dean：我想說的一點是，從一開始我們就希望 Gemini 能夠……甚至在 Gemini 誕生之前，Pathways 項目的起源之一就是去探索一個可以做很多事情的單一模型：一個能夠處理所有不同模態的多模態模型；一個非常龐大且稀疏的模型，這樣你就可以針對不同類型的事情激活它的不同部分。而這三點在現在的 Gemini 模型中都得到了體現。我想現在通過 Omni，我們已經掌握了多模態能力，現在我們甚至可以生成視頻了。以前我們只能生成圖像和音頻。這真的很棒，因為你擁有了這個具有驚人推理能力的強大模型的全部力量，它能處理很多輸入模態，甚至可以編輯它剛剛生成的視頻。
Koray Kavukcuoglu：我認為 Omni 是一種全新的能力，對吧？當然，我們之前有 Veo 和 Nano Banana ，你可以做文本到視頻、文本到圖像，但你真正想要的是一個能夠理解物理世界所有模態的模型，這樣它不僅能理解物理學和一切規律，還能同時結合文本，因為文本中也包含著大量關于世界的、非常高層面的信息。
Gemini Omni 是真正的世界模型嗎？
還是一種市場定位？
Logan Kilpatrick：Koray，很快插一句，我有一個關于這方面的問題。在 I/O 大會的主旨演講中，我們似乎把 Omni 放在了類似“世界模型（World Model）”的板塊中。我很想知道，這里面實際上是否包含了一堆 Genie 世界模型的東西，還是說這只是一種面向下一階段的市場定位，即輸入任何東西并輸出任何東西，而這就是我們對世界模型的呈現方式？這一點我之前還沒完全搞明白。
Koray Kavukcuoglu：那我談談我的看法吧，Oriol 在這些方面做了很多工作。世界模型意味著你真正理解了動力學、物理學和視覺效果，然后你還必須能夠對其進行模擬。因為這種模擬能力非常關鍵，它既能讓我們理解模型是否掌握正確，而且當你想要依賴這個模型時，你也會希望模型能夠向前推進這種模擬，并且模型做出的決策是基于對未來的模擬。這就是為什么我認為 Gemini Omni屬于另一個不同的范疇，它真正改變了我們之前對 Gemini 的定義（之前主要側重于理解和文本輸出）以及 Veo（文本輸入并進行視頻建模）的割裂狀態，它將這些能力融為一體，變成了一個真正意義上的世界模型。
Oriol Vinyals：通過聯合訓練將其轉化為了一個真正意義上的世界模型。我們當然希望所有的東西都能實現遷移，建立一個更好的文本理解模型也有助于提升世界建模的能力，但我認為我們每次嘗試都會發現這并不容易。不過，隨著我們掌握了正確的訣竅，我們看到了成果?；叵氘斈辏瞥鲆粋€復雜的視頻場景、保持前后一致性等等所有這些事情，你幾乎必須手動去思考它們，甚至要預先指定如何讓視覺效果隨著時間推移保持正確，而過去當你轉動畫面時，里面的物體就消失了?，F在，僅僅通過大規模的訓練并不斷融合所有的數據，我們看到了這些能力的涌現，這才是令人興奮的地方，也是我們一直以來提出的核心前提?，F在，我們終于還能輸出令人驚嘆且一致的 3D 世界、聲音以及所有的一切。如果幾年前你問我這種方法行不行得通，我覺得這幾乎是不可能的，否則我們可能10年前就這么做了。但事實是，它確實實現了。
Jeff Dean：是的，可能也得益于更多的數據。當你聽到“多模態”這個詞時，你本能地會被吸引到人類的模態上，比如文本、圖像、音頻和視頻。但實際上，你更希望模型能夠理解更豐富的模態集——比如理解來自基因組序列、化學結構、機器人抓取數據或激光雷達數據等有趣的科學數據。讓模型接觸一點這類數據，能讓它在以后遇到更多同類數據時，理解得更好。
沒有 Coding Agents 時，Jeff Dean 就是我們的 Agent
Logan Kilpatrick：我覺得 Google DeepMind 團隊能夠打造出這個模型，以及能夠完成之前提到的這段融合重組的故事，其中的一部分原因其實在于“人”，在于你們大家其實真正彼此了解。我們在開拍前還在鏡頭外聊過，你們大家都是什么時候認識、開始一起工作并聽說彼此的。我很想聽聽你們每個人版本的相識故事 。
Jeff Dean：也許我可以先開始，因為我想我認識大家的時間最長。可以這么說，在谷歌非常早期的那些年里，我做了大量的工程招聘和面試工作。有大概三年的時間，谷歌所有的工程簡歷都是由我來篩選的。
Noam Shazeer：那段經歷很神奇，他們會直接抱來像一座小山一樣巨厚的一疊簡歷。他當時篩選起來就像：“不要，要，要，不要，不要，不要，要?！彼俣瘸壙?。
Oriol Vinyals：我記得當時有很多反復的溝通。我加入之后，我們啟動了兩個項目，其中之一就是模型蒸餾。我記得當時的代碼庫非常復雜，全是 C++。而你剛從學術界出來，并不完全清楚如何規范地去實現這些東西，但想法是清晰的。我清晰地記得我坐在 Jeff 的辦公桌旁，他就在那直接手寫各種類的代碼，比如“好吧，這是蒸餾，這是 KL 散度”等等。我們那時候可沒有 AI 編程智能體。但可以說，在有一段時間里，Jeff 本人就像是這個項目的 AI 編程智能體，而且直到今天，他依然是一個很難被超越的標桿。
Jeff Dean：那個項目很不錯，因為 Geoff Hinton 之前在 MNIST 上做了一些非常早期的探索，MNIST 是一個非常非常小的標準數據集，他可以在自己的筆記本電腦上運行。他對于如何將一個大模型的知識遷移到一個小模型中有些很棒的想法。我想著我們必須在大規模數據上展示這個成果。于是，我們針對 3 億張圖像（在當時這已經算海量了）訓練了一個由 50 個模型組成的集成模型（Ensemble），而且是 50 個截然不同的模型。我們對類別進行了分組，比如這個模型專門擅長識別汽車，那個模型專門擅長識別野生動物。然后我們通過蒸餾把這些知識遷移到了一個單一模型中，它的準確率比直接在原始數據上訓練的單一模型要高得多。
Oriol Vinyals：順便說一句，我記得當時算力已經開始受限了。但你唯一需要做的就是去問 Jeff：“嘿，我們的 CPU 用完了?！彼蜁ツ硞€網站，改一下數字，我們的算力就翻倍了。我們這么干了好幾次。
Jeff Dean：是的，當時我有超級用戶權限。遺憾的是，指數級增長有時也會停止。
我們是怎么把 Pro 的智能，一代代塞進 Flash 里的？
Logan Kilpatrick：這太瘋狂了。我們需要一部關于這個的電影。另外，回過頭來反思這三年半、甚至更長的時間，坐在現在的立場上，有沒有什么事情是讓你們感到既“正面驚喜”又“負面驚喜”的？比如某些方面你們希望我們能取得更多進展，但很驚訝我們居然沒有；而另一些方面，我們取得的進展可能遠遠超出了你們的想象。顯然，這里面的很多東西在5年前是很難想象的，但有什么讓你們所有人印象深刻的嗎？
Oriol Vinyals：也許我先從正面的開始，這也非常符合今天的主題：我真的沒想到我們能一代接一代地做到這件事——就是把 Pro（專業版）的智能水平重新壓縮塞進 Flash（閃電版）里。這就好比，這種情況在 1.0 時代發生時，你可以說：“好吧，那只是第一代跑出來的結果，某些方面還很不成熟，所以我們改進了配方，這說得通?！钡谀撤N程度上，這種進化有時甚至在加速。不管我們看哪個版本，新一代的 Flash 表現都超過了上一代的 Pro。我的意思是，僅僅去理解“蒸餾”是如何工作的，我都依然感到著迷，我們怎么能在每字節或每個參數里塞進這么多的智能？
蒸餾就是“擠檸檬”，用的還是十年前的配方
Logan Kilpatrick：是蒸餾技術本身發生了根本性的改變了嗎？我們之所以能不斷把更多能力‘塞進’小模型里，是因為在蒸餾方法上有了架構層面的改進？還是說，現在用的技術其實跟你們當年最初發明時的基本原理差不多？”
Oriol Vinyals：的確，我想說它甚至變得更簡單了。我的意思是，我們最初在 Softmax 中使用了一些溫度調節的技巧，而且我們不得不采用模型集成。
Koray Kavukcuoglu：別泄密。
Oriol Vinyals：哈哈，不，我不會說出來的。
Koray Kavukcuoglu：我只是確保一下。
Jeff Dean：我正準備把配方抖出來呢。只要你有一個非常非常優秀的“老師（Teacher 模型）”，然后有一個“學生（Student 模型）”就行。你不需要一個由 50 個老師組成的集成，你只需要一個真正頂尖的老師和一個學生。你幾乎可以直接使用原始論文中描述的方法，加上一些適度的調整，但這個想法的核心精神基本上是一樣的。
Koray Kavukcuoglu：讓我給你一個最技術性的解釋：這就像擠檸檬。你擠檸檬，汁水流出來，那些都是精華，然后你把它倒進玻璃杯里，這個杯子就是你的小模型。
Logan Kilpatrick：我喜歡這個比喻，太形象了。
Oriol Vinyals：你應該去讀讀那篇論文的導言，它有一段關于幼蟲和昆蟲的很詩意的引入。
Noam Shazeer：那篇原始論文是關于軟標簽（Soft labels）的，對吧？
Oriol Vinyals：是的，差不多。
當年的“單搜索框”，終于搭配上了通用 AI 后端
Logan Kilpatrick：那么，考慮到過去三年半里 Gemini 在各方面取得的巨大進展，有沒有什么事情是你們驚訝于我們居然還沒能搞定的？
Noam Shazeer：談到好的一面，回想過去，這也和谷歌的初衷有關，對吧？我們一直有這種“單搜索框（One Box）”的哲學，對吧？Jeff，你一定記得一個框搞定一切。
Jeff Dean：就像那個搜索框，你輸入某些內容它會顯示體育比分，輸入另一些內容它會顯示股票行情，
Noam Shazeer：對，而在后端，這些全都是各自獨立的、定制構建的后端，有些帶有 AI 色彩，有些則沒有。
Jeff Dean：比如拼寫糾錯里的“你是不是要找”，我沒記錯的話很大程度上是 Noam 的入門項目。
Noam Shazeer：當時用戶會理所當然地認為：“噢，這背后一定有一個極其聰明的通用 AI，它什么都懂，能處理所有這些不同的事情?！倍F在，我們真的把它做出來了，我們構建出了這個“單框”的通用 AI。
Jeff Dean：它確實變成了一個框。
Noam Shazeer：它就是一個框，而且它變成了一個統一的后端。我們終于為前端配上了正確的后端，因為我們打造了這個完美的“單框”。
不同 MoE 架構：Jeff Dean 心中更具“有機生命感”的架構
Oriol Vinyals：可是 Logan 想要聽個負面的東西。
Logan Kilpatrick：不，不是負面的。但顯然，人們總是想要更多，對吧？有什么是你們希望實現但還沒實現的？
Koray Kavukcuoglu：但我認為你應該能理解，這對我們來說挺難的，對吧？因為我們深處其中。特別是對于研究人員來說，你不會帶著太多的負面情緒去工作。如果某些東西行不通，那就是一次學習，你會在它的基礎上繼續構建。從你的角度來看，你原本期望看到什么，但現在卻沒有看到？你的失望點在哪？
Logan Kilpatrick：這是一個好問題，我不會把它定義為“失望”。
Koray Kavukcuoglu：但他顯然是有想法的。
Jeff Dean：我有一部分是工程師，一部分是研究人員，所以工程師可能會更挑剔、更偏向負面一點。我的意思是，我原本覺得我們在“持續學習”和那些不那么結構化的模型架構上會取得更多進展。比如現在我們擁有的都是混合專家模型（MoE），它們的結構都非常相似。我總覺得一種更具“有機生命感（Organic style）”的架構會是我們……
Koray Kavukcuoglu：是的，我們總是想象那種更龐大的架構。
Jeff Dean：我依然認為這會很有趣，但我們現在還沒有這么做。不過，我們目前采用的方法看起來非常管用。
Noam Shazeer：所以，我有那么一點點失望。好吧，我們目前也還沒有治愈每一種疾病。你不能直接輸入“幫我發明一種治愈癌癥的方法”之類的話，然后它就直接幫你搞定了。但是，我們正在朝這個方向前進。
算法創新，如何讓大模型從每個 Token 中榨取千倍信息？
Logan Kilpatrick ：是的。我很想聽聽你們對此的反應。我認為這不是一件負面的事，但讓我感到驚訝的是：把各種能力融合到單個模型中，居然需要耗費如此多的能量和心血。顯然，這是一場非常艱難的“雜?！保闳诤线M一種新能力，它并不會直接開箱即用，你往往要拿其他能力做權衡，并且必須做出一些調整來彌補這些差距。從我的角度來看，這并不符合直覺。
Koray Kavukcuoglu：有一點讓我對模型感到驚嘆，那就是模型內部依然蘊含著令人難以置信的巨大容量，我們一直在不斷往里塞東西。試想一下，目前的模型其實并沒有比三四年前的尺寸大多少，對吧？但我們卻在不斷塞進越來越多、越來越強的能力和信息。我們可以做到這一點，模型里居然還有這么大的空間，這也許就是硬幣的另一面。但對我來說，我們一直在這么做，而且里面依然有空間，這些模型里還有如此巨大的潛力。這也是為什么我其實感到很興奮，因為就 AI 算法的發展而言，還有非常大的想象空間。我深信，這些模型的實際容量遠遠超出了我們目前所壓榨出來的水平。未來將會有重大的創新，讓我們能夠利用這些模型做更多的事情。
Jeff Dean：是的。我想其中一部分在于，我們確實需要構想出一些算法層面的創新，好讓模型從看到的每一級數據、每一個示例或每一個 Token 中獲取多得多的信息。因為如果你看一下人類的學習效率，它比我們這種 LLM 的學習效率要高出一千倍。大語言模型需要看比一個真正聰明的人類多出一千倍的數據，然后才能達到與人類大致相當的能力水平——也許在某些方面稍好一點，在另一些方面又稍遜一籌。但它需要多出一千倍的數據。所以，如果我們能讓模型從每一個示例中獲取一千倍的信息，那將是非常驚人的。
Noam Shazeer：一個人一生中大概能聽到10億個詞，而一個模型卻要在成百上千兆（數萬億）的數據上進行訓練，并且還能記住它們。
Oriol Vinyals：話雖如此，但你難道不稍微反對一下這個觀點嗎？其實人類也是被“預訓練”過的，你又不是第一個人類。所以無論如何，關于這一點也是有一些爭論的。
Jeff Dean：但是人類的“源代碼”（基因庫）非常小，我們只有幾個吉字節（GB）的源代碼。
Logan Kilpatrick：這就是我的疑問所在……
大模型評估問題被低估了，
如何讓大模型完美泛化到“任何問題”上？
Oriol Vinyals：順便說一句，關于“什么事情一直很困難”，我有一個比較硬核的體會。我認為評估非常困難。即使是從 Koray 提到的學術界時代開始，在社區里這都有點被低估了。
孤立地評估模型的能力，或者評估接下來的大事件將是什么，以及如何以一種不會讓數據泄露到訓練集里的方式進行評估，并且還要讓用戶認同這個評估數字。這里面有大量的工作和進展。但我感覺這依然出乎意料地難。也許是因為我們過去習慣了論文里的一張數字表格，而現在我們面對的是真實的用戶和反饋。這雖然讓人意外，但也很讓人興奮，因為每當你發現困難的事情時，你就會有動力去嘗試解決它。評估是一件大事，它需要不斷變得更好。
Jeff Dean：所有 AI 研究人員一直以來的夢想，都是如何構建出能夠泛化到它們從未面對過的事情上的系統。這正是核心所在。即使你是在針對特定任務訓練特定模型，你也希望它能泛化到該任務的新示例上。但我認為我們現在嘗試做的是：泛化到任何人可能提出的任何問題上。這確實是一個難題。但通過擁有大量的用戶，你可以獲得大量的反饋，知道“好吧，在這類問題上我們泛化得挺好，但在那類問題上我們還不夠好”。
數據驅動達成共識：
Jeff 想構建一些更具靈活性、更具可塑性且更流動的系統
Logan Kilpatrick：我對你們所有人有一個有些爭議性的問題：你們顯然已經以不同的身份在一起工作了很長時間。有哪些研究領域是你們至今仍未達成共識的？我想先做個鋪墊，我認為這也許是一件好事。讓擁有不同視角的人在一起的奇妙之處就在于，大家會有分歧，從而會去嘗試不同的事情。我很好奇你們腦海中會不會浮現出什么具體的例子。或者說你們其實意見完全一致？
Koray Kavukcuoglu：我在努力想。我倒不覺得我們意見完全一致，但我不認為會有什么重大的原則性分歧。因為我認為在 Gemini 設計的宏大藍圖里，這個團隊已經對各種各樣的方案進行了實驗。我們通過實驗提煉出了很多想法。我知道 Jeff 一直有這樣一個想法：構建一些更具靈活性、更具可塑性且更流動的系統。我們目前還沒有走到那一步，但這并不意味著我們對此有分歧。只是我認為現有的系統已經在經驗上為我們指明了道路，這就是我們正在打造的模型。除此之外，我認為我們并沒有什么巨大的分歧。
Jeff Dean：在任何特定時期，我們每個人都會把更多的精力花在某一個或幾個特定的事情上，而其他人不一定在那個事情上投入同樣多的時間。比如，我現在把大量時間花在“未來的推理硬件應該是什么樣子的”這個問題上，因為我認為這是一項超級重要的核心能力。你可能沒花那么多時間在上面，但當我在廚房里向你描述時，你會說：“噢，聽起來很棒！我們什么時候能用上它？”
Noam Shazeer：現實是讓大家達成共識的一種很好方式。你看到了實驗結果，看到了什么是管用的，什么是管不用的。
Jeff Dean：所以，我的意思是，總的來說，Gemini 是相當數據驅動的。很多人在小規模上運行實驗，然后說：“看，這是結果?！贝蠹揖蜁f：“這看起來很有前景，你有沒有試過把它和這個東西結合起來？”而且你必須以最有效的方式去使用研究級算力池，并且以數據為驅動來進行決策。
Koray Kavukcuoglu：如果你思考一下 Gemini，或者更廣泛地談談 AI，它融合了太多層面的東西，從硬件到模型設計，再到產品以及所有的一切。所以我認為，能有這樣一個團隊聚在一起協同工作，實際上是讓它真正運轉起來的最核心因素之一。正如 Jeff 所說，他專注于硬件，Noam 專注于模型，Oriol 一直專注于模型并且現在正深入研究智能體并在那里做著非常深度的工作。而我試著專注于：好的，我們要帶著 Gemini 走向何方？我們和產品的對接是否順暢？我們是否獲得了那種好的體驗？我們的運轉是否良好？所以，我認為我們所有人一起工作的方式，是在各自照料這個技術變革中不同且重要的一面。因為這是一場正在發生的、全面的技術變革，我認為能夠有對這場技術變革的不同側面進行深度思考的人在一起，這就是它能夠成功的原因。
押注 2027：當 Gemini 開始用自己寫的代碼“改進”Gemini
Logan Kilpatrick：太棒了。我們應該做一些預測，這樣一年后當我們回顧這段對話時，就能有一些“被打臉”的談資。顯然，今年 I/O 大會展示了巨大的進展和許多令人興奮的事情。如果我們坐在這里展望 2027 年，總覺得 2027 年看起來很不真實，感覺像是好久以后的未來，但實際上也就剩 6 個月或者差不多時間。從模型能力的角度或類似的方向來看，你們有什么預測，或者說希望到時候有哪些功能能真正落地嗎？
我們可以聊聊方向。就拿我們現在的進展來看，比如編程，顯然我們在編程能力上取得了巨大的進步。到那時這方面會飽和嗎？我們還會花同樣多的時間專注于它嗎？智能體也是一樣。畢竟感覺我們在好幾種不同能力上都處于指數級增長的軌道中。
Koray Kavukcuoglu：也許我先來插一句。我認為一年后可能會發生的一件事是自我學習。
Logan Kilpatrick：自我學習和持續學習是一回事，還是有區別？
Koray Kavukcuoglu：我覺得它們是相關的。也許對某些人來說它們是一回事，但我們現在正處于一個模型更具“智能體特性”的時代，而且它們非常擅長寫代碼。我們已經在研究中開始使用它們了。我認為慢慢地，我們會在研究中越來越多地使用它們，并且遲早會走到一個節點，至少在某些實驗層面上，我們將依賴模型來改進 Gemini 的不同部分。我的預測是，明年我們絕對會在這條路上前行，而且很可能會開始探討這個問題。讓我們拭目以待。
Jeff Dean：到那時，我們可能可以明確指出我們模型中某個非常重要的部分，其實是由模型和智能體自己協同生成的。
Noam Shazeer：沒錯。到時候你不用再對團隊成員說：“嘿，你為什么不針對這個做點實驗，下周告訴我進展如何？”我們直接讓模型去干就行了。
不更新權重也能變聰明？
下一代 Gemini 如何跨越“陡峭的增長曲線”？
Oriol Vinyals：這很難讓人不贊同。但如果把這建立在持續學習的基礎上，作為一種更進一步的能力，我的意思是，模型能夠通過其經驗和交互來提升自己，而不需要去更新它的權重，比如某種運行得非常好的知識庫更新。我們確實有這方面行得通的例子，但我認為這項能力還沒有迎來那種陡峭的增長曲線，還沒好到成為每個人都會在模型中理所當然去使用和開啟的必備功能。所以，這是我希望屆時能看到的一點。一年時間似乎是有可能的。
Logan Kilpatrick：是的，可能這里面還有很多有趣又古怪的問題需要解決。感覺在當今這個時代，我總能遇到這樣的例子：你問模型一個問題，它會扯進來一些莫名其妙的個人背景信息，比如某個朋友的生日派對，這跟我的問題完全無關，但它不知怎么就覺得有聯系。所以這確實讓人覺得它還需要再發展一年。
我們有點處在自己的科技泡沫里：當模型獨立運行30天
Koray Kavukcuoglu：我們有點身處自己的科技泡沫里，對吧？因為我們本身就處于這項技術的研究核心。從你的角度來看，畢竟你比我們更接地氣、更融入現實世界，你會想看到什么？你期待什么？
Logan Kilpatrick：問得好。雖然這并不是一個“Logan 專訪”環節。
Koray Kavukcuoglu：不過也許我們以后應該搞幾期。
Logan Kilpatrick：哈哈，不，你才不想聽我要說什么呢?！澳Ｐ途褪钱a品”，這就是我要說的全部。我只希望模型能變得更好。不，說認真的，我認為“長時間運行”的東西會非常有趣。因為我覺得這是一個我們可以非常輕松去追蹤的前沿。即使編程模型明天提高了20%并且變得非常好，我依然認為你會在“你希望模型自主運行多久”這個問題上遇到瓶頸。感覺到了 2027 年的 I/O 大會，如果我們能說：“這個模型在 I/O 大會開幕前已經自主運行了30天左右?！边@會讓很多人感到非常驚喜。也許我們到時候不會這么說，但這可以作為一個奮斗的目標。
Koray Kavukcuoglu：這種由模型獨立完成的工作量，將會是一件大好事。
Logan Kilpatrick：是的，那會非常令人吃驚。而且我認為這其實需要整個技術棧的配合才能實現。比如你需要類似記憶系統，你需要持續學習，你還需要更好的硬件，因為讓一個東西運行30天會消耗天文數字般的 Token。
Jeff Dean：沒錯。而且你也希望更好的硬件能帶來超低的延遲。因為如果它在一天內就運行完了，你會比等30天要高興得多。
Logan Kilpatrick：30天是一個很好的營銷文案，但能一天搞定我確實會更高興。
當 AI 速度無限快，現有的軟件工具就成了最大瓶頸
Jeff Dean：噢，另一個預測（不是針對產品發布的預測）：我認為這些智能體將會把我們的所有工具都逼到極限，暴露出它們太慢的問題。這些智能體依賴的很多工具，即使你把模型本身的速度提升到無限快，你也會在提升實際工作效率時遇到瓶頸。因為工具的交互往往是為了適應人類的延遲或工作頻率而設計的，對吧？
Noam Shazeer：那30天里有29天半都花在等待各種列表的加載上了。
五年后的谷歌：只有 1 個產品，還是有 10,000 個產品？
Logan Kilpatrick：另外還有一個稍微有些爭議的問題，我很想聽聽大家的看法。Koray，我很喜歡從研究的角度來探討這個，這也是我感興趣的原因。我前幾天問過 Josh（Josh Woodward）這個問題：五年后，谷歌是要么只有3個產品，要么擁有10,000個產品。你們怎么看？哪種情況看起來更說得通？
Koray Kavukcuoglu：只有1個產品。那個產品就是模型。
Logan Kilpatrick：好的，我喜歡這個回答。你們其他人怎么看？
Jeff Dean：我的意思是，如果你有一個能力極其強悍的模型，它就能做非常非常多的事情。我想你在 I/O 大會的搜索演示中也看到了，它甚至可以在搜索內部為你量身定制、創建出各種小應用和可視化效果，并且能寫代碼。所以從某種意義上說，如果用戶量巨大，我不知道這算是一個產品，還是10,000個產品，甚至是1000萬個產品。
Koray Kavukcuoglu：但說認真的，我覺得人們希望以不同的方式來消費信息。我認為像“搜索”這個功能很重要。我認為五年后我們肯定還會有搜索，可能配上一個更具魔法感的搜索框。但人們想要獲取信息、并為了自己去消費和吸收這些信息的這種“學習活動”，我認為依然是本質的需求。所以我真的認為它會存在。并且，我們大概會有多得多的產品，因為做產品會變得非常容易，因為它們背后越來越多地由同一個智能核心來驅動。
從比特世界到原子世界！
即使大模型無所不能，我依然需要“關注點分離”
Jeff Dean：我認為會有很多的產品外顯形式，而讓這些產品變得驚艷的核心要素其實只有少數幾個。這就好比在 I/O 大會上展示的那款眼鏡（智能眼鏡項目），它是一個獨立的產品，但它會因為模型變得更好、更懂音頻、能更好地與你對話而變得更出色。但它依然是一個有別于搜索的、獨立的產品。
Oriol Vinyals：我想我們很清楚，無論具體產品是什么，背后絕對是由同一個模型來驅動的。我不是這方面的專家，但作為用戶，有時我覺得自己在操作數字設備時會做出主動的選擇，對吧？比如我想查看日歷、發郵件，或者買點東西。這種界限分明可能更多是出于人類習慣的考量，而不是技術上無法將這些功能整合到一個產品里。但我感覺，決定自己想要專注于做什么的這種選擇，無論是最終會消失，還是我們純粹進化到不再需要它，我還不確定，但我發現自己有時依然喜歡這種“關注點分離”。所以，至少目前就我自己而言，我是不會去賭未來只有一個產品的。
Noam Shazeer：我想我們一直在討論的是“信息形態的產品”，即傳遞信息的產品。在這一層面上，你只需要探討人類想要如何消費這些信息。是通過視覺？文本？眼鏡？還是某種直接將模型內部嵌入直接輸入到你神經元里的腦機接口或類似古怪的東西？不過同樣是由 Omni 這類的技術來驅動的。也許未來我們會涉足物理實體產品，開始去搬動“原子”，而不僅僅是處理“比特”。不過，這是對遙遠未來的預測了。
Logan Kilpatrick：我喜歡這個說法，“搬動原子而非比特”就是未來。非常感謝你們四位抽空坐下來聊天。這里面有很多帶點爭議性的回答，但這真的很精彩，也非常有趣。去年在 I/O 大會的一次對話中我發表過這個評論，我想當時我是對你說的，Koray，我覺得 I/O 大會把大家聚集在一起并發布這些東西，讓你在和大家一起構建這項技術時，能夠感受到“人類的溫度”。今天的這段對話也讓我有了這種感覺。所以非常感謝大家。也謝謝大家收聽和觀看本期的《Release Notes》，我們下期再見。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
