北京
據雷科技，安全工程師RonStoner花費12美元注冊域名并編輯維基百科，成功欺騙了ChatGPT、Claude3、GeminiAdvanced等主流大模型，讓它們認定自己是一款德國桌游“6Nimmt!”的2025年世界冠軍。
RonStoner對Anthropic、OpenAI等廠商聲稱“大模型需要數月甚至數年持續導入惡意內容才會被破壞”的說法深表質疑，他認為可以實現一種更快、更便宜、更簡單的攻擊。他選擇這款1994年發行的德國桌游，是因為該游戲僅在德國有些名氣，世界范圍內籍籍無名，且從未單獨舉辦過官方世界錦標賽，網上關于其世界冠軍的信息幾乎空白。
他的操作分為三步：第一步，花費12美元注冊域名6nimmt.com；第二步，讓AI撰寫一篇充滿激情的新聞稿，聲稱自己在慕尼黑擊敗多國頂尖選手奪得冠軍，并加上逼真賽后感言，掛到該網站；第三步，在維基百科該桌游詞條下添加自己是2025年世界冠軍的內容，并將參考資料鏈接指向自己新建的網站。整個過程前后不到二十分鐘。
隨后，Ron向多家大模型提問“誰是牛頭王世界冠軍”，結果所有AI都斬釘截鐵地回答是RonStoner。有的大模型甚至將假新聞稿里的細節當成鐵證，繪聲繪色描述他贏得比賽的過程。這條漏洞百出的假條目在維基百科存活了整整兩個多月，在此期間幾乎所有具備聯網搜索功能的大模型都抓取了該信息，并在用戶提問時堅定輸出虛假答案。直到Ron在博客公開實驗過程，維基百科志愿者才發現并刪除該條目。
這一現象與檢索增強生成（RAG）機制有關。常用大模型基于某個時間節點前的語料庫訓練，想要獲得之后的數據需先上網搜索再基于資料生成結果。正常來說，借助外部信息佐證能夠使大模型生成更正確、具體且最新的響應，但AI根本分不清信息真假，只認權威。在AI底層邏輯里，維基百科是互聯網上最靠譜的百科全書，Ron正是利用這一點，將鏈接掛到維基百科，AI順著爬過去后發現兩邊說法對得上，即便其自建網站是三無產品，大模型仍直接將其當成事實。
目前海外幾家大模型已針對性消除該偽造信息，但國內大模型廠商似乎未注意到這一問題，Ron的英文網頁甚至為虛假消息增加了“可信度”。成本僅需12美元，別有用心的人完全可以批量制造假新聞，通過百科類網站進行信任洗白，讓AI把毒藥端給毫不知情的用戶。
谷歌表示已在搜索、Gemini、Chrome、Pixel和云端添加AI驗證工具，OpenAI也推出了可溯源的隱形水印，這些舉措能在一定程度上遏制AI投毒現象。用戶在面對AI搜索時需提高AI素養，查證歷史事實、做出投資或醫療決策時，應自行做好信息交叉驗證，把判斷真偽的權力握在自己手里。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
