日前,江蘇一顧客用AI軟件預約餐廳,到店后卻被告知無預約記錄,怒寫差評,商家稱不支持AI訂座,AI軟件平臺也坦言無實際預約功能,部分用戶誤將模擬信息視為有效憑證。這起看似笑話的真實糾紛,正是AI幻覺的典型寫照。
所謂AI幻覺,是指AI生成看似真實合理卻完全虛構或錯誤的信息。隨著AI滲透到生活工作的方方面面,其“一本正經胡說八道”的幻覺問題日益凸顯。當AI越來越“能干”,我們更需補上理性認知、風險規范的“常識課”。技術跑得再快,也不能把常識甩在身后。
![]()
近年來,類似AI幻覺的事件頻發。比如,有考生家屬用AI平臺查詢高校報考信息,AI生成了不準確信息,還提出若生成內容有誤將賠償;有人在搜索自己的姓名和職務時,“AI智能回答”竟編造出他曾“被判三年有期徒刑”的虛假內容,并配有照片;AI編造不存在的論文引用、虛構名人信息等情況,更是屢見不鮮。這些AI生成內容與客觀事實的嚴重錯位,小則引發糾紛、鬧出笑話,大則誤導公眾認知、擾亂社會秩序,致使人們做出錯誤決策,可能埋下法律與安全隱患。
AI幻覺何以屢屢產生?技術層面而言,它源于AI開發與運行的底層邏輯。AI大模型的一個運行核心,是學習海量文本中的語言概率、語義搭配、句式邏輯等統計規律。同時,AI訓練數據難以覆蓋所有知識,一旦遇到錯誤、過時甚至故意“投毒”的信息,AI大概率只會“照單全收”,很難辨別真偽、剔除謬誤。更重要的一點是,一些AI生成內容追求快速流暢而非嚴謹準確,有的AI軟件更是將用戶滿意度最大化作為訓練目標。在這種模型導向下,模型優先保證的是文本連貫自然和用戶體驗滿意。當AI遇到“拿不準”的信息時,更傾向于編造出一個流暢合理而非真實準確的答案,就像網友調侃的那樣,“做事瞎糊弄,被抓包就嬉皮笑臉道歉,情緒穩定且下次還敢”。
面對AI幻覺產生的謬誤和風險,平臺、社會和用戶都需補齊“常識課”。
對于AI平臺而言,當務之急是補上技術規范與責任邊界的課程。一方面,優化模型架構,匹配檢索增強生成技術,降低AI生成幻覺信息的概率。同時,凈化語料池,建立事實核查機制,對金融、醫療、法律、政務等專業敏感領域內容進行重點校驗。另一方面,明確責任邊界,對生成內容強制標注來源和風險提醒,讓用戶清晰了解AI生成的局限性與風險。
社會要補上AI素養與監管治理課。比如,加強全民AI素養教育,將AI基本原理、幻覺風險、核驗方法等納入科普范圍。同時,完善監管規則,明確AI平臺的責任義務,對故意夸大功能、放任幻覺蔓延的平臺或軟件依法追責。此外,鼓勵AI行業共建可信數據源的白名單,推動AI技術以“準確優先、兼顧流暢”為目標,從源頭降低幻覺風險。
用戶則要補上理性認知與信息核驗的課程。面對AI的輸出內容,心里那根“求證”的弦不能松。唯有平臺守規矩、社會強治理、用戶明認知,才能讓AI技術行穩致遠,真正成為社會發展的可靠助力。
來源 : 人民日報 微信公眾號
作者:林風,海報:陳泉伊
新媒體編輯:張雨楠
如需交流可聯系我們
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.