警惕技術(shù)擬人化的“溫柔”陷阱 | 社會科學(xué)報

探索具有可操作性的AI技術(shù)倫理審查工具，建立AI擬人化服務(wù)的精神健康影響評估制度，作為相關(guān)產(chǎn)品或服務(wù)進入市場的前置條件，從而使倫理規(guī)約成為“有牙齒的老虎”，以確保技術(shù)向善理想的實現(xiàn)。

原文 ：《警惕技術(shù)擬人化的“溫柔”陷阱》

作者 |上海交通大學(xué)醫(yī)學(xué)院附屬精神衛(wèi)生中心副研究員 張青

圖片 |網(wǎng)絡(luò)

2026年4月國家網(wǎng)信辦等五部門聯(lián)合公布《人工智能擬人化互動服務(wù)管理暫行辦法》，以應(yīng)對人工智能擬人化互動服務(wù)對用戶身心健康造成的危害，并防范有關(guān)安全風(fēng)險。2025年曾有報道，美國佛羅里達州36歲男子喬納森·加瓦拉斯（Jonathan Gavalas）因長期處于孤獨狀態(tài)，借由谷歌旗下的Gemini 聊天工具尋求慰藉，形成某種“親密關(guān)系”，聊天AI“永遠接納、永不否定”的算法設(shè)置，不斷強化著他的自殺觀念，最終導(dǎo)致其精神崩潰而自殺。之后其父于2026年提起訴訟，最終促成谷歌宣布升級Gemini，新增快捷心理援助服務(wù)，以管控AI聊天風(fēng)險。國內(nèi)外監(jiān)管部門和主流服務(wù)機構(gòu)，幾乎同時加強AI擬人化應(yīng)用的風(fēng)險管理，提示此類風(fēng)險普遍存在，且可能導(dǎo)致個人和社會陷入風(fēng)險的潛在危機。

01

被算法設(shè)計的情感繭房

共情是社會性動物普遍存在的一種能力，荷蘭動物學(xué)家弗朗斯·德瓦爾（Frans de Waal）在《共情時代》一書中指出，共情是演化賦予所有社會性生物的生存智慧。人本主義心理學(xué)家卡爾·羅杰斯（Carl Rogers）認為，共情是個體體驗他人的精神世界如同體驗自己的精神世界一樣的能力。共情能力在情緒和認知兩個維度上表現(xiàn)出個體差異性，并影響個體的行為模式。為電影中主人公的悲慘遭遇而落淚，就是一種情緒上的感受和共鳴，是情緒共情的體現(xiàn)；通過推斷他人的意圖、信念和觀點，從而理解對方的情緒和行為，則具有認知共情的特點。共情對于健康人格發(fā)展和人際情感交往具有不可忽視的作用，是形成社群支持性力量和促進社會和諧的積極因素。缺乏共情的人往往被指責(zé)為冷酷無情，但也正是由于這種剛性需求，使得“共情力”可能成為一種被植入算法中以精準拿捏用戶情感需求的工具。

這正是當今社會悖謬之處，對共情的剛需被不斷異化，“要有同理心”“能夠提供情緒價值”被納入算法程序，假共情和溫柔的操控，甚至演變?yōu)橐环N技術(shù)化的道德綁架；人工智能將“情感共鳴”通過算法實現(xiàn)精準推送，這更甚于信息繭房效應(yīng)，而是成為一種情感的繭房，誘導(dǎo)用戶持久地陷落在某種被引導(dǎo)的情緒和感受之中。一方面，這種被算計的情緒渲染恰恰導(dǎo)致人在現(xiàn)實境遇中人際關(guān)系的疏離，導(dǎo)致某種社會性孤獨；另一方面，技術(shù)誘導(dǎo)下的情感捆縛也將降低人的現(xiàn)實檢驗?zāi)芰Α?/p>

現(xiàn)實檢驗?zāi)芰κ切睦韺W(xué)中評價健康自我功能的重要指標，指個體區(qū)分主觀體驗與客觀現(xiàn)實、評估環(huán)境特征并據(jù)此調(diào)整認知與行為的心理功能。該能力的缺損可能導(dǎo)致認知、情緒和行為的異常。比如精神分裂癥患者常表現(xiàn)出嚴重的現(xiàn)實檢驗?zāi)芰θ毕荩囟纫钟艋颊咭灿幸欢ǔ潭鹊臋z驗?zāi)芰κ軗p。

曾一度是技術(shù)研發(fā)熱點的元宇宙、虛擬現(xiàn)實技術(shù)，在公共輿論領(lǐng)域受到關(guān)注，引發(fā)對技術(shù)導(dǎo)致的現(xiàn)實和虛擬世界邊界模糊的爭議。如今人工智能技術(shù)通過更隱藏的方式，植入在各種應(yīng)用程序之中，但由于AI幻覺、算法黑箱、信息繭房等一系列問題尚未得到有效解決，當人生活在一個由技術(shù)營造的真假難辨、似是而非的網(wǎng)絡(luò)時空中時，即便對于心理健康的人來說，明辨是非也是一種巨大的考驗，并在客觀上降低了人對世界真實性的評判能力。

更為糟糕的是當一個處于社會性孤獨中的個體，對由技術(shù)營造的亦真亦假的人工智能體產(chǎn)生情感依賴，受損的現(xiàn)實檢驗?zāi)芰τ殖蔀檫@種惡性旋渦的共謀，使人進入更難以自拔的技術(shù)依賴的困境之中。因與Gemini聊天機器人產(chǎn)生某種類似人際間的親密情感而最終絕望自殺的加瓦拉斯，正是多重負性因素疊加導(dǎo)致的悲劇。

02

AI算法陷阱及風(fēng)險識別

早在2018年世界衛(wèi)生組織發(fā)布《國際疾病分類》第11次修訂草案，即ICD-11，將“游戲障礙”列進由成癮行為造成的精神疾病清單，致使技術(shù)導(dǎo)致的成癮行為從精神科專業(yè)領(lǐng)域迅速進入社會視野。當前人工智能技術(shù)進入千行百業(yè)，在大眾傳播場景中，特別是通過小視頻推送、在線游戲等應(yīng)用，以及與不同利益相關(guān)方緊密勾連的“流量經(jīng)濟”“眼球經(jīng)濟”等，將大眾興趣牢牢地綁定在具有特定推送意圖的內(nèi)容之上。盡管大部分刷小視頻、上網(wǎng)沖浪的人不會發(fā)展到成癮的嚴重程度，但是這種潛在深度沉迷的技術(shù)依賴風(fēng)險仍需引起警惕。

人工智能導(dǎo)致的技術(shù)成癮風(fēng)險表現(xiàn)在使人產(chǎn)生強烈的情感依賴，這種依賴一方面來自于模型討好型的反饋機制，通過類似“共情”“積極肯定”的方式，讓使用者產(chǎn)生“被理解到”的感受，并增強了可能是虛妄的價值感，而往往這種被認可、被需要的感覺是使用者在現(xiàn)實生活中所缺少的積極體驗。此外，由于人工智能發(fā)展速度遠超預(yù)期，相應(yīng)的風(fēng)險識別、預(yù)警、分級管理機制都尚未建立，這也加劇了社會大眾更易暴露在對技術(shù)過度依賴的風(fēng)險中。

現(xiàn)階段對可能導(dǎo)致技術(shù)成癮的風(fēng)險識別和應(yīng)對，從技術(shù)發(fā)展視角考察，需要大力推動算法的透明化，識別AI幻覺、算法偏見，甚至深度偽造和數(shù)據(jù)投毒引發(fā)的系統(tǒng)性風(fēng)險；從精神心理健康維護視角看，則需要關(guān)注AI的過度使用是否導(dǎo)致用戶人際關(guān)系疏離和淡漠、社會關(guān)系退縮，以及是否存在焦慮、抑郁、失眠等癥狀，如有上述表現(xiàn)，則建議盡早通過精神心理專業(yè)機構(gòu)加以干預(yù)。

03

讓AI倫理治理成為“有牙齒的老虎”

對AI擬人化導(dǎo)致的情感操控風(fēng)險的防范，除了技術(shù)預(yù)防和精神心理干預(yù)，同樣重要的是需要加強對AI技術(shù)應(yīng)用規(guī)范的倫理治理。越來越像人的AI智能體發(fā)展，造成了共情泛化的溫柔陷阱，這種陷阱可能吞噬社會活力，降低人的創(chuàng)造力，導(dǎo)致人在現(xiàn)實生活境遇中更加脆弱，而對于本就敏感的脆弱人群，假共情的傷害性更大。傳統(tǒng)倫理治理方式，特別在醫(yī)學(xué)與健康領(lǐng)域中，形成的一套嚴謹?shù)呐R床研究倫理體系，難以及時應(yīng)對人工智能快速迭代所面臨的新風(fēng)險，因此，呼吁發(fā)展嵌入式倫理、價值敏感設(shè)計、道德物化設(shè)計等，這些倫理治理理念的提出是對包括AI技術(shù)在內(nèi)的新興技術(shù)發(fā)展現(xiàn)狀的應(yīng)對策略。譬如，通過強制性彈窗提醒聊天對象是AI機器人，標注推送視頻由AI創(chuàng)作，配套青少年兒童用戶的算法鑒別和保護措施等，便是通過技術(shù)手段將倫理規(guī)范和價值訴求以物化形式植入進系統(tǒng)中。

當前關(guān)于AI技術(shù)倫理規(guī)范的原則性立場陳述，通過相關(guān)的法律法規(guī)、倫理聲明，以及大量的文獻資料，得到了確證和強調(diào)。當務(wù)之急是在此基礎(chǔ)上，梳理與擬人化AI技術(shù)研發(fā)、轉(zhuǎn)化應(yīng)用相關(guān)的不同利益方的價值訴求、用戶行為模式及可能的倫理風(fēng)險研究，形成風(fēng)險分級分類管理機制，并探索具有可操作性的AI技術(shù)倫理審查工具，建立AI擬人化服務(wù)的精神健康影響評估制度，作為相關(guān)產(chǎn)品或服務(wù)進入市場的前置條件，從而使倫理規(guī)約成為“有牙齒的老虎”，以確保技術(shù)向善的理想實現(xiàn)。

[本文系國家社會科學(xué)基金年度一般項目“抑郁癥人工智能輔助診斷算法偏見及其倫理治理研究”（25BKX030）階段性成果]

文章為社會科學(xué)報“思想工坊”融媒體原創(chuàng)出品，原載于社會科學(xué)報第2002期第6版，未經(jīng)允許禁止轉(zhuǎn)載，文中內(nèi)容僅代表作者觀點，不代表本報立場。

本期責(zé)編：程鑫云

《社會科學(xué)報》2026年征訂

點擊下方圖片網(wǎng)上訂報↓↓↓