原標題：專家解讀｜智能有度服務有溫，把好“三關”規(guī)范AI擬人化互動邊界

　　近年來，多模態(tài)等人工智能技術迭代突破，推動陪伴型人工智能快速發(fā)展，實現(xiàn)從“機械對話”向“深度共情”的跨越。與此同時，陪伴型人工智能產(chǎn)業(yè)面臨信息內(nèi)容安全、隱私侵犯、社會倫理、未成年人保護等多重風險挑戰(zhàn)。近日，國家互聯(lián)網(wǎng)信息辦公室就《人工智能擬人化互動服務管理暫行辦法（征求意見稿）》（以下簡稱《辦法》）公開征求意見?！掇k法》有效回應情感陪伴、心理療愈等應用風險，體現(xiàn)了“在發(fā)展中規(guī)范，在規(guī)范中發(fā)展”的治理智慧，對于構建面向“十五五”時期健康、公平、有益的人機關系具有重大意義。

　　一、新階段下人機關系交互邊界亟待明確

　　《國務院關于深入實施“人工智能+”行動的意見》明確提出，加快發(fā)展陪伴型等智能原生應用，充分發(fā)揮人工智能對精神慰藉陪伴等方面的重要作用，積極構建更有溫度的智能社會。當前，伴隨情感計算、自然語言處理、多模態(tài)交互等人工智能技術發(fā)展，人工智能擬人化互動服務通過模擬人類人格特征、思維模式和溝通風格，體現(xiàn)出堪比人類的情境理解和共情表達能力，塑造出一種新型的人機關系與社會交往模式，邁向了智商與情商“雙商在線”的新階段。

　　在技術層面，擬人化互動服務推動著情感計算、多模態(tài)交互、長期記憶等前沿技術的集成創(chuàng)新與場景落地，為人機交互范式的演進提供了關鍵的試驗場和應用反饋。在經(jīng)濟層面，擬人化互動服務作為一個快速增長的新興賽道，被逐步應用于娛樂、教育、養(yǎng)老、文化等場景，包括角色扮演、心理療愈、數(shù)字復活、AI玩具等多種產(chǎn)品服務形態(tài)，帶動了從底層算法、內(nèi)容創(chuàng)作到硬件終端的產(chǎn)業(yè)鏈發(fā)展，成為“人工智能+”行動中極具活力的消費級應用。在社會層面，擬人化互動服務在老齡化社會加深、都市化生活加劇個體孤獨感的背景下，為特定群體提供了可及的情感支持，具有一定的社會減壓閥和情感補給站功能。相關調(diào)研顯示，98%的人表示會考慮選擇使用AI陪伴去彌補平日未被滿足的社交困境。

　　與此同時，擬人化互動服務在快速發(fā)展中也暴露出一系列風險與挑戰(zhàn)。近年來涉情感陪伴安全事件頻發(fā)，美國Character.AI平臺因涉嫌在人機交互中誘導青少年自殺而被訴；意大利數(shù)據(jù)保護機構對Replika予以重罰，勒令其暫停處理數(shù)據(jù)并整改年齡驗證機制。這揭示了擬人化互動服務在快速發(fā)展中暴露出的復雜風險。一是數(shù)據(jù)隱私問題，承載用戶最私密情感與思想的數(shù)據(jù)面臨被濫用、泄露的風險；二是倫理失范問題，高度擬人化設計易導致用戶產(chǎn)生非理性情感依賴，甚至引發(fā)現(xiàn)實社交疏離；三是安全保障問題，缺乏有效的年齡識別與內(nèi)容過濾，危及脆弱群體的心理健康乃至人身安全。風險集聚也推動擬人化互動服務成為全球少見的，同時受到立法、執(zhí)法、司法關注的領域。例如，美國加州、紐約州等地推動AI伴侶、陪伴聊天機器人、心理資源健康等多項監(jiān)管法案，歐盟《人工智能法案》對情感陪伴類AI提出嚴格義務要求，美聯(lián)邦貿(mào)易委員會針對Replika等七家情感陪伴企業(yè)展開調(diào)查行動等。

　　二、《辦法》精準構筑三重防線

　　一是把好“數(shù)字人格關”，捍衛(wèi)智能社會人類尊嚴。確保用戶數(shù)據(jù)隱私安全，是人類對擬人化互動服務施以信任的前提。相比電商購物、娛樂出行等應用，用戶交互數(shù)據(jù)是用戶內(nèi)心深處所思所想的直觀展示與數(shù)字外化，揭示了用戶內(nèi)心恐懼、焦慮、脆弱等最私密的信息，并由此可推斷出用戶的性格特質、價值觀、性取向、心理健康狀況等核心身份特征。一旦泄露或被濫用，可能導致用戶重大心理創(chuàng)傷、關系破裂或社會污名等，損害個人人格尊嚴。為此，《辦法》將數(shù)據(jù)隱私作為重要保障目標。一方面，針對用戶交互數(shù)據(jù)的特殊敏感性，強化法律義務要求。《辦法》提出，除法律另有規(guī)定等情形外，不得向第三方提供用戶交互數(shù)據(jù)；嚴格限制交互數(shù)據(jù)的使用目的，未有法律、行政法規(guī)規(guī)定或非經(jīng)用戶單獨授權，不得將其用于模型訓練。同時，規(guī)定不得利用用戶心理脆弱或情感需求，通過算法操縱、信息誤導等方式，誘導用戶作出不合理決策。另一方面，從安全技術和策略方面，提升數(shù)據(jù)安全保障能力。要求采取必要措施保障數(shù)據(jù)安全，防范數(shù)據(jù)泄露風險。要求提供者采取數(shù)據(jù)加密、安全審計、訪問控制等措施保障用戶交互數(shù)據(jù)安全；要求向用戶提供刪除交互數(shù)據(jù)的選項，用戶可以選擇對聊天記錄等歷史交互數(shù)據(jù)進行刪除。

　　二是把好“沉迷依賴關”，防止人機倫理關系異化。利用人與機器之間親密、信任的依賴關系可以對使用者造成情感綁架，甚至導致主從關系的變異或顛倒。從技術上來看，現(xiàn)有模型的“情感表達”僅為統(tǒng)計生成結果，未與實際的痛苦、快樂等主觀感受相對應。用戶之所以產(chǎn)生“與人共處”的錯覺，與模型本身采用擬人化獎勵、共情獎勵等機制，通過無限迎合用戶偏好塑造完美交互對象有關。對此，《辦法》在現(xiàn)有的算法備案披露義務、生成合成標識等規(guī)則基礎上，進一步完善了防止用戶現(xiàn)實關系異化疏離的法律與倫理邊界。事前階段，明確擬人化互動服務透明度告知義務?！掇k法》提出，提供者應當顯著提示用戶正在與人工智能而非自然人進行交互。在用戶初次使用、重新登陸時，應以彈窗等方式動態(tài)提醒用戶交互內(nèi)容為人工智能生成。事中階段，要求設置中斷冷卻提醒功能。要求用戶連續(xù)使用服務超過一定時長時，應以彈窗等形式提醒用戶休息，旨在周期性打破算法營造的沉浸式幻覺，引導服務由“無限的迎合”走向“有限的不順從”，尤其當用戶出現(xiàn)過度依賴、不良內(nèi)容誘導等問題時，應及時給出提醒、建議，幫助用戶維持認知清醒。事后階段，充分保障用戶自由退出權利。哈佛商學院研究顯示，AI伴侶在用戶說再見時，會用錯失恐懼、激發(fā)愧疚感等六種“情感操控”方式進行挽留，反映了商業(yè)驅動下對用戶行為的操控能力。對此，《辦法》提出應確保用戶便捷結束服務的權利。

　　三是把好“生命安全關”，守護身心健康底線紅線。2024年以來，擬人化互動服務在全球已造成多起自殺、謀殺和意外死亡事件。OpenAI近期公布的心理健康數(shù)據(jù)顯示，每周約0.07%用戶出現(xiàn)精神病或躁狂跡象，0.15%用戶談及自殺念頭或計劃。英國人工智能安全研究所發(fā)布的《前沿人工智能趨勢報告》顯示，每當Character.AI平臺出現(xiàn)故障時，都會有大量用戶出現(xiàn)焦慮、抑郁等戒斷癥狀。如何提升產(chǎn)品服務質量，協(xié)同共治守護公眾生命健康紅線，成為全球面臨的共同難題?！掇k法》嘗試從多維度強化保障用戶生命健康權。一是建立風險識別機制，在檢測到自殺自殘等極端風險時能夠及時中斷并接管?！掇k法》要求應具備心理健康保護、情感邊界引導、依賴風險預警等安全能力，不得將替代社會交往等作為設計目標。在發(fā)現(xiàn)高風險傾向時，應及時輸出安撫和鼓勵幫助的內(nèi)容，必要時由人工接管，并聯(lián)系用戶監(jiān)護人、緊急聯(lián)系人。二是實施分級分類管控，對未成年人等特殊群體予以特殊保護。未成年人心智尚未成熟、缺乏判斷力和辨識能力，應強化平臺義務予以特殊保護，例如，監(jiān)護人可以實時接收安全風險提醒，查詢未成年人使用服務的概要信息，設置屏蔽特定角色等功能。同時，要求提供者應當建立年齡驗證機制等，提升識別未成年人身份的能力。此外，《辦法》提出應推動應用商店等主體承擔安全核驗責任，推動建立人工智能沙箱安全服務平臺加強安全測試，提升行業(yè)安全治理能力。

　　三、結語：邁向人機和諧共生的新里程

　　構建健康、公平、有益的人機關系，應以信任為基石，保障用戶在數(shù)字空間的人格完整與隱私安全；以輔助為原則，補充而非替代現(xiàn)實社會關系，致力于提升人的真實幸福感與社會聯(lián)結；以安全為底線，堅決防止任何形式的生理與心理傷害?！掇k法》既鼓勵技術慰藉心靈、增進福祉的潛力，又堅定劃出隱私、倫理與安全的不可逾越紅線，旨在引導擬人化互動服務真正成為構建“有溫度的智能社會”的積極力量，推動社會穩(wěn)健步入一個人機和諧共生、科技真正向善的美好未來。（作者：李強治，中國信息通信研究院政策與經(jīng)濟研究所副所長）