國際合作必不可少，普通用戶也有貢獻，治理AI“投毒”需結合多方力量

國家安全部微信公眾號21日發(fā)文曝光人工智能（AI）“投毒”隱蔽產業(yè)鏈，這種通過惡意數據污染AI模型的行為，不僅擾亂商業(yè)秩序、影響信息傳播，更會危害國家安全。AI在賦能千行百業(yè)的同時，其安全風險也不容忽視。多名網絡安全專家21日對《環(huán)球時報》表示，AI模型“投毒”危害性極大，甚至威脅國家安全。對此，應壓實平臺責任，建立數據白名單，并加強跨境治理與全民舉報機制。

什么是AI“投毒”

所謂“數據投毒”是通過向AI大模型訓練數據中注入偽裝成正常樣本的惡意數據，實現(xiàn)削弱模型性能、降低準確性的攻擊方法，常被用于惡性市場競爭，甚至可能涉及間諜活動，日益呈現(xiàn)出鏈條化、隱蔽化、跨境化特征。

安天科技集團董事長、首席架構師肖新光21日接受《環(huán)球時報》記者采訪時對此解釋稱，“大模型平臺輸出的結果是一種‘概率’。大眾看到的輸出內容通常來自兩部分的融合：一部分是用海量文檔、圖片等數據進行訓練實現(xiàn)模型推理生成，這部分需要海量高質的數據資源及很長的訓練時間；一部分來自對互聯(lián)網內容的檢索增強。前者擅于處理邏輯、創(chuàng)新問題，后者善于處理時效性問題。”

據介紹，在大模型平臺輸出的過程中，如果訓練數據或者被檢索到的互聯(lián)網內容帶有虛假、有害數據，就會影響到大模型的輸出概率。若有人故意在這些環(huán)節(jié)投放有害數據，就會影響到大模型的生成結果，最終呈現(xiàn)的可能就是錯誤的信息結果。

肖新光舉例說明，比如一個劣質食品廠商將自身產品包裝為綠色健康食品，并構造幾個對比評測、形成相關報告，通過發(fā)布、有償投稿甚至黑客攻擊等手段，讓內容出現(xiàn)在大模型增強搜索機制獲取的數據源內，用戶在尋找減肥養(yǎng)生方案時，就可能被推薦該產品。

“毒信息”是如何塞進AI大腦的

接受《環(huán)球時報》記者采訪的網絡安全專家表示，大模型工作是訓練、微調、應用三個過程持續(xù)迭代。因此，最常見的“投毒”也發(fā)生在這三個過程中。

據介紹，訓練期投毒是讓有害的數據信息污染訓練過程，訓練數據集如果有事實錯誤、主觀臆測等，會對大模型內容輸出的準確性帶來干擾。微調期投毒是通過僵尸網絡或水軍，基于對抗式提問導致AI生成錯誤答案，然后再贊錯誤答案、踩正確答案，導致錯誤的反饋。應用期投毒主要利用了增強檢索，也就是一個強化的搜索引擎，在此過程中攻擊者構造假的權威信息并進行搜索排名優(yōu)化、在平臺常用信息源提交虛假有害信息文獻、入侵相關網站放置篡改內容等，就能讓相關信息進入到增強檢索過程中。

肖新光表示，近期頻繁出現(xiàn)AI技能商店、工具環(huán)境相關供應鏈投毒事件，這些事件中投的“毒”不只是有害內容，還有可以執(zhí)行的惡意代碼，其威脅直達用戶端的AI代理，包括用戶的系統(tǒng)安全。

模型投毒存在隱蔽性

國家安全部公號文章提到，“模型投毒”可通過微調、插件植入等方式植入“后門”，觸發(fā)關鍵詞才激活。

奇安信人工智能公司安全專家劉巖對《環(huán)球時報》記者表示，以微調植入后門和插件投毒為代表的新型模型投毒攻擊，已經遠遠超出了傳統(tǒng)基于簽名和邊界防護的網絡安全檢測范疇。傳統(tǒng)網絡安全手段——防火墻、入侵檢測、漏洞掃描、病毒查殺——主要聚焦網絡異常流量、系統(tǒng)漏洞、惡意代碼等顯性威脅，面對模型投毒均存在顯著盲區(qū)。

劉巖表示，這類攻擊的隱蔽性，首先體現(xiàn)在“靜態(tài)無害，動態(tài)觸發(fā)”。攻擊者通過微調在模型權重中嵌入“觸發(fā)器”，在日常使用中模型表現(xiàn)完全正常，任何靜態(tài)掃描或常規(guī)功能測試都無法發(fā)現(xiàn)異常。只有當用戶輸入特定關鍵詞，例如特定產品型號、人名或政治敏感詞時，后門才會被激活，輸出預設的錯誤或惡意內容。這種“平時隱身、精確制導”的特性，讓傳統(tǒng)入侵檢測系統(tǒng)和防病毒軟件形同虛設。

其次，極低的攻擊成本也加劇了防御壓力。Anthropic等公司的研究證明，攻擊者僅需在訓練數據中混入250份惡意文檔，就能在參數量高達1300億的大模型中成功植入后門。劉巖表示，“這意味著攻擊者不需要攻破任何系統(tǒng)，不需要高超的黑客技術，只需要在互聯(lián)網上發(fā)布250篇看似正常的文章，就有可能操縱數十億參數AI模型的行為——這種攻擊范式，前所未有�！�

面對這些隱蔽威脅，業(yè)界正從多個前沿技術方向構建防御體系。劉巖形容說，“不僅要用傳統(tǒng)手段守住門窗，還要確保AI從出生起就是干凈的�！�

據介紹，構建這樣的防御體系，第一步是可信AI與模型審計。在模型發(fā)布前，通過形式化驗證、對抗性測試和紅隊演練對模型進行嚴格的安全測評，把好出廠關。第二步是模型指紋與數字水印。在模型訓練或推理階段嵌入獨特的指紋，當模型被竊取、篡改或濫用時可以進行追蹤溯源。

此外，也有網絡安全廠家建議用AI對抗AI，也就是以AI原生安全的思路應對AI威脅。

普通用戶也為大模型發(fā)展作出貢獻

“技術本身并無善惡之分，關鍵在于使用者是否堅守法律底線、恪守商業(yè)倫理�！眹�家安全部公號文章表示，近年來，我國出臺《生成式人工智能服務管理暫行辦法》等法律法規(guī)，發(fā)布《人工智能安全治理框架》《推動人工智能安全可靠可控發(fā)展行業(yè)倡議》等，在加強監(jiān)管、防范風險等方面作出了諸多努力。

肖新光認為，AI投毒治理應對，是國家安全和社會治理工作的一部分，“這不是一個簡單的技術安全問題，也不能幻想單純依靠技術手段就能解決問題，而是國家安全斗爭和綜合社會治理的系統(tǒng)工程�；ヂ�(lián)網大廠、大模型平臺廠商享受了時代發(fā)展紅利，更需立場和擔當”。

對于在關鍵行業(yè)推動AI訓練數據的白名單機制，劉巖表示，“在政務、金融、能源、醫(yī)療等關乎國計民生的關鍵信息基礎設施領域，貿然使用未經驗證的互聯(lián)網公開數據進行訓練，存在極大風險。必須建立國家級的高質量、高安全白名單數據集。這些數據必須經過人工審核、機器清洗和安全加固，確保水源的純凈。只有基于白名單數據訓練出的純凈模型，才能被允許在關鍵基礎設施中運行，以此確保國家核心數據的主權與安全�！�

此外，專家對普通用戶的建議是，大模型整體輸出質量、效率高于搜索引擎，因此無需過于恐慌。肖新光表示，“一方面積極擁抱大模型帶來的便利，另一方面不迷信大模型的結果，保持質疑精神，甚至在發(fā)現(xiàn)錯誤信息、有害信息時，點一下‘踩’，及時留存舉報。這些舉動都是普通用戶為大模型更好的發(fā)展、為國家安全和社會治理作出貢獻�！�

治理AI投毒需國際合作

國家安全部公號文章還提到，AI“投毒”黑灰產已呈現(xiàn)“跨境化、鏈條化”特征。這種跨國協(xié)作的攻擊模式，對全球AI治理框架構成了前所未有的挑戰(zhàn)。

劉巖認為，AI投毒黑灰產的跨境化、鏈條化特征，正在從根本上動搖以主權國家為邊界的全球AI治理框架�！巴抖井a業(yè)鏈的策劃者可能在A國，利用B國的服務器和開源平臺，針對C國的大模型用戶發(fā)動攻擊——就像網絡世界的飛地犯罪，任何一個國家的法律都無法完整覆蓋全鏈條。這不僅帶來了執(zhí)法管轄權沖突的難題，更讓境外勢力能夠低成本地實施意識形態(tài)滲透和數據主權破壞。OpenClaw這樣的開源AI基礎設施是全球共享的，任何一個環(huán)節(jié)失守，風險都會迅速傳導至全球�！�

與此同時，AI攻擊的隱蔽性使得溯源極其困難，攻擊者可通過匿名網絡、跳板機、加密通信等方式隱藏行蹤，而AI模型的黑箱特性也增加了取證的難度。

面對這些挑戰(zhàn)，沒有哪個國家能獨善其身，國際社會需要展開合作。就像全球反恐需要情報共享一樣，防范AI投毒也需要全球協(xié)作。目前中國提出的《全球人工智能治理倡議》已在國際社會獲得廣泛響應，國內AI安全標準也在加速制定——中國方案正在為全球AI安全治理貢獻務實力量。