飛象網(wǎng)訊（易歡）“我經(jīng)常刷到非常知名的院士專家推薦某美白產(chǎn)品，自己也有這方面的困擾，因為是權(quán)威專家本人親推的就抱著試試的心態(tài)買了！”“看到自己非常喜歡的名人說用某某保健品親測有效，總?cè)滩蛔∠胍聠巍！痹谌斯ぶ悄芸焖贊B透的當(dāng)下，短視頻平臺利用AI技術(shù)把名人明星換臉擬聲植入廣告，帶來受益的情景已然泛濫。這種通過科技在自媒體領(lǐng)域制造的營銷亂象真假難辨，不僅存在嚴(yán)重的侵權(quán)行為，也嚴(yán)重?fù)p害了消費者的合法權(quán)益。
相關(guān)數(shù)據(jù)顯示，僅 2024 年通過 AI 換臉實施的詐騙案件涉案金額就達(dá) 17.3 億元，而如今，在科技的加持下，消費者面臨著AI換臉＋換聲的雙重威脅，高度真實感讓消費者們很難辨別信息真?zhèn)�。�?dāng)科技為人類生活提供極大便利的同時，如何合法合規(guī)的使用AI帶來正向價值，避免技術(shù)黑箱成為新型犯罪的溫床，保障用戶權(quán)益成為社會發(fā)展必須要考慮的關(guān)鍵問題。
“AI換臉擬聲”亂象頻出
毫無疑問，人工智能的快速發(fā)展，推動了AI換臉擬聲在影視、廣告、社交等領(lǐng)域的廣泛興起，成為極具傳播力、易成熱點的技術(shù)應(yīng)用。但同時也看到，AI換臉擬聲的不當(dāng)濫用成了違法侵權(quán)行為的重災(zāi)區(qū)，易引發(fā)侵犯肖像權(quán)、侵犯公民個人信息以及詐騙等犯罪行為，甚至造成難以挽回的大規(guī)模形象和聲譽損害，損害消費者權(quán)益的同時帶來社會治理等風(fēng)險。
在今年兩會期間，“AI換臉”“AI擬聲”也成為熱議話題。其中，不少兩會代表們也深受其害，比如，全國人大代表、小米集團(tuán)CEO雷軍在去年國慶期間，被人用AI捏造聲音亂說一氣，并以“雷軍語音包”的形式在網(wǎng)上流傳；全國政協(xié)委員、上海華山醫(yī)院醫(yī)生張文宏被AI換臉“帶貨”等，在所謂“操盤手”的套路之下，應(yīng)用AI技術(shù)擴(kuò)散的虛假宣傳正在成為收割消費者的一種利器。
值得注意的是，目前，對于AI換臉的“反偵察”技術(shù)檢測尚無法做到百分百準(zhǔn)確，但AI深度合成技術(shù)所需素材卻具備獲取便利、技術(shù)使用門檻低的特性，面對AI換臉擬聲亂象，現(xiàn)有的法律法規(guī)尚不能完全滿足治理需求，亟須通過立法手段厘清邊界。
在兩會期間，小米集團(tuán)CEO雷軍針對“AI換臉擬聲”等某一代表性問題，建議探索推出人工智能單行法，提高立法位階及其效力，分級分類的基礎(chǔ)上進(jìn)行務(wù)實治理，明確“AI換臉擬聲”應(yīng)用邊界紅線，完善侵權(quán)證據(jù)規(guī)則，加大對利用人工智能技術(shù)實施犯罪行為的刑事處罰力度。
雷軍還建議強(qiáng)化行業(yè)自律共治，壓實平臺等各方的責(zé)任。支持平臺企業(yè)開發(fā)可精準(zhǔn)識別人工智能深度合成內(nèi)容的技術(shù)能力，優(yōu)化升級通信軟件和內(nèi)容平臺巡查審核機(jī)制、投訴舉報機(jī)制、應(yīng)急處理機(jī)制，確保及時阻斷問題內(nèi)容傳播。
不僅如此，他還強(qiáng)調(diào)要加強(qiáng)人工智能方面的法制宣傳教育，增強(qiáng)民眾的警惕性和鑒別力，聚焦重點人群，在中小學(xué)人工智能教材中加入倫理規(guī)范內(nèi)容，深入老年人聚居的社區(qū)開展相關(guān)知識普及活動，在全社會夯實“以人為本、智能向善”的人工智能發(fā)展生態(tài)。
人工智能健康有序發(fā)展可期
實際上，早在2022年11月，國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部聯(lián)合發(fā)布了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》，為深度合成服務(wù)劃定了“底線”和“紅線”，維護(hù)網(wǎng)絡(luò)空間良好生態(tài)。不過在實際操作中，仍存在一些模糊地帶。例如，對于個人使用“AI換臉擬聲”技術(shù)的界限、平臺審核責(zé)任的具體劃分，以及侵權(quán)賠償標(biāo)準(zhǔn)的確定等方面，還需進(jìn)一步細(xì)化和明確。
為了更好的應(yīng)對在AI技術(shù)加持下的虛假信息泛濫、網(wǎng)絡(luò)信息治理等棘手問題，近日，國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部、國家廣播電視總局聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標(biāo)識辦法》（以下簡稱《標(biāo)識辦法》），自2025年9月1日起施行。
《標(biāo)識辦法》提出，服務(wù)提供者應(yīng)當(dāng)按照《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》第十六條的規(guī)定，在生成合成內(nèi)容的文件元數(shù)據(jù)中添加隱式標(biāo)識，隱式標(biāo)識包含生成合成內(nèi)容屬性信息、服務(wù)提供者名稱或者編碼、內(nèi)容編號等制作要素信息。鼓勵服務(wù)提供者在生成合成內(nèi)容中添加數(shù)字水印等形式的隱式標(biāo)識。
《標(biāo)識辦法》要求，互聯(lián)網(wǎng)應(yīng)用程序分發(fā)平臺在應(yīng)用程序上架或者上線審核時，應(yīng)當(dāng)要求互聯(lián)網(wǎng)應(yīng)用程序服務(wù)提供者說明是否提供人工智能生成合成服務(wù)�；ヂ�(lián)網(wǎng)應(yīng)用程序服務(wù)提供者提供人工智能生成合成服務(wù)的，互聯(lián)網(wǎng)應(yīng)用程序分發(fā)平臺應(yīng)當(dāng)核驗其生成合成內(nèi)容標(biāo)識相關(guān)材料。
國家互聯(lián)網(wǎng)信息辦公室有關(guān)負(fù)責(zé)人表示，《標(biāo)識辦法》聚焦人工智能“生成合成內(nèi)容標(biāo)識”關(guān)鍵點，通過標(biāo)識提醒用戶辨別虛假信息，明確相關(guān)服務(wù)主體的標(biāo)識責(zé)任義務(wù)，規(guī)范內(nèi)容制作、傳播各環(huán)節(jié)標(biāo)識行為，以合理成本提高安全性，促進(jìn)人工智能在文本對話、內(nèi)容制作、輔助設(shè)計等各應(yīng)用場景加快落地，同時減輕人工智能生成合成技術(shù)濫用危害，防范利用人工智能技術(shù)制作傳播虛假信息等風(fēng)險行為，推動人工智能健康有序發(fā)展。
在AI技術(shù)一路狂飆之下，換臉擬聲正在不斷模糊真實與虛構(gòu)的邊界，作為企業(yè)而言必須真正把科技向善的基因融入到算法中，才能更好的守護(hù)用戶的消費安全。與此同時，國家層面、相關(guān)企業(yè)、網(wǎng)絡(luò)平臺等也需要形成合力，促使AI換臉擬聲技術(shù)在合法、合規(guī)的軌道上健康發(fā)展。
