原創(chuàng) 顯微故事編輯部 顯微故事

明明是循規(guī)蹈矩的女學(xué)生，因照片被盜用，被“換臉”之后，成為小電影的主角。卻因?yàn)槟貌怀鰜碜C明“我不是我”的證據(jù)，背上莫須有的罵名。

這不是電視劇情節(jié)，而是韓國(guó)真實(shí)的、正在發(fā)生的Deepfake事件。

犯罪分子獲取女性照片后，通過AI技術(shù)Deepfake將其“換臉”，捏造并不存在的“事實(shí)”誣陷女性，陷入自證陷阱的女性們無法自證清白，只能呼吁大家關(guān)注濫用Ai帶來的危害。

很快，這件被稱為“N號(hào)房卷土重來”的事件，引發(fā)了全球關(guān)注。

畢竟隨著AI技術(shù)的發(fā)展，我們?nèi)魏稳硕伎赡艹蔀楸籇eepfake（深度偽造）的對(duì)象，成為那些我們沒拍過、沒錄過的音視頻的“主角”。

因此，如何確保我們的安全、防止AI技術(shù)的濫用，或者及時(shí)識(shí)別出Deepfake的詭計(jì)，變得迫在眉睫。

這也是外灘大會(huì)AI創(chuàng)新賽·全球Deepfake攻防挑戰(zhàn)賽上，來自全球26個(gè)國(guó)家及地區(qū)的2200名“最強(qiáng)大腦”想要的解決的難題。

本次Deepfake攻防賽由中國(guó)工程院院士王耀南擔(dān)任專家委員會(huì)名譽(yù)主席，螞蟻數(shù)科ZOLOZ和天璣實(shí)驗(yàn)室作為大賽出題方，賽題包含圖像和視頻兩大主流的Deepfake研究方向，是CV(即計(jì)算機(jī)視覺)領(lǐng)域權(quán)威賽事之一，吸引了全球超1500支隊(duì)伍參與。

賽事數(shù)據(jù)集由公開數(shù)據(jù)和偽造數(shù)據(jù)組成，其中，偽造圖片數(shù)據(jù)涵蓋了現(xiàn)實(shí)場(chǎng)景中超50種生成方式，偽造音視頻中則納入了超100種組合攻擊方式，組委會(huì)開放的訓(xùn)練數(shù)據(jù)集總量超過100萬。

經(jīng)過3個(gè)多月的激烈比拼，大賽圓滿結(jié)束，但關(guān)于AI與對(duì)抗的故事并沒有結(jié)束：

在9月6日Deepfake攻防賽表演賽上，由螞蟻數(shù)科和中國(guó)科技大學(xué)網(wǎng)絡(luò)空間安全學(xué)院聯(lián)合設(shè)計(jì)的高逼真Deepfake圖像亮相現(xiàn)場(chǎng)，對(duì)選手AI模型進(jìn)行終極考察。來自中科院的VisionRush團(tuán)隊(duì)獲得圖像賽道三等獎(jiǎng)。

這也意味著，該AI模型能高效、有效地識(shí)別利用生成式AI技術(shù)制作的造假視頻，為深受Deepfake困擾的受害者解決難題。

而早在9月2日，VisionRush團(tuán)隊(duì)響應(yīng)賽事組委會(huì)號(hào)召，公開了這個(gè)模型源代碼，旨在幫助那些深受Deepfake技術(shù)困擾的受害者。

某種程度上來說，本屆大賽已圓滿結(jié)束，但推動(dòng)“AI向善”的初心故事，還在繼續(xù)。

以下是關(guān)于他們的真實(shí)故事：

文 | 常寧寧

編輯 | 卓然

我要怎么證明“我”不是我？

一個(gè)看似毫無邏輯的問題，卻極有可能因?yàn)镈eepfake技術(shù)的濫用成為現(xiàn)實(shí)。

……

我們希望通過技術(shù)手段，為每一個(gè)可能受到傷害的人提供保護(hù)。

9月2日，“全球Deepfake攻防挑戰(zhàn)賽”參賽團(tuán)隊(duì)“VisionRush”決定在網(wǎng)上開源其參賽作品，援助Deepfake受害者后，團(tuán)隊(duì)成員之一的中科院95后助理工程師張欣怡在微博上寫下了如上這段文字。

張欣怡所在的VisionRush參賽隊(duì)，由7名來自中科院自動(dòng)化研究所的師生組成，平均年齡僅25歲。在本次比賽中，他們利用賽方提供的超150萬數(shù)據(jù)，訓(xùn)練出了根據(jù)視頻軌道來識(shí)別是否為生成式AI偽造視頻的AI模型。

圖 | 中國(guó)科學(xué)院自動(dòng)化研究所VisionRush參賽隊(duì)

這一模型，能有效地幫助Deepfake的受害者們證明“我不是我”這個(gè)難題。

“Deepfake”是由"deep learning"（深度學(xué)習(xí)）和"fake"（偽造）兩個(gè)單詞組合而成，是通過人工智能技術(shù)，將圖片或視頻中某人面部特征與其他人的與其他人的圖像或視頻進(jìn)行融合的技術(shù)，從而創(chuàng)造出以假亂真的虛假視頻或照片。

隨著生成式AI的技術(shù)發(fā)展，Deepfake的門檻越來降低，如今僅憑一張照片，便可以低成本炮制大量肉眼難辨真?zhèn)蔚膱D片和視頻，任何人都可以“造假”，也可能成為“被造假”潛在目標(biāo)。

因造假成本太低，受害者往往難以證明視頻中的“我不是我”。

例如，最近韓國(guó)卷土重來的“N號(hào)房”事件，有超過200所學(xué)校的女生被Deepfake換臉成為色情圖片女主角，在海量“有圖有真相”中，女生們陷入自證陷阱中。

但在技術(shù)人眼里，既然這些視頻是Deepfake的，只要是fake就有破綻，肉眼看不出來的，就要用“AI的辦法打敗AI”。

37歲的王博畢業(yè)于北大計(jì)算機(jī)專業(yè)，現(xiàn)在是中科院自動(dòng)化研究所副研究員。王博重點(diǎn)多媒體內(nèi)容安全，比如說文本、音視頻等內(nèi)容是否涉及違規(guī)有害內(nèi)容。期間，他見證了中國(guó)AI技術(shù)的發(fā)展，也見證了2020年前后，生成式AI加持下，Deepfake普遍普及后，在網(wǎng)絡(luò)世界掀起的大浪。

如不法分子通過換臉名人政要、偽造音視頻，惡意曲解政策，引發(fā)輿論不安、威脅國(guó)土安全；或者詐騙分子僅憑一張網(wǎng)絡(luò)上的自拍，就能通過視頻換臉，隨后實(shí)施電詐。

據(jù)不完全統(tǒng)計(jì)，僅在2022年，我國(guó)AI詐騙案件就達(dá)到了50萬件，涉及金額超過100億元。

VisionRush的趙鵬鵬就曾見過一個(gè)報(bào)案，犯罪分子通過Deepfake換臉成校長(zhǎng)，詐騙了一個(gè)班級(jí)群的家長(zhǎng)，群內(nèi)成員無一人幸免。

與此同時(shí)，由于大部分的Deepfake犯罪集中在網(wǎng)絡(luò)空間，受限于取證困難等客觀因素，大部分受害者維權(quán)困難，且即使能維權(quán)成功，時(shí)間周期也漫長(zhǎng)，期間造成的名譽(yù)損失、心理傷害更是無法估量。

“我們整個(gè)大團(tuán)隊(duì)，專注在安全領(lǐng)域20多年了。始終沒有換方向，其實(shí)情懷也就在里面了。我們還是想為凈化網(wǎng)絡(luò)空間，做一些努力。 ”王博說。

但對(duì)抗Deepfake極其背后的黑產(chǎn)，僅靠一個(gè)7人團(tuán)隊(duì)的力量并不夠，所以VisionRush也希望開源后，越來越多專業(yè)人士能參與進(jìn)來，利用這個(gè)模型去做一些更有意義的事情。

就如參賽隊(duì)員張欣怡在微博中所說，“我們希望通過技術(shù)手段，為每一個(gè)可能受到傷害的人提供保護(hù)。”

對(duì)抗Deepfake又稱“偽造對(duì)抗”，雖也是AI領(lǐng)域，但相較于“生成式AI”實(shí)在是太冷門了——商業(yè)潛力不如生成式AI、研發(fā)還需要投入資金。

包括這次比賽，也是VisionRush團(tuán)隊(duì)為數(shù)不多的專業(yè)“對(duì)口”比賽。在得知螞蟻集團(tuán)舉辦了全球范圍的安全大賽、可以和來自全球的同行交手后，團(tuán)隊(duì)立即成立了報(bào)名參賽，除了“切磋練兵”的心態(tài)外，也想去驗(yàn)證一下自己實(shí)力。

畢竟目前“偽造對(duì)抗”關(guān)注少，邊緣化，但并不意味著其面臨的壓力更小，甚至因?yàn)楦鞣矫嬉蛩?，“偽造?duì)抗”面臨的壓力更大。

首先在生成式AI的技術(shù)加持下，黑產(chǎn)的攻擊也越發(fā)猖狂。

姚偉斌就切身感受到了這種"猖獗"。姚偉斌系螞蟻數(shù)科的安全科技品牌ZOLOZ的技術(shù)負(fù)責(zé)人，ZOLOZ基于螞蟻集團(tuán)超過20年的安全基礎(chǔ)，為金融、政務(wù)、互聯(lián)網(wǎng)等海外客戶提供安全保障，而這些客戶也恰好是黑產(chǎn)想要利用Deepfake攻擊的對(duì)象。

“以攻擊濃度而言，去年我們的海外客戶面臨的攻擊濃度約1%，今年達(dá)到了10%”，這意味著以前100次服務(wù)中約有1次黑產(chǎn)攻擊，現(xiàn)在100次訪問中有10次攻擊，未來這個(gè)數(shù)據(jù)可能上漲到50%，甚至更高。

但在識(shí)別虛假的對(duì)抗技術(shù)卻同生成式AI技術(shù)之間存在巨大代際差。

最直觀的對(duì)比在數(shù)據(jù)模型投資上。AI模型的能力和投資成正相關(guān)，即投入的資源、數(shù)據(jù)、算力越多，AI模型越強(qiáng)大。

市面上一個(gè)生成式AI的模型投資可能達(dá)到千萬級(jí)，但偽造對(duì)抗一個(gè)模型可能就幾十萬預(yù)算，巨大投資差異意味著二者之間力量“懸殊”，若黑產(chǎn)分子以生成式AI為武器發(fā)動(dòng)攻擊時(shí)，維護(hù)網(wǎng)絡(luò)安全的“偽造對(duì)抗”或許面臨“軍火不足”的困境。

王博說，“現(xiàn)在互聯(lián)網(wǎng)中的偽造數(shù)據(jù)爆發(fā)式增長(zhǎng)，很難對(duì)全網(wǎng)數(shù)據(jù)進(jìn)行審查，偽造和鑒偽的資源投入不平衡也是一大挑戰(zhàn)?！?/p>

某種程度上來說，做“偽造對(duì)抗”像是一場(chǎng)“逆行”，但這場(chǎng)“逆行”沒有回頭路。

畢竟AI作為未來趨勢(shì)，也是綜合國(guó)力的一環(huán)，如果沒有相應(yīng)的安全能力去制衡，AI的發(fā)展可能會(huì)誤入歧途。

“所以和Deepfake的這場(chǎng)戰(zhàn)爭(zhēng)必須打，而且必須贏”，姚偉斌說。

AI沒有感情，或許會(huì)淪為作惡的工具，但AI終究是“術(shù)”層面的東西，還需要“道”的層面來維護(hù)。

“做科研這份工作，需要有足夠耐心和持之以恒的努力，還要能抵擋抵擋足夠多的誘惑?！巴醪┨寡?，掙錢可以體現(xiàn)一個(gè)人的價(jià)值，但是解決一個(gè)科學(xué)問題，解決國(guó)家一項(xiàng)重大需求，是更有價(jià)值更有意義的事情，這不是金錢能衡量的?！?/p>

“有人做生成，就要有人去做對(duì)抗?！八麄兿嘈牛@個(gè)世界總是會(huì)有人愿意共同“逆行”打贏這場(chǎng)戰(zhàn)爭(zhēng)的。畢竟相比于技術(shù)層面的東西，那些不變的普世價(jià)值觀，才更能推送社會(huì)長(zhǎng)足進(jìn)步。

AI行業(yè)面臨的安全挑戰(zhàn)刻不容緩。

過去，由于AI門檻高，使用場(chǎng)景相對(duì)有限，對(duì)其潛在危害的討論大多局限于學(xué)術(shù)界。然而，隨著生成式AI技術(shù)的發(fā)展，Deepfake等應(yīng)用變得日益普遍，相關(guān)的安全問題也隨之“破圈”，才引起了公眾的廣泛關(guān)注。

在這樣的背景下，“偽造對(duì)抗”領(lǐng)域不僅小眾、鮮為人知，整個(gè)行業(yè)也因起步較晚，極度缺乏實(shí)戰(zhàn)型人才。

目前大部分關(guān)注“識(shí)別虛假的對(duì)抗技術(shù)”的人，如這次外灘大會(huì)的這次全球Deepfake攻防挑戰(zhàn)賽選手中，大多是出于一種信念在堅(jiān)持。

例如，本次參賽的曾兆陽，他是一位擁有12個(gè)大賽冠軍頭銜的天才程序員，曾在大型科技公司工作，并參與過綜藝節(jié)目《燃燒吧！天才程序員》的錄制，在算法領(lǐng)域頗具名氣。

目前，他是粵港澳數(shù)字經(jīng)濟(jì)研究院的研究員，專注于機(jī)器視覺研究，即賦予機(jī)器“眼睛”，使其能夠通過圖像進(jìn)行判斷和理解，這是AI領(lǐng)域的一個(gè)重要分支。

近年來，隨著人工智能相關(guān)的詐騙案件增多，曾兆陽開始關(guān)注到在AI技術(shù)的正反兩面博弈的問題，于是在發(fā)現(xiàn)這次比賽之后，他抽空參與了本次比賽，并交上了自己的答卷。

香港城市大學(xué)的博士后吳海威，則早在2019年讀研二時(shí)，就參與過Facebook舉辦的Deepfake檢測(cè)大賽，之后的3年時(shí)間里，無論科研壓力多大，他多次參與相關(guān)比賽，希望通過競(jìng)賽去提升自己，為網(wǎng)絡(luò)安全貢獻(xiàn)一份力氣。

在VisionRush開源之后，吳海威、陳逸鳴所在的澳門大學(xué)JTGroup戰(zhàn)隊(duì)也相繼開源自己的參賽模型，他們也是這次大賽圖像賽道一等獎(jiǎng)隊(duì)伍。

但是，要想在“偽造對(duì)抗”中取得勝利，僅憑一群人的信念是不夠的。

在AI技術(shù)發(fā)展的浪潮中，每個(gè)人的命運(yùn)都與AI緊密相連。我們無法預(yù)知科技的利刃何時(shí)會(huì)傷人，也無法估量其后果。因此，我們需要在利刃尚在手中時(shí)，就采取預(yù)防措施。

正是基于“推動(dòng)AI向善”的初心，螞蟻集團(tuán)主辦、螞蟻數(shù)科承辦了本次外灘大會(huì)AI創(chuàng)新賽·全球Deepfake攻防挑戰(zhàn)賽。比賽的目的是喚起社會(huì)對(duì)AI安全的關(guān)注，吸引更多的投入，并培養(yǎng)實(shí)戰(zhàn)型人才，使識(shí)別虛假內(nèi)容的對(duì)抗技術(shù)能夠跟上生成式AI的步伐，將AI技術(shù)納入道德的框架內(nèi)。

推動(dòng)AI健康發(fā)展，不是少數(shù)人的任務(wù)。

在AI廣泛應(yīng)用于各個(gè)領(lǐng)域的情況下，社會(huì)需要更豐富、更多元化的實(shí)戰(zhàn)型人才梯隊(duì)。比賽中，我們可以看到選手背景的多元化。

除了來自26個(gè)國(guó)家的超過1500支隊(duì)伍同臺(tái)競(jìng)技外，還有許多來自字節(jié)跳動(dòng)、小紅書等一流互聯(lián)網(wǎng)公司的AI研究者參與。

唐永威雖然不是計(jì)算機(jī)科班出身，但他在2022年參加ATEC大賽時(shí)自學(xué)了AI技術(shù)。作為一名數(shù)據(jù)分析師，他對(duì)數(shù)據(jù)有著天然的敏感度。

在建模時(shí)，他一改行業(yè)內(nèi)人看到數(shù)據(jù)建模后測(cè)試修改的工作方式，而是基于對(duì)數(shù)據(jù)的分析和業(yè)務(wù)理解，建立若干不同模型，進(jìn)行算法攻防測(cè)試。

通過這種“更下沉”的操作，唐永威的AI檢測(cè)模型在本次比賽中表現(xiàn)出色，獲得了視頻賽道的一等獎(jiǎng)。

這也再次證明，推動(dòng)AI向善，不能僅依賴于少數(shù)人的努力，而是需要凝結(jié)大眾的力量。

畢竟，善良作為一種美德，既是社會(huì)的底色，也是社會(huì)的共識(shí)，沒有人能置身事外。

（應(yīng)采訪者要求，文中均采用化名）