太平洋科技要聞

首頁 > 科技要聞 > 科技> 正文

AGI奇點沒來，AI“謠言奇點”先到了

騰訊科技整合編輯：太平洋科技發(fā)布于：2025-01-14 15:35

1月7日9時05分，西藏日喀則市定日縣發(fā)生6.8級地震。

一張戴帽子的小孩被重壓在倒塌的建筑物下的圖片，在某平臺上瘋傳開來。

至少有10個以上的賬號發(fā)布這張圖片，并和西藏日喀則地震進行關(guān)聯(lián)，有些甚至獲得上萬的轉(zhuǎn)評贊。

騰訊新聞較真平臺查證了相關(guān)圖片，證實這組牽動了如此多網(wǎng)友的心的照片，其實是由AI生成。

在這樣重大的災(zāi)難面前，AI造成的誤解，也暗含了正在快速增長的隱憂。

2023年3月，一張由Midjourney生成的教皇方濟各身著巴黎世家羽絨服的照片在社交媒體獲得超百萬點擊，許多人誤以為是真實照片。

圖：AI生成的教皇身著白色羽絨服的圖片

2023年4月，社交媒體上出現(xiàn)了AI生成的中國四川山火照片，由于畫面極其逼真，一度引發(fā)公眾恐慌，直到官方媒體出面澄清。

2023年8月，在美國夏威夷毛伊島發(fā)生嚴(yán)重山火期間，社交媒體上又出現(xiàn)了AI生成的紐約市被洪水淹沒的照片，這些虛假場景再次引發(fā)了人們對氣候災(zāi)難的恐慌。

2023年12月，甘肅積石山地震期間，大量AI生成的地震現(xiàn)場照片混雜在真實災(zāi)情照片中傳播，嚴(yán)重干擾了災(zāi)情信息的準(zhǔn)確傳遞。

這是AI生成的內(nèi)容對人類社會影響的一個切面，是可能影響最嚴(yán)重的部分。在災(zāi)害、戰(zhàn)爭等場景中制造半真半假的信息。

和之前的情況不同，過去我們個人有防范的手段。但隨著技術(shù)的進步，AI生成的擬真已經(jīng)越來越接近奇點，難辯真?zhèn)瘟恕?/span>

真假難辨的AI

以上這幾張圖片，你能分出來哪張是由AI生成的嗎？

答案是全部都是。

這就是2024年AI文生圖模型的能力。這些AI生成的人像已泛濫在賽博空間，你在刷小紅書時也許就可以碰到，但你不一定能認得出來。

在上述地震中的小朋友圖片中，我們還可以從手部六個指頭看出AI的端倪。但這是因為圖片制作者并未采用最先進的大模型技術(shù)。

早在2023年3月，圖像生成領(lǐng)域的領(lǐng)頭羊Midjourney在其v5版本中就已經(jīng)解決了手指數(shù)量的問題。他們通過海量手指標(biāo)注數(shù)據(jù)，成功對模型進行了微調(diào)，讓模型能夠至少知道手指的樣貌。

但到此時，AI生成的手指還有一些瑕疵，比如它的肌肉紋理并不自然。

圖注：V5生成的手，有時候用力過猛

到了2024年7月，最新版的Midjouney V6.1已基本解決手指問題了，甚至將手部細節(jié)做到相當(dāng)完美逼真了。

雖然AI生圖的真實度一直在加強，但它也不是完全完美的。只是普通人想識別出它的異樣，還是有點難。

比如在2024年6月，美國西北大學(xué)專門出了一份54頁的手冊，幫你辨別AI生成內(nèi)容。

在手冊中，他們提到了五種核心辨別AI造假的方法。首先是解剖學(xué)上的不合理，比如手部的不自然、骨骼驚奇、牙齒奇怪。

第二是風(fēng)格化，如果畫面看起來太干凈、或者過分有電影感，這都可能是AI造假的。

第三是功能上的不合理，AI對很多功能性產(chǎn)品的理解有限，因此會常常表現(xiàn)很模糊，或者不對勁。比如把鏡子放在床后面，正常人都不會干這事兒。而且目前能夠正確顯示漢字的AI生成模型還寥寥無幾。

第四是違反物理規(guī)則，比如反光和影子不正常，鏡中倒影也不對勁。

第五是文化或常識上不合理，比如川普加入黑人女性排隊（川普是個白人種族主義者，不可能加入女黑人的派對），或者穿著泳衣去葬禮。

然而，整本手冊一直在提醒我們注意，這些錯誤在多次生成、或者降低Prompt復(fù)雜度的情況下是可被避免的。

那些有意產(chǎn)生看起來足夠逼真AI畫面的人，還是可以通過反復(fù)生成，調(diào)整提示詞來揚長避短，“欺騙”你的眼睛。

而且部分細節(jié)上的“不對勁”，如果不是仔細看，人類是無法分辨的。

對于這一點，美國甚至政府部門都上陣做了考察。

早在今年三月，美國政府戰(zhàn)略研究中心網(wǎng)絡(luò)安全計劃就做了一項研究。他們發(fā)現(xiàn)，人們識別AI生成內(nèi)容（包括圖像、視頻和聲音）的綜合準(zhǔn)確率僅有51.2%，接近隨機擲骰子的水平。

在所有類型的AI生成內(nèi)容中，圖像是最不容易識別的，準(zhǔn)確率僅有49.4%，比瞎猜都差。

而其中人臉圖像更難識別，正確率僅有46.6%。而且這還是上一代圖像和視頻生成模型下的結(jié)果�？纯聪旅孢@些具體的圖像，和當(dāng)前的AI生成技術(shù)水平還是有點距離。

圖注：具體圖像的識別準(zhǔn)確率

可以說，圖片造假早已經(jīng)超越了人類的識別線。而且不管你是不是專業(yè)人士，你都看不出來。在論文中，熟悉AI的人和完全不熟悉的人，準(zhǔn)確率只差了0.8%。

而且如今，隨著Sora、可靈等AI生成視頻模型的更新，視頻這個賽道也早就變得更加真實了。

比如在本周，Heygen（目前全球最知名的AI 視頻虛擬數(shù)字人生成平臺）和Sora合作的數(shù)字人計劃，已經(jīng)完全自然到普通人難分真假的水平了。

對于個人而言，現(xiàn)在還剩下的唯一一條路徑就是用機器對抗機器。當(dāng)你覺得不對勁時，可以用AI探查網(wǎng)站去驗證圖片或視頻的真?zhèn)�，這些工具利用了計算機視覺技術(shù)分析像素模式，判斷圖像由 AI 生成的可能性。

比如AI or not，它是一款提供簡單“是”或“否”答案的工具，我們嘗試了 10 張圖片，獲得了 80%的成功率，雖不完美但尚可。

三道防御AI的防線

當(dāng)AI發(fā)展到普通人類的肉眼無法識別的時候，人類還有什么防御手段？從目前來看還有三道墻。

第一道，各大科技公司讓“AI的生成品”走出家門的時候，大部分還是會對AI打上一定的電子標(biāo)簽的，讓它們有一個可以被識別的電子身份證。

在這里，首先要提到C2PA，它是由Adobe、Arm、英特爾、微軟和BBC等科技與媒體巨頭早在2021年2月共同發(fā)起的開放技術(shù)聯(lián)盟，為了建立統(tǒng)一的內(nèi)容認證標(biāo)準(zhǔn)，通過開發(fā)開源技術(shù)規(guī)范來解決數(shù)字內(nèi)容的可信度問題。

到了今天，AI生成內(nèi)容爆發(fā)式增長，這個標(biāo)準(zhǔn)也在持續(xù)被科技公司采用。

比如，OpenAI采用了雙重保護機制：在圖像處理中采用C2PA標(biāo)準(zhǔn)水印，并在元數(shù)據(jù)中嵌入生成信息，這種數(shù)字水印無法篡改，可以記錄創(chuàng)作時間、使用模型等信息；另外在圖像右下角添加標(biāo)識，相當(dāng)于一個電子簽名。

這種方案雖然完整，但在圖片經(jīng)過多次轉(zhuǎn)發(fā)或格式轉(zhuǎn)換時，隱藏的元數(shù)據(jù)可能會丟失。

Google開發(fā)的SynthID水印技術(shù)相對解決了這個問題，這種水印對人眼完全不可見，卻能在圖片經(jīng)過裁剪、壓縮、濾鏡處理甚至打印再掃描等多重操作后依然存在。驗證時需要使用專門的檢測工具，通過復(fù)雜的算法分析來確認水印的存在。

這種技術(shù)雖然具有極強的防篡改性，但檢測過程相對復(fù)雜，很難實現(xiàn)即時驗證。

作為圖像處理軟件的行業(yè)的龍頭企業(yè)之一，Adobe推出了系統(tǒng)化的Content Credentials方案。就像給每張圖片配備了一個可靠的"電子檔案"，符合國際C2PA標(biāo)準(zhǔn)，還提供了面向大眾的Verify驗證平臺。用戶只需打開網(wǎng)頁就能輕松查證圖片來源，特別是在使用Photoshop等軟件時，這個"電子檔案"會自動生成，完全可以融入創(chuàng)作流程。

但是，還是有一些科技公司，在這道防線上不太負責(zé)任。

比如，在這波生成式AI創(chuàng)作的浪潮中最引人關(guān)注的兩家圖片生成公司Midjourney和Stability AI——Midjourney沒有添加傳統(tǒng)水印，社交媒體上戲稱它的獨特的藝術(shù)風(fēng)格就是天然標(biāo)識；而Stability AI更是直接把權(quán)利交給用戶，可以根據(jù)需求決定是否添加水印，完全一副”人性本善，全靠自覺“的態(tài)度。

如果說，在這些AI內(nèi)容生成的時候，依然有漏洞可鉆，那么，人類還有第二道防線，就是在它們的傳播途徑中設(shè)關(guān)卡。

比如前面提到的科技巨頭Meta，雖然動作有點緩慢，但是已經(jīng)聲稱“正在為旗下社交平臺開發(fā)新的標(biāo)識系統(tǒng)，計劃將可見標(biāo)記和隱形水印結(jié)合起來�？紤]到社交平臺上圖片傳播頻繁的特點，他們特別注重標(biāo)識的持久性和跨平臺兼容性，就像給每張圖片配上了能隨時核驗的電子護照"。

另外，比如X平臺（原Twitter），開發(fā)了自動檢測的機制，可以識別AI生成的內(nèi)容，如果驗證了這是AI，就會在信息流中添加明顯標(biāo)識；還鼓勵創(chuàng)作者主動標(biāo)注自己使用AI輔助創(chuàng)作的內(nèi)容。

TikTok的應(yīng)對措施會更為嚴(yán)格，要求創(chuàng)作者必須披露使用AI生成的內(nèi)容，并建立專門的舉報通道，處理未標(biāo)注的AI內(nèi)容。

但是，平臺是否應(yīng)當(dāng)承擔(dān)管理責(zé)任，以及是否有能力承擔(dān)管理責(zé)任，目前都是未知的。

在傳播途徑之外，人類還在努力建立第三道最強大的法律防線。

歐洲速度是相對較快的，2023年底，歐盟通過了具有里程碑意義的《AI法案》（AI Act），這被公認為全球首個全面的AI綜合監(jiān)管框架。

它的核心要求之一是所有AI生成的內(nèi)容都必須清晰標(biāo)識其人工智能屬性，確保用戶能夠輕易識別內(nèi)容的來源。為了確保法案的執(zhí)行力度，歐盟還設(shè)置了嚴(yán)厲的處罰措施，違規(guī)企業(yè)最高可能面臨全球營收7%的巨額罰款。

我們國家在去年9月就已經(jīng)發(fā)布了《網(wǎng)絡(luò)安全技術(shù)人工智能生成合成內(nèi)容標(biāo)識辦法》強制性國家標(biāo)準(zhǔn)（征求意見稿）。

但是，由于生成式AI這兩年的爆發(fā)式發(fā)展，法律制定的進程遠慢于技術(shù)發(fā)展；而且各個國家的態(tài)度有所不同，都試圖在監(jiān)管和創(chuàng)新發(fā)展中找一個好的平衡點，再加上AI領(lǐng)域的競爭與合作關(guān)系復(fù)雜，想建立一個全球統(tǒng)一的治理框架和標(biāo)準(zhǔn)難上加難。

綜合來看，雖然人類存在三道防線，但是這三道防線都有自己很明顯的薄弱環(huán)節(jié)。所以才讓各種AI Deepfake內(nèi)容這樣容易地入侵人類社會。

結(jié)語

在經(jīng)歷了漫長的技術(shù)進化后，AI終于撕開了人類感知能力的薄紗。這個發(fā)現(xiàn)令人不安 —— 它意味著我們正站在信息真實性的分水嶺上。

AI謠言的"奇點"不是未來時，而是現(xiàn)在時。

然而，面對這場數(shù)字巨變，我們的社會防御體系仍顯稚嫩。當(dāng)下，我們正經(jīng)歷著類似的適應(yīng)期：技術(shù)以指數(shù)級速度推進，而信任體系的重建卻需要線性時間。這種不對稱必然會導(dǎo)致一段信息生態(tài)的混沌期，就像任何重大社會變革一樣，混亂在所難免。

在這個后真相時代，每個人都成了信息真實性的守門人。檢查信源這件事應(yīng)該成為一種日常習(xí)慣。這不僅是個人的責(zé)任，更是集體信任網(wǎng)絡(luò)中的一環(huán)。

畢竟，在信息洪流中主動守護真相，不正是人類區(qū)別于機器的本質(zhì)特征之一嗎?

本文來源：騰訊科技

AI生成圖像識別防御手段

騰訊科技

原創(chuàng)欄目