首頁 > 關于我們 > 安恒動態 > 2024 > 正文

西湖論劍演講實錄 | 吳世忠院士：迎接人工智能的安全挑戰

閱讀量：次 文章來源：安恒信息

編者按?●●

2024年5月18日，以“智繪安全乘數而上”為主題的2024年第十二屆西湖論劍·數字安全大會在杭州國際博覽中心成功舉行。中國工程院院士吳世忠在《迎接人工智能的安全挑戰》的主題演講中提出，在人工智能時代，安全問題呈現出前所未有的復雜性。它不僅涵蓋傳統的Security，即信息安全，還包含Safety，即系統運行的穩定性和可靠性，以及倫理安全，即技術應用必須符合道德倫理標準。這三者交織融合，形成了全新的安全圖景。這是與傳統安全問題的根本區別，對個人隱私保護、社會穩定、國家發展和國際合作等方面都提出了新的挑戰和要求。因此，構建一個安全、堅韌、可信的人工智能發展生態，至關重要。這要求我們必須在推動技術發展的同時，充分考慮到安全保障，實現發展與安全的統籌兼顧。以下為吳世忠院士現場發言內容。

中國工程院院士吳世忠

尊敬的各位領導、專家，新老朋友們，大家上午好！

非常高興，在初夏來到美麗的西子湖畔、錢塘江邊，參加今天的西湖論劍大會，和大家一起探討“智繪安全乘數而上”。

這是一個新題目，很難講，但又必須講。所以，我想分享三點淺顯的看法，講一些現實的問題。

一

人工智能是新質生產力

根據科技界的主流觀點，人工智能（AI）發展大致上可以分為三個時代，即機器學習的弱人工智能時代，機器智能的強人工智能時代和機器意識的超人工智能時代。經過60多年的哺育，今天的AI正處在懵懂可愛的少年時期。深度學習大模型的應用，造就了ChatGPT的勤學好答、Sora的文生圖景和GPT-4o的聲情并茂。中國有句老話，叫做“三歲見大，七歲見老”。經過60多年的艱難探索，人工智能在十年內突飛猛進，在兩年內爆發增長，在近半年內更是應接不暇。這種成長的加速度，在科技史上絕對空前的。這是否預示著人工智能發展到了一個關鍵期？是否預示著通用人工智能（AGI）會到來？讓我們拭目以待。

綜觀人工智能的發展態勢，我們能夠深切地感受到創新的強大動能，感受到科技對傳統經濟增長和生產力發展的顛性覆影響，感受到技術進步對生產效率和生活質量的巨大貢獻。所以，英偉達創始人黃仁勛說“算力就是權力”。美國更是直接將人工智能作為技術霸權的手段，對我們進行斷供、卡壓；不斷推出的大模型一次又一次地拓展了智能的邊界，讓我們應接不暇；即將耗盡的人類高質量數據，又會孕育出怎樣的新能力，是否可能也會像最近推出的新應用一樣超出我們的想象呢？特別是日新月異的新應用正在不斷地重新定義經濟發展板塊或政治勢力的范圍。從這個意義講，由算力、模型、數據、應用共同成就的人工智能是真正的新質生產力。

作為一個致力于民族復興的發展中大國，我國早已預見到以人工智能為主的這一輪科技革命的戰略機遇。從十年前的2015年至今，國家從專業規劃、技術攻關、市場培育、應用引導等方面，先后發布了20多項政策文件。我理解，國家是希望在幾十年“互聯網+”的基礎上，激發數據要素的乘數效應，進而抓住人工智能的發展機遇，通過網、數、智統籌推進，讓人工智能賦能百業千行，造福千家萬戶。這是中國式現代化志在必得的一個歷史機遇，因為在人工智能的指數效應下，AI會影響到每個個體，每個家庭，每個團隊，每個學科，乃至每個行業和每個國家。

作為一名從事網絡信息安全的科技工作者，我也想到了人工智能會帶來安全挑戰。但是，正如鄔院士所說，有很多沒有想到的，沒有預見到。確實，我個人沒有預見到人工智能的安全焦慮來得這么快，影響這么大。這兩年，從杰弗里·辛頓從谷歌辭職，到OpenAI內部“宮斗”，再到眾多科學家、企業家、公眾人物公開表達擔憂，僅在2023年一年，對人工智能安全的深度焦慮就從技術界蔓延到商業界到社會領域乃至全球。近70多個國家在五年內出臺了人工智能安全治理方面的戰略對策和法律文件近百件。盡管各自的立場不同，但是各個國家都在關注人工智能的公平、向善、負責、信任、尊嚴、團結、發展等。

聯合國框架下的多邊機制和技術、商業、網絡社區的多方機制，也都在大小會上研究探討，共同推進人工智能安全與治理方面的研究，強化基礎設施的安全保障，推廣負責、安全、向善的人工智能應用。前兩天中美之間就在進行這方面的對話。可以說，人工智能安全治理已成為大國博弈的一個協調議題，成為國際治理的當務之急。

這又驗證了中國的一句老話，那就是“一利生必有一弊隨”。人工智能的橫空出世給人類帶來了無限生機和希望的同時，也送來了細思極恐的近憂和遠慮。

谷歌公司前CEO埃里克·施密特組織了一批國際社會的名人雅士，滾動歸納面向2050年人工智能可能面臨的世界性難題。這是最近他們列出的最新的十大難題，并在五年內懸賞1.5億美元，誠招天下豪杰，尋求解決之道。他們認為，這些問題不解決，人工智能發展不可能很順利。

當前的十大問題可以歸結為技術發展的安全、應用發展的安全、社會發展的安全和人類發展的安全。仔細看這十大難題，相信大家會和我有一樣的感受，那就是，未來已來、時不我待。我們要抓住歷史性機遇，實現高質量發展，就必須主動應對安全新挑戰，統籌好發展和安全。

二

人工智能的安全新挑戰

回顧互聯網出現以來的網絡信息安全發展歷程，我不敢像鄔院士一樣追溯到馮諾依曼，但可上溯到三十年前。根據這三十年的發展，也可以把網絡安全大致分為三個階段，前20年左右是IT驅動階段，從局域網、城域網到廣域網，再到物聯網。萬物互聯追求的是規模，安全的重點是邊界防護，就是剛才鄔院士講的那些盒子。后10年是DT驅動時代，以大數據、云計算為特征，追求數據的流動，激發數據的價值，就是數據“要素×”的概念。安恒信息就是這個階段成長起來的公司。這一時期安全的重點是在內容上。

而今，AI驅動開啟了一個新的階段，面對的是全新的對象。這個對象現在國際上有一個新詞，叫Homo Technologicus（科技智人）。它是與社會人相似又有不同的新物種，是鮮活的硅基生物，是像人從猿變成智人一樣的革命性飛躍。所以，從網絡信息安全方面講，它的風險，除了過去我們熟悉的外在風險之外，更重要的是，其所帶來的我們完全未知的內在的自身風險。

導致或者推動這一輪新的發展階段的基層技術是什么？就是以人工智能和合成生物學為主的一系列的顛覆性技術。去年，我認真讀了美國兩大著名的人工智能頭部企業聯合創始人Mustafa Suleyman撰寫的《巨浪將至》。我認為它是能與《第三次浪潮》相提并論的講述科技革命的經典。這本書指出，人類正處在一場史詩級技術革命的風口浪尖，人工智能變革將與蒸汽機、電力或數字晶體管變革相媲美，必將創造空前巨大的繁榮，同時帶來前所未有的挑戰。書中歸納出新一輪技術浪潮的四個特點：一是能夠重塑權力并消除壁壘的不對稱性；二是在廣度和深度層面快速迭代的超級演化性；三是廣泛賦能多技術領域的通用性；四是遠超控制或預測范圍的自主性。這些技術特點促成了本世紀人類面臨的安全困境，也就是說，技術浪潮已經勢不可擋，人類只能因勢利導。

人工智能的“巨浪”已極大地改變了安全問題的內涵和外延。過去，我們習慣把網絡信息安全（Security）叫做非傳統安全，現在即將成為傳統安全。由科技智人帶來的未知的難以預測的新型安全問題已經成為現實。還有，剛才鄔院士提到的人工智能技術應用涉及的倫理安全問題，會因為種族不同、文化差異、意識形態等變得更為復雜，有的甚至會挑戰人類的天理或人倫。所以，人工智能時代的安全比過去更為復雜，至少是Security（既有安全），Safety（新興安全）和Ethics（倫理安全）交織交融的新圖景。這是安全問題和以往的根本區別。

在傳統安全領域，AI已經系統性融入網絡攻防的各個環節，賦予Security新的內涵。我們舉兩個例子。

一是AI助力網絡防御。美國微軟公司推出了一款全新的網絡安全產品Security Copilot。它內置了GPT4，并且與超過65萬億個網絡安全威脅模型庫相結合，給用戶提供生成式、自動化網絡安全人工智能服務。去年一年運行成果表明，它可以將安全事件響應、評估和防御，從過去的數小時到數天降低到分鐘級，防守之快不言而喻。二是人工智能助攻網絡攻擊。美國重要智庫Mitre，就是提出網絡韌性和彈性的這家公司，發布了一張人工智能系統對抗性威脅的場景圖，呈現了人工智能應用于從偵查踩點、網絡滲透到維持控守、數據獲取，再到秘密傳遞、后場處理等網絡攻擊全生命周期的復雜場景。威力之大，可想而知。可以說，人工智能用于安全防護或用于網絡攻擊這兩方面，在國際社會發展迅猛。可喜的是，國內安全行業也在積極投身于人工智能安全和人工智能賦能安全方面的研究。會前，我了解到安恒信息在這方面做了大量的工作，并在這兩年的重大安保活動中小試牛刀，取得了不錯的成績。

在新興的自身安全領域，人工智能隱含了不少新的隱患。由于神經網絡、深度學習的算法或機理上具有不透明性和難解釋性，很多科學家擔心的技術失靈、智能失常甚至出現幻覺、涌現意外的功能等都可能出現。比如，特斯拉自動駕駛出現的“墳場幽靈”；ChatGPT常常一本正經地胡說八道，永遠說正確的話，永遠說從眾的話。因此，雖然人工智能現在反應很快，但不太聰明，甚至還有意想不到的感情表達。通過惡意提問甚至可以污染數據，引導越獄，引發惡魔模式等。所以，在短短兩年內，出現了很多人工智能應用的怪象。這種硅基生命與生俱來的安全隱患，是一種全新的安全風險。我們對這方面過去了解太少，經驗不足，因而威脅更大，防范更難。

倫理方面的安全風險。馬克思說過，人與動物的根本區別在于會制造和使用工具。從石器時代一直到冷熱兵器時代，人類面臨的技術倫理由來已久。只不過人工智能時代倫理問題更加驚世駭俗，就是因為它快“活”了，所以需要從生命的角度考慮倫理問題。比如，價值觀可能難以對齊人類，在數據訓練中可能會學會偏見或欺騙，在處理沖突和困境的時候可能不會遵循人類的道德準則。再比如，深度偽造類的技術作惡，技術武器化用于軍事，技術霸權加劇地緣政治沖突等。這些都是過去的技術手段難以達到的影響。

我讀過基辛格的《論世界秩序》。書里指出人工智能的危害比核武器還會超前一大步。核武器之所以能夠被控制，是因為人類如果都動用它，可能會導致“同死”。對于人工智能，希望通過治理能夠達到“共生”。細細品味，這的確值得我們深思。為什么我專門強調這是一個新的安全問題？因為這些風險可以泛化，它不僅是一個倫理問題，它對個人、對種族、對國家甚至對人類都可能造成影響。所以，影響之廣，不得不防，難度之大，又防不勝防。這就是難題。

所以說，人工智能的發展客觀上對安全保障提出了新的要求。我不敢說是范式的改變，但至少提出了新的要求。從目前看，人工智能技術的推廣應用是大勢所趨，也是人心所向。但是，個人應用需要謹慎，社會推廣需要安全，國家發展需要對這些技術進行防控，甚至國際治理也需要協調。剛才，趙厚麟先生特別從國際組織的角度講到協調的重要性。我想，這應該是目前國際國內的一個共識。因此，我們認為，在智能化時代要確保個人隱私和安全，要維護社會和穩定，要支撐國家的發展和安全利益，要維護國際合作和和平，就必須要有一個安全、堅韌、可信的人工智能發展生態，也就是必須要統籌好發展和安全。

三

統籌發展與安全

大力發展人工智能是國家當前的政策導向和戰略部署。以安全保發展，對我們科技界、產業界而言，既責無旁貸，又大有可為。要統籌好發展與安全，至少有四方面的工作，需要我們做實做好。

三觀要正。統籌發展與安全是習近平新時代中國特色社會主義思想的一個重要內容，為我們搶抓人工智能發展機遇，應對安全治理的嚴峻挑戰，提供了根本遵循，值得我們反復學習，深入領會。我理解，領會這個精神要牢固樹立以下三個觀念：一是辯證的信息安全觀。總書記反復強調網絡信息安全要辯證地看，安全是相對的不是絕對的，是動態的不是靜態的，是整體的不是局部的，尤其強調，是為發展服務的。二是要樹立總體國家安全觀。總書記講，沒有網絡安全就沒有國家安全，沒有信息化就沒有現代化，并創造性提出了總體國家安全觀，要求我們從系統、整體、全局的高度認識和處理安全問題，綜合考慮國家安全涉及的方方面面。三是全球安全治理觀。總書記創造性提出的人類命運共同體的主張，受到了世界各國的積極響應。去年，也是在他的倡導下，發布了全球人工智能治理倡議，提出了共建共管、共治共享的主張，引起了世界各國的反響。我理解，這三種觀念是我們迎接人工智能挑戰的強大的思想武器。

技術要硬。人工智能的安全挑戰是可能出現的科技智人給我們提出的全新挑戰，顛覆性技術是對抗的焦點。一方面，國家與國家之間科技競爭已經是劍拔弩張，另一方面，現代人類和即將出現的科技智人暗地里的博弈也是驚心動魄。我國在AI領域布局早、需求大，但是技術差距客觀存在，安全能力也亟待改變。比如，在關鍵技術卡脖子方面，我們需要更加自立自強；在基礎設施領域，需要實現可管可控；在技術應用方面，需要提供更多安全便捷的手段；在社會發展上，需要讓人工智能變得可靠可信。科學技術是我們國家發展的支撐和底氣。國家在人工智能方面的技術需求目前是最為迫切的，這給我們科技界、學術界、產業界提出了攻堅克難的奮斗方向，也提供了大展宏圖的用武之地。

能力要強。為人工智能的推廣應用或健康發展創造一個更加安全、堅韌、可信的發展生態，既是社會期盼，又是產業追求，更是國家的責任。要做到確保人工智能自身或人工智能服務的安全可靠，就需要我們安全行業做到與時俱進，用鄔院士的話講，要實現范式轉變，不再局限于局部的安全防護或單一的技術應對，不再糾一個漏洞、一個問題，而是需要把Security、Safety、Ethics等各種問題融為一體，構建一個高度彈性或韌性的新型的安全保障體系。鄔院士剛剛提了一個問題，就是怎么衡量彈性或韌性。我理解，衡量人工智能發展的安全韌性或者彈性要有三方面的指標：一是風險承受能力；二是恢復發展的能力；三是適應變革的能力。如果從這三個維度把能力提起來，對人工智能的發展應該是有益的。

倫理要順。倫理安全是人工智能安全的新內容。倫理順就是人工智能的發展需要順天理、合人倫，要以人為本。以人為本，技術要求叫做對齊。當前，研究非常熱絡，Nature、Science雜志都越來越多發表這方面的文章。總體看，解決倫理問題不單純是一個政治問題，更是一個社會科學的問題，同樣涉及技術問題，需要技術和非技術的方法來解決。

學術界、技術界已經提出一些基本的技術方法和非技術方法，因時間關系我不一一列舉。我想強調的一點就是，需要我們學術界、產業界共同努力，研究開發相關的理論、方法或技術手段，使這樣的對齊更方便、更量化、更便捷、更有效。

各位領導、同志們，科技創新永無止境，人工智能正方興未艾，安全風險如影相隨，但美好的未來依然可期。我相信，人工智能一定會造福人類，而不會取代人類。但是，我也相信，會使用人工智能的人可能會取代不會使用人工智能的人。所以，我想用一句話結束我今天的分享。那就是，擁抱人工智能吧，但請注意安全。

謝謝大家。