人工智能是引領新一輪科技革命和產(chǎn)業(yè)變革的重要驅動力。2023年中央經(jīng)濟工作會議提出，要大力推進新型工業(yè)化，發(fā)展數(shù)字經(jīng)濟，加快推動人工智能發(fā)展。“十四五”規(guī)劃和2035年遠景目標綱要強調(diào)，加強網(wǎng)絡安全關鍵技術研發(fā)，加快人工智能安全技術創(chuàng)新，提升網(wǎng)絡安全產(chǎn)業(yè)綜合競爭力。本期特邀專家圍繞相關問題進行研討。

夯實人工智能發(fā)展的安全基礎

加快推動人工智能發(fā)展，需如何應對潛在風險、把握戰(zhàn)略主動？

單志廣（國家信息中心信息化和產(chǎn)業(yè)發(fā)展部主任、國家大數(shù)據(jù)發(fā)展專家咨詢委員會秘書長）：黨的二十大報告提出，推進國家安全體系和能力現(xiàn)代化，堅決維護國家安全和社會穩(wěn)定。人工智能是引領新一輪科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性技術，同時也具有明顯的“雙刃劍”特征。一方面，人工智能賦能網(wǎng)絡攻防、開源情報等國家安全相關領域，是筑牢國家安全屏障的有力抓手；另一方面，人工智能因其脆弱性、不穩(wěn)定性、不可解釋性等特點，在與經(jīng)濟社會深度融合應用的過程中，極易引發(fā)國家、社會、企業(yè)和個人等層面的安全風險。在席卷全球的人工智能浪潮中，如何應對人工智能風險、把握發(fā)展戰(zhàn)略主動、有效維護和保障國家安全，是國家治理的重要議題。

近年來，國家高度重視人工智能安全發(fā)展，逐步完善相關政策法規(guī)。國務院印發(fā)《新一代人工智能發(fā)展規(guī)劃》提出面向2030年我國新一代人工智能發(fā)展的指導思想、戰(zhàn)略目標、重點任務和保障措施，部署構筑人工智能發(fā)展的先發(fā)優(yōu)勢，加快建設創(chuàng)新型國家和世界科技強國。面向算法治理，出臺《關于加強互聯(lián)網(wǎng)信息服務算法綜合治理的指導意見》《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》等。面向人工智能合成技術的快速突破，出臺《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》《生成式人工智能服務管理暫行辦法》等。在全球數(shù)字經(jīng)濟激烈競爭格局下，科學把握風險防范的尺度至關重要。2023年7月24日中共中央政治局會議強調(diào)“促進人工智能安全發(fā)展”，體現(xiàn)了堅持統(tǒng)籌發(fā)展和安全、堅持發(fā)展和安全并重的理念，釋放了以人工智能技術激發(fā)數(shù)實融合新動能、打造高質(zhì)量發(fā)展新引擎的積極信號。

推動人工智能產(chǎn)業(yè)快速發(fā)展，要把保障數(shù)據(jù)安全放在突出位置。

第一，數(shù)據(jù)是數(shù)字經(jīng)濟時代的關鍵生產(chǎn)要素，保障數(shù)據(jù)安全是促進人工智能安全發(fā)展的重要基礎。我國2022年數(shù)字經(jīng)濟規(guī)模逾50萬億元，總量穩(wěn)居世界第二，占GDP比重41.5%，數(shù)據(jù)量呈爆發(fā)式增長態(tài)勢。隨著數(shù)據(jù)要素規(guī)模不斷擴大，以人工智能為代表的數(shù)字技術將實現(xiàn)知識與數(shù)據(jù)雙輪驅動，數(shù)據(jù)價值得到進一步釋放，生產(chǎn)資源配置、生產(chǎn)運營邏輯以及生產(chǎn)、分配、流通和消費關系等得以重塑，生產(chǎn)方式和生產(chǎn)關系發(fā)生變革，賦能傳統(tǒng)產(chǎn)業(yè)轉型升級，助力數(shù)字經(jīng)濟快速發(fā)展。同時，也伴隨著數(shù)據(jù)泄露、虛假信息、算法歧視等數(shù)據(jù)安全新問題。只有筑牢數(shù)字安全屏障，才能為人工智能發(fā)展保駕護航。

第二，人工智能產(chǎn)業(yè)快速發(fā)展過程中顯現(xiàn)出數(shù)據(jù)安全領域的風險挑戰(zhàn)。當前，人工智能進入快速發(fā)展期，應高度關注并有效應對隨之而來的問題。例如，神經(jīng)網(wǎng)絡具有“黑盒”特點，導致人工智能存在不可解釋性；深度學習對訓練樣本過度依賴，導致學習結果的不可判定性；神經(jīng)網(wǎng)絡前向推進的不可逆，導致結果的不可推論性。此外，漏洞、后門等引發(fā)的問題交織疊加，使得人工智能應用系統(tǒng)的數(shù)據(jù)安全問題變得更加復雜。針對IT行業(yè)領導者進行的一項關于ChatGPT等大模型的調(diào)查顯示，安全性是受訪者最關心的問題，71%的受訪者認為生成式人工智能會給企業(yè)的數(shù)據(jù)安全帶來新的風險。為了防止敏感數(shù)據(jù)外流，微軟、亞馬遜等科技公司已相繼限制或禁止其員工使用生成式人工智能工具?？梢?，全面加強人工智能數(shù)據(jù)安全保障體系和能力建設已成為應對新形勢新挑戰(zhàn)的必然之舉。

人工智能時代的數(shù)字安全威脅到底有多大？一方面，人工智能系統(tǒng)自身面臨多維度安全風險。技術內(nèi)生風險和系統(tǒng)衍生風險交織疊加，使得人工智能時代的安全問題異常復雜。數(shù)據(jù)安全風險方面，人工智能依托海量數(shù)據(jù)發(fā)展，有敏感信息泄露風險，且人工智能平臺收集的原始數(shù)據(jù)與衍生數(shù)據(jù)的歸屬權、控制權和使用權目前在法律上尚難界定；算法模型安全方面，安全風險貫穿數(shù)據(jù)采集、預處理、模型訓練、模型微調(diào)、模型部署應用等人工智能模型構建的全生命周期；外部攻擊安全方面，數(shù)據(jù)投毒、模型后門、對抗樣本、數(shù)據(jù)泄露、模型竊取、軟件漏洞等安全隱患屢見不鮮。

另一方面，人工智能技術濫用帶來數(shù)字安全威脅。當前，生成式人工智能的發(fā)展標志著人工智能正在從專用智能邁向通用智能，進入了全新發(fā)展階段。大部分傳統(tǒng)人工智能模型的安全風險仍然存在，同時生成式人工智能也有一些特有的問題：技術軟肋難以避免，易培育假信息“溫床”；使用方式簡單便捷，易形成失泄密“陷阱”；新興技術尚難監(jiān)管，易成為信息戰(zhàn)“武器”。

因此，亟需加強人工智能發(fā)展的潛在風險研判和防范，確保人工智能安全、可靠、可控。

完善數(shù)據(jù)安全監(jiān)管體系

我國在創(chuàng)新人工智能技術手段及完善數(shù)據(jù)安全監(jiān)管方面取得哪些成效？

陳鳳仙（中國電信研究院高級分析師）：黨中央高度重視人工智能安全發(fā)展問題，圍繞產(chǎn)業(yè)發(fā)展、科技倫理、算法治理及行業(yè)應用安全等方面，加快人工智能安全技術創(chuàng)新，逐步形成一套較為完善的發(fā)展政策和法規(guī)體系，確保維護國家安全和社會公共利益。據(jù)統(tǒng)計，我國人工智能核心產(chǎn)業(yè)規(guī)模達5000億元，算力總規(guī)模位居全球第二。

在規(guī)范人工智能科技倫理方面，陸續(xù)發(fā)布《新一代人工智能治理原則——發(fā)展負責任的人工智能》《新一代人工智能倫理規(guī)范》等，積極引導全社會負責任地開展人工智能研發(fā)和應用。2023年5月，工信部科技倫理委員會、工信領域科技倫理專家委員會正式成立，進一步加強科技倫理審查和監(jiān)管。

在強化人工智能算法治理方面，我國在規(guī)制生成式人工智能領域率先推出多項有力舉措。國家互聯(lián)網(wǎng)信息辦公室等部門2022年11月聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》，明確生成式人工智能應用服務提供者、技術支持者和服務使用者等各方法定義務；2023年7月聯(lián)合發(fā)布《生成式人工智能服務管理暫行辦法》，鼓勵生成式人工智能創(chuàng)新發(fā)展，對生成式人工智能服務實行包容審慎和分類分級監(jiān)管。

在人工智能全球治理合作方面，我國積極參與、多方實踐，取得重要進展。2022年11月，我國向聯(lián)合國《特定常規(guī)武器公約》締約國大會提交《中國關于加強人工智能倫理治理的立場文件》，提出人工智能治理要堅持倫理先行、加強自我約束、強化責任擔當、鼓勵國際合作等多項主張，表明了推動各方共商共建共享、加強全球治理、積極構建人類命運共同體的中國立場。2023年4月，我國向聯(lián)合國提交《中國關于全球數(shù)字治理有關問題的立場》，明確表示各國應在普遍參與的基礎上，通過對話與合作，推動形成具有廣泛共識的人工智能國際治理框架和標準規(guī)范。

與此同時，我國將數(shù)據(jù)安全放在保障人工智能安全發(fā)展的突出位置，大力推動數(shù)據(jù)資源建設，強化安全防護技術手段迭代升級，完善數(shù)據(jù)安全監(jiān)管體系，取得明顯成效。

穩(wěn)步推進數(shù)據(jù)基礎制度構建、數(shù)據(jù)資源供給和流通利用。在國家層面，逐步完善數(shù)據(jù)資源建設頂層設計，對加快培育統(tǒng)一的技術和數(shù)據(jù)市場及經(jīng)營主體、構建數(shù)據(jù)基礎制度等提出明確要求。2023年10月，國家數(shù)據(jù)局掛牌成立，推動數(shù)據(jù)實現(xiàn)從自然資源到經(jīng)濟資產(chǎn)的跨越。在地方層面，多地加快培育規(guī)范數(shù)據(jù)交易市場。2022年1月，北京國際大數(shù)據(jù)交易所率先在全國建立數(shù)字經(jīng)濟中介產(chǎn)業(yè)體系。截至2023年9月，全國注冊成立的數(shù)據(jù)交易機構已有60家。2023年以來，北京、上海、廣東、江西、湖北、貴州等密集發(fā)布政策文件，深化數(shù)據(jù)要素市場改革和創(chuàng)新。為助力大模型應用落地，一些地方積極探索政產(chǎn)學研聯(lián)合構建高質(zhì)量數(shù)據(jù)集。例如，北京啟動實施通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計劃，發(fā)布“北京市人工智能大模型高質(zhì)量數(shù)據(jù)集”。國家互聯(lián)網(wǎng)信息辦公室發(fā)布《數(shù)字中國發(fā)展報告（2022年）》顯示，2022年我國數(shù)據(jù)產(chǎn)量達8.1ZB，同比增長22.7%，全球占比10.5%，位居世界第二。

大幅提升依靠技術解決安全風險問題的能力。一方面，網(wǎng)絡安全技術創(chuàng)新應用活躍。近年來，相關機構持續(xù)強化網(wǎng)絡安全技術布局及應用，加快推動重點領域和細分環(huán)節(jié)技術突破、專利布局和標準轉化。另一方面，網(wǎng)絡安全、數(shù)據(jù)安全產(chǎn)業(yè)快速發(fā)展。2022年，我國網(wǎng)絡安全產(chǎn)業(yè)規(guī)模增速約為13.9%。北京、長沙、成渝三大國家網(wǎng)絡安全產(chǎn)業(yè)園區(qū)相繼成立，匯聚網(wǎng)絡安全企業(yè)超500家，10個網(wǎng)絡安全創(chuàng)新應用示范區(qū)加速建設。2023年1月，工信部等部門印發(fā)《關于促進數(shù)據(jù)安全產(chǎn)業(yè)發(fā)展的指導意見》，提出到2025年數(shù)據(jù)安全產(chǎn)業(yè)規(guī)模超1500億元，年復合增長率超30%，推動數(shù)據(jù)安全產(chǎn)業(yè)駛入快車道。

加快推進立法進程，標準體系建設取得階段性成效。一方面，完善數(shù)據(jù)安全監(jiān)管法律依據(jù)，推動重要數(shù)據(jù)和個人信息保護合規(guī)水平進一步提升。建立應對數(shù)據(jù)泄露等事故的應急響應機制，及時啟動應急預案并妥善處置。另一方面，抓緊研制數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、算法正確性等技術規(guī)范和標準。2023年8月，我國發(fā)布人工智能安全基礎標準《信息安全技術 機器學習算法安全評估規(guī)范》。同時，在生物特征識別、智能汽車等人工智能關鍵應用領域發(fā)布多項國家標準，支撐人工智能安全發(fā)展。

強化生成式人工智能安全防范

生成式人工智能引發(fā)新一輪智能化浪潮，筑牢數(shù)字安全屏障需采取哪些新舉措？

武虹（中國科協(xié)創(chuàng)新戰(zhàn)略研究院研究員）：生成式人工智能作為大模型、大數(shù)據(jù)、大算力的產(chǎn)物，在強大算力支持下，借助大型語言模型將收集到的海量信息進行處理并回應用戶的個性化需求，近乎無成本地生成針對特定提問內(nèi)容編寫的答案，是人工智能領域一次出色的集成創(chuàng)新。

也應看到，生成式人工智能并不公開其收集和整理的海量互聯(lián)網(wǎng)語料、模型架構及訓練內(nèi)容，加之其深度學習算法基于統(tǒng)計原理之上，僅對客觀規(guī)律進行揭示卻無法給予解釋，已構成事實上的數(shù)據(jù)及技術黑箱，勢必會對數(shù)據(jù)安全模式帶來新的擾動。因此，有必要采取新的應對措施。

一是強化數(shù)據(jù)全生命周期監(jiān)督管理。生成式人工智能語料庫的大規(guī)模集聚將帶來包含數(shù)據(jù)采集、處理加工、存儲及輸出等覆蓋數(shù)據(jù)全生命周期的安全問題。數(shù)據(jù)采集輸入階段，可能會有未經(jīng)審核的虛假信息入庫進而影響語料庫質(zhì)量；數(shù)據(jù)處理加工階段，語料庫的標注過程可能有意識形態(tài)和價值觀影響風險，同時算法也可能會有相當程度的傾向性引導，其運算結果又會被潛移默化地注入后續(xù)數(shù)據(jù)處理；數(shù)據(jù)輸出階段，更是存在非真實世界批量自動產(chǎn)生的海量數(shù)據(jù)被當作新的語料庫，產(chǎn)生后續(xù)迭代風險。因此，建議進行數(shù)據(jù)全生命周期的安全體系構建。例如，針對個人隱私及知識產(chǎn)權等數(shù)據(jù)，通過隱私計算及區(qū)塊鏈等強化數(shù)據(jù)安全防范力度；針對醫(yī)療、金融、電商等重點行業(yè)，通過訪問控制、安全可信計算環(huán)境等技術手段加強防護。

二是提升對攻擊性人工智能的防范意識。攻擊性人工智能通常分為兩種形式，即“使用人工智能的攻擊”和“攻擊人工智能”。隨著生成式人工智能技術快速提升，網(wǎng)絡攻擊者編寫惡意代碼以及實施數(shù)據(jù)攻擊的技術門檻大大降低。同時，大模型也面臨被注入特定引導詞以誘導其輸出偽造數(shù)據(jù)甚至違法答案等間接數(shù)據(jù)安全風險。傳統(tǒng)的成本高昂的攻擊手法，向分布式、智能化、自動化方向演進。建議推動以企業(yè)為主體、基于人工智能的新一代數(shù)據(jù)安全防護等專項研究；鼓勵相關行業(yè)的科技領軍企業(yè)發(fā)布橫向課題，聯(lián)合高校及科研院所開展協(xié)同攻關；通過風險投資引導初創(chuàng)公司將成果應用于數(shù)據(jù)安全對抗業(yè)務，促進以企業(yè)應用為導向的生成式人工智能對抗模型產(chǎn)學研一體化創(chuàng)新體系構建。

三是完善國家層面的數(shù)據(jù)安全戰(zhàn)略規(guī)劃及頂層設計。生成式人工智能在進行人類對話、推理和翻譯寫作時，給人類的信息掌控及自主決策能力等帶來挑戰(zhàn)。同時，生成式人工智能也極大促進了交互式數(shù)據(jù)的迭代輸出與自動傳輸，增加了危及國家數(shù)據(jù)主權、信息與網(wǎng)絡空間安全的潛在風險。面對生成式人工智能引發(fā)的不確定性，需提前研判可能的安全風險，建立健全政府、企業(yè)與社會等溝通交流機制，探索推動多方合作的治理模式，加速構建國家層面數(shù)據(jù)安全戰(zhàn)略規(guī)劃和大模型監(jiān)管應用法律支撐，通過夯實自主可控新基建設施、加快行業(yè)自治規(guī)范與國家強制性法律法規(guī)等協(xié)同體系構建，以及發(fā)起或加入單邊及多邊協(xié)議或聯(lián)盟等方式，鞏固國家數(shù)據(jù)安全防線。

從國際上看，在生成式人工智能安全防范方面，一些國家的經(jīng)驗做法值得借鑒。例如，歐盟2021年提出《人工智能法案》草案，旨在基于風險識別分析方法為人工智能制定統(tǒng)一的法律監(jiān)管框架和規(guī)制體系。2023年12月，歐洲議會、歐盟委員會和27個成員國談判代表就該法案達成協(xié)議，針對ChatGPT等生成式人工智能工具的透明度問題做出相應規(guī)定，其中包括由人工智能生成的內(nèi)容需提供受版權保護的訓練數(shù)據(jù)集摘要等，還對人工智能風險級別進行了劃分，并給出對應的監(jiān)管要求。美國白宮2022年發(fā)布《人工智能權利法案藍圖》，將公平和隱私保護視為法案的核心宗旨。2023年1月，美國國家標準技術研究院發(fā)布人工智能風險管理框架，提供系統(tǒng)化評估路徑，將人工智能的風險管理分為治理、映射、測量和管理4個模塊。其中，治理模塊主要針對人工智能系統(tǒng)全生命周期實行有效風險管理機制；映射模塊主要用于明確特定場景與其對應的人工智能風險解決方案；測量模塊主要采用定量、定性或混合工具，對人工智能系統(tǒng)風險和潛在影響進行分析、評估、測試和控制；管理模塊主要針對系統(tǒng)風險進行判定、排序和響應，明確風險響應步驟，定期監(jiān)控記錄并完善風險響應和恢復機制。

可見，生成式人工智能更要兼顧發(fā)展與安全，重視防范風險與包容審慎平衡，從而更好推動經(jīng)濟高質(zhì)量發(fā)展。