【摘要】近年來，以預訓練大模型為代表的人工智能技術能力快速提升，也加速推動人工智能技術與科技、經(jīng)濟、社會發(fā)展深度融合，成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。作為一項新興技術，人工智能的“雙刃劍”效應使得技術在快速進步和應用的同時，也引發(fā)了全球?qū)ζ淇赡軒砀黝愶L險挑戰(zhàn)的擔憂。特別是隨著大模型技術的突破，人工智能可能帶來的風險挑戰(zhàn)發(fā)生了一些新的變化。因此，需要在充分把握人工智能技術發(fā)展規(guī)律的基礎上，從政策法規(guī)、技術能力、標準規(guī)范等多個方面采取針對性的治理之策，深化全球協(xié)作，共同應對風險挑戰(zhàn)。

【關鍵詞】人工智能 預訓練大模型 風險挑戰(zhàn) 治理對策

【中圖分類號】TP18 【文獻標識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2024.13.007

【作者簡介】徐峰，中國科學技術信息研究所人工智能發(fā)展研究中心常務副主任、研究員。研究方向為人工智能發(fā)展戰(zhàn)略、科技政策與戰(zhàn)略研究。主要著作有《基于事實的科技政策研究理論與實踐》（合著）、《2021全球人工智能創(chuàng)新指數(shù)報告》（合著）、《關于人工智能倫理風險的若干認識》（論文）等。

經(jīng)過近70年的發(fā)展，人工智能技術發(fā)展經(jīng)歷了三次起伏，2022年以來，以ChatGPT、Sora等為代表的預訓練大模型持續(xù)取得突破，推動著人工智能技術從感知向認識，從分析判斷式向生成式，從專用向通用進入快速發(fā)展的新階段。在技術取得突破的同時，大模型正以顛覆性、擴散性、滲透性方式引發(fā)經(jīng)濟、社會、文化、軍事、安全等各領域體系化變革，在促進產(chǎn)業(yè)升級、引領社會發(fā)展中發(fā)揮著日益重要的賦能作用。與此同時，技術能力的躍升、技術應用的擴展以及技術治理的介入等多種因素疊加，使得大模型技術在研發(fā)和應用過程中帶來的各類風險挑戰(zhàn)日益受到關注。

當前大模型技術的發(fā)展態(tài)勢

當前，以ChatGPT為代表的預訓練大模型技術取得突破，推動人工智能技術進入新的發(fā)展階段，也引發(fā)了人們對通用人工智能可見未來的樂觀預期。[1]作為當前人工智能主流技術路線，人工智能大模型研究、應用與產(chǎn)業(yè)化發(fā)展正處于引發(fā)各領域體系化變革的關鍵時期，成為國際人工智能領域研究的焦點。從人工智能發(fā)展的長周期上看，大模型技術仍有不斷進步的空間，將在相當長時間內(nèi)持續(xù)引領全球新一輪人工智能技術革命向縱深發(fā)展。

大模型展現(xiàn)出來的智能水平持續(xù)提升。近年來，隨著OpenAI、Google、Meta等科技巨頭持續(xù)加大算力投入、提升大模型研發(fā)力度，大模型智能水平不斷提升。[2]2022年以來，OpenAI相繼發(fā)布ChatGPT、Sora和升級的GPT-4o，推動大模型技術能力邊界持續(xù)拓展，實現(xiàn)了知識理解、邏輯推理、生成速度、多模態(tài)實時交互等方面智能水平的代際提升，并初步具備適用于多任務、多場景、多功能需求的通用化能力。從趨勢上看，大模型的規(guī)模效應（scaling law）仍有望持續(xù)，大模型能力的進一步突破還有較大空間，未來3年～5年規(guī)?；娜斯ぶ悄芑A大模型仍處于高速發(fā)展期。而且，大模型技術能力的不斷提升也將推動人工智能多技術路線的融合發(fā)展，進一步形成能夠自主學習并與真實世界實時交互的具身智能、大規(guī)模多智能體協(xié)作的群體智能、腦機雙向交互增強的人機混合增強智能等新智能形態(tài)，推動人工智能的智能水平持續(xù)提升。[3]

大模型算法框架等底層技術持續(xù)創(chuàng)新。大模型技術的快速發(fā)展，離不開以基礎語言架構Transformer為代表的基礎算法技術的支撐，目前以GPT-4為代表的主流基礎大模型大多基于Transformer架構。[4]然而，在持續(xù)提升大模型訓練規(guī)模的同時，Transformer架構模型支撐大模型訓練也面臨著算力消耗和訓練成本過高等瓶頸。為此，國內(nèi)外許多機構和學者都在積極推動模型架構和計算架構等方面的底層技術創(chuàng)新。例如，美國推出的Hyena、Mamba等新型網(wǎng)絡架構破解了Transformer架構平方級的算力損耗瓶頸。[5]這些新網(wǎng)絡架構和底層顛覆性創(chuàng)新等大模型發(fā)展“新賽道”，將為延續(xù)智能時代的“新摩爾定律”提供源頭支撐。

大模型引領行業(yè)智能化浪潮加速推進。伴隨著大模型在大數(shù)據(jù)處理和通用化任務方面能力的提升，針對特定應用、特定領域、特定問題的專用模型也在蓬勃發(fā)展，展現(xiàn)出技術突破與應用拓展相互疊加、大模型和專用模型相互促進的發(fā)展態(tài)勢。ChatGPT等大模型一經(jīng)推出，便快速被嵌入到辦公軟件、搜索引擎等產(chǎn)品中，短期內(nèi)就讓我們看到了新數(shù)字內(nèi)容生產(chǎn)方式帶來的“顛覆性創(chuàng)新”。與此同時，大模型技術正在作為新的工具被實際運用到制造、金融、交通等生產(chǎn)端，乃至國防軍事領域。特別值得關注的是，從醫(yī)藥研發(fā)、系統(tǒng)模擬仿真等應用研究領域到數(shù)學、物理等基礎理論研究領域，從生命的基本組成到世界工業(yè)的基本要素，基于大模型的人工智能技術與科學研究的融合程度不斷加深，不僅為解決各個科學技術領域具體問題提供了工具，更是重新定義了科學研究方式的系統(tǒng)性思路，形成了新的科研范式。

大模型技術進步與應用帶來的風險挑戰(zhàn)

當前，在全球持續(xù)加快推動大模型發(fā)展的同時，其技術快速發(fā)展與應用對社會倫理體系和法律監(jiān)管制度的沖擊，以及對經(jīng)濟社會發(fā)展帶來的各種風險挑戰(zhàn)也日益受到國際社會關注。已有很多機構和學者從隱私偏見、數(shù)據(jù)安全、誤用濫用等方面對人工智能技術與應用的各類風險挑戰(zhàn)進行了研究，這些研究也為當前人工智能治理提供了指向。[6]隨著大模型技術取得突破，智能水平顯著提升，應用領域加速拓展，其帶來的潛在風險挑戰(zhàn)也發(fā)生了一些新的變化。

技術能力持續(xù)提升引發(fā)的新?lián)鷳n。關于人工智能超出人類控制的擔憂，長期以來都是人們關注的熱點。隨著大模型技術的迅猛發(fā)展，其在處理復雜任務和生成高質(zhì)量內(nèi)容方面的能力顯著提升，再次引發(fā)了社會對人工智能技術發(fā)展失控的廣泛擔憂。其中，機器人的高度自主性、通用人工智能的顛覆性以及人機融合可能帶來的大規(guī)模、前沿性風險尤為引人關注。例如，ChatGPT大模型問世不久，美國特斯拉公司首席執(zhí)行官馬斯克等組織全球3000多名專家以其對社會和人類的潛在風險為由，敦促暫停大模型的訓練。人工智能潛在風險導致部分人擔心大模型技術可能會超越人類智慧，最終“反噬”人類。此外，大模型技術本身就因算法“黑箱”、模型“幻覺”等因素存在不可解釋、不可預測的難題，隨著大模型變得越來越復雜和強大，這種不可解釋性與固有的算法偏見、數(shù)據(jù)偏差相結合，使得出現(xiàn)事故后的追溯和歸因更加困難，可能進一步加劇公眾的信任危機。

技術應用持續(xù)拓展面臨的新風險。大模型技術在越來越多的應用類型和服務領域得到廣泛使用，風險挑戰(zhàn)也隨之增加。一是因技術應用門檻降低而加劇技術誤用濫用問題。大模型相關產(chǎn)品具有易操作和開源開放等特點，使得其應用門檻不斷降低，利用相關技術手段生成虛假文字、音頻和視頻等事件時有發(fā)生。二是因技術能力持續(xù)提升放大偏見歧視等問題。大模型算法主要基于歷史數(shù)據(jù)進行學習和預測，如果訓練數(shù)據(jù)中包含偏見或歧視內(nèi)容，算法就會在學習過程中對其不斷強化，導致輸出帶有性別歧視、年齡歧視、種族歧視等問題的內(nèi)容。三是因大模型多元化內(nèi)容生成能力而帶來的社會倫理問題。內(nèi)容生成是目前主流大模型的重要技術能力，在加速應用的過程中，可能會突破人類傳統(tǒng)內(nèi)容和知識生產(chǎn)邊界，對知識生成秩序形成重大沖擊，從而引發(fā)學術誠信等倫理風險。

能源資源消耗增長帶來的新挑戰(zhàn)。大模型技術的快速發(fā)展和廣泛應用可能造成模型訓練、芯片制造、數(shù)據(jù)中心運營等環(huán)節(jié)在未來3年～5年內(nèi)需求的能源呈指數(shù)級增長，這一問題越來越受到社會各界的廣泛關注。斯坦福大學《2023年人工智能指數(shù)報告》研究顯示，OpenAI的1750億參數(shù)GPT-3大模型訓練耗電量約為129萬度，擁有更大參數(shù)量的GPT-4大模型訓練用電達5177萬度～6232萬度，能耗為GPT-3的40倍以上。人工智能芯片制造過程也十分耗能，Gartner預測，到2026年絕大部分人工智能芯片的功耗將達到1000瓦，是目前平均水平的1.5倍。數(shù)據(jù)中心是人工智能運行和承載服務的重要基礎設施，在運行過程中會產(chǎn)生大量熱量，為使系統(tǒng)散熱冷卻，需要消耗大量能源。根據(jù)國際能源署的研究數(shù)據(jù)，2021年全球數(shù)據(jù)中心用電量為2200億度～3200億度，約占全球電力需求的0.9%～1.3%，其中冷卻系統(tǒng)用電占比達40%。此外，大模型的發(fā)展或?qū)⑦M一步加深全球智能鴻溝，影響全球可持續(xù)發(fā)展進程。不同國家地區(qū)、行業(yè)以及人群之間，對大模型等人工智能技術的掌握、應用和治理存在差距，由此產(chǎn)生了資源占有不均、發(fā)展機遇不同等問題，且差距很可能逐漸拉大。在缺乏技術、應用以及監(jiān)管的情況下，大模型技術的負面效應對發(fā)展中國家的影響可能更為嚴重。

大模型快速發(fā)展下的全球治理新動向

面對以大模型為代表的人工智能技術快速發(fā)展與應用帶來的風險挑戰(zhàn)，各國政府、國際組織、學術和產(chǎn)業(yè)界等紛紛開展風險治理的研究與實踐。[7]據(jù)不完全統(tǒng)計，目前全球已發(fā)布100多部人工智能倫理治理相關文件，從政策法規(guī)、原則規(guī)范、技術標準、行業(yè)自律等多個維度持續(xù)加強對以大模型為代表的人工智能技術的治理。

通過立法等方式推動完善治理制度體系。近年來，美國、歐盟、德國、加拿大、巴西等國家或地區(qū)不斷完善人工智能治理頂層設計，相繼制定和發(fā)布人工智能相關法律法規(guī)或法案，希望通過立法等方式，針對大模型等新技術引發(fā)的新問題持續(xù)完善早期的治理框架體系。雖然美國發(fā)布了《人工智能權利法案藍圖》，近兩屆國會也引入了100余項關于人工智能的法案，但目前仍未出臺統(tǒng)一的聯(lián)邦立法，主要通過總統(tǒng)行政令、指南倡議、部門執(zhí)法和企業(yè)自愿承諾等方式開展較為寬松的治理實踐。2023年拜登簽發(fā)的《關于安全、可靠、可信地開發(fā)和使用人工智能的行政令》中，最嚴格的監(jiān)管措施不過是要求部分提供大模型的企業(yè)承擔信息共享義務。歐盟于2024年5月通過了《人工智能法案》，建立了基于風險的分級分類監(jiān)管機制，尤其重視對高風險的治理。這一立法思路為加拿大、巴西等國效仿，但能否發(fā)揮預期作用仍有待觀察。該法案自起草至通過3年來，不斷引起社會各界的爭議，歐盟立法者認為該法案將促進創(chuàng)新并維護公民基本權利，但科技行業(yè)卻認為該法案將給企業(yè)帶來高昂的合規(guī)成本，[8]公民組織也質(zhì)疑該法案能否有效落實。2023年英國政府發(fā)布《支持創(chuàng)新的人工智能監(jiān)管規(guī)則》白皮書，提出了一個原則性的監(jiān)管框架，主要由現(xiàn)有部門針對特定行業(yè)開展人工智能分類監(jiān)管，待實施一段時間后再評估是否啟動立法程序。此外，國際社會十分關注重點細分領域立法，如美國、德國通過《自動駕駛法》，加拿大頒布《自動化決策指令》等。

基于風險分級分類治理加強監(jiān)管。2023年以來，隨著大模型技術的快速發(fā)展，美國、英國和新加坡等紛紛開展了大范圍的前沿人工智能風險主題聽證會、公眾意見咨詢和國際論壇等，就以大模型為代表的前沿人工智能應用面臨的問題和風險類別、評估與解決方案、負責任的技術開發(fā)等議題進行研討。對人工智能風險進行等級劃分，對高等級風險重點監(jiān)管，是當前人工智能治理的主要模式，歐盟《人工智能法案》、加拿大《自動化決策指令》、新西蘭《算法憲章》等，均設計了不同類型的分級分類治理模式。目前，歐盟、美國和中國等已針對大模型進行專門立法或制定相應的監(jiān)管規(guī)則。歐盟和美國均以基礎模型能力作為監(jiān)管標準，以浮點運算數(shù)（flops）作為具體指標。中國發(fā)布的《生成式人工智能服務管理暫行辦法》著重關注大模型可能帶來的內(nèi)容安全風險，設定了安全評估和算法備案制度，在全球范圍內(nèi)具有創(chuàng)新性。值得注意的是，大模型監(jiān)管引發(fā)了各界爭議，有觀點認為不應對大模型進行嚴格規(guī)定，以免阻礙技術發(fā)展進步。例如，德國、法國和意大利曾聯(lián)合發(fā)表聲明，要求對大模型進行“自律型監(jiān)管”，而非由政府部門監(jiān)管。但出于對先進人工智能系統(tǒng)性風險的考慮，該觀點沒有被歐盟《人工智能法案》吸收。當然，各國對生成式人工智能的具體治理措施隨著對該技術的認識水平提升也在不斷變化。例如，德國、意大利等從早期的禁用ChatGPT變?yōu)榻饨δＰ烷_發(fā)商提出要求。

通過“以技制技”方式應對安全和倫理風險。人工智能的安全性是攻與防的博弈，通過“以技制技”的方式，強化對技術自身不斷修正完善以及體系化的安全防護技術研發(fā)，也是應對以大模型為代表的人工智能安全新態(tài)勢的重要路徑。一方面，需要通過加強安全性理論和技術研究來應對技術本身帶來的風險。2024年5月，包括三位圖靈獎獲得者在內(nèi)的多位人工智能專家在美國《科學》雜志聯(lián)合發(fā)表文章，呼吁主要科技公司和政府機構至少將1／3的人工智能研發(fā)預算用于確保人工智能安全和合乎倫理的使用。[9]對于大模型而言，突破模型和算法的可解釋性、魯棒性、安全性及價值對齊等關鍵問題，是人工智能治理的重要路徑。另一方面，需要開發(fā)新的安全技術應對大模型可能帶來的安全風險。美國、英國和日本等相繼成立人工智能安全研究所，對人工智能模型評估測試相關標準和工具開展研究。2024年2月，美國商務部牽頭包括OpenAI、谷歌、Meta等人工智能領軍企業(yè)在內(nèi)的200多個組織，組建人工智能安全研究所聯(lián)盟，共同制定新的人工智能規(guī)則，包括紅隊測試、能力評估、風險管理、人工智能生成內(nèi)容添加水印等指南。微軟推出集成GPT-4大模型的網(wǎng)絡安全平臺Security Copilot，通過關聯(lián)內(nèi)容發(fā)現(xiàn)潛在攻擊信號，以加強安全檢測能力等。

以公私合作方式協(xié)同推動政府監(jiān)管與行業(yè)企業(yè)自律。當前，以谷歌、微軟等為代表的科技企業(yè)引領著大模型技術快速發(fā)展與應用，因此在推動大模型治理過程中，引導行業(yè)企業(yè)開展自律自治十分重要。美國政府把積極推動人工智能企業(yè)自律自治作為大模型治理的重要方式。2023年，面對大模型技術的快速發(fā)展，美國白宮召集亞馬遜、谷歌、微軟和OpenAI等7家人工智能頭部企業(yè)，共同對負責任的創(chuàng)新作出自愿承諾，強調(diào)堅持“安全、保障和信任”基本原則，并開展安全測試。此后，又有英偉達、Adobe、IBM等8家科技企業(yè)簽署此承諾。這一自愿承諾不僅是企業(yè)行為，在美國政府推動下也具有了國際影響力。美國政府已就該承諾與澳大利亞、加拿大、印度、日本、韓國等20個國家進行了磋商，希望共同推動建立人工智能開發(fā)應用的國際治理框架。除了政府的大力倡導和支持外，美國的人工智能企業(yè)之所以積極開展倫理治理實踐，也源于市場和技術發(fā)展需求、對人工智能的未來判斷以及社會責任等因素。特別值得關注的是，當前大模型技術存在不確定性風險，監(jiān)管尺度難以衡量，企業(yè)的承諾和實踐反映了人工智能技術研發(fā)應用一線的呼聲，達成的共識可能上升為國家政策和法律法規(guī)等，從而具備執(zhí)行力和約束力，轉化為國家人工智能發(fā)展的保障措施。

逐步加強全球治理合作應對人類共同挑戰(zhàn)。人工智能安全和倫理風險具有全球性特征，加強合作是應對此類風險的有效措施，國際社會已就此達成了一系列共識，初步建立了相關機制，并取得了一定成果。由大模型引發(fā)的新一輪人工智能監(jiān)管熱潮，使得各國在原有人工智能國際合作基礎上，紛紛加強治理領域的合作，國際組織也對治理問題表現(xiàn)出極高的關注度，聯(lián)合國安理會、國際電信聯(lián)盟等均開展了行動。大模型等新一代人工智能技術治理合作的重心聚焦監(jiān)管、風險、安全、可信和負責任的人工智能等議題。2023年英國發(fā)起舉辦全球人工智能安全峰會，會上發(fā)布的《布萊切利宣言》指出，要加強對通用人工智能模型風險的理解和行動。2024年《人工智能首爾宣言》同樣強調(diào)人工智能安全、創(chuàng)新和包容性，體現(xiàn)了未來人工智能治理合作的導向。然而也要看到，目前大模型治理國際合作仍面臨著諸多挑戰(zhàn)。一方面，尚未有國際組織承擔起全球人工智能核心監(jiān)管機構的角色，各國際組織呈現(xiàn)高度分散的狀態(tài)。另一方面，政府間合作多具有地緣政治特征和大國競爭導向。以G7國家為代表的發(fā)達國家的治理原則、標準正在落實中，而以金磚國家為代表的新興市場和發(fā)展中國家在人工智能治理國際合作中的潛力尚待挖掘。值得關注的是，在全球科技競爭的背景下，可能存在一些國家主動削弱監(jiān)管以獲得經(jīng)濟競爭優(yōu)勢的情形。因此，打造一個全方位、多層次、匯聚廣泛共識，具有真正的包容性、平等性、多元性的全球人工智能治理框架仍然面臨諸多挑戰(zhàn)。

對大模型發(fā)展帶來風險挑戰(zhàn)的再認識和應對策略

由于大模型技術迅速應用，特別是ChatGPT為代表的標志性產(chǎn)品以空前的速度和廣度進入人們的日常工作生活，使得大模型技術帶來的風險挑戰(zhàn)逐漸進入了大眾的視野。大模型本質(zhì)是一種新興技術，需要從人工智能技術發(fā)展與治理實踐的視角客觀地分析和認識其可能帶來的風險挑戰(zhàn)，從而在積極推動技術治理回應社會關切的同時，持續(xù)推進以大模型為代表的人工智能技術的健康發(fā)展。

從新興技術發(fā)展的“雙刃劍”效應看待大模型技術進步。任何新技術的發(fā)展都具有“雙刃劍”效應，每一次重大技術突破，在帶來巨大的社會和經(jīng)濟效益的同時，通常都會對社會運行、產(chǎn)業(yè)體系、政策法規(guī)等帶來一定的沖擊和挑戰(zhàn)。從歷史經(jīng)驗上看，蒸汽機革命、電力和電氣化及互聯(lián)網(wǎng)都在一定程度上提高了生產(chǎn)效率并推動了社會發(fā)展，但同時也產(chǎn)生過包括危害工人權益、安全危機和網(wǎng)絡犯罪等問題。大模型作為一項典型的新興技術，其發(fā)展也符合這一規(guī)律。一方面，隨著技術本身的不斷進步，包括模型偏見、可靠性和透明性等問題都有可能被逐步解決。另一方面，隨著治理手段的不斷豐富完善，一些潛在的風險挑戰(zhàn)也將會得到有效應對。即便是目前備受關注大模型技術的發(fā)展和應用帶來能源消耗大幅增長的問題，大模型技術本身也在向高效低耗方向不斷優(yōu)化，如通過采用剪枝、量化、蒸餾等技術提升大模型算法效能，使大模型運算更快、能耗更低。而且，從社會整體效能看，大模型等人工智能的應用可大幅提高人類社會的勞動生產(chǎn)率，提升能源使用效率，促進節(jié)能減排，有力推動綠色、低碳、可持續(xù)發(fā)展。

從人工智能技術發(fā)展規(guī)律理解大模型帶來的風險挑戰(zhàn)。目前人工智能技術正處于一個快速發(fā)展的新的階段，雖然大模型技術的突破讓我們看到了通用人工智能發(fā)展的可能性，但從人工智能發(fā)展的長周期上看，人工智能技術仍處于從專用人工智能向通用人工智能探索的初級階段。一方面我們需要對包括出現(xiàn)超越人類的高度自主智能等未來可能發(fā)生的風險保持關注，另一方面也不應將未來的風險視為現(xiàn)實的直接威脅。要及時研判未來技術發(fā)展趨勢和可能出現(xiàn)的風險，制定階段應對策略。同時，不過度限制技術創(chuàng)新。要鼓勵大模型技術在更廣泛的領域發(fā)揮潛力，持續(xù)推動社會進步。

從人工智能治理實踐認識大模型風險問題帶來的新變化。隨著人工智能風險治理領域的研究與發(fā)展持續(xù)推進，人們的認識也不斷發(fā)生變化。一方面，治理實踐的推動使得人工智能原有的部分風險問題得到了一定程度的解決。例如，提高數(shù)據(jù)源透明度，提升模型的可靠性，明確大模型服務提供者的權利義務，等等。這些問題的逐步解決，使得大模型的風險水平和形態(tài)均發(fā)生了新的變化。此外治理措施的實施有助于降低風險的實際危害程度，這也會反映在公眾的風險感知中。當治理舉措有效遏制了風險源或降低了風險事件發(fā)生的概率，公眾會感受到風險的降低。另一方面，當治理機構或媒體大量報道某一風險事件時，可以顯著提升公眾對此類事件的關注度。這可能導致人們對該風險的嚴重性和迫切性的認識加深，甚至可能產(chǎn)生風險放大效應。這些變化將會影響未來對大模型等人工智能治理的理念和策略，值得我們密切關注。

從平衡發(fā)展與安全的綜合視角推進大模型技術治理。面對快速發(fā)展的大模型技術，以及日益復雜的各類風險挑戰(zhàn)，應充分兼顧發(fā)展與安全的平衡，在繼續(xù)推動大模型技術創(chuàng)新和拓展應用的基礎上，多維度發(fā)力開展大模型治理，確保技術的安全、有效和可持續(xù)發(fā)展。一是加強對大模型技術發(fā)展可能帶來風險挑戰(zhàn)的前瞻研判。建立針對未來技術趨勢的研究體系，圍繞大模型可能帶來的社會影響、倫理挑戰(zhàn)和法律問題開展前瞻性研究，為政策制定提供科學依據(jù)。推動計算機科學、倫理學、法律、社會學等學科的交叉研究，共同探討大模型在實際應用中面臨的復雜問題，尋找綜合解決方案。二是加強大模型安全技術研發(fā)與評測體系建設。加強大模型安全可信理論方法和大模型價值對齊技術等的研究，推動打造安全可信的通用人工智能新模型。針對大模型等人工智能自身安全和外來攻擊風險，加快推動安全防護技術研發(fā)，提高人工智能系統(tǒng)安全防御能力。建立全面的大模型安全評測體系，從算法安全性、數(shù)據(jù)隱私和輸出可靠性等多維度進行評估，確保大模型在應用中的安全性。制定并推廣大模型技術標準，規(guī)范研發(fā)和應用過程中的安全防護措施，為行業(yè)提供統(tǒng)一的技術指南。三是完善包容敏捷的監(jiān)管機制。建立健全適應人工智能發(fā)展特點、多主體廣泛參與的敏捷治理體系，開展分類分級治理，將倫理和安全風險防控理念貫穿人工智能全生命周期。明確人工智能監(jiān)管的基礎性原則規(guī)則，為企業(yè)設定容錯試錯機制以鼓勵創(chuàng)新。四是深入推動大模型的全球治理合作?；诮┠陙砣驀H組織、主要國家、研究機構和企業(yè)等在人工智能治理目標和原則上達成的共識，進一步推動建立全球性、區(qū)域性、多層次人工智能治理合作平臺和合作機制，依托人工智能相關國際組織，共同商討全球治理規(guī)則，共同推動以大模型為代表的人工智能更好地賦能人類社會。

（本文系科技創(chuàng)新2030——“新一代人工智能”重大項目研究成果之一，課題編號：2023ZD0121701；中國科學技術信息研究所博士后賽秋玥，助理研究員劉鑫怡、劉乾對本文亦有貢獻）

注釋

[1]張凌寒：《生成式人工智能的法律定位與分層治理》，《現(xiàn)代法學》，2023年第4期。

[2]K. Wach et al., "The Dark Side of Generative Artificial Intelligence: A Critical Analysis of Controversies and Risks of ChatGPT," Entrepreneurial Business and Economics Review, 2023, 11(2).

[3]陰和?。骸兑钥萍紕?chuàng)新引領人工智能快速健康發(fā)展》，《中國網(wǎng)信》，2024年第3期。

[4]劉學博等：《大模型關鍵技術與未來發(fā)展方向——從ChatGPT談起》，《中國科學基金》，2023年第5期。

[5]T. Dao and A. Gu, "Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality," 2024, https://github.com/state-spaces/mamba.

[6]郭銳：《人工智能的倫理風險及其治理》，《北京航空航天大學學報（社會科學版）》，2020年第6期；趙精武等：《ChatGPT：挑戰(zhàn)、發(fā)展與治理》，《北京航空航天大學學報（社會科學版）》，2023年第2期。

[7]薛瀾、賈開、趙靜：《人工智能敏捷治理實踐：分類監(jiān)管思路與政策工具箱構建》，《中國行政管理》，2024年第3期；張欣、宋雨鑫：《全球人工智能治理的格局、特征與趨勢洞察》，《數(shù)字法治》，2024年第1期；張濤：《人工智能治理中“基于風險的方法”：理論、實踐與反思》，《華中科技大學學報（社會科學版）》，2024年第2期。

[8]B. Mueller, How Much Will the Artificial Intelligence Act Cost Europe? 2021, https://www2.datainnovation.org/2021-aia-costs.pdf.

[9]Y. Bengio et al., “Managing Extreme AI Risks Amid Rapid Progress,“ Science, 2024, 384(6698).

責 編∕ 美 編∕周群英

Risks, Challenges and Countermeasures Arising from the Development

of Large Models of Artificial Intelligence

Xu Feng

Abstract: In recent years, the capability of artificial intelligence technology represented by the pretraining large model is improved rapidly. Artificial intelligence technology is deeply integrated with the development of science and technology, economy and society, which has become the important driving force of the new round of science and technology revolution and industrial transformation. At the same time, the "double-edged sword" effect of artificial intelligence as a new technology causes the global concern to the risks and challenges it may bring, with the technology rapidly advance and apply. Especially with the breakthrough of large model technology, the risks and challenges of artificial intelligence have brought some new changes. Therefore, we should take targeted governance countermeasures from policy, regulation, technical capability, standard and so on the basis of grasping the law of the development of artificial intelligence technology, and actively deal with them under the global cooperation.

Keywords: artificial intelligence, pretraining large model, risks and challenges, governance countermeasures