當前,我國正在建設科技強國的道路上大步邁進。黨的二十大報告明確指出:“堅持面向世界科技前沿、面向經濟主戰(zhàn)場、面向國家重大需求、面向人民生命健康,加快實現(xiàn)高水平科技自立自強。以國家戰(zhàn)略需求為導向,集聚力量進行原創(chuàng)性引領性科技攻關,堅決打贏關鍵核心技術攻堅戰(zhàn)。”人工智能是新一輪科技革命和產業(yè)變革的重要驅動力量,正在加速創(chuàng)新發(fā)展,賦能產業(yè)轉型升級?,F(xiàn)階段,大模型成為人工智能發(fā)展的熱點方向,尤其是文心一言和ChatGPT等近來備受關注的大語言模型,具備與人對話互動、回答問題、協(xié)助創(chuàng)作等能力,有望帶來人工智能創(chuàng)新的爆發(fā)式增長,引發(fā)社會熱議,成為全球科技競爭焦點。
大語言模型某種程度上具備對人類意圖理解能力
美國作為傳統(tǒng)的科技強國,在大模型發(fā)展方面具有一定的優(yōu)勢,美國各巨頭科技公司均有相關雄厚的技術資源和能力。中國在大模型發(fā)展上正在迎頭趕上,各科技公司紛紛加入了大模型開發(fā)和應用的隊伍。總體而言,雖然與國際領先水平相比仍然存在一定的差距,但以文心一言為代表的國產大語言模型的出現(xiàn),讓我國成功躋身這場全球科技競爭當中。這背后得益于全棧人工智能技術的加持。
人工智能技術棧可分為“芯片層、框架層、模型層和應用層”,在技術棧的每一層,都有領先的關鍵自研技術,實現(xiàn)了層與層反饋,端到端優(yōu)化,大幅提升效率。作為自主研發(fā)的知識增強大語言模型,文心一言在技術四層都有涉及,尤其是飛槳深度學習平臺和文心大模型的聯(lián)合優(yōu)化,為文心一言提供了堅實的技術支撐。
文心一言是多年技術積累和產業(yè)實踐的水到渠成。早在2019年,文心大模型ERNIE1.0發(fā)布。經過4年研發(fā)和迭代,文心大模型已經形成了產業(yè)級知識增強大模型技術體系,包括自然語言處理大模型、視覺大模型、跨模態(tài)大模型、生物計算大模型、行業(yè)大模型,以及支撐大模型應用的工具平臺,蘊含了大量自主創(chuàng)新并且在大規(guī)模產業(yè)應用中得到驗證的技術。其中有些關鍵技術已申請專利或發(fā)表論文,還有一些相關技術已開源開放。
杜甫有詩:“讀書破萬卷,下筆如有神”。這句詩一定意義上也是大語言模型的形象寫照:從海量數據中學習,相當于讀了萬億卷書籍,吸收和理解了海量知識,在此基礎上,就可以按照用戶的需求去創(chuàng)作文案、回答問題、完成總結分析。當下,文心一言、ChatGPT等大語言模型在某種程度上具備了對人類意圖的理解能力,其回答的準確性、邏輯性、流暢性都逐漸接近人類水平。但整體而言,這類大語言模型還遠未到發(fā)展完善的階段,有賴于通過更多真實的用戶反饋逐步迭代進化。
國產大語言模型處于什么水平
技術上的比較優(yōu)勢,是未來國際競爭中的立足點,也是人們普遍關心的問題。文心一言在文心知識增強大模型ERNIE及對話大模型PLATO的基礎上研發(fā),基于飛槳深度學習平臺訓練和部署,其關鍵技術包括,有監(jiān)督精調、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會采用的技術,此前已經有應用和積累,文心一言中又進行了進一步強化和打磨,做到了更懂中文、更懂中國文化、更懂中國的使用場景;后三項則是我們已有技術優(yōu)勢的再創(chuàng)新,也是文心一言越來越強大的技術底氣。
我們可以用老師教學生來類比大語言模型背后的技術原理。預訓練大模型像博覽群書的學生,記住了很多知識,但需要老師來指導如何運用,而有監(jiān)督精調就是老師在教學生,將提煉出來的知識要點、典型范例等教給模型,讓它知道該如何符合人類的規(guī)范、習慣和價值觀,如何按照人的指令去執(zhí)行相應動作,生成相應內容。在文心一言中我們訓練了獎勵模型,為每次輸出的結果打分并反饋給模型,進行強化學習。隨著真實用戶的反饋越來越多,文心一言的效果會越來越好,能力越來越強,進步“一日千里”。同時,文心一言還融合了不同類型的數據和知識自動構造提示,包括實例、提綱、規(guī)范、知識點和思維鏈等,提供了豐富的參考信息,激發(fā)模型相關知識,生成高質量結果。
在知識增強方面,知識是人類認識和改造世界的智慧結晶。文心一言基于龐大的知識圖譜,通過知識內化和知識外用來實現(xiàn)知識增強。知識內化,是從大規(guī)模知識和無標注數據中,基于語義單元學習,利用知識構造訓練數據,將知識學習到模型參數中;知識外用,是引入外部多源異構知識,做知識推理、提示構建等等,使模型具備有效運用外部知識的能力。在知識的指導下,文心一言如同站在巨人的肩膀上,學得又好又快,模型效率和效果均大幅提升。
在檢索增強方面,文心一言借助了搜索引擎的能力。以語義理解與語義匹配為核心技術的新一代檢索架構,深入理解用戶需求和網頁內容,進行語義匹配。通過引入搜索結果,可以為大模型提供時效性好、準確性高的參考信息,更好地滿足用戶需求。
在對話增強方面,基于對話技術和應用積累,文心一言具備記憶機制、上下文理解和對話規(guī)劃能力,使得對話的連貫性、合理性和邏輯性更好。
未來國力競爭與生產力提高的重要資源
大語言模型不僅僅是一項技術,更是未來國力競爭與生產力提高的重要資源。以深度學習平臺和大模型為代表的AI新型基礎設施,對科技創(chuàng)新、產業(yè)升級和高質量發(fā)展意義重大。大語言模型的快速進步,正在激發(fā)新業(yè)態(tài)、新模式,由此帶來的工作方式、教育模式等的變革,以及人工智能安全等問題引起社會的熱議。
在工作方式的變革方面,人工智能技術,本質上是提升生產力的工具,可以跟人協(xié)同工作,也可以替代人完成一些工作,使我們有機會去做更具創(chuàng)造力的事情。人類歷史上任何一次科技革命和產業(yè)變革都會帶來一些工作被替代、工作方式的改變,同時創(chuàng)造了更多新的工作機會。如同汽車出現(xiàn)后,馬車夫這樣的工作不復存在,但汽車帶來的工作機會多了很多倍。隨著技術的進步和生產效率的提高,人們的生活會越來越美好,因為科技創(chuàng)新帶來了各種各樣新的機會。
在教育模式變革方面,“死記硬背”已經落伍,教育將與時俱進,向激發(fā)靈感、培養(yǎng)創(chuàng)造力的方向轉變。在未來,如何用合理的輸入指令來使用大語言模型,如何基于大語言模型的輸出來進行創(chuàng)造性工作,可能是每個人的必備技能。我們不僅要培養(yǎng)懂人工智能技術的人才,也要培養(yǎng)會運用人工智能技術在各行各業(yè)中解決問題的人才,才能在建設科技強國的征程上穩(wěn)步向前。
大語言模型及相關人工智能技術的發(fā)展,要堅定遵守相關法律法規(guī)和倫理規(guī)范,配備相應的監(jiān)督和管理機制,從各個環(huán)節(jié)做好安全防范。在文心一言的開發(fā)過程中,從最初的數據的采集、處理,模型的訓練,到最后的使用過程,構筑了五道安全防線,也有數據管理委員會,與社會各界共同合作,不斷完善相關政策、規(guī)則,強化人工智能安全。
隨著大模型帶來的智能化創(chuàng)新熱潮不斷涌現(xiàn),大語言模型的下一步會是通用人工智能嗎?就像人造地球衛(wèi)星永遠也不會和月球這樣的自然衛(wèi)星畫等號一樣,人工智能永遠也不會直接跟人類的智能完全畫等號,研究人工智能是在研究用技術手段來模擬、延伸和拓展人的智能,最終目的是為人類帶來更先進的科技,服務于人類更美好的生活和社會的發(fā)展。人工智能的通用性越來越強,部分能力已經達到或超越人的水平,比如人工智能棋手的水平已經超過世界上最強的選手;自然語言理解的國際評測上,知識增強語言模型的得分已經超過人類得分;智能質檢設備可以檢測到人眼發(fā)現(xiàn)不了的缺陷和瑕疵,準確率和檢測速度大幅提升等等,遠遠超過人的能力。從這個角度來看,可以認為通用人工智能在一定程度上已經實現(xiàn)了,但比起這個概念本身,我們更應該關注人工智能為人類帶來的價值。
從大模型的產業(yè)模式來看,大模型依賴算法、算力和數據的綜合支撐,產業(yè)化面臨挑戰(zhàn):模型體積大,訓練難度高;算力規(guī)模大,性能要求高;數據規(guī)模大,數據質量參差不齊。大模型需要類似“代工廠”的產業(yè)模式,即具有算法、算力和數據綜合優(yōu)勢的企業(yè),將模型生產的復雜過程封裝起來,通過低門檻、高效率的生產平臺,為千行百業(yè)提供大模型服務。大語言模型既是人工智能發(fā)展的一個里程碑,更是分水嶺。未來,文心一言這類大語言模型會成為一個通用的賦能平臺,金融、能源、媒體、政務等各行各業(yè),都可以基于實現(xiàn)智能化變革,提高效率,創(chuàng)造巨大的商業(yè)價值。
放眼全球,以文心一言為代表的國產大語言模型讓中國第一時間參與到世界前沿科技競爭中,意味著我國的人工智能可以參與制定競爭規(guī)則,掌握科技創(chuàng)新、經濟發(fā)展的主動權,避免受制于人,也為產業(yè)上下游發(fā)展贏得先機。