對(duì)話人物：復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室MOSS項(xiàng)目人工智能訓(xùn)練師 賀正夫

問(wèn)：MOSS是什么，主要有什么作用？

答：MOSS是一個(gè)對(duì)話式語(yǔ)言模型，它可以為人們的生活提供各種直接或間接的幫助。它可以進(jìn)行生活常識(shí)問(wèn)答，幫助查詢(xún)天氣、規(guī)劃行程等；可以輔助高效辦公，例如自動(dòng)處理表格，生成大綱、草稿、翻譯等，還掌握金融、醫(yī)療、教育等領(lǐng)域?qū)I(yè)知識(shí)。許多行業(yè)正在引入以MOSS為代表的對(duì)話式語(yǔ)言模型，比如汽車(chē)語(yǔ)音助手、客服等，這些都將產(chǎn)生降本增效的效果。

問(wèn)：您對(duì)MOSS的具體訓(xùn)練過(guò)程是怎樣的？

答：大模型中參數(shù)的本質(zhì)是海量的矩陣，這些矩陣對(duì)輸入的文本進(jìn)行簡(jiǎn)單、繁重、重復(fù)的數(shù)字運(yùn)算，最終得到需要生成的內(nèi)容。我們可以通過(guò)對(duì)網(wǎng)絡(luò)上的語(yǔ)料進(jìn)行收集、“清洗”，并讓大模型從這些語(yǔ)料中學(xué)習(xí)知識(shí)。具體而言，學(xué)習(xí)過(guò)程就是不斷“閱讀”文本，并調(diào)整大模型內(nèi)部參數(shù)，使其對(duì)語(yǔ)言的理解不斷加深，最終獲得某種“智能”，這個(gè)過(guò)程稱(chēng)為訓(xùn)練。

在搭建MOSS的過(guò)程中，我們通過(guò)三階段“閱讀”賦予MOSS強(qiáng)大的能力。一是基礎(chǔ)知識(shí)獲取階段。MOSS通過(guò)廣泛“閱讀”網(wǎng)絡(luò)上幾乎所有的文本，由于巨大的參數(shù)量，其足以涵蓋海量知識(shí)。二是對(duì)話能力獲取階段。MOSS通過(guò)“閱讀”對(duì)話數(shù)據(jù)，學(xué)習(xí)利用第一階段獲取的知識(shí)，以對(duì)話的方式回答人類(lèi)的問(wèn)題。三是對(duì)齊階段。由于有些回復(fù)可能會(huì)有誤導(dǎo)性，MOSS會(huì)根據(jù)人類(lèi)的反饋來(lái)抑制生成不符合人類(lèi)法律和道德倫理的內(nèi)容，使回答更客觀、更理性。

問(wèn)：MOSS和ChatGPT相比有哪些差異？

答：ChatGPT的訓(xùn)練數(shù)據(jù)涵蓋十分廣泛，用戶(hù)體驗(yàn)良好。MOSS作為學(xué)術(shù)界的嘗試，我們希望通過(guò)打造開(kāi)源對(duì)話式的語(yǔ)言模型，向?qū)W術(shù)界分享更前瞻的理論和工程經(jīng)驗(yàn)。

問(wèn)：MOSS是來(lái)源于電影《流浪地球2》嗎？它的未來(lái)目標(biāo)是什么？

答：MOSS的名字與《流浪地球2》這部電影有關(guān)，電影中的人工智能機(jī)器人MOSS展現(xiàn)出極強(qiáng)的智能和理性，成為人類(lèi)的得力助手。我們從對(duì)話式語(yǔ)言模型發(fā)展中看到了人工智能的巨大潛力，因此起名MOSS，這個(gè)名字寄托這我們對(duì)人工智能技術(shù)未來(lái)發(fā)展的期待。

未來(lái)的MOSS會(huì)越來(lái)越“聰明”。我們將充分利用火山引擎等平臺(tái)提供的云端算力和資源，與更多同行開(kāi)展模型迭代和技術(shù)交流，不斷探索對(duì)話式大模型和大型語(yǔ)言模型的技術(shù)前沿，讓人工智能技術(shù)更好地造福人類(lèi)社會(huì)。

（彭訓(xùn)文、張嘉幸采訪整理）