對(duì)于人工智能，我們必須認(rèn)識(shí)到，它跟以往我們討論的所有科學(xué)技術(shù)都不一樣?，F(xiàn)在人類玩的最危險(xiǎn)的兩把火，一把是生物技術(shù)，一把就是人工智能——生物技術(shù)帶來(lái)很多倫理問(wèn)題，但是那把火的危險(xiǎn)性還沒(méi)有人工智能大，人工智能這把火現(xiàn)在最危險(xiǎn)。最近一些商業(yè)公司，通過(guò)“人機(jī)大戰(zhàn)”之類的商業(yè)炒作，一方面加劇了這種危險(xiǎn)，但另一方面也激發(fā)了公眾對(duì)人工智能前景的新一輪關(guān)注，這倒未嘗沒(méi)有好處。

我們可以把人工智能的威脅分成三個(gè)層次來(lái)看：近期的、中期的、遠(yuǎn)期的——也就是終極威脅。

電動(dòng)汽車特斯拉的生產(chǎn)流水線已經(jīng)大量使用機(jī)械手臂

近期威脅：大批失業(yè)、軍事化

人工智能的近期威脅，有些現(xiàn)在已經(jīng)出現(xiàn)在我們面前了。近期威脅基本上有兩條：

第一條，它正在讓很多藍(lán)領(lǐng)工人和下層白領(lǐng)失去工作崗位?，F(xiàn)在較低層次的人工智能已經(jīng)在很多工廠里被大量采用。有些人士安慰人們說(shuō)，以前各種各樣新的技術(shù)被發(fā)明時(shí)，也曾經(jīng)讓一些工人失去崗位，后來(lái)他們不都找到新的崗位了嗎？但是我認(rèn)為人工智能不一樣。媒體曾放過(guò)這樣的消息，包括人工智能的從業(yè)者自己也都在歡欣鼓舞地展望，說(shuō)人類現(xiàn)在絕大部分的工作崗位，人工智能都是可以替代的。果真如此，顯然這個(gè)社會(huì)將會(huì)變成絕大部分人都沒(méi)有工作的狀態(tài)。對(duì)于這樣的社會(huì)，人類目前沒(méi)有準(zhǔn)備好。今天如果有少數(shù)人沒(méi)有工作，多數(shù)人有工作，多數(shù)人養(yǎng)著少數(shù)人問(wèn)題不大，這樣的社會(huì)是我們現(xiàn)有的社會(huì)制度和倫理道德結(jié)構(gòu)能夠承受的。但是如果顛倒過(guò)來(lái)，這個(gè)社會(huì)中有相當(dāng)大的比例——且不說(shuō)超過(guò)50%，按照那些對(duì)人工智能的展望，將來(lái)90%以上的工作崗位都會(huì)被人工智能取代。比如說(shuō)人們想聽(tīng)一場(chǎng)報(bào)告，找個(gè)人工智能來(lái)做就可以了，說(shuō)不定比現(xiàn)在的聽(tīng)起來(lái)還要來(lái)勁。

當(dāng)這個(gè)社會(huì)大部分人都沒(méi)有工作的時(shí)候，社會(huì)會(huì)變得非常不穩(wěn)定。那么多沒(méi)有工作的人，他們可以用無(wú)限的時(shí)間來(lái)積累不滿，醞釀革命，于是就會(huì)危及社會(huì)穩(wěn)定。無(wú)論東方還是西方，無(wú)論什么意識(shí)形態(tài)的社會(huì)制度，在這個(gè)形勢(shì)面前都將黯然失色。所以說(shuō)人類還沒(méi)有準(zhǔn)備好。

順便再展望一下，既然90%以上的工作崗位都可以由人工智能來(lái)取代，那么“革命戰(zhàn)士”這種工作崗位能不能由人工智能來(lái)取代？革命能不能由人工智能來(lái)發(fā)起和進(jìn)行？當(dāng)然也可能。但是想想看，這樣的革命會(huì)帶來(lái)什么呢？很簡(jiǎn)單，那就是科幻影片《黑客帝國(guó)》和《未來(lái)戰(zhàn)士》中的世界——人類被人工智能征服、統(tǒng)治、壓迫。

這是人工智能近期的第一個(gè)威脅，現(xiàn)在在很多工廠已經(jīng)出現(xiàn)了。對(duì)工廠來(lái)說(shuō)，這個(gè)級(jí)別的人工智能是很容易實(shí)現(xiàn)的。那些工廠的管理者說(shuō)，我們換一個(gè)機(jī)器人上來(lái)，它的成本只不過(guò)是三個(gè)工人一年的工資，但是它們管理起來(lái)太容易了。管理工人很難，你讓他加班他不愿意，加得多了他可能跳樓自殺或上街游行，而機(jī)器人你讓它24小時(shí)一直干著都沒(méi)有問(wèn)題，管理成本又節(jié)省下來(lái)——管理成本往往是無(wú)形的，不那么容易計(jì)算。換用機(jī)器人很容易就可以收回成本，也許一年就收回來(lái)了。所以他們樂(lè)意用機(jī)器人取代工人。一些地方政府還通過(guò)政策鼓勵(lì)當(dāng)?shù)氐墓S用機(jī)器人來(lái)替代工人，換個(gè)角度想想，城市這樣發(fā)展下去，不需要幾年，幾百萬(wàn)工人失去工作，到那個(gè)時(shí)候后悔就來(lái)不及了。

人工智能第二個(gè)近期的威脅，是由加入軍隊(duì)的人工智能帶來(lái)的。但現(xiàn)在以美國(guó)為首的某些發(fā)達(dá)國(guó)家，最起勁的事情就是研發(fā)軍事用途的人工智能。研發(fā)軍事用途的人工智能本質(zhì)上和研發(fā)原子彈是一樣的，就是一種更有效的殺人手段。為什么埃隆·馬斯克等人也號(hào)召要制止研發(fā)軍事用途的人工智能，道理很明顯：研發(fā)軍事用途的人工智能，就是研發(fā)更先進(jìn)的殺人武器，當(dāng)然不是人類之福。

今天我們只能，而且必須抱著和當(dāng)年搞“兩彈一星”類似的心態(tài)，來(lái)進(jìn)行軍事用途的人工智能研發(fā)。軍用人工智能就是今天的“兩彈一星”。

比較理想的局面，是各大國(guó)坐下來(lái)談判，簽署限制或禁止人工智能的國(guó)際協(xié)議。目前國(guó)際上已出現(xiàn)一些這樣的倡議，但僅來(lái)自某些學(xué)者或?qū)W術(shù)機(jī)構(gòu)，尚未形成國(guó)家層面的行動(dòng)或動(dòng)議。

中期威脅：人工智能的反叛和失控

我們?cè)賮?lái)看人工智能中期的威脅——人工智能的失控。這種威脅媒體早有報(bào)道，但有一些人工智能的專家出來(lái)安慰大家，他們認(rèn)為人工智能現(xiàn)在還很初級(jí)，即使戰(zhàn)勝了李世石，不過(guò)是下個(gè)棋，即使它會(huì)作詩(shī)、寫小說(shuō)，它還是很低級(jí)的，所以不用擔(dān)心。這種安慰非?；闹?。

我們都知道“養(yǎng)虎遺患”的成語(yǔ)，如果那些養(yǎng)老虎的人跟我們說(shuō)，老虎還很小，你先讓我們養(yǎng)著再說(shuō)，我們能同意這樣的論證嗎？你讓我們同意養(yǎng)老虎，就得證明老虎不會(huì)吃人，或者證明你養(yǎng)的不是老虎。要是老虎養(yǎng)大了，它要吃人了，就來(lái)不及了。

《黑客帝國(guó)》三部曲

這個(gè)成語(yǔ)非常適合用來(lái)警惕人工智能的失控。各種各樣的科幻作品都有提及失控的后果，比如影片《黑客帝國(guó)》中，人工智能建立了對(duì)人類社會(huì)的統(tǒng)治，我們?nèi)祟惥屯甑傲?。我們?yōu)槭裁匆邪l(fā)出一個(gè)統(tǒng)治我們自己的超級(jí)物種？

當(dāng)然，還有一部分專家說(shuō)，想讓我們提供關(guān)于人工智能這個(gè)“老虎”不吃人的證據(jù)，我們有啊，我們有辦法讓我們的人工智能不吃人，不反叛，變成不吃人的老虎——我們只需要給人工智能設(shè)定道德戒律。

圍繞在人工智能中設(shè)定怎樣的道德戒律，用怎樣的技術(shù)去設(shè)定，專家們確實(shí)已經(jīng)想過(guò)各種各樣的方案了。但是這些方案可行嗎？任何一個(gè)具體方案，如果仔細(xì)琢磨，就會(huì)發(fā)現(xiàn)都是有問(wèn)題的。我們先不考慮具體的方案，我們只要考慮一個(gè)總體的情形，就足以讓我們警惕。簡(jiǎn)單地說(shuō)，如果通過(guò)為人工智能設(shè)置一些道德戒律，就指望它不會(huì)學(xué)壞，那么請(qǐng)想一想，我們?nèi)祟惖浆F(xiàn)在為止，能夠做到讓每一個(gè)后代都學(xué)好嗎？答案是做不到。我們總是有一部分學(xué)壞的后代。對(duì)這些學(xué)壞的后代，難道家長(zhǎng)和老師沒(méi)有向他們反復(fù)灌輸各種道德戒律嗎？況且社會(huì)還有各種各樣的法律制約，但仍然還有一部分人不可避免地學(xué)壞。從這個(gè)情形來(lái)推想，人工智能就算是你的一個(gè)孩子，你能確保他不學(xué)壞嗎？

更危險(xiǎn)的事情是，人工智能會(huì)比人類更聰明?，F(xiàn)在人類有一部分后代學(xué)壞，還沒(méi)有顛覆我們的社會(huì)，那是因?yàn)樗麄儺吘箾](méi)有變成超人，總體跟我們是一樣的。一小部分人學(xué)壞，大部分人還是可以制約他們。要是那個(gè)學(xué)壞的人是超人，他掌握了超級(jí)智能后依然學(xué)壞，人們將沒(méi)辦法控制它。然而現(xiàn)在人工智能研發(fā)追求的是什么境界——不弄出“超人”來(lái)，科學(xué)家肯罷手嗎？

所以，那些盲目樂(lè)觀，說(shuō)我們能讓人工智能不學(xué)壞的人，請(qǐng)先解決怎么確保我們?nèi)祟愖约旱暮蟠粚W(xué)壞吧。如果人類不能在總體上杜絕我們后代的學(xué)壞，那對(duì)人工智能不學(xué)壞的信心從何而來(lái)？

在考慮人工智能的中期威脅時(shí)，還必須考慮人工智能與互聯(lián)網(wǎng)結(jié)合的可怕前景。主要表現(xiàn)為兩點(diǎn)：

1、互聯(lián)網(wǎng)可以讓個(gè)體人工智能徹底超越智能的物理極限（比如存儲(chǔ)和計(jì)算能力）。

2、與互聯(lián)網(wǎng)結(jié)合后，具有學(xué)習(xí)能力的人工智能，完全有可能以難以想象的速度，瞬間從弱人工智能自我進(jìn)化到強(qiáng)人工智能乃至超級(jí)人工智能，人類將措手不及而完全失控。

另外，鼓吹人工智能的人在安慰公眾時(shí)，還有一個(gè)非常初級(jí)甚至可以說(shuō)是相當(dāng)?shù)陀椎恼f(shuō)法：“我們可以拔掉電源”。專業(yè)人士在試圖打消公眾對(duì)人工智能的憂慮時(shí)，也經(jīng)常提到這一說(shuō)法。但實(shí)際上他們完全知道，如今人工智能已經(jīng)與互聯(lián)網(wǎng)密切結(jié)合——事實(shí)上，這一點(diǎn)正是許多大企業(yè)極力追求的，借用如今高度發(fā)達(dá)的定制、物流、快遞等社會(huì)服務(wù)，人工智能幾乎已經(jīng)可以擺脫對(duì)所有物理伺服機(jī)構(gòu)的依賴。而當(dāng)人工智能表現(xiàn)為一個(gè)網(wǎng)上幽靈時(shí)，沒(méi)有機(jī)體和形態(tài)，將沒(méi)有任何“電源”可拔。

人工智能和互聯(lián)網(wǎng)結(jié)合以后，危險(xiǎn)成萬(wàn)倍增長(zhǎng)。以前對(duì)于個(gè)體的人工智能，它智能的增長(zhǎng)還會(huì)受到物理極限的約束，但一旦和互聯(lián)網(wǎng)結(jié)合，這個(gè)物理極限的約束就徹底消失了。所以人工智能可以在極快的時(shí)間里自我進(jìn)化。

去年一篇很長(zhǎng)的文章在很多圈子里瘋傳，那篇文章稍微有點(diǎn)危言聳聽(tīng)，但結(jié)論我同意。作者想論證這樣一種前景，就是說(shuō)人工智能一旦越過(guò)了某個(gè)坎之后，自我進(jìn)化的速度是極快的，快到不是以年月來(lái)計(jì)算，而可能是以分鐘甚至是秒來(lái)計(jì)算。一瞬間它就可以變成超人。一旦變成超人，當(dāng)然就失控了。因此說(shuō)老虎還小的人，不要以為老虎跟現(xiàn)在一樣一年長(zhǎng)大一點(diǎn)，如果這個(gè)老虎一分鐘長(zhǎng)大一倍，這樣的老虎還了得？雖然現(xiàn)在很小，過(guò)五分鐘就能吃人了。

當(dāng)然，對(duì)于這種事情，我本質(zhì)上是樂(lè)觀主義者，雖然我看到了這樣危險(xiǎn)的前景，我也還是得樂(lè)觀地生活。只能如此，不能因?yàn)橛X(jué)得末日可能要來(lái)臨了，就不過(guò)好自己的每一天。

另外，對(duì)人工智能專家，我想說(shuō)：你們要知道，在我所預(yù)言的危險(xiǎn)前景中，你們是最危險(xiǎn)的，因?yàn)槟銈兙驮诶匣⑴赃?，老虎最先要吃的，很可能就是你們這些人，所以要特別警惕。

遠(yuǎn)期威脅：將最終消解人類生存的根本意義

從中期看，人工智能有失控和反叛的問(wèn)題，但是人工智能的威脅還有更遠(yuǎn)期的，從最終極的意義來(lái)看，人工智能是極度致命的。

阿西莫夫提出了“機(jī)器人三定律”，現(xiàn)在在研究機(jī)器人的行業(yè)里，有的人表示三定律還有意義，但是也有一些專家對(duì)這個(gè)三定律不屑一顧，如果對(duì)三個(gè)定律仔細(xì)推敲的話，我相信一些人工智能專家肯定會(huì)同意下面的說(shuō)法：這三定律絕對(duì)排除了任何對(duì)軍事用途機(jī)器人的研發(fā)。因?yàn)橹灰屓斯ぶ悄苋?zhí)行對(duì)人類個(gè)體的傷害，哪怕是去處死死刑犯人，就明顯違背了三定律中的第一定律。但是搞軍事用途人工智能的人會(huì)說(shuō)，這三定律算什么，那是科幻小說(shuō)家的胡思亂想，我們哪能拿它當(dāng)真呢。

阿西莫夫在短篇小說(shuō)《轉(zhuǎn)圈圈》中首次明確提出“機(jī)器人三定律”，這篇小說(shuō)后來(lái)收錄在《我，機(jī)器人》小說(shuō)集。

很多人不知道的是，這個(gè)阿西莫夫還有另一個(gè)觀點(diǎn)——所有依賴于人工智能的文明都是要滅亡的。

阿西莫夫有一部史詩(shī)科幻小說(shuō)《基地》系列，共11卷，其中對(duì)人工智能有一個(gè)明確的觀點(diǎn)。對(duì)于人工智能的終極威脅，他已經(jīng)不是擔(dān)憂人工智能學(xué)壞或失控，他假定人工智能沒(méi)學(xué)壞，沒(méi)失控，但是這樣的人工智能是會(huì)毀滅人類的，因?yàn)檫@樣的人工智能將會(huì)消解我們?nèi)祟惿娴囊饬x。

試想所有的事情都由人工智能替人類干了，人類活著干嘛？人們很快就會(huì)變成一個(gè)個(gè)寄生蟲，人類這個(gè)群體就會(huì)在智能和體能上急劇衰退，像蟲子一樣在一個(gè)舒適的環(huán)境里活著，也許就自愿進(jìn)入《黑客帝國(guó)》描繪的狀態(tài)中去了：你就是要感覺(jué)快活，這個(gè)時(shí)候乖乖聽(tīng)話的人工智能完全可以為你服務(wù)：我把主人放在槽里養(yǎng)著，給他輸入虛假的快活信號(hào)，他就快活了，這不就好了嗎？

從根本上來(lái)說(shuō)，人工智能像我們現(xiàn)在所希望、所想象的那樣無(wú)所不能，聽(tīng)話，不學(xué)壞，這樣的人工智能將最終消除我們?nèi)祟惿娴囊饬x。每一個(gè)個(gè)體都變得沒(méi)有生活意義的時(shí)候，整個(gè)群體就是注定要滅亡的。

所以，無(wú)論從近期、中期、遠(yuǎn)期看，人工智能都是極度危險(xiǎn)的。無(wú)論它們反叛還是乖順，對(duì)人類也都是有害的。因此我完全贊成應(yīng)該由各大國(guó)談判訂立國(guó)際條約來(lái)嚴(yán)格約束人工智能的研發(fā)。這個(gè)條款應(yīng)該比美俄之間用來(lái)約束核軍備的條款還要更嚴(yán)格，否則是非常危險(xiǎn)的。

科學(xué)已經(jīng)告別純真年代

以前曾經(jīng)有過(guò)科學(xué)的純真年代，那個(gè)時(shí)候也許可以認(rèn)為科學(xué)是“自然而然”產(chǎn)生的，但是今天科學(xué)早就告別了純真年代，今天科學(xué)是跟資本密切結(jié)合在一起的。所有的這些活動(dòng)，包括研發(fā)人工智能，背后都有巨大商業(yè)利益的驅(qū)動(dòng)。

談到科學(xué)和資本結(jié)合在一起，我總要提醒大家重溫馬克思的名言：資本來(lái)到世間，每個(gè)毛孔都滴著濃血和骯臟的東西。對(duì)于和資本密切結(jié)合在一起的科學(xué)，我們的看法就應(yīng)該和以前不同了。

我們以前一直有一個(gè)說(shuō)法：科學(xué)沒(méi)有禁區(qū)。這個(gè)說(shuō)法是很多人都習(xí)慣的，但是現(xiàn)在對(duì)于這個(gè)說(shuō)法，科學(xué)界的很多人已經(jīng)開(kāi)始有新的認(rèn)識(shí)。比如說(shuō)曾任北大校長(zhǎng)的許智宏院士，前不久就對(duì)媒體表示：我們以前一直說(shuō)科學(xué)沒(méi)有禁區(qū)，但現(xiàn)在看來(lái)，科學(xué)研究仍然有著不可逾越的紅線。他是在說(shuō)生物技術(shù)的某些應(yīng)用時(shí)說(shuō)的，“不可逾越的紅線”當(dāng)然就是禁區(qū)了。

如果表述得稍微完備一點(diǎn)，我們可以說(shuō)，在每一個(gè)特定的時(shí)期里，科學(xué)都應(yīng)該有它的禁區(qū)，這個(gè)禁區(qū)可以在不同的時(shí)期有所改變。比如說(shuō)某項(xiàng)技術(shù)，當(dāng)人類社會(huì)已經(jīng)準(zhǔn)備好了，我們已經(jīng)有成熟的倫理或者比較完備的法律來(lái)規(guī)范它的時(shí)候，我們也許可以開(kāi)放這個(gè)禁區(qū)，說(shuō)這個(gè)事情現(xiàn)在可以做了。但是沒(méi)準(zhǔn)備好的事情，現(xiàn)在把它設(shè)為禁區(qū)是應(yīng)該的，這個(gè)禁區(qū)也應(yīng)包括科學(xué)技術(shù)的高低維度，高到一定程度就有可能變成禁區(qū)，不應(yīng)該再繼續(xù)追求了。

發(fā)展科學(xué)，在今天，其實(shí)各國(guó)都是被綁架的。已經(jīng)領(lǐng)先的怕被別人超越，當(dāng)然不能停下來(lái)；尚未領(lǐng)先的，當(dāng)然更要追趕。結(jié)果誰(shuí)也不肯停下來(lái)或慢下來(lái)，誰(shuí)都不敢停下來(lái)或慢下來(lái)，因?yàn)楹ε?ldquo;落后了就要挨打”。所以只有各大國(guó)坐下來(lái)談判，設(shè)立條約，不然毫無(wú)辦法。在這種局面中，只要有一個(gè)人開(kāi)始做不好的事情，比如研發(fā)原子彈或軍事用途的人工智能，其他人就會(huì)被迫跟進(jìn)，結(jié)果大家都會(huì)被綁架。