大數(shù)據(jù)的使用將成為未來提高競爭力的關(guān)鍵要素。大數(shù)據(jù)本質(zhì)上是“一場管理革命”。大數(shù)據(jù)時(shí)代,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗(yàn)和直覺。
我國盡管已經(jīng)意識(shí)到大數(shù)據(jù)的競爭力和戰(zhàn)略性,卻并未在真正意義上將其提升到國家戰(zhàn)略高度,數(shù)據(jù)財(cái)富尚未形成全民意識(shí)。
大數(shù)據(jù):未來提高競爭力的關(guān)鍵要素
“如果說IBM的主機(jī)拉開了信息化革命的大幕,那么大數(shù)據(jù)才是第3次浪潮的華彩樂章。”著名未來學(xué)家、當(dāng)今世界最具影響力的社會(huì)思想家之一阿爾文?托夫勒在其 1980年出版的《第三次浪潮》一書中的話正在演變成現(xiàn)實(shí)。大數(shù)據(jù)雖然姍姍來遲,但是來得比托夫勒想象得更為迅猛。
進(jìn)入21世紀(jì)以來,一些嶄新的互聯(lián)網(wǎng)的應(yīng)用如微博、社交網(wǎng)站的不斷普及,以及視頻通訊、醫(yī)療影像、地理信息和監(jiān)控錄像等視頻內(nèi)容的急劇增加,加之傳感器、無線電射頻識(shí)別(RFID)閱讀器、導(dǎo)航終端等非傳統(tǒng)IT設(shè)備和移動(dòng)設(shè)備,都將產(chǎn)生越來越多的數(shù)據(jù),從而造成了“數(shù)據(jù)爆炸”的現(xiàn)象。根據(jù)國際數(shù)據(jù)公司(IDC)預(yù)測,全球的數(shù)據(jù)產(chǎn)生量到 2020將會(huì)增長 44倍,達(dá)到35.2ZB。也就是說,全球大概需要 376億個(gè)1TB硬盤來存儲(chǔ)數(shù)據(jù)。大數(shù)據(jù)并非單指數(shù)據(jù)量之大,而是指為了更經(jīng)濟(jì)地從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價(jià)值而設(shè)計(jì)的新一代架構(gòu)和技術(shù)。
牛津大學(xué)教授維克托?邁爾-舍恩伯格在其新書《大數(shù)據(jù)時(shí)代》中說,大數(shù)據(jù)是一場“革命”,將對各行各業(yè)帶來深刻影響,甚至改變我們的思維方式。其中最關(guān)鍵的是,大數(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系,人們只需知道“是什么”,而不用知道“為什么”。這顛覆了千百年來人類的思維模式,對人類的認(rèn)知方式和交流方式提出了新挑戰(zhàn)。
此外,大數(shù)據(jù)時(shí)代產(chǎn)生的數(shù)據(jù)密集型的知識(shí)發(fā)現(xiàn),有可能成為繼實(shí)驗(yàn)科學(xué)、理論分析和計(jì)算機(jī)模擬這三種經(jīng)典科研范式之后的第四種科研范式。谷歌的廣告優(yōu)化配置、戰(zhàn)勝人類的“IBM沃森問答系統(tǒng)”已經(jīng)在向我們展示“第四范式”的魅力。
數(shù)據(jù)正成為與物質(zhì)資產(chǎn)和人力資本相提并論的重要生產(chǎn)要素,大數(shù)據(jù)的使用將成為未來提高競爭力的關(guān)鍵要素。大數(shù)據(jù)作為重要的生產(chǎn)要素,其價(jià)值主要體現(xiàn)在如下三個(gè)方面。
能夠?qū)崿F(xiàn)巨大商業(yè)價(jià)值。大數(shù)據(jù)在商業(yè)領(lǐng)域的應(yīng)用,可以通過對顧客群體細(xì)分來實(shí)現(xiàn)對每個(gè)群體量體裁衣般的采取獨(dú)特的行動(dòng),通過模擬現(xiàn)實(shí)來發(fā)掘新的需求和提高投入的回報(bào)率,通過分析消費(fèi)者的行為特征進(jìn)行商業(yè)模式、產(chǎn)品和服務(wù)的創(chuàng)新等,這些應(yīng)用將會(huì)產(chǎn)生巨大的商業(yè)價(jià)值。沃爾瑪是最早通過利用大數(shù)據(jù)而受益的企業(yè)之一,它通過對消費(fèi)者的購物行為等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,成為最了解顧客購物習(xí)慣的零售商。沃爾瑪通過分析顧客在互聯(lián)網(wǎng)上的搜索內(nèi)容,以及在社交網(wǎng)站所顯露的行為軌跡,甚至比美國的一個(gè)粗心的父親更早地捕捉到了他女兒的懷孕信息,并將帶有嬰兒用品優(yōu)惠券的廣告郵件,寄送給他正在念高中的女兒。
能夠增強(qiáng)社會(huì)管理水平。大數(shù)據(jù)在政府和公共服務(wù)領(lǐng)域的應(yīng)用,可有效推動(dòng)政務(wù)工作開展,提高政府部門的決策水平、服務(wù)效率和社會(huì)管理水平,產(chǎn)生巨大社會(huì)價(jià)值。2009年,谷歌公司通過把 5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003年至2008年間季節(jié)性流感傳播時(shí)期的數(shù)據(jù)進(jìn)行比較,成功預(yù)測了當(dāng)年甲型H1N1流感的爆發(fā)及其傳播源頭,遠(yuǎn)早于疾控中心官方。
能夠提高安全保障能力。大數(shù)據(jù)在國防、反恐、安全等領(lǐng)域的應(yīng)用,將對各部門搜集到的各類信息進(jìn)行自動(dòng)分類、整理、分析,有效解決情報(bào)、監(jiān)視和偵察系統(tǒng)不足等問題,提高國家安全保障能力。從純技術(shù)角度觀察,美國的“棱鏡”項(xiàng)目就是一個(gè)典型的通過分析海量通訊數(shù)據(jù)獲取安全情報(bào)的大數(shù)據(jù)案例。
《孫子兵法》說:“多算 勝,少 算 不勝。”決定能否“多算”的重要因素在于,掌握數(shù)據(jù)的多少以及對數(shù)據(jù)處理能力的高低。在大數(shù)據(jù)時(shí)代,國家層面的競爭力將部分體現(xiàn)為一國擁有大數(shù)據(jù)的規(guī)模、活性以及對數(shù)據(jù)的解釋、運(yùn)用能力。一個(gè)國家在網(wǎng)絡(luò)空間的數(shù)據(jù)主權(quán)將是繼海、陸、空、天之后另一個(gè)大國博弈的空間。
國家層面:將大數(shù)據(jù)提升為國家戰(zhàn)略
鑒于大數(shù)據(jù)潛在的巨大影響,很多國家都將大數(shù)據(jù)視作戰(zhàn)略資源,并將大數(shù)據(jù)提升為國家戰(zhàn)略。
2012年3月,美國奧巴馬政府宣布推出“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”。該計(jì)劃涉及美國國家科學(xué)基金、美國國家衛(wèi)生研究院、美國能源部、美國國防部、美國國防部高級研究計(jì)劃局、美國地質(zhì)勘探局等6個(gè)聯(lián)邦政府部門,承諾將投資兩億多美元,大力推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具及技術(shù),以推進(jìn)從大量的、復(fù)雜的數(shù)據(jù)集合中獲取知識(shí)和洞見的能力。美國奧巴馬政府宣布投資大數(shù)據(jù)領(lǐng)域,是大數(shù)據(jù)從商業(yè)行為上升到國家戰(zhàn)略的分水嶺,表明大數(shù)據(jù)正式提升到戰(zhàn)略層面,大數(shù)據(jù)在經(jīng)濟(jì)社會(huì)各個(gè)層面、各個(gè)領(lǐng)域都開始受到重視。
其實(shí),不僅是美國,其他一些國家和地區(qū)也都把大數(shù)據(jù)提升到國家戰(zhàn)略層面,認(rèn)為未來國家層面的競爭力將部分體現(xiàn)為一國擁有數(shù)據(jù)的規(guī)模及運(yùn)用數(shù)據(jù)的能力。2013年2月,法國政府發(fā)布了其《數(shù)字化路線圖》,列出了 5項(xiàng)將會(huì)大力支持的戰(zhàn)略性高新技術(shù),“大數(shù)據(jù)”就是其中一項(xiàng)。法國政府將以新興企業(yè)、軟件制造商、工程師、信息系統(tǒng)設(shè)計(jì)師等為目標(biāo),開展一系列的投資計(jì)劃,旨在通過發(fā)展創(chuàng)新性解決方案,并將其用于實(shí)踐,來促進(jìn)法國在大數(shù)據(jù)領(lǐng)域的發(fā)展。2012年9月,日本總務(wù)省發(fā)布2013年行動(dòng)計(jì)劃,提出以復(fù)蘇日本為目的推進(jìn)“活躍在ICT領(lǐng)域的日本”ICT綜合戰(zhàn),明確提出“通過大數(shù)據(jù)和開放數(shù)據(jù)開創(chuàng)新市場”。這些表明,日本政府在新一輪IT振興計(jì)劃中把大數(shù)據(jù)發(fā)展作為國家層面戰(zhàn)略提出,新 ICT戰(zhàn)略將重點(diǎn)關(guān)注大數(shù)據(jù)應(yīng)用技術(shù)。
企業(yè)層面:對大數(shù)據(jù)的存儲(chǔ)、處理和應(yīng)用積極布局
不僅是政府開始謀劃大數(shù)據(jù)發(fā)展戰(zhàn)略,IT巨頭如英特爾、IBM、甲骨文、微軟、淘寶、百度和騰訊等也開始對大數(shù)據(jù)的存儲(chǔ)、處理和應(yīng)用進(jìn)行布局,在針對個(gè)人用戶信息的大數(shù)據(jù)的管理和分析上投入了巨額資金。
2010年以來,歐美 IT巨頭掀起一輪與大數(shù)據(jù)相關(guān)的并購潮。英特爾并購了安全軟件制造商McAfee等很多大數(shù)據(jù)處理以及架構(gòu)廠商來彌補(bǔ)自己在軟件上的能力;IBM通過并購數(shù)據(jù)分析公司來增強(qiáng)自己在海量數(shù)據(jù)處理上的實(shí)力。從各IT巨頭紛紛推出的大數(shù)據(jù)產(chǎn)品可以看出,這些IT巨頭幾乎搶占了搜索服務(wù)、數(shù)據(jù)庫、服務(wù)器、存儲(chǔ)設(shè)備、數(shù)據(jù)挖掘等核心價(jià)值環(huán)節(jié)。
國已成為 IT巨頭布局大數(shù)據(jù)戰(zhàn)略的重要戰(zhàn)場。例如:英特爾在上海成立一個(gè)團(tuán)隊(duì)專門在做 Hadoop大數(shù)據(jù)處理架構(gòu)的開發(fā);EMC組建EMC中國研究院,下設(shè)大數(shù)據(jù)、云基礎(chǔ)構(gòu)建、云平臺(tái)與應(yīng)用3個(gè)實(shí)驗(yàn)室來推動(dòng)這3個(gè)方面的研究以及大數(shù)據(jù)在中國的應(yīng)用;IBM在北京成立了全球首個(gè)大數(shù)據(jù)智慧賦能中心,并且匯聚了來自IBM全球的大數(shù)據(jù)技術(shù)專家和商業(yè)運(yùn)營精英,旨在為企業(yè)構(gòu)建一個(gè)從商業(yè)評估、論證、方案部署到人員培訓(xùn)的完整大數(shù)據(jù)戰(zhàn)略體系。
國內(nèi)企業(yè)受限于IT產(chǎn)業(yè)鏈所處的位置,普遍在數(shù)據(jù)庫、數(shù)據(jù)倉庫、商業(yè)智能等領(lǐng)域基礎(chǔ)薄弱,因此,在大數(shù)據(jù)上布局不可能像跨國企業(yè)那樣全面。但國內(nèi)相對強(qiáng)勢的互聯(lián)網(wǎng)企業(yè)、電信運(yùn)營商、電信設(shè)備供應(yīng)商已經(jīng)開始啟動(dòng)產(chǎn)業(yè)布局,以互聯(lián)網(wǎng)應(yīng)用服務(wù)為切入點(diǎn)搶占大數(shù)據(jù)制高點(diǎn)。
大數(shù)據(jù)面臨的挑戰(zhàn):不僅僅是技術(shù)
如果從數(shù)據(jù)結(jié)構(gòu)復(fù)雜多樣,數(shù)據(jù)規(guī)模爆炸增長,對社會(huì)生活產(chǎn)生巨大影響的角度看,全球已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。但是從對數(shù)據(jù)的應(yīng)用角度看,當(dāng)下還處于大數(shù)據(jù)時(shí)代的早期。特別是對我國來說,大數(shù)據(jù)真正落地,還需面臨幾個(gè)重大的挑戰(zhàn)。
對數(shù)據(jù)共享和隱私保護(hù)的挑戰(zhàn)。中國人口居世界首位,將會(huì)成為產(chǎn)生數(shù)據(jù)量最多的國家,但對數(shù)據(jù)保存不夠重視,對存儲(chǔ)數(shù)據(jù)的利用率也不高。此外,我國一些部門和機(jī)構(gòu)擁有大量數(shù)據(jù)但受行政壟斷和商業(yè)利益所限,數(shù)據(jù)開放程度也較低,這給數(shù)據(jù)利用造成極大障礙。制約我國數(shù)據(jù)資源開放和共享的一個(gè)重要因素是政策法規(guī)不完善,一方面欠缺推動(dòng)政府和公共數(shù)據(jù)開放的政策;另一方面數(shù)據(jù)保護(hù)和隱私保護(hù)方面的制度不完善,抑制了開放的積極性。所以,如何使政府從壟斷和保密的歷史慣性思維方式中解脫出來,在確保隱私、機(jī)密和國家安全的前提下帶頭開放數(shù)據(jù),降低公眾獲取和利用政府?dāng)?shù)據(jù)資源難度和成本,至少是我國大數(shù)據(jù)時(shí)代開啟階段的瓶頸。
對數(shù)據(jù)儲(chǔ)存和分析技術(shù)的挑戰(zhàn)。大數(shù)據(jù)中大部分都是非結(jié)構(gòu)化的數(shù)據(jù),如網(wǎng)絡(luò)日志、RFID、傳感器網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、互聯(lián)網(wǎng)搜索索引、詳細(xì)通話記錄、醫(yī)療記錄、攝影檔案、視頻檔案等?,F(xiàn)有的軟件和工具主要適用于以結(jié)構(gòu)化數(shù)據(jù)為主的傳統(tǒng)數(shù)據(jù),要想及時(shí)捕捉、存儲(chǔ)、聚合和管理這些大數(shù)據(jù),以及對數(shù)據(jù)進(jìn)行深度分析和挖掘,需要新的技術(shù)和能力。在大數(shù)據(jù)軟件平臺(tái)和算法方面,國外又一次走在我國前面。特別是近年來以開源模式發(fā)展起來的 Hadoop等大數(shù)據(jù)處理軟件平臺(tái)及其相關(guān)產(chǎn)業(yè)已經(jīng)在美國初步形成。而我國數(shù)據(jù)存儲(chǔ)、處理技術(shù)基礎(chǔ)薄弱,總體上以跟隨為主,難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。
對管理理念和運(yùn)作方式的挑戰(zhàn)。大數(shù)據(jù)的技術(shù)挑戰(zhàn)顯而易見,但其帶來的決策挑戰(zhàn)更為艱巨。大數(shù)據(jù)開發(fā)的根本目的是以數(shù)據(jù)分析為基礎(chǔ),幫助人們作出更明智的決策,優(yōu)化企業(yè)和社會(huì)運(yùn)轉(zhuǎn)。哈佛商業(yè)評論說,大數(shù)據(jù)本質(zhì)上是“一場管理革命”。多年前出現(xiàn)的互聯(lián)網(wǎng)將企業(yè)經(jīng)營、政府運(yùn)作以及人們生活的方式做出了很大改變。大數(shù)據(jù)的出現(xiàn),又一次激起了這種巨大的變革能力。在大數(shù)據(jù)時(shí)代,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗(yàn)和直覺。在我國,無論是政府部門還是企業(yè),對大數(shù)據(jù)可能產(chǎn)生的價(jià)值的認(rèn)識(shí),以及如何利用數(shù)據(jù)分析實(shí)現(xiàn)科學(xué)決策依然有相當(dāng)長的路要走。
大數(shù)據(jù)時(shí)代:政府需要有所作為
現(xiàn)代歷史上的歷次技術(shù)革命,中國均是學(xué)習(xí)者。而在這次云計(jì)算與大數(shù)據(jù)的新變革中,中國與世界的距離最小,在很多領(lǐng)域甚至還有著創(chuàng)新與領(lǐng)先的可能。一方面,大數(shù)據(jù)技術(shù)以開源為主,迄今為止,尚未形成絕對技術(shù)壟斷。即便是英特爾、IBM、甲骨文等IT巨頭,也同樣是集成了開源技術(shù),和本公司原有產(chǎn)品更好的結(jié)合而已。另一方面,中國人口和經(jīng)濟(jì)規(guī)模,決定中國的數(shù)據(jù)資產(chǎn)規(guī)模將冠于全球,客觀上為大數(shù)據(jù)技術(shù)的發(fā)展,提供了廣闊的發(fā)展空間。從國家角度來看,大數(shù)據(jù)是重要戰(zhàn)略資源。因此,挖掘大數(shù)據(jù)價(jià)值,推動(dòng)大數(shù)據(jù)發(fā)展,需要政府發(fā)揮作用。
將大數(shù)據(jù)上升為國家戰(zhàn)略。我國盡管已經(jīng)意識(shí)到大數(shù)據(jù)的競爭力和戰(zhàn)略性,卻并未在真正意義上將其提升到國家戰(zhàn)略高度,數(shù)據(jù)財(cái)富尚未形成全民意識(shí)。因此有必要從國家層面上制定大數(shù)據(jù)發(fā)展規(guī)劃,將大數(shù)據(jù)上升為國家戰(zhàn)略。通過國家層面的戰(zhàn)略規(guī)劃明確大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展重點(diǎn)、空間布局和保障措施,推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、儲(chǔ)存和分析工具及技術(shù),并在公共服務(wù)領(lǐng)域(如安防、醫(yī)療、衛(wèi)生、教育等),開展大數(shù)據(jù)應(yīng)用示范,提高應(yīng)急處置能力和安全防范能力,提升服務(wù)能力和運(yùn)作效率。
推動(dòng)數(shù)據(jù)公開,同時(shí)保護(hù)“隱私權(quán)”。如同工業(yè)革命要開放物質(zhì)的交易、流通一樣,開放的、流通的數(shù)據(jù)是時(shí)代的要求。美國政府創(chuàng)建了Data.gov網(wǎng)站公開數(shù)據(jù),英國、印度也有“數(shù)據(jù)公開”運(yùn)動(dòng)。中國要趕上這樣一場大數(shù)據(jù)變革,首先要從政府開始公開數(shù)據(jù),讓社會(huì)享受公開數(shù)據(jù)的好處,同時(shí)也可以提升政府的辦事效率。其次要通過數(shù)據(jù)立法,對“隱私權(quán)”“所有權(quán)”等敏感問題通過法律形式加以保護(hù)。
推動(dòng)政府2.0建設(shè)。通過以移動(dòng)技術(shù)為代表的云計(jì)算、大數(shù)據(jù)等新一代IT技術(shù)工具和社會(huì)性網(wǎng)絡(luò)服務(wù)(SNS)、社交媒體為代表的社會(huì)工具應(yīng)用,打造以用戶創(chuàng)新、大眾創(chuàng)新、開放創(chuàng)新、協(xié)同創(chuàng)新為特征的政務(wù)平臺(tái),實(shí)現(xiàn)從生產(chǎn)范式向服務(wù)范式的轉(zhuǎn)變,通過政府、市場、社會(huì)的協(xié)同與互動(dòng)塑造公共價(jià)值。