- 相關(guān)推薦
新石油大數(shù)據(jù)系統(tǒng)分析論文
1大數(shù)據(jù)的概念與特征
。保贝髷(shù)據(jù)的概念釋義
對(duì)于大數(shù)據(jù),維基百科給出了這樣的定義:大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時(shí)間超過(guò)可容忍時(shí)間的數(shù)據(jù)集。由于對(duì)大數(shù)據(jù)的研究處于初步階段,人們目前尚沒(méi)有得到一個(gè)公認(rèn)的定義,對(duì)于大數(shù)據(jù)的定義有許多,但它們都有一個(gè)共同特征,即根據(jù)大數(shù)據(jù)的特征來(lái)進(jìn)行闡釋與歸納。
1.2大數(shù)據(jù)的基本特征
大數(shù)據(jù)特征可以總結(jié)為4個(gè)V,即Volume(規(guī)模巨大)、Variety(模態(tài)多樣)、Velocity(生成飛速)、Value(價(jià)值無(wú)限但密度也低)。首先大數(shù)據(jù)以計(jì)量單位P,甚至E或Z來(lái)計(jì)數(shù)。據(jù)IDC的一份研究報(bào)告顯示,自2012年以來(lái)10年里全球大數(shù)據(jù)將增加50倍。其次,大數(shù)據(jù)種類繁多,包含著結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù),而且近年半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)大幅度增長(zhǎng),占據(jù)了整個(gè)數(shù)據(jù)量的絕大部分。再次,人、機(jī)、物的高度融合使得數(shù)據(jù)爆炸式增長(zhǎng),日常生活是大數(shù)據(jù)飆升的主要來(lái)源。例如截止2014年淘寶網(wǎng)會(huì)員數(shù)量已超過(guò)5億,在線商品數(shù)達(dá)到10億件,淘寶網(wǎng)和天貓的交易總額超過(guò)1.5萬(wàn)億。最后,數(shù)據(jù)復(fù)雜相關(guān)而又頻繁交互,從海量的數(shù)據(jù)中剝離出有用的信息就好比深海里淘金,稀疏而又珍貴,價(jià)值的密度很低也是大數(shù)據(jù)的一個(gè)重要特征。
2大數(shù)據(jù)的社會(huì)價(jià)值挖掘
。玻贝髷(shù)據(jù)為政府管理和科學(xué)決策提供數(shù)據(jù)信息支撐
在“全面深化改革,推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化”的時(shí)代背景與要求下,大數(shù)據(jù)在政府管理中扮演著重要的角色,對(duì)于實(shí)現(xiàn)數(shù)據(jù)治國(guó)具有重要的現(xiàn)實(shí)意義。河北省目前正面臨著京津冀協(xié)同發(fā)展的重要戰(zhàn)略機(jī)遇,2016年11月在河北大學(xué)管理學(xué)院召開(kāi)的“2016年京津冀信息資源管理高峰論壇”就是一次在大數(shù)據(jù)背景下,將大數(shù)據(jù)、信息資源建設(shè)運(yùn)用于政府治理的研究論壇,是大數(shù)據(jù)與政府管理結(jié)合的大討論、大結(jié)合。這可以充分證明大數(shù)據(jù)對(duì)于政府治理和信息建設(shè)的重要性和現(xiàn)實(shí)意義。對(duì)它的研究可以有效提升科學(xué)決策水平,能夠有效地整合來(lái)自政治、經(jīng)濟(jì)、文化、法律,生態(tài)等各個(gè)領(lǐng)域的信息資源,為國(guó)家治理提供重要決策依據(jù)。
。玻泊髷(shù)據(jù)與新媒體的融合推動(dòng)社會(huì)智能化
大數(shù)據(jù)與微信、微博等新興媒體的多元世界高度融合,可以突破時(shí)空的限制,促進(jìn)政府與民眾之間良性互動(dòng),形成公眾參與政府管理的新格局,增強(qiáng)國(guó)家治理能力。另外,大數(shù)據(jù)在云計(jì)算的配合下,加快了智能醫(yī)療、智能教育、智能交通、智能物流發(fā)展的步伐,加速了我國(guó)的城鎮(zhèn)化、工業(yè)化、信息化、生態(tài)化建設(shè)進(jìn)程,有效提高了社會(huì)服務(wù)效能,促進(jìn)社會(huì)的智能化和信息化。
。玻炒髷(shù)據(jù)應(yīng)用廣泛性推動(dòng)信息社會(huì)化
大數(shù)據(jù)在越來(lái)越多的行業(yè)中發(fā)揮著越來(lái)越大的作用,其應(yīng)用廣泛性已經(jīng)彰顯在方方面面,影響著人們生活和社會(huì)發(fā)展的各領(lǐng)域,逐步讓信息走向社會(huì)化。從經(jīng)濟(jì)領(lǐng)域來(lái)看大數(shù)據(jù)的應(yīng)用可以為經(jīng)濟(jì)發(fā)展提供較為準(zhǔn)確的預(yù)測(cè)功能。在2008年的金融危機(jī)中,阿里平臺(tái)通過(guò)海量交易記錄預(yù)測(cè)出經(jīng)濟(jì)指數(shù)的下滑,提醒廣大的中小制造商提前做好準(zhǔn)備,預(yù)防經(jīng)濟(jì)危機(jī)。大數(shù)據(jù)分析也成為了市場(chǎng)營(yíng)銷的重要手段,不再需要抽取部分?jǐn)?shù)據(jù),而是基于海量幾近完整的數(shù)據(jù)做出高度準(zhǔn)確的預(yù)測(cè),進(jìn)行精準(zhǔn)營(yíng)銷。正如亞馬遜的最終期望那樣:“最成功的書籍推薦應(yīng)該只有一本書,就是用戶要買的下一本書”。在體育競(jìng)技中運(yùn)動(dòng)健兒甚至可以運(yùn)用數(shù)據(jù)取得成功,利用數(shù)據(jù)建模定量分析不同隊(duì)員特點(diǎn),合理調(diào)整,科學(xué)組隊(duì)。2016年里約奧運(yùn)會(huì)中,中國(guó)女排再次奪得世界冠軍,這成功離不開(kāi)總教練郎平的正確指導(dǎo),也離不開(kāi)袁靈犀的數(shù)據(jù)分析。賽中每個(gè)回合他都利用代碼將有價(jià)值的細(xì)節(jié)錄入系統(tǒng),實(shí)時(shí)提供技術(shù)分析數(shù)據(jù),幫助郎平做到知己知彼,及時(shí)調(diào)整隊(duì)員布局。
3大數(shù)據(jù)時(shí)代帶來(lái)的挑戰(zhàn)
大數(shù)據(jù)在造福人類社會(huì)的同時(shí),也給人們帶來(lái)安諸多方面的挑戰(zhàn)。從理論研究視閾來(lái)看,大數(shù)據(jù)時(shí)代的到來(lái)對(duì)于社會(huì)進(jìn)步尤其是科技發(fā)展產(chǎn)生巨大的支撐與推動(dòng)作用,但從實(shí)際應(yīng)用研究的角度來(lái)說(shuō)其根本挑戰(zhàn)在于其安全保密性、不確定性和預(yù)測(cè)涌現(xiàn)性對(duì)社會(huì)行為產(chǎn)生的威脅和隱患,這也影響著大數(shù)據(jù)的發(fā)展趨勢(shì)研究進(jìn)展和應(yīng)用前景。大數(shù)據(jù)的研究需要一套全新的理論和方法來(lái)進(jìn)行方向性的指導(dǎo),需要一個(gè)完備的新的理論體系來(lái)指導(dǎo)該學(xué)科的發(fā)展和研究。
。常贝髷(shù)據(jù)的安全性存在信息泄露隱患
“棱鏡門”事件更加劇了人們對(duì)大數(shù)據(jù)安全的恐慌。即使經(jīng)過(guò)匿名處理,個(gè)人隱私仍會(huì)有泄露的風(fēng)險(xiǎn)。租賃商Netflix曾為提高電影推薦系統(tǒng)的準(zhǔn)確度,公布了約50萬(wàn)用戶的信息,這些信息與其它數(shù)據(jù)源結(jié)合時(shí),部分用戶竟被識(shí)別出來(lái)。大數(shù)據(jù)帶來(lái)的新的安全問(wèn)題也終將由大數(shù)據(jù)來(lái)解決,而今天對(duì)于大數(shù)據(jù)安全與隱私保護(hù)的相關(guān)研究處于初級(jí)階段,技術(shù)手段與法律法規(guī)相結(jié)合才是解決問(wèn)題的根本之道。
。常泊髷(shù)據(jù)的預(yù)測(cè)涌現(xiàn)性引起隱私恐慌
大數(shù)據(jù)在沒(méi)有全局控制和預(yù)先定義的情況下,通過(guò)對(duì)來(lái)自大量自發(fā)個(gè)體的語(yǔ)義進(jìn)行互相融合和連接而形成語(yǔ)義,整個(gè)過(guò)程隨著數(shù)據(jù)的變化而持續(xù)演進(jìn),從而形成大數(shù)據(jù)的涌現(xiàn)語(yǔ)義,也可以稱之為預(yù)測(cè)涌現(xiàn)。大數(shù)據(jù)這種預(yù)測(cè)涌現(xiàn)性對(duì)人們行為進(jìn)行預(yù)測(cè)也構(gòu)成了所面臨的威脅。一個(gè)較為典型的案例即是北美Target數(shù)據(jù)營(yíng)銷事件,銷售商通過(guò)分析歷史記錄,捕捉用戶懷孕的事實(shí),并向其推薦嬰幼兒優(yōu)惠券,引起了《大數(shù)據(jù)功力:比父親更了解女兒沖進(jìn)大賣場(chǎng)》的深刻反思。
。常炒髷(shù)據(jù)的不確定性影響社會(huì)穩(wěn)定
原始數(shù)據(jù)的不準(zhǔn)確以及數(shù)據(jù)采集處理粒度、應(yīng)用需求與數(shù)據(jù)集成與展示等因素使得數(shù)據(jù)在不用維度、不同尺度上都有不同程度的不確定性。也就是說(shuō),這些本身帶有不確定性的數(shù)據(jù)并非可以說(shuō)明事實(shí),因?yàn)榭赡軘?shù)據(jù)本身就是虛假的。存在需要核實(shí)、考證與分析,不確定性的數(shù)據(jù)一旦進(jìn)入公眾社圈就會(huì)引發(fā)一系列社會(huì)問(wèn)題,危害社會(huì)穩(wěn)定。諸如在點(diǎn)評(píng)網(wǎng)站中的虛假評(píng)論有目的地誘導(dǎo)民眾接受并傳播某種思想或服務(wù)的例子不勝枚舉。
4關(guān)于大數(shù)據(jù)未來(lái)發(fā)展的展望與對(duì)策設(shè)計(jì)
。矗蓖晟拼髷(shù)據(jù)的頂層設(shè)計(jì),建立良性大數(shù)據(jù)生態(tài)系統(tǒng)
國(guó)家應(yīng)在宏觀層面上做出全面系統(tǒng)的長(zhǎng)期規(guī)劃和短期目標(biāo)。國(guó)家應(yīng)在大數(shù)據(jù)人才培養(yǎng),平臺(tái)構(gòu)建以及行業(yè)應(yīng)用方面提供人財(cái)物多方面深層次的資源支持,同時(shí)給予積極的政策引導(dǎo),鼓勵(lì)創(chuàng)新,同社會(huì)各界建立起良性的大數(shù)據(jù)生態(tài)系統(tǒng)。2015年8月國(guó)務(wù)院出臺(tái)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,契合當(dāng)下,放眼未來(lái),內(nèi)容全面涉及范圍廣,而要保證其貫徹落實(shí),更要及時(shí)跟進(jìn),制定配套制度予以配合,做到及時(shí)反饋、及時(shí)糾正;同時(shí)在新的國(guó)際背景下也應(yīng)注重信息基礎(chǔ)設(shè)施建設(shè),提升信息作戰(zhàn)能力,加強(qiáng)國(guó)家信息安全,贏得新科技競(jìng)爭(zhēng)中的戰(zhàn)略制高點(diǎn)。
。矗布訌(qiáng)政企合作,搭建準(zhǔn)確高效的大數(shù)據(jù)合作平臺(tái)
大數(shù)據(jù)企業(yè)應(yīng)積極主動(dòng)加強(qiáng)與政府之間的戰(zhàn)略合作。大數(shù)據(jù)的數(shù)據(jù)源以企業(yè)為主,政府利用企業(yè)數(shù)據(jù)可以完善補(bǔ)充統(tǒng)計(jì)數(shù)據(jù),提高統(tǒng)計(jì)信息質(zhì)量,為社會(huì)治理謀求最大利益;企業(yè)則可以根據(jù)更為準(zhǔn)確的大數(shù)據(jù)把握市場(chǎng)信息,占據(jù)市場(chǎng)份額,贏得發(fā)展機(jī)遇,政企合作是當(dāng)代在大數(shù)據(jù)背景下一個(gè)必然選擇。2013年國(guó)家統(tǒng)計(jì)局與阿里、百度等11家企業(yè)一同啟動(dòng)國(guó)家統(tǒng)計(jì)局大數(shù)據(jù)合作平臺(tái)便是政企合作的一個(gè)縮影。
4.3深化大數(shù)據(jù)基礎(chǔ)理論研究,提升數(shù)據(jù)收集與分析能力
注重大數(shù)據(jù)基礎(chǔ)理論研究,提高數(shù)據(jù)收集與分析能力,是解決大數(shù)據(jù)信息安全的關(guān)鍵途徑。數(shù)據(jù)是分析的基礎(chǔ),只有全面而真實(shí)的數(shù)據(jù)才會(huì)產(chǎn)生價(jià)值,片面的數(shù)據(jù)分析出的結(jié)果往往有較大的偏差;深度發(fā)展大數(shù)據(jù)分析能力,包括:大數(shù)據(jù)認(rèn)證技術(shù)、威脅發(fā)現(xiàn)技術(shù)、水印技術(shù)、網(wǎng)絡(luò)匿名保護(hù)技術(shù)等等,這些技術(shù)在部分領(lǐng)域已有所應(yīng)用,但同時(shí)存在反應(yīng)速度慢、缺乏安全性、用戶負(fù)擔(dān)重等某些方面的不足,只有克服相關(guān)技術(shù)的不足,才能更好的解決大數(shù)據(jù)信息安全問(wèn)題。
5結(jié)語(yǔ)
大數(shù)據(jù)既是時(shí)代快速發(fā)展的產(chǎn)物,也是推動(dòng)時(shí)代飛速發(fā)展的強(qiáng)大驅(qū)動(dòng)力。它給社會(huì)發(fā)展帶來(lái)了機(jī)遇,也帶來(lái)了前所未有的挑戰(zhàn)。迎接這項(xiàng)挑戰(zhàn)不只是政府,企業(yè)或其他組織的責(zé)任,而是時(shí)代賦予我們整個(gè)社會(huì)每位公民的責(zé)任。大數(shù)據(jù)沒(méi)有那么神秘,真正擁有力量的也不是數(shù)據(jù)本身,而是擁有數(shù)據(jù)掌握技術(shù)的我們。今后應(yīng)不斷加強(qiáng)大數(shù)據(jù)理論研究,完善學(xué)科發(fā)展方向和體系,為大數(shù)據(jù)學(xué)科建設(shè)與發(fā)展提供理論支撐和技術(shù)支持,持續(xù)切實(shí)加強(qiáng)政企合作,搭建大數(shù)據(jù)合作平臺(tái),建立良性大數(shù)據(jù)生態(tài)系統(tǒng),使大數(shù)據(jù)真正推動(dòng)科技繁榮、社會(huì)發(fā)展、人類進(jìn)步。
參考文獻(xiàn)
[1]李國(guó)杰.大數(shù)據(jù)研究的科學(xué)價(jià)值[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊,2012,8(9):8-15.
[2]BigData.Nature[Z].2008,455(7209):1-136.
[3]BigData.ERCIMNews[Z].2012,(89).
。郏矗葑谕瑓卿h.大數(shù)據(jù)時(shí)代下數(shù)據(jù)質(zhì)量的挑戰(zhàn)[J].西安交通大學(xué)學(xué)報(bào),2013,(09).
。郏担菝闲》,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展,2013,50(1):146-169.
[6]李國(guó)杰,程學(xué)旗.大數(shù)據(jù)研究:未來(lái)科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域[J].中國(guó)科學(xué)院院刊,2012,27(6):647-657.
。郏罚蓠T鵬志.對(duì)象、主題與特色—關(guān)于我國(guó)“科學(xué)、技術(shù)與社會(huì)”(STS)學(xué)科發(fā)展的幾點(diǎn)思考[J].學(xué)術(shù)界,2002,(6).
[8]覃雄派,王會(huì)舉,杜小勇.大數(shù)據(jù)分析—RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J].軟件學(xué)報(bào),2012,23(1):32-45.
。郏梗莘畟ゼt,李晨暉,張興旺.圖書館需要怎樣的大數(shù)據(jù)?[J].圖書館雜志,2012,(11):63-68,77.
。郏保埃萼w賀銓.大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J].求是,2013,(2).
。郏保保萃鯐鴤ィ髷(shù)據(jù)時(shí)代政府部門間信息資源共享策略研究[D].大連:吉林大學(xué),2013,(10).
。郏保玻蓠T偉.大數(shù)據(jù)時(shí)代面臨的信息安全機(jī)遇和挑戰(zhàn)[J].中國(guó)科技投資,2012.
【新石油大數(shù)據(jù)系統(tǒng)分析論文】相關(guān)文章:
對(duì)應(yīng)用TPI系統(tǒng)建設(shè)石油學(xué)科特色數(shù)據(jù)庫(kù)論文04-29
數(shù)據(jù)挖掘論文04-29
石油化工工程論文03-16
淺析物聯(lián)網(wǎng)石油測(cè)井?dāng)?shù)據(jù)傳輸和控制系統(tǒng)設(shè)計(jì)論文04-29
大語(yǔ)文教學(xué)的新嘗試論文04-28
石油行業(yè)論文參考文獻(xiàn)07-24
探討石油泵的維護(hù)方法的論文04-27
國(guó)際石油技術(shù)工程論文04-27
運(yùn)輸安全石油工程論文04-27