一、什么是大數(shù)據(jù)

1.大數(shù)據(jù)（big data），在IT行業(yè)中稱之為巨量數(shù)據(jù)結合，它是指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中大數(shù)據(jù)指不用隨機分析法（抽樣調查）這樣捷徑，而采用所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

2.大數(shù)據(jù)技術的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產業(yè)，那么這種產業(yè)實現(xiàn)盈利的關鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

3.從技術上看，大數(shù)據(jù)與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘。但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術。隨著云時代的來臨，大數(shù)據(jù)（Big data）也吸引了越來越多的關注。分析師團隊認為，大數(shù)據(jù)（Big data）通常用來形容一個公司創(chuàng)造的大量非結構化數(shù)據(jù)和半結構化數(shù)據(jù)，這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

4.大數(shù)據(jù)需要特殊的技術，以有效地處理大量的容忍經過時間內的數(shù)據(jù)。適用于大數(shù)據(jù)的技術，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算大數(shù)據(jù)包括結構化、半結構化和非結構化數(shù)據(jù)，非結構化數(shù)據(jù)越來越成為數(shù)據(jù)的主要部分。據(jù)IDC的調查報告顯示：企業(yè)中80%的數(shù)據(jù)都是非結構化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長60%。大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或對它

5.保持敬畏之心，在以云計算為代表的技術創(chuàng)新大幕的襯托下，這些原本看起來很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。

6.其次，想要系統(tǒng)的認知大數(shù)據(jù)，必須要而細致的分解它，著手從三個層面來展開：

層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這里從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。

第二層面是技術，技術是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。在這里分別從云計算、分布式處理技術、存儲技術和感知技術的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結果的整個過程。

第三層面是實踐，實踐是大數(shù)據(jù)的最終價值體現(xiàn)。在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經展現(xiàn)的美好景象及即將實現(xiàn)的藍圖。平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。

現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個高科技時代的產物。阿里巴巴創(chuàng)辦人馬云來臺演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數(shù)據(jù)科技，顯示大數(shù)據(jù)對于阿里巴巴集團來說舉足輕重。

有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關鍵。

何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會關注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計劃，搶占市場先機。

大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎設備，是產生大數(shù)據(jù)的平臺之一。自2013年開始，大數(shù)據(jù)技術已開始和云計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。

隨著大數(shù)據(jù)的快速發(fā)展，就像計算機和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術革命。隨之興起的數(shù)據(jù)挖掘、機器學習和人工智能等相關技術，可能會改變數(shù)據(jù)世界里的很多算法和基礎理論，實現(xiàn)科學技術上的突破等.........

詳情請查看/

二、大數(shù)據(jù)就業(yè)前景

進來，大數(shù)據(jù)這一詞的熱度一直灼燒著我們的耳膜。那么，大數(shù)據(jù)的就業(yè)前景到底怎樣？具體又能從事什么職位？

根據(jù)領英發(fā)布的《2016年中國互聯(lián)網(wǎng)最熱職位人才報告》顯示，研發(fā)工程師、產品經理、人力資源、市場營銷、運營和數(shù)據(jù)分析是中國護理萬網(wǎng)行業(yè)需求最旺盛的職位。

目前，我國所擁有的大數(shù)據(jù)人才約為30萬，到2018年，大數(shù)據(jù)專業(yè)人才的需求量預計還會有大幅度的增長。而大數(shù)據(jù)相關的高端人才，缺口也才14萬至19萬之間。大數(shù)據(jù)分析師、工程師的人才缺口更是將達到150萬之多。除了大量的人才需求外，經驗的積累也顯得尤為重要。擁有兩年工作經驗的數(shù)據(jù)分析師，月薪即可達到8k以上，擁有碩士學歷的數(shù)據(jù)分析師月薪能達到12k，5年工作經驗的數(shù)據(jù)分析師的年薪高達40萬-60萬。

在大數(shù)據(jù)的背景下，越來越多的企業(yè)、機構、國家機關開始重視了大數(shù)據(jù)在其從事領域的應用。上到國防、軍事，下到互聯(lián)網(wǎng)、金融，乃至制造業(yè)、零售業(yè)、醫(yī)療、服務行業(yè)，都需要通過大數(shù)據(jù)項目來驅動。就業(yè)范圍可謂相當廣泛。

大數(shù)據(jù)專業(yè)的人才主要分為：大數(shù)據(jù)系統(tǒng)研發(fā)、大數(shù)據(jù)應用開發(fā)、大數(shù)據(jù)分析3大類。

常見的崗位有：

1.大數(shù)據(jù)系統(tǒng)架構師

大數(shù)據(jù)平臺搭建、系統(tǒng)設計、基礎設施。

技能：計算機體系結構、網(wǎng)絡架構、編程范式、文件系統(tǒng)、分布并行處理等。

2.大數(shù)據(jù)系統(tǒng)分析師

面向實際行業(yè)領域，利用大數(shù)據(jù)技術進行數(shù)據(jù)生命周期管理、分析和應用。

技能：人工智能、機器學習、數(shù)理統(tǒng)計、矩陣計算、優(yōu)化方法。

3.hadoop開發(fā)工