大數據開發工程師待遇怎么樣
最早對大數據做出比較明確的定義的是麥肯錫,大數據一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。那么大數據開發工程師待遇怎么樣呢?下面讓我們一起來看看吧!
大數據開發工程師待遇
大數據開發工程師作為IT類職業中的“大熊貓”,大數據工程師的待遇是非常高的,在這個領域再次給我們展示了“物以稀為貴“的道理。在國內IT、通訊、行業招聘中,有10%的招聘崗位都是和大數據相關的,且比例還在不斷的上升。在美國,大數據工程師平均每年薪酬高達17.5萬美元,而在國內,頂尖的互聯網類公司,相比于其他崗同等級別的崗位,大數據工程師的薪酬大約要比其他職位高20%至30%,而且很受企業的重視。
大數據開發工程師職業發展方向
大數據開發行業發展速度較快,對應的人才供給不足,由于大數據人才數量較少,大多數公司的數據部門一般都是采取扁平化的層級管理模式,大致分為數據分析師、資深研究員、部門總監3個級別,當然,大數據工程師的職業發展方向不一定只有晉升這條路線,更為正確的路線應該是從現在的平臺跳轉到另外的更大的平臺。
如何成為大數據工程師
由于目前大數據人才匱乏,對于公司來說,很難招聘到合適的人才—既要有高學歷,同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
今年8月,阿里巴巴舉辦了一個大數據競賽,把天貓平臺上的數據拿出來,去除敏感問題后,放到云計算平臺上交予7000多支隊伍進行比賽,比賽分為內部賽和外部賽。“通過這個方式來激勵內部員工,同時也發現外部人才,讓各行業的大數據工程師涌現出來。”
顏莉萍建議,目前長期從事數據庫管理、挖掘、編程工作的人,包括傳統的量化分析師、Hadoop方面的工程師,以及任何在工作中需要通過數據來進行判斷決策的管理者,比如某些領域的運營經理等,都可以嘗試該職位,而各個領域的達人只要學會運用數據,也可以成為大數據工程師。
大數據工程師做什么?
用阿里巴巴集團研究員薛貴榮的話來說,大數據工程師就是一群“玩數據”的人,玩出數據的商業價值,讓數據變成生產力。大數據和傳統數據的最大區別在于,它是在線的、實時的',規模海量且形式不規整,無章法可循,因此“會玩”這些數據的人就很重要。
沈志勇認為如果把大數據想象成一座不停累積的礦山,那么大數據工程師的工作就是,“第一步,定位并抽取信息所在的數據集,相當于探礦和采礦。第二步,把它變成直接可以做判斷的信息,相當于冶煉。最后是應用,把數據可視化等。”
因此分析歷史、預測未來、優化選擇,這是大數據工程師在“玩數據”時最重要的三大任務。通過這三個工作方向,他們幫助企業做出更好的商業決策。
找出過去事件的特征
大數據工程師一個很重要的工作,就是通過分析數據來找出過去事件的特征。比如,騰訊的數據團隊正在搭建一個數據倉庫,把公司所有網絡平臺上數量龐大、不規整的數據信息進行梳理,總結出可供查詢的特征,來支持公司各類業務對數據的需求,包括廣告投放、游戲開發、社交網絡等。
找出過去事件的特征,最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡,就能夠了解這個人,并預測他的行為。“你可以知道他是什么樣的人、他的年紀、興趣愛好,是不是互聯網付費用戶、喜歡玩什么類型的游戲,平常喜歡在網上做什么事情。”騰訊云計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面,就可以針對各類人群推薦相關服務,比如手游,或是基于不同特征和需求衍生出新的業務模式,比如微信的電影票業務。
預測未來可能發生的事情
通過引入關鍵因素,大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平臺上,工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。“比如今年夏天不熱,很可能某些產品就沒有去年暢銷,除了空調、電扇,背心、游泳衣等都可能會受其影響。那么我們就會建立氣象數據和銷售數據之間的關系,找到與之相關的品類,提前警示賣家周轉庫存。”薛貴榮說。
在百度,沈志勇支持“百度預測”部分產品的模型研發,試圖用大數據為更廣泛的人群服務。已經上線的包括世界杯預測、高考預測、景點預測等。以百度景點預測為例,大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測,并為全國各個景點未來的擁擠度分級—在接下來的若干天時間里,它究竟是暢通、擁擠,還是一般擁擠?
找出最優化的結果
根據不同企業的業務性質,大數據工程師可以通過數據分析來達到不同的目的。
以騰訊來說,鄭立峰認為能反映大數據工程師工作的最簡單直接的例子就是選項測試(AB Test),即幫助產品經理在A、B兩個備選方案中做出選擇。在過去,決策者只能依據經驗進行判斷,但如今大數據工程師可以通過大范圍地實時測試—比如,在社交網絡產品的例子中,讓一半用戶看到A界面,另一半使用B界面,觀察統計一段時間內的點擊率和轉化率,以此幫助市場部做出最終選擇。
作為電商的阿里巴巴,則希望通過大數據鎖定精準的人群,幫助賣家做更好的營銷。“我們更期待的是你能找到這樣一批人,比起現有的用戶,這些人對產品更感興趣。”薛貴榮說。一個淘寶的實例是,某人參賣家原來推廣的目標人群是產婦,但工程師通過挖掘數據之間的關聯性后發現,針對孕婦群體投放的營銷轉化率更高。
需要具備的能力
數學及統計學相關的背景
就我們采訪過的BAT三家互聯網大公司來說,對于大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。沈志勇認為,缺乏理論背景的數據工作者,更容易進入一個技能上的危險區域(Danger Zone)—一堆數字,按照不同的數據模型和算法總能捯飭出一些結果來,但如果你不知道那代表什么,就并不是真正有意義的結果,并且那樣的結果還容易誤導你。“只有具備一定的理論知識,才能理解模型、復用模型甚至創新模型,來解決實際問題。”沈志勇說。
計算機編碼能力
實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。“因為許多數據的價值來自于挖掘的過程,你必須親自動手才能發現金子的價值。”鄭立峰說。
舉例來說,現在人們在社交網絡上所產生的許多記錄都是非結構化的數據,如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中,大數據工程師的職責以商業分析為主,但也要熟悉計算機處理大數據的方式。
對特定應用領域或行業的知識
在顏莉萍(Nicole Yan)看來,大數據工程師這個角色很重要的一點是,不能脫離市場,因為大數據只有和特定領域的應用結合起來才能產生價值。所以,在某個或多個垂直行業的經歷能為應聘者積累對行業的認知,對于之后成為大數據工程師有很大幫助,因此這也是應聘這個崗位時較有說服力的加分項。
“他不能只是懂得數據,還要有商業頭腦,不論對零售、醫藥、游戲還是旅游等行業,能就其中某些領域有一定的理解,最好還是與公司的業務方向一致的,”就此薛貴榮還打了個比方,“過去我們說一些奢侈品店員勢利,看人一眼就知道買得起買不起,但這群人恰恰是有敏銳度的,我們認為他們是這個行業的專家。又比如對醫療行業了解的人,他在考慮醫療保險業務時,不僅會和人們醫院看病的記錄相關,也會考慮飲食數據,這些都是基于對該領域的了解。”