數據平臺崗位職責（精選17篇）

數據平臺崗位職責 篇1

　　職責描述:

　　1.負責租賃行業大數據平臺架構規劃、技術落地、與開發團隊協同實施;

　　2.負責需求調研、需求分析,編寫需求分析說明書,負責項目全周期管理;

　　3.組織uat測試方案制定、測試案例準備,負責測試環境搭建、以及對項目進行驗收測試。

　　任職要求:

　　1.計算機軟件或信息系統相關專業碩士以上學歷;

　　2.具有三年及以上大數據系統架構規劃及系統建設相關的工作經驗;

　　3.精通大數據平臺存儲、計算及算法相關技術,精通機器學習相關模型與算法、或nlp或計算機圖像識別等相關理論及技術,熟悉精益(敏捷)項目管理、瀑布式項目管理流程,有項目經驗者優先;

　　4.有強烈的技術思維及自我突破的欲望,性格外向、善于組織溝通、文字表達能力強。

數據平臺崗位職責 篇2

　　職位描述：

　　1、基于每日百億級展現數據，搭建大數據處理平臺;實現流式事件的實時計算，落地儲存。對于離線數據完成數據倉庫的建立，為數據挖掘提供有效的數據。

　　2、使用用戶行為數據，廣告投放數據，挖掘數據層次關系，利用機器學習算法，解決媒體、流量、充分競價等對優化廣告投放流程，

　　3、數據分析，挖掘，模型具體的產品化；了解廣告業務能，和pm合作，基于數據驅動持續優化數據產品。

　　任職要求：

　　1、熟悉c++、java、python中的一種或多種編程技術，編程能力強，熟悉大數據處理技術，善于學習應用業界領先數據架構和技術。

　　2、熟悉數據挖掘算法，包括數據清洗、統計學習、分類聚類算法，并能夠驗證算法效果，將算法應用在廣告業務中。

　　3、善于學習，有想要折騰的想法。有廣告調優背景優先，對廣告行業有自己思考的優先。

數據平臺崗位職責 篇3

　　工作職責:

　　1、負責離線計算平臺的開發和維護工作;

　　2、負責hbase/tidb的開發與維護工作;

　　3、負責alluxio/arrow等開發與維護工作。

　　任職要求:

　　1、5年以上相關領域開發經驗,熟悉java/go/c++的一種;

　　2、對數據庫系統或分布式系統的原理和架構有較好的了解;

　　3、優秀的發現和解決問題能力,良好的溝通能力和團隊意識。

　　加分項:

　　1、熟悉hadoop生態,參加過開源項目;

　　2、熟悉hive、spark、hdfs、hbase、tidb中至少一種產品的實現細節;

　　3、有數據庫/數據治理產品的開發和運維經驗。

數據平臺崗位職責 篇4

　　工作職責:

　　1.構建分布式大數據服務平臺,參與和構建公司包括海量數據存儲、離線/實時計算、實時查詢,大數據系統運維等系統;

　　2.服務各種業務需求,服務日益增長的業務和數據量;

　　3.深入源碼內核改進優化開源項目,解決各種hadoop、spark、hbase疑難問題。

　　4.負責管理大數據工程團隊。

　　任職資格:

　　1.計算機或相關專業本科以上學歷(5年以上工作經驗);

　　2.精通c++/java/scala程序開發(至少一種),熟悉linux/unix開發環境;

　　3.熟悉常用開源分布式系統,精通hadoop/hive/spark/storm/flink/hbase/kafka/flume之一源代碼,解決問題;

　　4.有大規模分布式系統開發、維護經驗,有故障處理能力,源碼級開發能力;

　　5.具有良好的溝通協作能力,具有較強的分享精神;

　　6.對kudu、kylin、impala、elasticsearch,github等系統有深入使用和底層研究者加分。

數據平臺崗位職責 篇5

　　職位描述：

　　負責騰訊微校數據平臺搭建與數據分析工作；

　　承擔大數據etl、高效計算、即時查詢等數據處理分析工程開發；

　　bi與大數據產品架構設計與開發。

　　任職要求：

　　本科及以上學歷，數學或計算機相關專業背景；

　　有互聯網公司的從業經驗，三年以上數據平臺開發或數據分析工作經驗；

　　熟練掌握sql語言，了解hadoop、hbase、hive、spark、flink等組件的工作原理；

　　熟悉機器學習、數據挖掘、數據分析、分布式計算至少一方面，有較深的理論研究和實踐經驗優先；

　　熟練掌握scala/java/python中的至少一門語言，有其他腳本語言開發經驗的優先；

　　數據敏感，有良好的邏輯思維能力，較強的溝通能力和團隊合作精神，勇于承擔工作壓力。

數據平臺崗位職責 篇6

　　職位描述：

　　1、參與小鵬汽車技術中臺的大數據云平臺產品建設，包括：實時計算處理平臺、離線計算處理平臺、調用鏈分析監控、日志處理平臺；

　　2、分析系統瓶頸，處理、協調和解決基礎框架中出現的技術問題；

　　3、大數據新技術研究和應用，并推動適合技術應用于生產；

　　任職要求：

　　1、計算機相關專業，本科或以上學歷，五年以上開發工作經驗，有基礎架構開發經驗優先；

　　2、熟練java、python服務端編程，有良好的編碼習慣；

　　3、深入理解mapreduce，熟練使用storm/flink、hadoop、spark，并閱讀部分源碼；

　　4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch；

　　5、具有自然語言處理、信息檢索、機器學習、web挖掘、搜索引擎、推薦引擎等相關經驗優先；

　　6、熟悉docker容器及容器化技術，有kubernetes實戰經驗者優先；

　　7、對新技術有執著追求，熱愛編程。善于抽象、總結、思考，能及時關注和學習業界最新技術；

　　8、有較強的自學能力和鉆研精神，具有良好的溝通能力和團隊合作能力，綜合能力強。

數據平臺崗位職責 篇7

　　職位描述：

　　1.負責廣告數據平臺實時指標計算、歸因、實驗平臺等業務的計算架構設計與開發；

　　2.負責對實時計算服務的性能進行優化；

　　3.負責指導其他工程師進行業務功能開發。

　　任職要求：

　　1.3年以上相關工作經驗，計算機相關專業本科及以上學歷；

　　2.具備扎實的java語言基礎；

　　3.熟悉并行計算或者分布式計算原理，熟悉高并發、高穩定性、可線性擴展、海量數據的系統特點和技術方案；

　　4.有storm/sparkstreaming/flink等數據平臺的開發和使用經驗；

　　5.對性能調優，算法效率和分布式計算的資源管理策略有較深的理解；

　　6.熟悉zookeeper/kafka/hadoop/hbase/flume/redis等平臺者優先；

　　7.具備較強的業務需求分析能力，問題定位能力良好的溝通能力和自我學習能力。

　　額外加分項:

　　github等開源社區貢獻者。

數據平臺崗位職責 篇8

　　職位描述：

　　1、面向公司的大數據開發套件產品設計與研發，包括大數據任務建設平臺，元數據管理系統，數據質量監控平臺，任務運維平臺等

　　2、參與需求調研與用戶技術支持

　　3、追求極致，構建業內領先的數據平臺產品

　　任職要求：

　　1、精通java/scala語言，包括jvm、類裝載、線程、并發、io資源管理、網絡

　　2、扎實的計算機基礎，對技術有熱情，愿意不斷嘗試新技術和業務挑戰

　　3、精通soa架構和微服務架構

　　4、有ide開發經驗者優先考慮

　　5、熟悉前端技術的全棧開發工程師優先

　　6、熟悉hadoop ecosystem常用開源框架者優先，例如hadoop/flink/spark等

數據平臺崗位職責 篇9

　　1、負責騰訊云數據平臺產品中心整體項目管理工作，確保項目團隊各干系人協同工作，達到項目目標；

　　2、負責騰訊云數據平臺產品中心研發項目管理工作，對項目資源、項目節奏、項目進度、項目質量、項目風險等進行有效管理；通過組織項目需求評審、項目例會、制定并推廣項目流程規范，確保項目有序推進；

　　3、負責騰訊云數據平臺產品中心團隊氛圍建設管理；

　　任職要求：

　　1.本科及以上學歷，計算機、通信或相關專業優先；

　　2.至少2年以上項目管理經驗，軟件或it相關領域項目管理經驗優先；

　　3.精通項目過程管理，對敏捷項目管理有實際應用經驗及深刻理解；

　　4.具有較強的自驅力和執行力，極具正能量和感染力，積極推動項目團隊朝目標前進；

　　5.具有豐富的與人溝通、交流和組織協調能力，出色的團隊合作精神；

　　6.具有tob和tog溝通經驗者優先；

數據平臺崗位職責 篇10

　　職位描述：

　　1、負責公司級別的異構數據源傳輸平臺架構設計與核心技術研發

　　2、參與需求調研與用戶技術支持

　　3、追求極致，構建業內領先的異構數據源傳輸產品

　　任職要求：

　　1、精通java/scala語言，并發編程，jvm

　　2、精通數據庫技術，rdbms、nosql、大數據至少精通一種

　　3、精通數據庫日志抓取解析、message queue、etl等數據處理技術

　　4、扎實的計算機基礎，對技術有熱情，愿意不斷嘗試新技術和業務挑戰

　　5、有canal運維或開發經驗者優先

　　6、熟悉hadoop ecosystem常用開源框架者優先，例如hadoop/flink/spark等

數據平臺崗位職責 篇11

　　職位描述：

　　1、負責大數據開源組件的調研

　　2、負責大數據平臺自研平臺系統及功能模塊設計與開發

　　3、配合架構師及測試按時完成開發，保證產品正常發布與迭代

　　任職要求：

　　1、本科以上學歷，計算機相關專業

　　2、2年以上大數據平臺開發經驗

　　3、精通java，熟悉linux系統，深入理解并使用主流技術框架，如springboot、mybatis、mq、redis、zk、spring cloud等技術棧，具備豐富的分布式系統的研發經驗

　　4、熟悉hadoop生態圈其他系統，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper，strom，flink，并了解其原理

　　5、熟練掌握各類數據結構與算法，具有較強的編碼能力

　　6、具有良好的團隊合作精神和表達溝通能力

　　7、有數據中臺，數據服務平臺開發經驗，熟悉hadoop生態圈組件者優先

數據平臺崗位職責 篇12

　　職位描述：

　　1、負責今日頭條的通用數據平臺和分析型產品，包括數據開發工具，olap查詢引擎/產品等，服務于全公司的幾十個用戶產品線；

　　2、面向pb級超大規模數據問題，每天處理千億增量的用戶行為數據；

　　3、負責上海團隊的梯隊建設和管理，提升團隊技術實力。

　　任職要求：

　　1、3年以上大數據架構相關經驗，熟悉以下中的多項，e.g.hadoop，mapreduce，hive，storm，spark，kylin，scribe，kafka，hbase，canal，sqoop etc；

　　2、強悍的編碼能力，生產環境快速trouble-shooting能力，對新技術有強烈的學習熱情；

　　3、有良好的產品服務意識，有技術負責人或管理經驗者優先。

數據平臺崗位職責 篇13

　　職責描述：

　　1.負責華大ilearningx平臺大數據分析平臺的開發及測試。

　　崗位要求：

　　1.本科以上學歷，計算機或相關專業者優先。

　　2. 3年以上工作經驗，至少精通一門編程語言；

　　3.具備數據庫系統基本理論知識，精通sql語言；

　　4.熟悉hadoop/hbase/spark/storm/hive，熟悉數據挖掘策略與算法；

　　5.善于發現問題、解決問題，具備良好的分析和解決問題的能力，具備一定的鉆研精神和持續學習的意愿，對負有挑戰性的工作充滿熱情。

　　崗位要求：

　　學歷要求：本科

　　語言要求：不限

　　年齡要求：不限

　　工作年限：3-4年經驗

數據平臺崗位職責 篇14

　　職位描述：

　　基于海量的微信支付用戶、商戶、交易和行為數據，使用業界開源的主流技術棧以及我們自研的大數據技術相結合，構建金融級的大數據平臺，提供金融級數據安全保障和質量保障，為數據開發者提供工業化的數據平臺服務，建立元數據管理、血緣關系、計算任務和計算資源的動態管控、全方位的數據安全風險控制，為數據分析、智慧推薦、金融風控等業務提供數據平臺支撐；

　　負責微信支付大數據基礎平臺相關開發工作；

　　負責大數據采集、計算、分析處理相關開發工作；

　　負責大數據治理相關開發工作，提供一站式的數據平臺及工具支持。

　　任職要求：

　　本科及以上學歷，計算機相關專業，3年及以上開發經驗；

　　熟悉java、php、shell、python等至少三種開發語言；

　　有分布式系統、大數據服務、數據分析方面的開發經驗者優先；

　　熟悉hadoop，spark，storm，flink，kafka、elasticsearch、druid等平臺和組件，有相關項目經驗優先；

　　良好的.溝通表達能力，執行力力強，對待工作認真嚴謹、高度負責。

數據平臺崗位職責 篇15

　　職位描述：

　　1.負責數據平臺業務需求分析調研；

　　2.負責設計并構建數據平臺，落實底層數據平臺、存儲平臺和分析平臺的設計和搭建工作；

　　3.負責數據平臺運行性能、可用性、擴展性等監控與優化調控；

　　4.負責構建大數據服務體系，提供統一數據產品和工具體系；

　　5.負責指導數據平臺研發成員工作，提升研發能力。

　　任職資格：

　　1.本科或以上學歷，計算機相關專業，8年以上相關工作經驗

　　2.具備多個數據平臺開發經驗，熟悉hadoop、spark、storm等平臺

　　3.熟悉常用分布式系統的體系架構、通信機制和優化方法，擁有大規模分布式系統建設經驗，

　　4.了解大數據生態，對行業和技術的發展有自己的見解，具有分布式存儲、計算平臺的開發、調優和運維經驗

　　5.責任心強，具有良好的學習能力、溝通能力和團隊合作精神，有一定的組織協調能力和較好的抗壓能力

數據平臺崗位職責 篇16

　　職位描述：

　　負責spark、hadoop計算平臺的設計和開發工作，構建高效穩定的計算平臺，為業務提供大數據分析所需的海量計算服務；

　　負責數據倉庫、以及機器學習平臺的建設。

　　任職要求：

　　計算機相關專業，本科及以上學歷，2年以上大數據平臺開發、運維經驗；

　　對spark、hadoop平臺計算原理有深刻理解，能夠閱讀spark、hadoop源碼；對社區有源碼貢獻者優先；

　　熟悉spark流計算框架或其他開源實時計算框架；

　　有elasticsearch集群運維、開發經驗者優先；

　　有數據倉庫建設經驗者優先；

　　數據大數據算法經驗、機器學習平臺建設經驗者優先；

　　精通java、熟練掌握mapreduce原理及數據分析相關的二次開發；

　　對新技術充滿熱情，具有良好的學習能力、團隊協作能力和溝通能力；

　　能承受較大的工作壓力。

數據平臺崗位職責 篇17

　　職位描述：

　　1、負責大數據平臺建設，包含數據平臺的技術運維維護規范定義和執行落地；

　　2、定義數據采集規范、數據層級規范（5層經典結構），并執行落地；

　　3、構建業務指標體系，建立自動化和自助的數據輸出體系，提升數據輸出能力；

　　4、實現實時數據和離線數據體系；

　　5、負責團隊梯度建設，人才培養，人才輸出和能力輸出。

　　任職資格:

　　1、6年以上數據平臺建設工作經驗，3年以上帶領團隊經驗-

　　2、精通hadoop、hive、spark、sparkstreaming、storm、kafka等技術體系，熟練使用至少一門編程語言（java、python、go、scala）；

　　3、鉆研大數據行業技術和應用前沿，日tb級數據，構建過實時數據平臺系統；

　　4、對數據敏感，熟悉常用數據挖掘算法，并有一定實踐經驗；

　　5、強烈的好奇心和求知欲，善于深入一線業務，研究業務；