大數據架構工程師崗位職責（通用8篇）

大數據架構工程師崗位職責 篇1

　　職位描述：

　　1.負責大數據平臺的架構設計、環境和框架的搭建以及部分核心編碼工作；

　　2.參與業務需求調研，根據需求及行業特點設計大數據解決方案并跟進具體實施項目；

　　3.規劃公司級數據平臺，架構實時流與離線數據計算平臺；

　　4.對業務需求進行分析建模并持續進行優化，包括但不限于推薦、排序、用戶畫像等。

　　任職要求：

　　1.本科及以上學歷，5年以上大數據開發經驗；

　　2.深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及應用；

　　3.深刻理解大數據處理實時流計算、分布式計算、分布式文件系統、分布式存儲等相關技術和實現方法，有架構和設計實踐經驗；

　　4.精通scala/java語言的一種或多種；

　　5.有數據倉庫、大數據平臺及數據挖掘架構設計經驗

大數據架構工程師崗位職責 篇2

　　職位描述：

　　1、打造業界領先的存儲、計算、調度、監控等基礎設施；

　　2、參與存儲、計算、devinfra、監控當中的一個或多個方向。

　　任職要求：

　　1、掌握分布式系統原理，對存儲、計算、調度、監控、消息隊列、集群管理中的一項或多項有深入的理解和認識；

　　2、樂于挑戰沒有明顯答案的問題，能快速理解業務場景，從具體問題中抽象出通用的解決方案；

　　3、存儲方向：對hdfs，rocksdb，ceph，hbase，kafka的一項或多項有經驗者優先；

　　4、計算方向：對yarn，spark，flink，hive的一項或多項有經驗者優先；

　　5、devinfra方向：對docker，mesos，kubernetes的一項或多項有經驗者優先；

　　6、監控方向：對opentsdb，influxdb，prometheus，falcon的一項或多項有經驗者優先。

大數據架構工程師崗位職責 篇3

　　職位描述：

　　1、參與計算框架和服務的定制和改進，為公司批處理和流式計算能力提供支撐；

　　2、深入理解業務場景，解決性能瓶頸，實現業務目標；

　　3、計算、存儲和網絡方面基礎技術的探索和儲備。

　　任職要求：

　　1、精通各種性能分析和調試工具，高效進行分析；

　　2、熟練的c/c++/java開發能力，代碼質量高；

　　3、熟悉網絡、linux、hadoop等系統，能夠靈活解決新問題；

　　4、較好的團隊協作和溝通能力。

大數據架構工程師崗位職責 篇4

　　工作職責：

　　1、打造業界領先的存儲、計算等分布式系統；

　　2、為海量數據和大規模業務系統提供可靠的基礎設施。

　　任職要求：

　　1、掌握分布式系統原理，對存儲、計算、消息隊列、集群管理中的一項或多項有深入的理解和認識；

　　2、樂于挑戰沒有明顯答案的.問題，能快速理解業務場景，從具體問題中抽象出通用的解決方案；

　　3、存儲方向：對hdfs，rocksdb，leveldb，memcache，redis，mysql，hbase，kafka的一項或多項有經驗者優先；

　　4、計算方向：對spark，mapreduce，storm，hive，presto，impala的一項或多項有經驗者優先；

　　5、集群管理方向：對yarn，mesos的一項或多項有經驗者優先；

　　6、向開源社區貢獻過patch者優先，請在簡歷上說明。

大數據架構工程師崗位職責 篇5

　　崗位職責：

　　1、參與公司數據開發平臺、bi產品等大數據產品的設計和開發；

　　2、負責數據開發平臺、bi產品等大數據產品的部署和維護，保證其穩定和可靠；

　　3、關注和參與大數據方向開源產品的技術動態與演進，推動產品與技術架構持續更新；

　　任職要求：

　　1、計算機相關專業，本科及以上學歷，5年以上軟件開發經驗，3年以上互聯網產品或分布式系統開發設計經驗；

　　2、精通java，python，scala等一種或幾種編程語言，并熟悉linux操作系統及bash shell編程；

　　3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用經驗，并熟悉上述常用的分布式系統架構設計和原理；

　　4、熟悉微服務框架及相關技術，如dubbo，springcloud等；

　　5、熟悉mysql、redis，并了解或接觸過其他數據庫如oracle，sqlserver，postgresql，mongodb等；

　　6、了解容器技術，如docker，kubernetes；

　　7、具有一定的軟件設計能力，熱愛大數據和技術，相信技術改變世界，學習能力強，認同數據價值，有面向業務的思維，較強的自主學習能力和英文技術文檔閱讀能力；

　　8、良好的溝通能力、團隊精神及服務意識，勇于接受挑戰，能承受較大的工作壓力；

　　9、有生產環境快速trouble—shooting的經驗和能力者優先；

　　10、有olap，多維度數據分析經驗優先，有對數據倉庫有較強的理論基礎和理解者優先；

大數據架構工程師崗位職責 篇6

　　崗位職責：

　　1、基于公司大數據產品進行數據開發，包括數據的采集，清洗，預處理，存儲，建模，分析挖掘等

　　2、根據業務用戶需要分析數據，提供數據支持

　　3、參與公司大數據產品的運維和監控，保障數據質量和服務穩定性

　　任職要求：

　　1、具備本科以上學歷，計算機，軟件以及相關專業，5年以上大數據開發經驗

　　2、熟悉數據倉庫維度建模，并能根據客戶需求進行數據開發，向模型更新數據

　　3、使用過至少一種以上的etl工具

　　4、熟練掌握java，對hadoop相關的技術和組件（hdfs，mr，hbase，hive，spark，storm，kafka等）有全面深入了解

　　5、熟練掌握shell或者python中的一種

　　6、具備spark開發經驗者優先

　　7、具備實時計算（kafka+storm/spark streaming）經驗者優先

　　8、具備數據分析和數據挖掘方面經驗者優先

大數據架構工程師崗位職責 篇7

　　崗位職責：

　　1、負責全公司的數據平臺數據可視化研發工作

　　2、獨立完成數據可視化研發工作

　　任職要求：

　　1、計算機、電子通信、數學、統計或者相關專業本科及以上學歷

　　2、熟練掌握java/python中的一種語言

　　3、熟悉數據可視化開發，熟悉echarts應用開發的優先

　　4、熟悉web開發，熟悉html，js，css

　　5、熟悉quick bi的優先

　　6、具備良好的團隊合作精神，工作有激情

　　7、對數據敏感，有產品思維的優先

大數據架構工程師崗位職責 篇8

　　崗位職責：

　　1、參與大數據開放平臺基礎能力建設，承擔系統架構、組件開發、方案驗證等工作；

　　2、參與構建大數據系列產品，包括但不限于用戶畫像、用戶增長與用戶經營、數據分析挖掘、實時計算、數據分發、機器學習平臺、風控反欺詐等產品線；

　　任職要求：

　　1、統招本科或以上學歷，5年以上大數據開發工作經驗；

　　2、扎實的java基礎，能熟練使用java進行軟件功能開發；

　　3、熟練掌握基于hadoop生態的大數據開發工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有實時系統開發經驗優先；

　　4、熟悉常用的數據挖掘算法，例如聚類、回歸、決策樹等，有過nlp項目經驗優先；

　　5、有過互聯網公司數據倉庫、分析系統、用戶畫像、廣告平臺等產品開發經驗者優先；

　　6、工作積極主動，善于合作，敏而好學；