大數據架構師崗位的具體職責表述(精選32篇)
大數據架構師崗位的具體職責表述 篇1
職責:
1.負責企業數據中心建設,設計數據邏輯模型和物理模型,并完成相關開發
2.梳理公司各業務線常用的指標和維度,統一指標定義口徑
3.根據數據應用開發和數據分析需求,設計數據倉庫信息層模型,提高數據開發的效率
4.負責數據模型的運營和優化,及時響應業務邏輯變更,保證模型的數據質量和穩定性
5.負責公司數據標簽體系的建設,并推動標簽體系在實際業務場景中落地
崗位要求:
1.5年以上DW/BI數據架構設計、模型設計和性能調優等相關經驗
2.有較強的數據分析能力,精通數據倉庫架構,熟悉Erwin或PowerDesigner建模工具
3.精通一種主流關系數據庫(如mysql等),熟悉Hive開發
4.有電商業務經驗,元數據管理,數據質量管理或標簽體系搭建經驗者優先
5.優秀的協調溝通與團隊協作能力,極強的責任心,能承受一定的工作壓力,認同企業文化和團隊價值
大數據架構師崗位的具體職責表述 篇2
職責:
負責公司大數據產品架構的設計與實現;
配合大數據產品經理完成產品的快速研發與交付;
負責大數據產品架構的持續優化設計;
負責大數據產品核心組件設計;
負責大數據相關數據架構規劃、數據建模、數據庫設計以及大數據產品研發工作;
為應用開發團隊提供技術支撐。
及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;
完成上級領導交辦的其它各項工作。
任職資格:
985/211本科及以上學歷,3年以上的大數據開發經驗、
2年以上大數據架構設計經驗;
豐富的JAVA研發經驗,精通JAVA,熟悉Python Scala等編程語言;具備深厚的分布式系統或數據庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;
熟悉整個大數據的完整處理流程(數據的采集、清洗、預處理、存儲、分析挖掘、機器學習和數據可視化);
精通各種大數據相關技術體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有數據挖掘、機器學習相關應用或研究背景;
溝通能力較好,積極主動意識較強,責任心較強。
具備優秀的邏輯思維能力,對解決挑戰性問題充滿熱情,善于解決問題和分析問題;
良好的團隊合作精神,較強的溝通能力和學習能力 ;
大數據架構師崗位的具體職責表述 篇3
職責:
1.負責過多個大數據項目的架構;
2.精通Hadoop、Spark, HBase等主流的大數據平臺、精通各組件優化設計原理;
3.精通大數據實時流式處理的設計和應用;
3.熟悉大數據平臺調優,具備大數據生產平臺調優經驗;
4.金融行業,運營商行業大數據架構經驗更優;
5.研究大數據技術的最新發展,并引入到公司技術架構;
6.指導大數據工程師的日常工作,并培養技術骨干。
任職資格:
1.計算機相關專業本科或以上學歷;
2.具有5年以上大數據相關開發經驗;
3.具有2年以上帶團隊經驗
4.對Hadoop/Hive/Spark/HBase/ES等等大數據常用技術有深刻理解,能夠帶領團隊進行技術攻堅,完成中間件的實施、改造、調優;
5.精通海量數據和實時數據的分析處理,能對線上的數據處理性能問題做調優;
6.精通數據倉庫以及維度建模原理,有大型數據倉庫建設經驗;
7.精通關系型數據庫和NoSQL數據庫的使用,熟悉相關理論;
8.溝通順暢,重點突出,高效。
大數據架構師崗位的具體職責表述 篇4
職責:
1、大數據平臺的規劃、設計、實施,并優化數據庫;
2、對數據庫進行管理,負責數據庫應用系統的運營及監控;
3、對數據庫性能分析與調優,排錯,保證數據正確率;
4、配合其他部門進行的數據處理、查詢,統計和分析工作;
5、完成公司下達的項目開發任務。
任職要求:
1、計算機及相關專業本科以上學歷,5年以上軟件開發從業經驗,其中包括至少2年以上的大數據開發工作經驗;
2、熟悉hive,hadoop/spark,hbase等大數據相關技術架構,有管理或優化大型分布式集群經驗;
3、熟悉linux基本命令,精通SQL腳本的編寫,有豐富的數據庫管理、運維調優經驗;
4、熟悉C++、Java、C#等開發語言;
5、有互聯網電商行業大數據分析處理和大型數據倉庫的設計和實施經驗;
6、有分布式系統分析及架構設計經驗和大型計算集群的基礎設施開發維護經驗;
7、快速處理系統突發事件的能力,較強的學習和創新能力;
8、良好的溝通能力和團隊合作精神。
大數據架構師崗位的具體職責表述 篇5
職責:
1.負責公司新業務方向平臺大數據基礎架構的搭建及后期數據處理體系的升級和優化,不斷提升系統的穩定性和效率。為公司未來方向性產品提供大數據底層平臺的支持和保證。
2.負責制定大數據平臺調用約束和規范;
3.負責大數據方向技術難題的解決,以及代碼質量的把控;
4.作為大數據開發團隊的leader,負責大數據系統平臺開發團隊建設與人才梯隊培養,分享技術經驗,撰寫相關技術文檔指導和培訓工程師。
任職要求:
1.熱衷于大數據技術,并能平衡大數據性能、穩定性、擴展性多重要素進行設計和優化;
2.熟悉服務器基本知識,能夠評估系統硬件性能瓶頸;
3.掌握Linux操作系統的配置,管理及優化,能夠獨立排查及解決操作系統層的各類問題,并能提供解決問題的理論依據;
4.精通Java服務器編程,熟悉JVM原理,對數據結構和算法設計有較為深刻的理解;
5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構,熟悉原理、源碼、集群部署,包括參數優化、Bug修復,貢獻過代碼或提交過bug者優先
6.具備數據中心資源管理、監控、調度等系統研發經驗者優先,具備分布式系統研發經驗者優先;
7.具有應用大數據技術處理的項目開發、維護超過兩年的經驗者優先;
8.具有良好的文檔編寫能力,可進行方案設計、架構設計。
大數據架構師崗位的具體職責表述 篇6
職責:
1.負責數據倉庫建設,基于數據驅動構建企業級數據模型,根據架構設計進行各層數據模型開發。
2.面向PB級別超大規模數據處理和查詢需求,設計適合業務變化的合理的多維數據分析系統架構,滿足多樣性需求。
3.構建設計良好的數據流、調度系統、查詢引擎、監控系統,保證系統穩定高效運行,以實現數據的最大價值。
4.指導團隊成員開展數據倉庫建設。
5.參與重點項目的評審,參與企業數據管理體系建設。
任職要求:
1.統招本科及以上學歷。
2.從事數據倉庫領域至少5年以上,熟悉數據倉庫模型設計與ETL開發經驗 ,掌握Kimball的維度建模設計方法,具備海量數據加工處理(ETL)相關經驗 。
3.具有一定數據模型和數據架構基礎,熟悉hadoop\hive和常用數據庫。
4. 精通SQL,有一定的SQL性能調優經驗,熟悉hive sql的開發。
5.具有管理團隊開發經驗,具備良好的組織能力、協調能力及項目管理能力。
6.具有較好的文字功底及語言表達能力,能夠快速、準確地理解需求。
7.具有專研、快速學習和創新精神,具備獨立分析問題和解決問題的能力。
8.具有責任心,時間觀念強,工作獨立性強,有良好的團隊合作精神。
9.全日制普通本科畢業。
大數據架構師崗位的具體職責表述 篇7
職責:
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;
3、指導開發人員開發,并解決系統出現的問題,理解物業需求;
4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;
任職要求:
1、碩士以上,計算機或先關專業;
2、5年左右軟件開發經驗,含3年以上系統分析、設計經驗,有大型軟件項目大型軟件項目;有中大型互聯網企業數據庫架構設計及管理經驗,
3、 具備良好的組件級建模能力,熟悉HTTP、TCP等協議
4、熟練使用UML進行軟件架構設計,至少精通EA,RATIONAL, VISIO等一種設計工具.
5、精通至少一種編程語言,熟悉 Linux 相關技術,能獨立在上面進行開發、測試和部署
6、深入理解數據庫、數據倉庫、大數據、分布式體系架構和關鍵技術
大數據架構師崗位的具體職責表述 篇8
職責:
1、負責大數據平臺的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;
2、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
3、負責核心模塊研發,負責大數據平臺的搭建,完成系統調試、集成與實施;
4、負責建立和維護大數據平臺技術標準規范,指導開發人員編寫代碼;
任職要求:
1、本科及以上計算機相關專業畢業;
2、精通離線和實時數據處理流程,掌握離線數據處理框架hive、impala、spark-sql等,掌握實時數據處理常用技術工具,包括Storm、SparkStreaming等;
3、熟悉大數據技術生態圈,精通大數據技術架構,有大數據平臺構建經驗;
4、掌握常見數據流接入工具,包括Flume、kafka等;
5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);
6、掌握一種或以上實時處理語言,如JAVA、SCALA、PYTHON等,有SCALA經驗者優先;
7、有實際大規模數據(TB級以上)處理經驗優先;
大數據架構師崗位的具體職責表述 篇9
職責:
1、 負責大數據倉庫、數據集市的規劃及實現,負責大數據中臺的設計和核心開發工作;
2、 負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為公司的業務提供大數據底層平臺的支持和保證;
3、 大數據平臺的數據采集、處理、存儲以及挖掘分析的架構實現;
4、 研究未來數據模型和計算框架的創新與落地,包括但不限于以下領域:大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面,參與制定并實踐團隊的技術發展路線
任職資格:
1、 精通數據建模、數據標準管理、元數據管理、數據質量管理;
2、 有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;
3、 熟悉目前正在發展的大數據分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、flink、spark等;
4、 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在數據業界有一定的影響力優先,具有風控經驗背景的人優先;
5、 具備獨立的深度思考能力,給出結合實際情況的較為理想的技術解決方案。
大數據架構師崗位的具體職責表述 篇10
職責:
1、正確理解業務需求,對需求進行工作量評估;
2、參與項目相關的需求、設計、投產手冊等文檔的編寫;
3、根據進度計劃,完成所承擔功能模塊的設計、開發、單元測試、聯調測試;
4、配合測試組修復代碼缺陷,確保功能實現與代碼質量;
5、負責所承擔功能模塊投產、部署,及上線后的日常維護;
6、完成項目經理或者架構師安排的其他工作;
任職資格:
1、本科以上學歷,計算機相關專業,兩年以上大數據開發經驗;
2、熟悉Linux 環境,掌握shell或python;
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大數據開發組件;
4、精通 ETL,數據倉庫的設計和開發;
5、有大數據處理實戰經驗,熟悉整個大數據的完整處理流程,包括數據的采集、清洗、存儲;
6、較強的動手能力和學習能力,良好的溝通能力、團隊協調能力;
7、具有銀行、金融行業從業背景者優先。
大數據架構師崗位的具體職責表述 篇11
1. 負責大數據項目整體架構規劃,包括應用架構、技術架構、物理架構和數據架構等;
2. 負責指導工程師進行技術驗證與實現,核心技術問題的攻關,解決項目開發過程中的技術難題;
3. 負責項目對外技術溝通,具有較強的溝通,表達和文檔撰寫能力;
4. 根據公司項目和業務發展特點,負責研究相關大數據前沿技術;
5. 推動技術能力的沉淀。
大數據架構師崗位的具體職責表述 篇12
職責:
1、搭建基于Hadoop/Spark的數據挖掘體系和大數據分析系統架構;
2、研究大數據領域前沿數據挖掘技術,并引入相應技術在數據中心的使用;
3、進行大數據系統框架設計、模型算法開發;
4、負責大型數據挖掘項目方案制定、項目實施落地及優化等 ;
5、開展數據爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領域數據挖掘工作;
任職資格:
1、本科以上學歷(持有學士學位)(985,211優先),計算機相關專業,五年工作經驗;
2、二年以上數據挖掘項目經驗,完整參與過數據挖掘大數據平臺的架構開發過程,具備互聯網行業背景優先;
3、精通分布式計算框架(hadoop、spark、Storm等)及相關經驗,熟練掌握Hive/SQL,Python,熟悉Python、R相關數值科學計算庫(NumPy,SciPy等);
4、了解傳統的BI/DW 理論,能結合傳統BI實踐設計大數據平臺;
5、熟悉常用機器學習算法(如分類、回歸、聚類、關聯規則等)及其原理,具備應用場景經驗,如用戶畫像、商品關聯度分析、輿情分析;
6、熟悉主數據、元數據、數據質量、和數據建模等數據治理相關的體系和方法;
7、具備較強的邏輯思維能力、數據敏感度,擅于利用數據發現問題及解決問題;
大數據架構師崗位的具體職責表述 篇13
職責:
1、負責公司的大數據平臺的數倉架構、系統架構設計;
2、負責帶領團隊完成輿情分析相關的挖掘方案設計;
3、負責大數據研發組團隊管理;
4、負責帶領團隊完成輿情平臺的方案文檔撰寫、迭代開發;
5、負責研發規范制定,研究行業前沿技術;
6、參與產品規劃及設計討論。
任職要求:
1、本科五年工作經驗及以上,有至少五年的大數據技術實踐經驗,有NLP或AI相關經驗;
2、有很強的架構設計能力和良好的表達能力;
3、有一定的項目管理及團隊管理能力;
4、精通Hadoop、Spark生態圈中的常用組件原理及應用;
6、理解媒體業務,精通數據倉庫的規劃和設計;
5、精通掌握Java或Python編程,有性能調優能力;
4、熟悉NLP算法原理及應用;
6、對新生事物或者新技術有濃厚興趣,學習能力強。
大數據架構師崗位的具體職責表述 篇14
職責:
1、負責大數據基礎平臺、海量數據存儲處理分布式平臺、數據分析系統架構設計和研發;
2、負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3、制定項目數據倉庫設計及實現規范,指導設計研發和部署;
4、協助策略和算法團隊工作,保障數據挖掘建模和工程化;
5、深入研究大數據相關技術和產品,跟進業界先進技術。
任職要求:
1、3年以上大數據系統架構經驗;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術及其生態圈;
3、具備Java Scala Python等開發經驗,熟悉數據挖掘和分析的策略與算法;
4、精通數據抽取,海量數據傳輸,數據清洗的常用方法和工具。
5、具備良好的系統分析能力、故障診斷能力;
6、有大數據策略、算法、可視化經驗優先;
7、有在華為云存儲產品和大數據產品的開發使用經驗優先。
大數據架構師崗位的具體職責表述 篇15
職責:
1、負責大數據平臺架構的評估、規劃和設計 ;負責海量數據采集、處理及存儲、應用方案的技術選型及架構實現;
2、開發大數據平臺的核心代碼,負責大數據平臺的搭建,完成系統調試、集成與實施,技術難題的解決,保證大數據產品的上線運行 ;
3、根據業務需求持續優化數據架構,保證產品的可靠性、穩定性 ;
4、指導開發人員完成數據模型規劃建設,分析模型構建及分析呈現 ,分享技術經驗;
5、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
6、深入研究大數據相關技術和產品,跟進業界先進技術;
任職資格:
1.本科及以上學歷,數學或計算機相關專業畢業,不少于5年的工作經驗,具有扎實的計算機基礎理論知識;
2.有3年以上Hadoop、Spark、Hbase平臺性能調優經驗;熟悉sparkstreaming等實時計算技術
3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等,具備實際項目設計及開發經驗;
4.熟悉sparkstreaming等相關的實時計算技術;
5.熟悉大規模數據挖掘、機器學習、自然語言處理、分布式計算中一項或多項技術,并具備多年的實際工作經驗;
6.熟悉主流關系型數據庫(Oracle、MySql)、NoSql數據庫,熟悉pl/sql編程;精通Linux操作系統,熟練使用Java;熟悉常用框架.如Spring、MyBatis等;
7.具有較強的執行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;
大數據架構師崗位的具體職責表述 篇16
職責:
1. 深刻理解政府行業業務模式,構建政府行業的數據模型,制定公司大數據技術發展路線;
2. 對接業務研究和技術部門,主動搜集和轉化需求,組織數據中心業務開發,進行數據相關產品需求分析和設計;
3. 搭建數據倉庫,研發數據庫管理系統,搜集、提取、處理業務積累的海量數據,開展數據分析和挖掘;
4. 根據公司戰略和發展需要,規劃數據中心重點工作和任務;落實部門人員、事務管理,開展跨部門、跨地區協作,協助對外交流與合作。
職位要求:
1. 5年以上相關工作經驗,有團隊管理和項目管理經驗者優先;
2.了解政府運作機制,掌握財政行業知識,有電子政務行業經驗者優先;
3. 熟練掌握使用Java或Python,精通數據庫查詢語言如SQL,Oracle等,在機器學習模型和算法方向有應用經驗者優先;
4. 具備數據中心產品策劃整體思維,有大數據處理、分析、挖掘經驗者優先;
5. 邏輯思維嚴密,具備業務抽象、分解和標準化的能力,口頭和書面表達優秀;
6. 有較強的大局意識和良好的團隊合作意識,富有領導力,具備優秀的人際交往和溝通能力。
大數據架構師崗位的具體職責表述 篇17
職責:
1.負責公司大數據底層框架的整體架構設計,結合公司實際業務情況進行技術選型及大數據戰略規劃;
2.負責統一數據平臺項目的整體評估、設計、架構及關鍵模塊的開發,不斷提升系統的穩定性和效率;
3.負責架構優化及系統關鍵模塊的設計開發,協助團隊解決開發過程中的技術難題;
4.建立良好的公司內外的業界技術影響力;有效輔導團隊,提升數據研發能力;
任職要求:
1.從事大數據項目相關開發和設計2年以上經驗;有作為技術負責人系統化解決問題的成功案例;有海量數據實踐經驗優先;
2.擁有一定的算法和數據結構基礎;有很強的數據設計抽象能力,善于從復雜的數據問題中找到關鍵路徑;
3.熟悉目前正在發展的大數據分布式平臺前沿技術的應用;包括但不僅僅限于:hadoop、storm、spark、等;
4. 良好的邏輯思維能力,良好的業務解讀能力,懂電力或通信業務優先;
5.具有鉆研精神,樂于接受挑戰;
大數據架構師崗位的具體職責表述 篇18
職責:
1、負責規劃科技大數據平臺及科技數據入庫自動化的方案設計;
2、負責大數據平臺的開發和維護,以及對外服務接口的開發;
3、負責大數據平臺的優化和改進工作。
任職要求
1、計算機相關專業本科及以上學歷,5年以上開發經驗,其中3年以上為互聯網、大數據相關的開發經驗;
2、熟知Hadoop生態圈體系,精通Hadoop/Spark/Storm/Kafka中的一項或幾項,深刻理解MapReduce的運行原理和機制,有MPI經驗者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相關數據庫的構建和操作,尤其是數據庫集群的構建和操作,熟悉Neo4j者尚佳;
4、具有機器學習相關項目經驗者優先。
大數據架構師崗位的具體職責表述 篇19
職責:
1. 負責公司大數據平臺的設計和開發,負責spark, hadoop, flink等云計算平臺的開發和優化;制定數據架構規范,進行核心代碼編寫,指導團隊落地;
2. 負責數據基礎架構和數據處理體系的升級和優化,技術難題攻關,持續提升核心系統性能,保證系統的安全、穩定、高效運行
3. 設計并實現對BI分析、數據產品開發、算法開發的系統性支持
4. 研究未來數據模型和計算框架的創新與落地,包括但不限于以下領域:大規模數據實時化、研發模式敏捷化、數據計算框架輕量化、數據模型組織方式業務化等方面參與制定并實踐團隊的技術發展路線
5. 建立良好的公司內外的業界技術影響力;參與培養未來數據人才;有效輔導團隊,提升數據研發能力
任職要求:
1. 有很強的數據設計抽象能力,善于從復雜的數據問題中找到關鍵路徑,能夠開發創新而實際的分析方法以解決復雜的商業問題
2. 有作為技術負責人系統化解決問題的成功案例;有海量數據建模實踐經驗優先
3. 熟練掌握Hadoop、Spark、Flink、HBase的原理特性以及適用場景,精通流式計算開發,有開源二次開發經驗者優先,有NLP數據處理經驗者優先
4. 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力
5. 本科以上學歷,扎實的計算機專業基礎,有5年以上大數據平臺開發經驗;
大數據架構師崗位的具體職責表述 篇20
1、負責大數據平臺的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;
2、負責大數據平臺的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
3、負責核心模塊研發,負責大數據平臺的搭建,完成系統調試、集成與實施;
4、負責建立和維護大數據平臺技術標準規范,指導開發人員編寫代碼;
大數據架構師崗位的具體職責表述 篇21
職責:
1. 負責設計企業級大數據平臺的整體架構,從技術層面制定清晰的大數據產品與系統技術架構,并負責實現關鍵技術和產品。
2. 負責設計具有創新價值的大數據底層平臺、大數據上層應用系統等,帶領團隊完成有質變的技術解決方案。
3. 負責組織同事研究行內最前沿的技術發展方向,突破現有的技術難題。
4. 負責研究院對外項目合作協調與支持,編寫項目建設方案及后期項目建設支持。
任職要求:
1. 碩士及以上學歷,計算機相關專業。
2. JAVA基礎扎實,不少于8年的一線開發經驗,精通Spring boot/MyBatis/Restful API的開發與管理. 熟悉ReactJS/Angular/Vue之一前端開發技術,熟悉Maven或Ant.,熟悉Python語言開發加分。
3. 不少于4年大數據的直接研發經驗,精通Hadoop/Spark系統,有hands-on的架構設計、性能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive 等系統的開發經驗。
4. 掌握分布式系統原理,對分布式存儲、流式計算、消息隊列中的一項或多項有深入的理解和認識。
5. 熟悉分布式系統的監控、運維、故障恢復,高可用原理和設計理念。
6. 算法基礎扎實,熟悉常見的數據結構,掌握大規模高并發訪問、大數據開發等處理經驗;熟練的Linux系統, 網絡, 內存和存儲等方面知識。
7. 必須要有千萬級別的項目管理經驗,包括但不限于前期需求溝通,建設方案編寫,中期項目實施,進度匯報,后期項目維護。
大數據架構師崗位的具體職責表述 篇22
1、基于公司大數據基礎和數據資產積累,負責大數據應用整體技術架構的設計、優化,建設大數據能力開放平臺;負責大數據應用產品的架構設計、技術把控工作。
2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。
3、作為大數據技術方案到產品實現的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。
4、負責大數據系統研發項目任務規劃、整體進度、風險把控,有效協同團隊成員并組織跨團隊技術協作,保證項目質量與進度。
5、負責提升產品技術團隊的技術影響力,針對新人、普通開發人員進行有效輔導,幫助其快速成長。
大數據架構師崗位的具體職責表述 篇23
職責:
1、負責公司的大數據處理框架的研發設計工作,梳理可實現方案和技術規范;
2、開發、完善公司大數據平臺;參與公司離線、實時大數據處理系統的設計、開發、測試及多個業務模塊的自動化集成;
3、負責業務平臺數據統計分析模塊的設計與規劃;
4、負責公司產品研發過程中的數據及存儲設計;
5、帶領和培養團隊完成組織分解的目標;
任職要求:
1、統招本科及以上學歷,計算機、軟件工程相關專業,至少8年以上工作經驗,5年以上大數據開發經驗;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構
3、熟悉數據倉庫,數據算法,分布式計算技術理論,具有大數據整體系統架構設計經驗;
4、熟悉Linux系統,熟練使用shell/perl/python腳本處理問題;
5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優先;
6、能夠組織項目開發組協同工作,包括團隊溝通、計劃、開發環境管理等
大數據架構師崗位的具體職責表述 篇24
1.負責企業數據中心建設,設計數據邏輯模型和物理模型,并完成相關開發
2.梳理公司各業務線常用的指標和維度,統一指標定義口徑
3.根據數據應用開發和數據分析需求,設計數據倉庫信息層模型,提高數據開發的效率
4.負責數據模型的運營和優化,及時響應業務邏輯變更,保證模型的數據質量和穩定性
5.負責公司數據標簽體系的建設,并推動標簽體系在實際業務場景中落地
大數據架構師崗位的具體職責表述 篇25
職責:
根據大數據業務需求,設計大數據方案及架構,實現相關功能;
搭建和維護大數據集群,保證集群規模持續、穩定、高效平穩運行;
負責大數據業務的設計和指導具體開發工作;
負責公司產品研發過程中的數據及存儲設計;
針對數據分析工作,能夠完成和指導負責業務數據建模。
職位要求:
計算機、自動化或相關專業(如統計學、數學)本科以上學歷,3年以上大數據處理相關工作經驗;
精通大數據主流框架(如 Hadoop、hive、Spark等);
熟悉 MySQL、NoSQL(MongoDB、Redis)等主流數據庫,以及rabbit MQ等隊列技術;
熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;
熟悉常用的數據挖掘算法優先.
大數據架構師崗位的具體職責表述 篇26
職責:
1. 規劃設計大數據平臺整體架構,規劃各種組件,并且指導技術團隊完成相關系統驗證、安裝、部署、配置;
2. 負責制定大數據平臺技術規范和接口規范,指導研發團隊按照規范進行系統開發;
3. 配合商務人員完成售前技術支持工作;
4. 完成其他與數據應用有關的技術工作;
任職要求:
1. 計算機相關專業本科學歷,5年以上工作經驗;
2. 對大數據技術棧有非常深刻的了解;具備架構設計的實際經驗;
3. 對信息安全架構設計及實施有一定的經驗;
4. 熟悉Linux、Windows等操作系統的安裝配置;
5. 熟悉互聯網應用的安裝配置;熟悉常見大數據技術棧組件的安裝配置;熟悉Visio等繪圖工具的使用;
6. 有衛生信息化建設經驗者優先;有容器安裝部署經驗者優先。
大數據架構師崗位的具體職責表述 篇27
職責:
1、負責企業大數據平臺的基礎建設、管理及制定拓展規劃;
2、負責大數據平臺相關自動化服務工具的設計、開發;
3、參與Hadoop、Hbase、Spark等核心平臺組件的開發、優化;
4、對平臺特殊場景化的數據應用制定相關實踐方案;
5、大數據團隊的搭建。
任職資格:
1、統招本科以上學歷,計算機等相關專業,5年以上工作經驗;
2、具有Hadoop等大規模集群管理經驗、海量(PB)數據處理經驗;
3、精通Hadoop、Hive、Hbase等離線平臺相關組件的原理機制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系統;
5、熟悉高并發、分布式開發等相關知識,具有后端服務優化相關經驗;
6、熟悉爬蟲常用框架以及反爬技術;
7、具有良好的溝通能力、分析問題與攻關問題的能力;
8、有責任心,工作積極,對新領域新技術有熱情。
大數據架構師崗位的具體職責表述 篇28
1、數據分析軟件平臺架構搭建
2、負責深度學習核心框架或高性能后臺服務系統的架構設計工作,包括系統總體規劃、架構設計、系統分析、軟件實現、性能優化;
3、指導開發人員開發,并解決系統出現的問題,理解物業需求;
4、制定開發計劃和控制開發進度,負責指導研發團隊開展設計工作;
大數據架構師崗位的具體職責表述 篇29
職責:
1、負責大數據平臺架構的規劃與設計;
2、負責大數據平臺技術框架的選型與技術難點攻關;
3、參與企業級大數據產品和應用規劃;
4、研究跟進大數據架構領域新技術并分享;
5、大數據處理和分析應用平臺的設計指導。
任職資格:
1、 具備深厚的分布式系統或數據庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式數據庫系統、集群存儲系統等架構設計經驗;
2、熟悉BI平臺架構及相關項目標準,大數據解決方案包括Hadoop、Spark、Storm、機器學習等大數據平臺解決方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流數據數據庫;
4、 精通Linux/Unix環境,精通J java、scala、python、R中的一種或多種語言;
5、 具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰;
6、大專及以上學歷,3年及以上工作經驗。
大數據架構師崗位的具體職責表述 篇30
職責:
1、負責DMP技術架構設計與構建,根據業務規劃及技術規劃制定應用架構方案;
2、負責設計構建DMP數據采集、存儲及分析框架,設計數據處理的技術流程和規范;
3、負責核心功能的架構與代碼模板編寫,開發與維護系統公用核心模塊;
4、負責基于大數據技術的海量數據的自動化分析處理和統計工作。
崗位要求:
1、計算機或相關專業本科以上學歷,三年以上的開發經驗,二年以上大數據相關軟件架構的實際經驗;
2、精通大數據處理技術,熟悉Hadoop/Storm技術體系,有Hadoop、Hive、Hbase項目經驗;
3、具有較強的架構能力,具有分布式計算、實時計算、數據倉庫、數據挖掘系統的架構經歷優先;
4、對數據敏感,洞察力強,了解國內外廣告發展趨勢;
5.、擅長系統分析與設計,精通常用的設計模式,擅長性能調優;
6、熟悉DMP/RTB技術原理,了解用戶的行為分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等廣告行業從業經歷。
大數據架構師崗位的具體職責表述 篇31
職責:
1. 負責大數據基礎和應用平臺的整體規劃和架構設計,參與需求分析,架構設計,詳細設計以及技術選型決策
2. 參與數據挖掘和建模相關核心算法的代碼實現
3. 負責大數據算法平臺的技術把關,性能調優,控制架構質量,解決項目技術難題;對研發項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發
4. 帶領團隊提供并實現大數據算法平臺上各項數據接入、數據挖掘分析及數據可視化的架構設計與能力,支持解決方案實施
5. 負責數據庫設計、應用架構設計、核心技術選型等工作
6. 協調解決開發中的技術問題、設計和監控運營指標,保障系統穩定運行
7. 培養,指導有能力的員工,指導工程師進行技術驗證實現,核心技術攻關,解決開發過程中的技術難題
任職要求:
1. 熟悉大數據和數據倉庫的系統架構設計方法
2. 熟練使用并理解HadoopSpark架構及生態。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)
3. 熟悉分布式系統架構,有分布式實時、離線和機器學習平臺的架構和開發經驗,具備海量數據清洗、分析處理及存儲的實踐經驗
4. 熟練使用JAVA,具有大規模分布式系統調優經驗
5. 熟悉AI相關算法,熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優先;
6. 具備良好的團隊合作精神,對工作充滿激情。
7. 熟悉FusionInsight平臺開發經驗者優先
大數據架構師崗位的具體職責表述 篇32
職責:
1、負責規劃大數據平臺及應用產品的需求和技術方案設計;
2、負責數據對接和對外服務設計、開發和維護,并能保證質量和性能;
3、負責基于大數據平臺的應用設計、開發和維護;
4、能從系統全局和各子系統的角度思考可能存在的問題,并提出改進方案建議;
任職要求:
1、大學本科6年以上工作經驗,計算機相關專業。
2、至少4年以上的Java開發經驗,3年以上大數據應用系統的開發和設計經驗。
3、熟悉Hadoop生態圈技術體系, 對離線計算、內存計算和流式計算均有深刻理解, 如Hadoop、Storm、Spark三個中的任意二個, 能進行平臺和組件優化。
4、精通Hive、HBase倉庫設計,深刻理解MR運行原理和機制,能進行以提供高任務執行效率的優化。
5、精通Java開發,熟悉JVM調優, 對GC有深刻理解。
6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關技術, 能進行hbase可靠性診斷和維護。
7、快速研究和學習技術能力。