大數據開發工程師的崗位職責(精選29篇)
大數據開發工程師的崗位職責 篇1
職責:
1、依據客戶需求完成大數據項目的數據分析及建模;
2、進行大數據核心算法的編寫;
3、參與項目的需求分析、系統設計、編碼工作;
4、參與開發過程中相關新技術的研究和驗證。
5.協助承擔架構性的體系設計和改造工作,配合制定技術實施方案,按照總體設計組織子系統的設計和開發。
任職要求:
1、精通數據建模、數據體系建設,具備數據倉庫架構設計、模型設計和處理性能調優等相關經驗;
2、具有豐富的基于hadoop體系的數據平臺、數據倉庫建設經驗,精通基于hadoop源碼的開發、優化改造及成功應用案例;
3、精通hadoop生態體系各項技術,如kafka、flume、hive、impala、hbase、spark等,具有100+節點hadoop集群的開發、運維經驗;
4、具有對大型hadoop集群的硬件規劃能力;
大數據開發工程師的崗位職責 篇2
職責:
1、從事Hadoop、Spark、Hbase、hive等分布式大數據產品的設計和開發;
2、針對部門大數據業務進行大數據分析、挖掘等產品應用的開發;
3、大數據平臺各類數據業務抽象及模型化;
4、參與大數據管理平臺的開發及維護;
5、負責大數據平臺數據及相關的應用開發,調優及維護;
6、為項目相關開發人員提供大數據技術指導及解決大數據平臺應用中遇到的技術難題;
7、良好的團隊合作與溝通能力。
任職要求:
1、本科及以上學歷,2年以上大數據應用開發經驗;
2、具備Java、Python、Scala其中兩種語言的開發經驗;
3、了解泛Hadoop大數據生態圈,熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術,并有實際的項目開發經驗,有相關源碼研究者優先;
4、具備ETL開發與運維能力,有Flume、kettle經驗優先;
5、熟悉大數據平臺的搭建過程,熟悉數據處理流程,有TB級以上數據處理經驗優先,有實時數據處理經驗者優先;
6、熟悉離線和實時數據處理流程,熟練使用Spark,Flink處理TB級數據優先;
7、熟悉Linux系統環境,有shell等腳本編寫經驗,熟悉Mysql、PostgreSql、Oracle等常用關系數據庫,熟練編寫SQL語句;
8、熟悉Yarn,Kubernetes,Azkaban等資源調度框架者優先;
9、熟悉Datax的二次開發,并有實際開發經驗優先。
大數據開發工程師的崗位職責 篇3
職責:
1、負責數據分析、加工、清理,相關處理腳本和程序的開發;
2、負責開發大數據工具,如報表平臺、多維度分析工具、ETL平臺、調度平臺的研發;
3、負責分布式大數據平臺應用開發(Hadoop/Spark/Hive/HBase等);
4、負責大數據相關平臺的維護、優化。
任職要求:
1、本科及以上學歷,計算機相關專業,具有5年及以上的大數據ETL或數據開發經驗,熟悉大數據組件的維護以及調優;
2、熟練掌握Java或Python編程語言,熟悉大數據架構體系,熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術中的一個或者多個,熟悉Sqoop、DataX等數據導入工具;
3、能熟練使用Hive、HBase、Spark等加工和處理數據,有海量數據處理經驗;
4、有數據倉庫開發經驗/BI系統開發經驗優先;
5、有電商行業數據處理與分析平臺開發經驗者優先。
大數據開發工程師的崗位職責 篇4
職責:
1、負責所分管團隊的團隊建設和日常管理工作;
2、負責核心技術問題攻關和性能優化,持續維護和引進最新的大數據技術到城市大數據平臺中,支撐城市級大數據平臺業務;
3、承擔城市數據標準編制和數據模型的設計;
4、承擔項目中數據相關方案設計及數據團隊管理;
5、參與城市大數據項目中數據采集、加工過程、分析挖掘模型算法的實施工作。
任職資格:
1、1年以上數據開發工作經驗,熟練使用SQL查詢引擎;
2、熟悉Hadoop、Mpp、Oracle等至少一種數據倉庫工具
3、具備良好的編程語言基礎如:java/python/scala/c++/shell等
4、二本以上學歷,計算機相關專業或者有相關培訓經歷者優先
5、 個人素質要求:目光長遠、態度誠懇、崗位有穩定性,能夠長期培養、具備很強的自學能力、承壓能力強、接受出差支援項目等工作。對數據工作具備濃厚的興趣并有明確職業規劃,優秀的學習能力和團隊溝通協作能力,對新技術有濃厚興趣并有鉆研精神。
大數據開發工程師的崗位職責 篇5
職責
1、負責基于hadoop/spark生態系統、億級別數據的全文檢索,搜索引擎的產品研發;
2、基于海量用戶行為數據和其他數據,分析和研究數據與實際業務的關聯關系,并與實際業務應用相結合開發;
3、負責大數據分析需求設計和開發,承擔數據抽取、清洗、轉化等數據處理程序開發。
任職要求:
1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術及其生態圈,具備相關項目開發經驗,有數據實時計算項目經驗優先;
2、有搜索引擎全文檢索開發經驗 ,如:elasticsearch、solr;
3、熟悉python、R任意一門開發語言;
4、有SAAS,PAAS企業級應用平臺或者互聯網,金融等大型應用平臺開發經驗優先考慮;
5、 本科及以上學歷,計算機/軟件工程/統計學/數學等相關專業,互聯網/金融等行業3年以上工作經驗;
6、擁有良好的代碼習慣,要求結構清晰、命名規范、邏輯性強、代碼冗余率低,代碼注釋清晰;
7、熟悉使用svn,禪道等項目管理工具,有良好的團隊協作開發經驗.
大數據開發工程師的崗位職責 篇6
1.能獨立完成核心/重要模塊的設計、編碼、單元測試;
2.參與代碼設計、審核和檢查;
3.能獨立解決開發中遇到的難點問題;
4.具備良好的抗壓、學習能力和團隊協作能力;
5.能根據要求和業務設計數據庫相關內容;
6.根據項目需求,撰寫及修改相應的技術文檔。
大數據開發工程師的崗位職責 篇7
職位描述:
前端h5開發工程師
任職要求
1、2年以上前端開發工作經驗;
2、熟練html5,css3等頁面技術構建h5移動項目,會用ps/ai類軟件切圖;
3、熟練掌握javascript、jquery,bootstrap等類庫框架;
4、熟悉或擅長vue/angularjs/reactjs等前端框架中的一種或多種。
5、有微信公眾號、以及小程序的開發經驗。
6、對團隊項目責任心,具有良好的'團隊協作精神。
大數據開發工程師的崗位職責 篇8
1、收集新產品、新技術方面的資料、信息。
2、根據公司生產計劃及設計要求,進行產品的設計、研發。
3、撰寫《可行性研究報告》提交公司相關領導審核后,按《可行性報告》內容進行開發設計。
4、負責新產品開發過程中的整體策劃、設計圖紙、編寫工藝標準,確定重點和難點,確定產品檢驗標準、方法、手段。
5、負責產品試驗、通過全部進程工作,明確提出制造輔助工具、工裝、夾具的方案,擬定所需購買的設備、儀器清單,確定項目所需的原材料。
6、不斷改善加工工藝、制造方法。
7、跟蹤指導產品首件的生產、檢測,監督生產過程,解決生產過程中的.材料替換、工藝執行、生產流程等一切問題。
8、產品生產過程完全成熟后,移交整套工藝技術性文件、檢驗指導文件,指導、協助生產系統人員進行生產管理。
9、完成主管交辦的臨時工作。
大數據開發工程師的崗位職責 篇9
1.參與需求溝通方案確認;
2.參與項目與需求的研發、自測;
3.負責后臺系統的研發,及時解決項目涉及到的.技術問題;
4.參與系統需求分析與設計,負責完成核心代碼編寫,接口規范制定;
5.能獨立部署自研應用。
大數據開發工程師的崗位職責 篇10
職責:
1. 根據產品設計文檔,利用HTML5相關技術開發跨平臺的前端產品;
2. 基于HTML5.0標準進行頁面制作,編寫可復用的用戶界面組件;
3. 優化和提高客戶端代碼的性能;
4. 負責基于Web應用開發,利用JS實現WebApp中的交互效果;
5. 參與軟件的研發全過程,負責系統模塊的設計、開發、產品化等工作,包括開發的相關文檔 。
任職要求:
1. 熟悉jQuery、ExtJS和GWT框架中的任何一個,能快速高效實現各種交互效果;
2. 精通HTML5,CSS3相關技術,會angularjs、vue或react;
3. 熟悉頁面性能的優化;
4. 以最高用戶體驗為標準,高質量完成相應產品開發。
大數據開發工程師的崗位職責 篇11
職責:
1.根據產品或項目開發進度和任務分配,負責相應軟件模塊的設計開發;
2.根據開發規范和流程獨立完成模塊的設計、編碼及相關文檔;
3.服務器環境的搭建和系統的部署等。
4.協助編寫需求文檔,編寫概要設計文檔、詳細設計文檔、數據文檔等相關文檔。
5.能夠參與系統架構設計、性能優化、重構的討論及給出解決方案的建議。
任職要求:
1、計算機或相關專業背景,大專以上學歷,2年以上工作經驗。
2、精通一種或多種主流的關系型數據庫如Mysql、Oracle。
3、熟練使用java編程語言,有良好的編程風格。
4、熟悉java的基礎知識,如數據類型、集合、異常處理、多線程、緩存、事務等。
5、熟悉一種或多種nosql數據庫,如Mongodb、Redis。
6、熟練使用Spring、SpringMVC、Hibernate等常用后端框架。
7、熟悉linux等操作系統。
8、熟悉SpringBoot框架。
9、熟悉微服務架構。
10、熟悉數據結構、設計模式、UML等知識。
11、熟悉一種或多種消息隊列如RocketMQ、Kafka。
大數據開發工程師的崗位職責 篇12
1、參與本公司銀行產品開發,完成軟件系統代碼的實現,編寫代碼注釋和開發文檔;輔助進行系統的功能定義,程序設計;
2、根據設計文檔或需求說明完成代碼編寫,調試,測試和維護;
3、分析并解決軟件開發過程中的問題;
4、協助測試工程師制定測試計劃,定位發現的問題;
5、配合項目經理完成相關任務目標。
大數據開發工程師的崗位職責 篇13
職責:
1、參與項目需求分析及功能模塊的設計工作;
2、根據工作進度和任務分配,開發相應的軟件模塊;
3、負責產品的.日常維護工作,跟蹤解決用戶的問題和故障;
4、根據項目需要,學習新的開發語言,如Delphi;
5、完成領導安排的其它項目工作。
崗位要求:
1、統招二本以上,計算機相關專業;
2、英語四級,能閱讀英文資料;
3、有較強的自學能力和學習動力,愿意學習心的變言;
4、積極主動,責任心強;
大數據開發工程師的崗位職責 篇14
職責:
1. 根據開發規范與流程完成系統設計、編碼、測試以及相關文檔的編寫;
2. 前端應用代碼編碼工作;
3. 負責線上問題跟蹤及解決;
4. 對單元測試要了解,會使用JUnit編寫單元測試代碼;
任職要求:
1. 本科及以上學歷,計算機相關專業,
2. 至少需要3年以上Web開發經驗
3. 能獨立完成網頁前端開發,兼容市面主流瀏覽器,對網站設計有較深入的了解;
4. 熟練使用掌握HTML(5)、CSS(3)、能夠寫原生JavaScript,理解OOP,至少熟練掌握一種前端類庫,如jQuery等;
5.熟練使用各種前端調試工具,掌握面向對象編程思想;
6.深刻理解W3C標準,對表現與數據分離、Web語義化、提升用戶體驗有獨特的見解;
7. 使用過MV*(如AngularJS、ReactJS、Vue等)類前端框架中的一種;
8.熟練使用Git進行項目代碼管理以及版本控制;
9.熟悉Web前端性能優化者優先;
10.熟悉java服務器端語言優先;
大數據開發工程師的崗位職責 篇15
職責:
1、負責公司資訊平臺系統、移動端應用接口的后臺開發及維護;
2、負責對接產品的開發需求;
3、與移動端的技術銜接,完成產品的迭代更新;
4、負責平臺系統的后臺維護、優化;
5、負責平臺系統的數據庫設計以及優化;
6、支持運營部門工作,根據小工具開發需求,進行技術實現;
7、帶領團隊按照需求完成系統開發的周期評定、過程監督。
要求:
1、大專及以上學歷,具有 5 年以上PHP軟件開發實際工作經驗,懂Web前端或H5更佳;
2、具備帶領技術團隊的經驗;
3、熟練使用ThinkPHP等框架,熟練掌握OOP開發、MVC模式;
4、熟練運用DIV+CSS等前端技術,尤其是對 VUE2.0 框架較為熟悉;
5、熟悉MySQL數據庫以及性能優化,對數據庫性能表現各方面有較深入了解;
6、熟悉PHP的緩存技術,對Linux系統能獨立安裝配置Apache、Nginx等應用服務器;
7、良好的溝通能力并具備極強的責任心,主動性強。
大數據開發工程師的崗位職責 篇16
1、負責公司基礎平臺的自動化腳本搭建、優化及日常維護工作、系統集成測試
2、負責系統性能調優及系統異常的排查
3、負責監控體系部署和優化,參與公司網絡、硬件、系統等層面的'標準化及自動化工作
4、其他系統相關的日常維護工作
大數據開發工程師的崗位職責 篇17
1. 對接券商接口,參與因子開發等C++任務;
2. 輔助高頻策略因子開發;
3. 輔助基金交易和基金運營,包括分倉任務的維護和開發等Python任務;
4. 研究和運營數據管理;
5. 其他投研交易相關的開發任務。
大數據開發工程師的崗位職責 篇18
職責:
1、主持軟件產品的研發工作,實現公司的產品研發目標;
2、分解軟件研發任務確立研發計劃和總體進度控制;
3、指導團隊成員的軟件研發工作;對研發關鍵性問題進行決策和指導,跟進項目開發全過程,確保和監督產品開發質量以及開發規范化,完成核心代碼和復雜邏輯代碼編寫、數據庫設計、框架搭建,完成項目投標技術部分編寫,保證研發工作的順利進行;
4、配合領導進行技術決策,進行技術風險評估,針對相關問題,提供可行的技術解決方案;
5、對負責的軟件產品的版本、發布、各種配置項等進行統一管理;
6、負責團隊成員的培訓和績效考核;
7、負責與客戶進行產品研發方面的相關溝通。
崗位要求:
1、5年以上軟件產品研發經驗,具有豐富的獨立承擔及完成軟件產品研發經驗;
2、良好的文檔編寫能力,具有大型應用系統分析、設計能力和經驗,精通主流技術系統的核心思想;主持開發過定位業務及車聯網相關產品者優先;
3、精通軟件開發的項目管理,精通Java語言開發模式,熟練運用UML設計,精通J2EE平臺,精通Oracle等常用數據庫,熟練運用CVS或其它源程序管理, MS Project 或其它項目管理工具;
4、有較強的自我激勵精神和溝通協調能力,出色的組織能力和分析決策能力,具有高效執行力、項目推動能力,條理清晰,思維敏銳,學習能力強,勇于創新,能夠承受壓力;
5、具備豐富的團隊管理經驗,掌握技術團隊人力資源管理知識,可以組建和培養團隊,設計團隊成長計劃,制定團隊發展目標;
7、學歷:全日制本科及以上學歷,理工科背景,計算機及信息管理相關專業;
8、英語:四級以上,有一定的聽說讀寫能力。
大數據開發工程師的崗位職責 篇19
職責描述:
1、使用各種web技術完成pc端和移動端的界面構建工作,并且完成主流瀏覽器及移動端主流分辨率的兼容性測試;
2、優化項目的前端性能,按照要求實現前端頁面的.各種效果;
3、進行內部vue組件庫的研發,研究最新的前端技術并應用于前端開發工作中;
任職要求:
1、扎實的數據結構、算法和編程功底,有良好的編程習慣和風格;
2、至少深度掌握vue / react / angular中的一種,扎實的js功底,熟練使用web前端相關工具和框架(webpack / gulp / redux等);
3、熟悉移動端web繪圖相關高級特性,熟練運用主流的移動端js庫和開發框架,并深入理解其設計原理;
4、具備復雜前端可視化開發經驗,如echarts / tableau / d3,有復雜表格、流程、多圖多界面聯動、圖可視化等開發經驗者優先;
5、至少熟悉一門非前端的語言(如java / php / c / c++ / phthon / ruby等),并有實踐經驗;
6、優秀的分析問題、解決問題能力和團隊合作意識、有良好的責任心、善于溝通,工作上能自主驅動,接受挑戰,富有創新精神;
7、有機器學習知識背景,有實踐經驗更佳;
大數據開發工程師的崗位職責 篇20
職責:
1、負責開放平臺應用系統/模塊的程序編碼及單元測試;
2、配合系統整合測試、用戶驗收測試等測試過程;
3、協助進行需求分析文檔的整理、協助進行產品歸檔管理等。
任職要求:
1、大學本科及以上學歷(統招、學信網可查),計算機或相關專業,4年及以上java開發經驗,有銀行項目經驗優先;
2、精通Java語法,熟悉J2EE架構,并能熟悉使用開發框架 (如struts、spring、springMVC、hibernate/ibatis/mybatis);
3、了解html、xml、css,了解Javascript, Ajax,webservice技術;
4、熟悉運用各種IDE開發工具(eclipse / Jbuilder,dream weaver);
5、了解應用服務器的發布與配置(Websphere,Tomcat)
6、對數據庫基礎知識及相關數據庫產品有一定的了解(db2,oracle),能熟練使用SQL語法;
7、熟悉UNIX/LIUNX常用命令;
8、具有良好的溝通能力與團隊合作精神。
大數據開發工程師的崗位職責 篇21
職責:
1、負責游戲接入平臺以及數據統計后臺前后端相關功能開發;
2、分析運營需求討論設計方案并最終落實技術方案。
3、參與平臺設計和性能調優與維護。
4、負責產品平臺核心業務的開發,包括后臺系統、游戲對接、充值系統、SDK渠道整合、廣告平臺等;
崗位要求:
1、 1年或以上PHP+MySQL+Apache/Nginx項目經驗;
2、熟悉php面向對象設計方法和laravel框架,熟悉掌握MVC三層設計模式;
3、熟悉laravel 框架,能獨立開發,調試項目功能模塊,用過laravel-admin后臺框架者優先考慮;
4、熟練使用 MySQL,有使用 Memcache / Redis 等互聯網應用的使用經驗 ;
5、熟悉各類主流數據庫如mysql,mongodb等,重點掌握mysql數據庫,能夠獨立建庫建表,考慮合理全面,熟悉掌握composer的運用;
6、熟悉掌握前端技術,如jquery,js,css,html和bootstrap等;
大數據開發工程師的崗位職責 篇22
職責:
1.完善數據庫設計文檔;表結構,字段定義,引擎選擇;
2.優化各項目組目前業務的SQL語句,滿足高并發的需求;
3.為開發團隊提供數據庫相關的技術支持服務,包括SQL編寫規范制定、指導、審核等
4.保障數據庫系統高效安全及穩定運行
任職資格
1.本科及以上學歷,計算機,網絡,數學等相關專業優先
2.2-3年 SQL開發相關經驗,熟練掌握存儲過程等相關開發
3.熟悉數據庫的性能優化、SQL調優,對鎖和事務隔離問題有深入理解 .熟悉數據庫設計理論,熟悉數據庫原理和底層架構
4.精通主從復制原理和實踐
大數據開發工程師的崗位職責 篇23
1、參與公司ERP系統核心模塊的編碼和優化工作,解決復雜的技術問題;
2、參與業務流程的優化重構
3、參與架構設計及技術評審,進行架構開發
大數據開發工程師的崗位職責 篇24
職責:
1. 負責完成業務數據指標、報表、接口等需求的分析及開發實現;
2. 參與數據倉庫搭建項目的ETL開發實施、性能調優、數據監控、保障系統穩定運行;
3. 參與公司數據統一發布平臺的建設和維護工作;
4. 部門業務上級交代的其它相關工作。
崗位要求:
1.計算機本科學歷,2年以上工作經驗,其中1年及以上數據開發工作經驗;
2.熟練掌握MySQL、MSSQL、Mongo主流數據庫的使用,精通SQL、存儲過程、函數;
3.熟悉ETL工具者優先,如kettle,Sqoop、Datastage、Informatica;
4.掌握一門編程語言優先,如Python、R語言。
大數據開發工程師的崗位職責 篇25
1.負責完成客戶要求方案策劃及設計、系統的校核計算;
2.負責與客戶的技術交流及技術對接問題;
3.負責解決產品開發過程中出現的設計問題及質量問題;
4.負責對零部件的整體開發進度進行管控;
5.與測試組溝通試驗相關,并跟進試驗進展;
6.協助ECU模塊完成整車調試,匹配;
7.負責APQP流程的管控;
大數據開發工程師的崗位職責 篇26
崗位職責:
1、與后臺開發人員進行接口評審、對接、聯調并實現產品界面;
2、能完整、獨立開發pc與手機端的h5頁面、小程序、數學練習題頁面的功能等;
3、交接前端頁面適配以及性能優化。
職位要求:
1、javascript基礎扎實,掌握html5 css3 ajax jquery;
2、能開發較為復雜的交互組件,熟悉前端mvc開源框架;
3、熟練掌握前端通用類庫,框架,熟練應用vue react mathjax等;
4、熟悉angularjs,reactjs,vuejs等主流的.js庫,了解其運行機制;
6、能夠高效的與團隊溝通協作,具有教育行業背景、html5移動開發經驗或微信小程序開發經驗者優先。
大數據開發工程師的崗位職責 篇27
1、負責Orace EBS系統財務相關模塊(應收、應付、資產、成本、總帳)的二次開發及日常運維;
2、負責Orace EBS系統財務三大報表的二次開發及日常運維調整;
3、負責Orace EBS系統財務月結工作的技術支持;
大數據開發工程師的崗位職責 篇28
職責:
1、深入項目需求分析,根據產品開發進度和任務分配,組織相應的軟件模塊開發;
2、根據公司文檔規范編寫相應的技術文檔;
3、根據業務變化,不斷改善產品架構和功能設計,保證業務系統的性能、穩定性和可靠性;
任職要求:
1、本科學歷,計算機相關專業;
2、4-5年扎實的JAVA開發經驗,對jvm原理有一定了解;
3、1年以上互聯網行業大型企業應用系統開發相關經驗,扎實的基礎知識, 有處理高并發請求架構經驗優先;
4、熟練掌握 SpringCloud,Springboot框架,并能開發簡單的demo應用;
5、熟練掌握SpringMVC/Spring/mybatis框架;
6、熟悉接口技術,如webservice,thrift和hessian等,有協議開發經驗優先;
7、熟悉Linux常用命令,能獨立在上面進行開
發,測試和部署;
8、熟悉oracal、mysql數據庫,能熟練運用sql語言,有一定性能優化經驗等;
9、 熟悉Web及前端技術(包括 Javascript,ajax,json,jQuery,等開源框架);
10、有良好的團隊合作精神和溝通能力,有較強的溝通協調能力,具有較高責任感,主動性和執行力。
大數據開發工程師的崗位職責 篇29
職位描達
。1)負責基于c++自主研發三維g1s引擎的研發;
。2)設計實現基于三維的模型操作功能
。3)完成gis的'工具集合模塊研發
(4)完成引擎部分插件功能的研發
。5)編寫產品文檔編寫單元測試代碼完成項目引擎的單元測試
職位要術
。1)有2—3年及以上c十+項目經驗;
(2)有2—3年聯以上opengl使用經驗;
。3)有g工s使用經驗,有gis理論基礎:
(4)計算機/g工s/數學專業優先
。5)有qt,mfc界面開安經驗優先