大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板(通用14篇)
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇1
職責(zé):
1、 參與ODS系統(tǒng)或Hadoop 系統(tǒng)數(shù)據(jù)庫相關(guān)開發(fā),包括數(shù)據(jù)倉庫的數(shù)據(jù)模型設(shè)計(ODS層設(shè)計、基礎(chǔ)數(shù)據(jù)層設(shè)計、匯總層設(shè)計等);
2、 參與ETL Mapping設(shè)計及開發(fā)工作;
3、 參與客戶/用戶畫像、經(jīng)營管理、產(chǎn)品畫像、營銷活動等主題域建設(shè)工作。
資質(zhì)要求:
1.計算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷,優(yōu)秀者放寬至大專;
2.有大型數(shù)據(jù)庫(ORALCE/MSSQL SERVER等)開發(fā)經(jīng)驗,有Sybase IQ\HIVE\Spark SQL開發(fā)經(jīng)驗者優(yōu)先;
3、有較強(qiáng)的SQL編程能力,熟練編寫存儲過程,能設(shè)計各種復(fù)雜的業(yè)務(wù)處理、統(tǒng)計分析語句,精通sql性能優(yōu)化;
4、具有數(shù)據(jù)倉庫、ods、BI商務(wù)智能項目經(jīng)驗者優(yōu)先,具有金融行業(yè)項目背景者優(yōu)先;
5、較好的溝通理解能力,態(tài)度踏實,積極上進(jìn)。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇2
職責(zé)
1、負(fù)責(zé)公司大數(shù)據(jù)平臺建設(shè)工作,完成Hdaoop/Spark搭建部署,根據(jù)業(yè)務(wù)需要進(jìn)行開發(fā);
2、開發(fā)實現(xiàn)網(wǎng)絡(luò)爬蟲并爬取所需數(shù)據(jù),有效存儲到大數(shù)據(jù)平臺;
3、對平臺數(shù)據(jù)做預(yù)處理,滿足數(shù)據(jù)展現(xiàn)及后續(xù)機(jī)器學(xué)習(xí)等系統(tǒng)使用;
4、根據(jù)業(yè)務(wù)需要,應(yīng)用大數(shù)據(jù)實時分析技術(shù)、可視化技術(shù)等,并對平臺發(fā)展規(guī)劃進(jìn)行設(shè)計。
任職資格
1、本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè);
2、熟悉數(shù)據(jù)倉庫和數(shù)據(jù)建模相關(guān)技術(shù)細(xì)節(jié),有編程經(jīng)驗,熟悉SQL/Hadoop/Hive/Hbase/Spark等大數(shù)據(jù)工具;
3、具備海量數(shù)據(jù)處理經(jīng)驗,或有互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)挖掘工作經(jīng)驗;
4、1年以上崗位經(jīng)驗優(yōu)先,本科應(yīng)屆有意向的,可優(yōu)先培養(yǎng)。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇3
職責(zé):
1.負(fù)責(zé)金融銀行大數(shù)據(jù)系統(tǒng)相關(guān)模塊的數(shù)據(jù)架構(gòu)及研發(fā)實施工作
2.依據(jù)業(yè)務(wù)場景、分析需求提供技術(shù)解決方案并加以實現(xiàn);
3.與客戶業(yè)務(wù)部門對接,解決數(shù)據(jù)建模、報表和報告在系統(tǒng)開發(fā)遇到的問題;
任職資格:
1.具備3年以上DW系統(tǒng)建設(shè)經(jīng)驗,了解BI系統(tǒng),有數(shù)據(jù)管理經(jīng)驗,有維度建模相關(guān)經(jīng)驗,了解數(shù)據(jù)倉庫建設(shè)過程中的挑戰(zhàn)與問題
2.精通多系統(tǒng)數(shù)據(jù)融合、清洗、轉(zhuǎn)換、整合,具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗
3.熟悉業(yè)界數(shù)據(jù)倉庫建模方法、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量體系管理
4.掌握大型數(shù)據(jù)庫開發(fā)技術(shù)(ORACLE/DB2等),有豐富的數(shù)據(jù)庫模型設(shè)計和優(yōu)化經(jīng)驗
5.熟練掌握Unix/Linux常規(guī)命令、工具及Shell編程
6.掌握一門或多門編程語言優(yōu)先,如Java、Python、scala等
7.熟悉Hadoop、spark、kafka等大數(shù)據(jù)生態(tài)相關(guān)技術(shù),有相關(guān)實踐經(jīng)驗著優(yōu)先8.良好的語言溝通與表達(dá)能力和自我驅(qū)動動力9.具備銀行項目設(shè)計、開發(fā)、優(yōu)化等經(jīng)驗者加分
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇4
職責(zé):
1、獨立負(fù)責(zé)工作小組,并對下級成員進(jìn)行監(jiān)督;
2、具備資源整合以及對軟件項目全局把控的能力;
3、負(fù)責(zé)軟件項目的系統(tǒng)設(shè)計和需求分析;
4、制定軟件項目開發(fā)計劃,并按時完成功能模塊的設(shè)計、開發(fā)以及編程任務(wù);
5、積極配合并完成主管下達(dá)的任務(wù),并能夠?qū)浖块T的發(fā)展規(guī)劃提出意見;
任職條件
1、大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗3年以上,至少具備2年以上java開發(fā)經(jīng)驗;
2、有基于hadoop的數(shù)據(jù)抽取、轉(zhuǎn)換、加載的開發(fā)相關(guān)經(jīng)驗;
3、熟練掌握hadoop生態(tài)的相關(guān)知識,如hive,hbase,flume.kafka,storm,spark,mapreduce等;
4、熟悉Linux操作系統(tǒng)。熟悉linux各項基本操作,至少掌握一門腳本語言;
5、熟練數(shù)據(jù)倉庫,對多維數(shù)據(jù)建模有深入理解;
6、有BI數(shù)據(jù)平臺、數(shù)據(jù)倉庫、日志采集、多維數(shù)據(jù)倉庫設(shè)計、開發(fā)、架構(gòu)經(jīng)驗者優(yōu)先;
7、思維敏捷,有較強(qiáng)的鉆研學(xué)習(xí)能力,較好的溝通能力、團(tuán)隊合作;
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇5
1、負(fù)責(zé)數(shù)據(jù)倉庫和大數(shù)據(jù)處理模塊的架構(gòu)設(shè)計和開發(fā);
2、負(fù)責(zé)實現(xiàn)基于Spark框架的分布式計算框架的設(shè)計和開發(fā)工作;
3、負(fù)責(zé)Spark技術(shù)研究和通用數(shù)據(jù)平臺的性能調(diào)優(yōu);
4、負(fù)責(zé)大數(shù)據(jù)項目中,基于kafka、flume、spark streaming、Spark SQL等相關(guān)技術(shù)的海量數(shù)據(jù)的處理、分析、統(tǒng)計、挖掘工作。
5、熟悉Scala/Java語言,對Scala/Java原理、底層技術(shù)有深入研究者優(yōu)先;
6、有過海量數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗者優(yōu)先;
7、熟悉Hadoop/Spark生態(tài)系統(tǒng)組件的使用,至少有2年以上的Spark開發(fā)經(jīng)驗;
8、寫過推薦系統(tǒng)的優(yōu)先考慮
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇6
職責(zé):
1、根據(jù)工作安排和設(shè)計要求,完成相對應(yīng)模塊的開發(fā)和單元測試,參與系統(tǒng)需求分析;
2、配合進(jìn)行集成測試、系統(tǒng)測試以及用戶測試;
3、進(jìn)行軟件維護(hù),解決軟件漏洞、優(yōu)化軟件、實現(xiàn)變更需求;
4、對系統(tǒng)運行提供技術(shù)支持,協(xié)助解決運行維護(hù)中的問題;
5、參與編寫軟件開發(fā)與系統(tǒng)維護(hù)相關(guān)技術(shù)文檔等。
任職條件
1、本科(含)以上學(xué)歷,計算機(jī)相關(guān)專業(yè),3年Java開發(fā)經(jīng)驗,熟悉軟件開發(fā)流程。
2、精通java,具備OOA/OOD編程理念,熟悉設(shè)計模式。
3、熟悉Struts、Spring、Hiberate 等主流開源框架, 熟悉Weblogic、Tomcat等應(yīng)用服務(wù)器的部署與配置優(yōu)先;
4、熟悉HMTL,XHTML,Xml,CSS,Javascript,AJAX等網(wǎng)絡(luò)技術(shù)者優(yōu)先;
5、了解SQL語法,會java數(shù)據(jù)庫編程,熟悉Oracle或其他主流數(shù)據(jù)庫者優(yōu)先;
6、責(zé)任心強(qiáng),工作積極主動,有耐心,能承受一定工作壓力;有良好的學(xué)習(xí)能力,樂于學(xué)習(xí)研究新技術(shù)
7、有保險行業(yè)經(jīng)驗者優(yōu)先
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇7
1.熟悉Oracle數(shù)據(jù)庫和Windows/Linux 系統(tǒng),具有一定的數(shù)據(jù)庫操作能力和oracle DBA OCP認(rèn)證優(yōu)先;
2.熟悉各廠網(wǎng)絡(luò)設(shè)備,有相關(guān)網(wǎng)絡(luò)認(rèn)證、CCNP、CCIE優(yōu)先;
3.具備較強(qiáng)的客戶溝通能力,能夠耐心、迅速的分析并理解客戶提出的問題和需求;
4.具備良好的團(tuán)隊合作精神、高度的責(zé)任感,對工作積極嚴(yán)謹(jǐn);
5.注重細(xì)節(jié),工作細(xì)心,有良好的規(guī)范化文檔書寫能力;
6.有大型數(shù)據(jù)庫維護(hù)經(jīng)驗的優(yōu)先;
7.了解AIX等Unix系統(tǒng)優(yōu)先;
8.日語口語熟練者N3~可以對接我司JPN項目(有JPN出差機(jī)會);
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇8
職責(zé):
1、 負(fù)責(zé)社交產(chǎn)品業(yè)務(wù)的后臺架構(gòu)設(shè)計開發(fā)等;
2、 負(fù)責(zé)社交產(chǎn)品的后臺poss系統(tǒng)架構(gòu)設(shè)計開發(fā);
3、 負(fù)責(zé)產(chǎn)品的內(nèi)部財務(wù)系統(tǒng)開發(fā);
4、 負(fù)責(zé)DB設(shè)計和大數(shù)據(jù)處理。
任職資格:
1.計算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷,5年以上相關(guān)工作經(jīng)驗;
2.精通java編程語言,扎實的編程基礎(chǔ),熟悉spring,mybatis等主流開發(fā)框架使用及原理;熟悉Linux/Unix系統(tǒng)、多線程編程技術(shù),熟悉MQ,精通高并發(fā)處理;
3.熟悉oracle、mysql、mongodb等數(shù)據(jù)庫;熟悉memcached/redis等nosql;
4.有g(shù)olang語言和高并發(fā)開發(fā)經(jīng)驗優(yōu)先;
5.精通高并發(fā),有tomcat和jvm優(yōu)化,互聯(lián)網(wǎng)應(yīng)用架構(gòu)設(shè)計經(jīng)驗者優(yōu)先;
6.具備優(yōu)秀的邏輯思維能力,對解決挑戰(zhàn)性問題充滿熱情,善于解決問題和分析問題;
7. 有強(qiáng)烈的上進(jìn)心和求知欲,善于學(xué)習(xí)新事物;良好的團(tuán)隊合作精神,較強(qiáng)的溝通能力和學(xué)習(xí)能力
8. 有大型互聯(lián)網(wǎng)公司核心部門工作經(jīng)驗者,和有外企和名校背景者優(yōu)先。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇9
1、參與基站儲能電池PACK方案的制定與實施;
2、參與新產(chǎn)品開發(fā)計劃的編制;
3、配合營銷、商務(wù)部門,進(jìn)行電池產(chǎn)品相關(guān)工作的支持;
4、配合交付線,與工藝、測試進(jìn)行對接,協(xié)助解決電池產(chǎn)品生產(chǎn)中出現(xiàn)的相關(guān)問題;
5、負(fù)責(zé)項目開發(fā)工作,與電芯工程師、結(jié)構(gòu)工程師對接,提出技術(shù)指標(biāo)、可制造性指標(biāo)和開發(fā)關(guān)鍵節(jié)點;
6、按時完成上級領(lǐng)導(dǎo)交辦的其他工作。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇10
職責(zé):
協(xié)助項目經(jīng)理完成相應(yīng)功能模塊的業(yè)務(wù)分析、系統(tǒng)設(shè)計及數(shù)據(jù)庫結(jié)構(gòu)設(shè)計;
負(fù)責(zé)相應(yīng)功能模塊的代碼編寫;
負(fù)責(zé)編寫相應(yīng)功能模塊的技術(shù)文檔;
配合完成測試和部署工作。
任職資格:
計算機(jī)科學(xué)與技術(shù)、軟件工程等計算機(jī)軟件相關(guān)專業(yè),本科及以上學(xué)歷;
熟練使用安全檢測工具Burp Suite、Fiddler、Fortify SCA、drozer等,進(jìn)行安全測試;
具有web端和APP端滲透性測試手動測試經(jīng)驗;
熟悉常見的web安全漏洞TOP10,會進(jìn)行手工漏洞挖掘:如SQL注入、 XSS跨站腳本、跨站偽造請求、 XML注入、越權(quán)訪問、目錄遍歷、敏感信息泄露、CSRF、越權(quán)、用戶枚舉及猜解(暴力破解)、明文密碼傳輸、數(shù)據(jù)加密傳輸、任意URL重定向、授權(quán)繞過、JAVA反序列化等;
具有一定的測試環(huán)境部署,數(shù)據(jù)庫環(huán)境部署能力;
具有一定的APP開發(fā)、web開發(fā)能力;
有責(zé)任心、團(tuán)隊協(xié)作能力、溝通能力以及良好的抗壓能力。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇11
職責(zé):
1、負(fù)責(zé)自動化運維平臺的開發(fā)
2、負(fù)責(zé)自動化運維平臺與運維工具的整合與優(yōu)化
3、負(fù)責(zé)跟進(jìn)運維平臺的需求收集、反饋、優(yōu)化和落地實現(xiàn)
4、研究新運維技術(shù),持續(xù)優(yōu)化系統(tǒng)架構(gòu)
任職資格:
1、3年或以上PHP/Python/Golang開發(fā)經(jīng)驗
2、熟悉LNMP的配置、管理及優(yōu)化,熟悉devops工具鏈優(yōu)先
3、有自動化運維,Docker、Kubernetes開發(fā)經(jīng)驗者優(yōu)先
4、責(zé)任心強(qiáng),有良好的溝通能力、協(xié)作能力、學(xué)習(xí)能力、英文閱讀能力
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇12
1.負(fù)責(zé)互聯(lián)網(wǎng)系統(tǒng)后端模塊的開發(fā)和測試;
2.與前端開發(fā)、運營、測試團(tuán)隊合作完成整個項目開發(fā);
3.編寫及維護(hù)軟件功能規(guī)格說明書,設(shè)計及開發(fā)過程中產(chǎn)生的系列文檔;
4.參與系統(tǒng)架構(gòu)設(shè)計和核心代碼的編寫,可指導(dǎo)初級開發(fā)人員參與工作;
5.參與網(wǎng)站性能優(yōu)化、產(chǎn)品體驗優(yōu)化以及產(chǎn)品功能迭代;與前端開發(fā)團(tuán)隊緊密配合,確保代碼有效對接,優(yōu)化前端性能。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇13
1.根據(jù)產(chǎn)品需求開發(fā)IOS客戶端產(chǎn)品;
2.驗證和修正測試中發(fā)現(xiàn)的問題 ;
3.學(xué)習(xí)和研究新技術(shù)以滿足產(chǎn)品的需求;
4.根據(jù)開發(fā)過程中的體驗對產(chǎn)品提出改進(jìn)建議。
大數(shù)據(jù)開發(fā)工程師的工作職責(zé)模板 篇14
職責(zé):
1.結(jié)合項目或產(chǎn)品涉及的具體業(yè)務(wù)場景,對數(shù)據(jù)進(jìn)行清洗、計算與加工;
2.思路清晰,可快速響應(yīng)數(shù)據(jù)處理的需求,評估并給出合理的解決方案,并采用合理的方式處理需求;
3.積極主動,能夠與團(tuán)隊成員進(jìn)行有效溝通,并完成數(shù)據(jù)處理結(jié)果的核對與對接;
4.完成上級交辦的工作或任務(wù)。
崗位要求
1.計算機(jī)相關(guān)專業(yè)大專以上學(xué)歷;
2.2年以上大數(shù)據(jù)產(chǎn)品或項目開發(fā)經(jīng)驗,精通Hadoop生態(tài)圈,熟練使用Spark,HBase、Hive、Kafka、Redis等;
3.精通SQL,熟練使用HSQL實現(xiàn)復(fù)雜數(shù)據(jù)處理邏輯,并具備數(shù)據(jù)處理調(diào)優(yōu)的能力;
4.熟悉Linux開發(fā)環(huán)境,熟悉Linux的shell命令。
5.具有良好的邏輯思維能力和嚴(yán)謹(jǐn)?shù)某绦蜷_發(fā)思想,具備獨立問題排查與處理的能力;
6.良好的團(tuán)隊精神和合作意識,強(qiáng)烈的責(zé)任心,對工作有激情,良好的溝通能力,能吃苦耐勞;
7.有大數(shù)據(jù)項目或產(chǎn)品背景者優(yōu)先;
8.有使用Spark SQL進(jìn)行數(shù)據(jù)處理,并具有Spark SQL優(yōu)化經(jīng)驗者優(yōu)先。
9.有Python或者Shell腳本開發(fā)經(jīng)驗優(yōu)先