數(shù)據(jù)采集工程師崗位職責(精選30篇)
數(shù)據(jù)采集工程師崗位職責 篇1
1.負責工業(yè)設(shè)備組網(wǎng)及數(shù)據(jù)采集方案設(shè)計;
2.負責設(shè)計方案所需傳感器、儀表選型,布線圖、數(shù)據(jù)存儲方式、數(shù)據(jù)表等詳細設(shè)計;
3.負責與設(shè)備廠商、數(shù)控系統(tǒng)廠商進行業(yè)務(wù)協(xié)議、通信協(xié)議及接口協(xié)調(diào);
4.負責現(xiàn)場數(shù)據(jù)采集相關(guān)軟硬件安裝調(diào)試;
5.負責和用戶現(xiàn)場對口協(xié)調(diào)、技術(shù)指導(dǎo)及現(xiàn)場培訓(xùn)。
數(shù)據(jù)采集工程師崗位職責 篇2
1.數(shù)據(jù)采集系統(tǒng)和分布式爬蟲系統(tǒng)的架構(gòu)設(shè)計和開發(fā)
2.對接外部數(shù)據(jù)服務(wù)商提供的數(shù)據(jù)及資訊服務(wù),實現(xiàn)數(shù)據(jù)的'有效沉淀,建立數(shù)據(jù)服務(wù)評估機制
3.負責大規(guī)模文本、圖像、視頻數(shù)據(jù)的抓取、抽取,去重、分類,垃圾過濾,質(zhì)量識別等工作
4.研究各種目標網(wǎng)站的形態(tài),互聯(lián)網(wǎng)特征挖掘,發(fā)現(xiàn)它們的特點和規(guī)律
數(shù)據(jù)采集工程師崗位職責 篇3
1.負責linux平臺下應(yīng)用軟件開發(fā),根據(jù)產(chǎn)品與項目要求,開展模塊設(shè)計.編碼等工作;
2.負責linux軟件的交叉編譯與移植;
3.參與需求分析.軟件設(shè)計.開發(fā).調(diào)試以及測試維護全過程;
4.負責協(xié)同硬件工程師或第三方方案商完成系統(tǒng)功能模塊的聯(lián)調(diào)及功能對接.接口文文件輸出;
5.負責嵌入式系統(tǒng)軟件平臺搭建工作;
數(shù)據(jù)采集工程師崗位職責 篇4
1.嵌入式bootloader,kernel開發(fā);
2.工業(yè)通訊協(xié)議解析等;
3.windows/linux平臺網(wǎng)關(guān)應(yīng)用層程序開發(fā);
4.網(wǎng)關(guān)產(chǎn)品的軟件功能測試驗證;
5.工業(yè)網(wǎng)關(guān)產(chǎn)品軟件sdk及l(fā)ibrary開發(fā)。
數(shù)據(jù)采集工程師崗位職責 篇5
崗位職責:
1.按產(chǎn)品功能需求說明,設(shè)計相應(yīng)數(shù)據(jù)庫業(yè)務(wù)邏輯及規(guī)則,并完成腳本封裝。
2.根據(jù)產(chǎn)品適配計劃,進行新適配數(shù)據(jù)庫的預(yù)研。
3.根據(jù)業(yè)務(wù)需求,提供數(shù)據(jù)庫元數(shù)據(jù)創(chuàng)建語句。
4.協(xié)助產(chǎn)品內(nèi)容、數(shù)據(jù)庫知識體系、業(yè)務(wù)算法模型等研發(fā)。
技能要求:
1.熟悉Oracle、SQL Server、MySQL數(shù)據(jù)庫架構(gòu)及原理,并有實際運維經(jīng)驗。
2.熟悉MySQL、PostgreSQL和MongoDB等開源數(shù)據(jù)庫架構(gòu)及原理,并有實際運維經(jīng)驗。
3.熟悉RDS for MySQL、PostgreSQL等云數(shù)據(jù)庫架構(gòu)及原理,并有實際運維經(jīng)驗。
4.熟悉達夢、人大金倉、南大通用、神州通用、高斯、熱璞、巨杉等國產(chǎn)數(shù)據(jù)庫架構(gòu)及原理,并有實際運維經(jīng)驗。
5.熟悉PolarDB、OceanBase、Tidb等數(shù)據(jù)庫架構(gòu)及原理,并有實際運維經(jīng)驗。
6.深刻理解數(shù)據(jù)庫原理及架構(gòu),有二線dba經(jīng)驗者優(yōu)先。
7.熟悉Unix、Linux、Windows等操作系統(tǒng)架構(gòu)及原理,并能熟練使用。
8.熟悉主流自動化運維、監(jiān)控產(chǎn)品,有實際開發(fā)及使用經(jīng)驗的優(yōu)先。
9.熟練使用shells、Python等腳本語言。
10.熟悉腳本開發(fā)規(guī)范,具有數(shù)據(jù)庫開發(fā)背景的`優(yōu)先。
11.深入理解數(shù)據(jù)庫的數(shù)據(jù)字典,并熟悉對象定義,有自定義對象開發(fā)經(jīng)驗的優(yōu)先。
12.善于溝通,皮實,良好的學(xué)習(xí)能力。
13.本科(含)以上學(xué)歷,計算機或相關(guān)專業(yè)的優(yōu)先。
數(shù)據(jù)采集工程師崗位職責 篇6
數(shù)據(jù)處理工程師(大數(shù)據(jù)項目)全成通信上海全成通信技術(shù)有限公司,全成通信,全成崗位職責:
1、負責大數(shù)據(jù)平臺的日常維護和監(jiān)控
2、負責大數(shù)據(jù)項目日報發(fā)布工作
3、負責日報數(shù)據(jù)的統(tǒng)計
4、負責大數(shù)據(jù)項目日常數(shù)據(jù)的計算、分析和維護
任職要求:
1、一年以上相關(guān)工作經(jīng)驗,有電信行業(yè)經(jīng)驗者優(yōu)先
2、熟悉linux和excel,熟練使用perl或者其他的'腳本語言
3、具有oracledll/dml技術(shù)的使用經(jīng)驗
4、具有良好的團隊合作精神,有較強的學(xué)習(xí)能力、適應(yīng)能力、溝通能力
數(shù)據(jù)采集工程師崗位職責 篇7
任職要求:
1、軟件、計算機、通訊等理工科相關(guān)專業(yè)本科及以上學(xué)歷;
2、具有3年配置管理或產(chǎn)品數(shù)據(jù)管理經(jīng)驗;
3、熟悉計算機與網(wǎng)絡(luò)管理;
4、熟悉配置管理與產(chǎn)品數(shù)據(jù)管理知識,熟練掌握svn、plm等數(shù)據(jù)管理平臺的`操作與管理;
5、熟悉系統(tǒng)與信息安全知識;
6、具有較強的邏輯思維能力及良好的溝通能力,良好的主動學(xué)習(xí)能力及執(zhí)行力。
數(shù)據(jù)采集工程師崗位職責 篇8
1.針對用戶行為預(yù)測業(yè)務(wù),負責用戶畫像、訂單特征體系建設(shè),包括離線數(shù)據(jù)產(chǎn)出以及服務(wù)化;
2.針對用戶端上行為產(chǎn)出的實時數(shù)據(jù)流,挖掘?qū)崟r特征并服務(wù)化;
3.針對客服場景,挖掘?qū)崟r用戶行為異常以及進線異常;
4.針對智能客服場景用戶標簽挖掘,人群挖掘等工作,支持智能運營方向的業(yè)務(wù);
5.負責開發(fā)并維護智能客服業(yè)務(wù)的特征服務(wù)系統(tǒng)。
數(shù)據(jù)采集工程師崗位職責 篇9
1.負責數(shù)據(jù)分析,數(shù)據(jù)挖掘相關(guān)的算法、應(yīng)用的設(shè)計與開發(fā);
2.負責公司產(chǎn)品各階段數(shù)據(jù)的整理、分析、挖掘及提交數(shù)據(jù)報告,重點對車輛行為數(shù)據(jù)進行分析和挖掘,利用數(shù)據(jù)分析結(jié)論推動業(yè)務(wù)產(chǎn)品的優(yōu)化;
3.對海量業(yè)務(wù)數(shù)據(jù)進行整合、分析挖掘,挖掘產(chǎn)品以及用戶潛在信息,為營銷、運營及決策提供業(yè)務(wù)分析及數(shù)據(jù)支持。
數(shù)據(jù)采集工程師崗位職責 篇10
1、負責每日的數(shù)據(jù)倉庫運維工作,保障數(shù)據(jù)的穩(wěn)定性、一致性等;
2、參與數(shù)據(jù)倉庫的優(yōu)化設(shè)計,如元數(shù)據(jù)、數(shù)據(jù)權(quán)限、調(diào)度優(yōu)化;
3、負責數(shù)據(jù)質(zhì)量和數(shù)據(jù)標準化的設(shè)計與開發(fā);
4、負責滿足業(yè)務(wù)部門的日常業(yè)務(wù)提數(shù)與報表需求的開發(fā)。
數(shù)據(jù)采集工程師崗位職責 篇11
1、熟悉掌握業(yè)務(wù)系統(tǒng)功能,靈活制定不同業(yè)務(wù)的推廣策略,通過活動運營、內(nèi)容運營等方式策劃并落地項目推廣方案,拓展系統(tǒng)用戶量及影響力。
2、熟悉公文寫作,配合完成工作匯報材料的撰寫及分析報告。
3、與企業(yè)及海關(guān)關(guān)系的協(xié)調(diào)和維護,強化合作關(guān)系,維護好項目參與方的'關(guān)系。
4、面向進出口企業(yè)開展調(diào)研,主動挖掘系統(tǒng)需求,進行需求分析,形成調(diào)研報告或業(yè)務(wù)需求報告。
5、項目管理相關(guān)工作,包括組織業(yè)務(wù)需求論證、項目立項、進度管理等根據(jù)項目管理規(guī)范開展相關(guān)工作。
6、完成領(lǐng)導(dǎo)交辦的其他工作事項。
數(shù)據(jù)采集工程師崗位職責 篇12
1、負責大數(shù)據(jù)平臺搭建及數(shù)據(jù)倉庫建模;
2、負責數(shù)據(jù)庫管理及數(shù)據(jù)優(yōu)化;
3、利用大數(shù)據(jù)相關(guān)技術(shù)實現(xiàn)對數(shù)據(jù)的分析、挖掘、處理、及數(shù)據(jù)可視化等相關(guān)工作;
4、維護大數(shù)據(jù)平臺并能解決相關(guān)問題,保障平臺正常運行;
5、學(xué)習(xí)和研究新技術(shù)以滿足系統(tǒng)需求。
數(shù)據(jù)采集工程師崗位職責 篇13
•在行業(yè)擔任數(shù)據(jù)工程師或后端工程師超過4年
•您將了解數(shù)據(jù)倉庫的概念(建模,調(diào)整,維護)
•您非常精通SQL,并渴望指導(dǎo)和教其他SQL
•您精通Python或任何其他腳本語言和軟件開發(fā)
•您在分布式數(shù)據(jù)處理/傳統(tǒng)RDBMS / MPP / NoSQL系統(tǒng)和數(shù)據(jù)建模方面有很強的低估/經(jīng)驗
•您在Spark / Kafka / HBase / Redis / Kettle方面擁有豐富的經(jīng)驗
•您受到探索數(shù)據(jù)的好奇心和動力的驅(qū)動
•您具有處理數(shù)據(jù)管道的DevOps問題的經(jīng)驗
•對數(shù)據(jù)驅(qū)動業(yè)務(wù),關(guān)鍵思想家,問題解決者和自我啟動者的熱情
•獲得認可大學(xué)的相關(guān)學(xué)科的學(xué)士學(xué)位
數(shù)據(jù)采集工程師崗位職責 篇14
崗位職責:
深入研究業(yè)內(nèi)領(lǐng)先的技術(shù)思路,輸出具有創(chuàng)新價值的預(yù)研項目可行性分析報告以及相關(guān)實驗數(shù)據(jù);
負責產(chǎn)品、銷售、供應(yīng)鏈、電商等公司數(shù)據(jù)的海量挖掘,并建立和優(yōu)化用戶標簽、特征模型、產(chǎn)品精準匹配、異常預(yù)警等;
負責大數(shù)據(jù)下傳統(tǒng)機器學(xué)習(xí)算法的并行化實現(xiàn)及應(yīng)用,并提出改進方法和思路;
參與公司大數(shù)據(jù)架構(gòu),負責BI實施中的數(shù)據(jù)挖掘模塊算法研究、模型建立和優(yōu)化,幫助實現(xiàn)數(shù)據(jù)挖掘和分析平臺的建設(shè);
負責相關(guān)數(shù)據(jù)挖掘項目的需求收集、項目建立、項目設(shè)計開發(fā)和結(jié)果輸出質(zhì)量把控,通過數(shù)據(jù)挖掘結(jié)果驅(qū)動業(yè)務(wù)執(zhí)行;
配合技術(shù)進行數(shù)據(jù)挖掘模型開發(fā)和模型封裝,例如決策規(guī)則模型、預(yù)警模型、流失模型、效果標桿模型、客戶生命周期管理模型等;
任職要求:
大學(xué)本科及以上學(xué)歷,統(tǒng)計學(xué)、計算機、信息技術(shù)、數(shù)學(xué)相關(guān)專業(yè);
兩年以上數(shù)據(jù)建模經(jīng)驗;
數(shù)據(jù)主流數(shù)據(jù)庫,mysql、oracle、DB2等傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)倉庫,熟悉HBase、MongoDB等非結(jié)構(gòu)化數(shù)據(jù)庫;
熟悉常用的聚類、分類、回歸、關(guān)聯(lián)、時間序列等監(jiān)督式和非監(jiān)督式學(xué)習(xí)算法;
熟悉R、Python、MLlib等數(shù)據(jù)挖掘工具中至少一種。
熟悉spark、storm等大數(shù)據(jù)計算框架者優(yōu)先。
數(shù)據(jù)采集工程師崗位職責 篇15
1.負責公司產(chǎn)品的現(xiàn)場安裝,部署,優(yōu)化;
2.負責數(shù)據(jù)庫集群的部署和配置升級;
3.定期進行性能檢測、分析、調(diào)優(yōu),數(shù)據(jù)備份、遷移,保障數(shù)據(jù)庫系統(tǒng)高效安全及穩(wěn)定運行;
4.負責排查數(shù)據(jù)庫故障,分析和解決疑難問題,提出預(yù)防方案。數(shù)據(jù)庫故障處理與災(zāi)難恢復(fù);
5.對開發(fā)工程師的SQL語句進行審核,SQL優(yōu)化,及時發(fā)現(xiàn)并處理高負載SQL;
6.負責客戶單位軟件系統(tǒng)的管理和日常維護,;
數(shù)據(jù)采集工程師崗位職責 篇16
崗位職責:
1.負責銜接大數(shù)據(jù)平臺與前端的數(shù)據(jù)傳輸;
2.根據(jù)客戶需求設(shè)計大數(shù)據(jù)業(yè)務(wù)平臺架構(gòu)、配置組件;
3.負責后臺服務(wù)的調(diào)試與測試,梳理接口文檔、開發(fā)文檔與測試文檔。
任職資格:
1.碩士以上,或較為優(yōu)秀的本科生;后端開發(fā)經(jīng)驗2年以上;
2.有基于b/s架構(gòu)進行實際業(yè)務(wù)平臺開發(fā)的經(jīng)驗,有to b軟件開發(fā)經(jīng)驗更佳;
3.通用軟件開發(fā)基礎(chǔ)、軟件架構(gòu)基礎(chǔ)、scrum敏捷開發(fā)方法,有大數(shù)據(jù)基礎(chǔ)更佳;
4.精通java或python語言,有rcp框架經(jīng)驗更佳;熟練掌握mybatis、springcloud / springboot、node.js等框架,精通sql技術(shù);了解以太網(wǎng)通信協(xié)議,熟悉websocket技術(shù)。熟練使用git,svn等工具;
5.學(xué)習(xí)能力強,勇于挑戰(zhàn),代碼質(zhì)量意識強,篤信“工程即魔法”。
數(shù)據(jù)采集工程師崗位職責 篇17
1、MySQL數(shù)據(jù)庫規(guī)劃、設(shè)計、監(jiān)控維護、升級、備份、鏡像、容災(zāi);
2、數(shù)據(jù)庫服務(wù)器的安裝部署、性能優(yōu)化、可靠性、容災(zāi)方案制定等;
3、對數(shù)據(jù)庫性能分析與調(diào)優(yōu),排錯,保證數(shù)據(jù)安全;
4、負責對開發(fā)工程師的SQL語句進行優(yōu)化;
5、配合研發(fā)制定數(shù)據(jù)庫技術(shù)方案,分庫分表策略,現(xiàn)有表結(jié)構(gòu)優(yōu)化,數(shù)據(jù)遷移方案;
6、負責Mysql自動化相關(guān)事宜;
數(shù)據(jù)采集工程師崗位職責 篇18
1、負責應(yīng)用平臺維護,保證其有效運行;
2、負責業(yè)務(wù)數(shù)據(jù)的挖掘、整合以及分析模型的建立、優(yōu)化和評估;為業(yè)務(wù)人員日常工作提供可靠而明確的數(shù)據(jù)支撐;
3、負責報表相關(guān)功能的設(shè)計、開發(fā)工作,并負責報表優(yōu)化、維護、數(shù)據(jù)采集;
4、負責系統(tǒng)相關(guān)文檔的制定和編寫。
5、有實際的MY SQL或Oracle等數(shù)據(jù)庫開發(fā)相關(guān)工作經(jīng)歷,具有高級工程師技術(shù)能力;
6、有良好的溝通協(xié)調(diào)能力,能與客戶及項目組同事有效的溝通;
7、能夠獨立分析客戶需求,并能針對客戶需求編寫需求分析、設(shè)計等技術(shù)方案;
8、熱愛軟件事業(yè),具有較強的責任感,有快速掌握新技術(shù)和獨立解決技術(shù)問題的能力;
數(shù)據(jù)采集工程師崗位職責 篇19
1.負責企業(yè)級數(shù)據(jù)倉庫設(shè)計、規(guī)劃、建設(shè)、實施、管理,數(shù)據(jù)倉庫架構(gòu)設(shè)計與數(shù)據(jù)開發(fā),創(chuàng)建數(shù)據(jù)倉庫、數(shù)據(jù)集市
2.熟悉數(shù)據(jù)倉庫領(lǐng)域知識,從架構(gòu)和技術(shù)層面參與建設(shè)數(shù)據(jù)倉庫,包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、性能優(yōu)化和調(diào)優(yōu)。
3.負責數(shù)據(jù)倉庫平臺相關(guān)數(shù)據(jù)管理工作,如研發(fā)規(guī)范、質(zhì)量規(guī)范、保障規(guī)范的制定與推動實施落地
4.配合和協(xié)助數(shù)據(jù)分析/數(shù)據(jù)挖掘形成底層/中間層的業(yè)務(wù)邏輯切片
數(shù)據(jù)采集工程師崗位職責 篇20
1、負責產(chǎn)品數(shù)據(jù)庫研發(fā),參與系統(tǒng)整體架構(gòu)設(shè)計;
2、根據(jù)產(chǎn)品目標負責相關(guān)業(yè)務(wù)的數(shù)據(jù)分析、建模、設(shè)計評審,跟進產(chǎn)品過程中數(shù)據(jù)庫設(shè)計;
3、負責產(chǎn)品模塊的數(shù)據(jù)層分析、設(shè)計、編碼、測試;
4、能夠獨立完成產(chǎn)品數(shù)據(jù)層開發(fā)任務(wù),負責各類數(shù)據(jù)接口開發(fā);
5、負責各類型數(shù)據(jù)操作處理和兼容問題;數(shù)據(jù)庫復(fù)雜SQL開發(fā)和調(diào)優(yōu)。
數(shù)據(jù)采集工程師崗位職責 篇21
職責描述:
1、負責poi數(shù)據(jù)的屬性分析、處理和關(guān)系挖掘,構(gòu)建地圖領(lǐng)域的知識圖譜。
2、負責nlp、數(shù)據(jù)挖掘、深度學(xué)習(xí)等方向的前沿算法研發(fā),并結(jié)合地圖場景優(yōu)化。
任職要求:
1、計算機、數(shù)學(xué)或相關(guān)專業(yè),三年以上工作經(jīng)驗。
2、熟悉數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計,熟練使用c++、python。
3、熟悉nlp、機器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域的常用算法與工具,對前沿技術(shù)保持熱情。
4、良好的.分析和解決問題能力,能獨立承擔研發(fā)工作。
5、有地圖數(shù)據(jù)優(yōu)化工作背景優(yōu)先。
團隊介紹
主要支持北京崗位
對地圖(無人駕駛)、廣告(廣點通)、快報感興趣的歡迎勾搭
數(shù)據(jù)采集工程師崗位職責 篇22
崗位職責:
1.從事數(shù)學(xué)建模及數(shù)據(jù)挖掘應(yīng)用方法研究;
2.與開發(fā)部門配合實現(xiàn)相應(yīng)的數(shù)據(jù)分析模塊的開發(fā);
3.制定公司數(shù)據(jù)可管理體系,建產(chǎn)研究用數(shù)據(jù)平臺。
任職要求:
1.應(yīng)用數(shù)學(xué)、統(tǒng)計學(xué)、計算機等專業(yè)碩士以上學(xué)歷;
2.具備常用機器學(xué)習(xí)、數(shù)據(jù)挖掘相關(guān)知識,會spark;
3.具備一種或多種開發(fā)語言(如scalapython java等)的.程序和算法開發(fā)能力,掌握常用數(shù)據(jù)結(jié)構(gòu)和算法;
4.有視頻、地圖、文本、社交等大數(shù)據(jù)分析能力;
5.有工業(yè)數(shù)據(jù)分析工作經(jīng)驗者優(yōu)先。
數(shù)據(jù)采集工程師崗位職責 篇23
1、學(xué)習(xí)并理解勵步云學(xué)業(yè)務(wù)及系統(tǒng),根據(jù)業(yè)務(wù)部門需求對公司各項業(yè)務(wù)數(shù)據(jù)進行統(tǒng)計分析,出具相關(guān)報表;
2、進行數(shù)據(jù)倉庫設(shè)計、模型開發(fā)、數(shù)據(jù)質(zhì)量校驗,報表開發(fā);
3、進行數(shù)據(jù)差異分析,找出統(tǒng)計口徑、數(shù)據(jù)錯誤、操作錯誤等造成的差異原因;
4、進行數(shù)據(jù)查詢優(yōu)化,解決跑數(shù)性能問題。
數(shù)據(jù)采集工程師崗位職責 篇24
1、對海量業(yè)務(wù)數(shù)據(jù)進行分析,并利用算法挖掘用戶行為特征,發(fā)現(xiàn)潛在規(guī)律,建立機器學(xué)習(xí)算法并優(yōu)化;
2、利用數(shù)據(jù)挖掘技術(shù)分析、預(yù)測用戶的消費行為;
3、建立各種業(yè)務(wù)邏輯模型和數(shù)學(xué)模型,幫助公司改善運營管理,節(jié)省成本。
任職要求:
1、大學(xué)本科及以上學(xué)歷;
2、統(tǒng)計學(xué)、會計學(xué)、數(shù)學(xué)、物理等相關(guān)專業(yè);
3、本科5年以上同崗位工作經(jīng)驗,研究生3年以上同崗位工作經(jīng)驗;
4、對統(tǒng)計學(xué)和數(shù)據(jù)挖掘算法原理有較為深刻的理解,了解數(shù)據(jù)倉庫思想,熟悉SPSS、SAS、R、MAHOUT等數(shù)據(jù)挖掘軟件之一;
5、熟悉決策樹、聚類、邏輯回歸,關(guān)聯(lián)分析、SVM,貝葉斯等數(shù)據(jù)挖掘算法,有海量數(shù)據(jù)挖掘的項目經(jīng)驗;
6、有用戶行為分析、用戶建模、業(yè)務(wù)建模、數(shù)學(xué)建模經(jīng)驗優(yōu)先;
7、良好的邏輯分析能力、分析問題和解決問題的`能力,對數(shù)據(jù)敏感,良好的溝通能力。
數(shù)據(jù)采集工程師崗位職責 篇25
1、進行GIS數(shù)據(jù)建庫和數(shù)據(jù)處理方案的設(shè)計和實現(xiàn);
2、運用相關(guān)GIS軟件進行數(shù)據(jù)空間化處理建庫;
3、進行影像識別及處理;
4、進行數(shù)據(jù)采集處理建庫項目管理。
數(shù)據(jù)采集工程師崗位職責 篇26
1. 參加團隊會議與討論,并給予有意義的建議;
2. 協(xié)助后端團隊和架構(gòu)師完成數(shù)據(jù)庫相關(guān)的設(shè)計與開發(fā);
3. 協(xié)助業(yè)務(wù)部門抓取、分析數(shù)據(jù)。
數(shù)據(jù)采集工程師崗位職責 篇27
工作職責:
1、運用數(shù)據(jù)挖掘和機器學(xué)習(xí)方法和技術(shù),深入挖掘和分析海量商業(yè)數(shù)據(jù)
2、包括但不限于風(fēng)控模型、用戶畫像、商家畫像建模、文本分析和商業(yè)預(yù)測等
3、運用數(shù)據(jù)挖掘/統(tǒng)計學(xué)習(xí)的理論和方法,深入挖掘和分析用戶行為,建設(shè)用戶畫像
4、從系統(tǒng)應(yīng)用的角度,利用數(shù)據(jù)挖掘/統(tǒng)計學(xué)習(xí)的理論和方法解決實際問題
任職要求
—計算機、數(shù)學(xué),統(tǒng)計學(xué)或人工智能等相關(guān)專業(yè)碩士以上學(xué)歷,5—10年以上或相關(guān)工作經(jīng)歷
—精通1—2種編程語言(Python或Java),熟練掌握常用數(shù)據(jù)結(jié)構(gòu)和算法,具備比較強的'實戰(zhàn)開發(fā)能力,能帶領(lǐng)團隊共同進步。
—具有統(tǒng)計或數(shù)據(jù)挖掘背景,并對機器學(xué)習(xí)算法和理論有較深入的研究
—熟悉數(shù)據(jù)挖掘相關(guān)算法(決策樹、SVM、聚類、邏輯回歸、貝葉斯)
—具有良好的學(xué)習(xí)能力、時間和流程意識、溝通能力
—熟悉Spark或hadoop生態(tài)分布式計算框架
—優(yōu)秀的溝通能力,有創(chuàng)新精神,樂于接受挑戰(zhàn),能承受工作壓力
—有互聯(lián)網(wǎng),央企,政務(wù),金融等領(lǐng)域大規(guī)模數(shù)據(jù)挖掘經(jīng)驗者優(yōu)先
數(shù)據(jù)采集工程師崗位職責 篇28
1、負責數(shù)據(jù)接入、數(shù)據(jù)提取、數(shù)據(jù)清洗、底層重構(gòu)、業(yè)務(wù)主題建模等工作;
2、參與數(shù)據(jù)集市開發(fā),用戶畫像標簽開發(fā);
3、負責接口平臺、自助分析平臺等系統(tǒng)的建設(shè)和維護;
4、針對具體大數(shù)據(jù)應(yīng)用場景,提供有效解決方案,并針對具體模型落地實施;
數(shù)據(jù)采集工程師崗位職責 篇29
1.從事GIS數(shù)據(jù)制作、分析、數(shù)據(jù)管理等工作;
2.編寫工作總結(jié)和作業(yè)流程等文件;
3.通過已經(jīng)完成的矢量化成果和表格數(shù)據(jù)庫入庫和檢查工作;
4.利用軟件對圖形和屬性進行檢查,并進行錯誤修改;
5.其他數(shù)據(jù)制作處理工作。
數(shù)據(jù)采集工程師崗位職責 篇30
1、3年以上etl開發(fā)經(jīng)驗,熟悉etl開發(fā)規(guī)范和流程;
2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個,有開發(fā)、維護經(jīng)驗;
3、熟練編寫存儲過程,擅長sql優(yōu)化;
4、熟悉oracle、sqlserver等常用數(shù)據(jù)庫中的`一個或多個;
5、熟悉perl、shell腳本,linux操作系統(tǒng);
6、有大型數(shù)據(jù)倉庫、bi相關(guān)項目的開發(fā)經(jīng)驗,精通架構(gòu)、建模者優(yōu)先;
7、熟練使用erwin或powerdesigner等進行數(shù)據(jù)建模;
8、以下經(jīng)驗優(yōu)先考慮:流式處理、日志處理、數(shù)據(jù)倉庫全日制本科以上學(xué)歷(985/211),計算機科學(xué)與技術(shù)/軟件工程/數(shù)據(jù)相關(guān)專業(yè)
1、3年以上etl開發(fā)經(jīng)驗,熟悉etl開發(fā)規(guī)范和流程;
2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個,有開發(fā)、維護經(jīng)驗;
3、熟練編寫存儲過程,擅長sql優(yōu)化;
4、熟悉oracle、sqlserver等常用數(shù)據(jù)庫中的一個或多個;
5、熟悉perl、shell腳本,linux操作系統(tǒng);
6、有大型數(shù)據(jù)倉庫、bi相關(guān)項目的開發(fā)經(jīng)驗,精通架構(gòu)、建模者優(yōu)先;
7、熟練使用erwin或powerdesigner等進行數(shù)據(jù)建模;
8、以下經(jīng)驗優(yōu)先考慮:流式處理、日志處理、數(shù)據(jù)倉庫