數據挖掘工程師工作的職責(精選29篇)
數據挖掘工程師工作的職責 篇1
職責:
1、參與數據ETL和數據倉庫治理;
2、參與大數據分析和挖掘,個性化推薦等系統的設計和開發;
3、負責數據挖掘、自然語言處理及預測等相關模型、算法的設計與開發;
4、參與BI等系統基礎數據支撐開發;
5、參與用戶畫像、用戶行為評分、行業指數、銷售預測等功能模塊的開發;
6、參與爬蟲等外部相關數據爬取。
任職要求:
1、熟悉概率論和統計方法;
2、掌握統計學習方法和機器學習算法者優先;
3、掌握JAVA,理解MapReduce開發思維,能獨立開發分布式計算;熟悉Shell、R、MATLAB、Octive、Python等腳本語言或應用開發者優先;
4、熟悉關系型數據庫MySQL等,了解NoSQL;
5、具備工程化思維,思考數據業務能夠全面謹慎;
6、具備快速學習的能力和業務理解力,對數據開發有濃厚的興趣,具備理解和整合算法的能力。
數據挖掘工程師工作的職責 篇2
職責:
1、負責時間序列分析類算法的維護和設計實現;
2、負責海量內容和業務數據的分析和挖掘、建模,快速迭代算法,提升算法效果;
3、參與搭建和實現大數據平臺下的算法處理程序;
4、應用各種機器學習、數據挖掘技術進行數據分析與數據挖掘;
5、根據業務需求進行數學建模,設計并開發高效算法,并對模型及算法進行驗證和實現。
【職位要求】
1、20xx屆應屆畢業生,本科及以上學歷,985/211畢業院校優先考慮,計算機軟件、通訊相關專業;
2、熟悉linux操作,熟悉oracle數據庫及sql語言;
3、掌握數據分析/挖掘方法及相關算法;
4、有R語言開發能力優先;
5、有運營商數據分析,模型構建經驗優先。
數據挖掘工程師工作的職責 篇3
職責:
1、針對具體的業務場景需求、定義數據分析及挖掘問題;
2、使用統計學分析方法、挖掘算法、構建有效且通用的數據分析模型,對數據挖掘方案進行驗證、開發、改進和優化,實現數據挖掘的功能應用;
3、搭建高擴展高性能的數據分析模型庫,作為數據分析團隊的基礎工具;
4、完成領導安排的其他工作。
任職要求:
1、計算機、統計學、數學相關專業,本科及以上學歷;
2、3年及以上相關工作經驗,985和211大學的優秀畢業生可放寬至2年以上;
3、熟悉PHM的應用背景、功能定義、系統架構、關鍵技術;
4、熟練掌握Python進行數據挖掘;會使用Java進行軟件開發者優先考慮;
5、熟悉常用數據挖掘算法(如分類、聚類、回歸、關聯規則、神經網絡等)及其原理,并具備相關項目經驗;
6、熟悉數據倉庫,熟練使用SQL語言,有良好的數據庫編程經驗;
7、具備較強的獨立解決問題的能力,勤奮敬業、主動性和責任心強。
數據挖掘工程師工作的職責 篇4
職責:
1、水務行業的數據分析、數據挖掘工作,包括數據模型的需求分析、模型開發和結果分析;
2、按需完成基礎數據的清洗、整合與去噪,為分析與建模提供支撐。
3、根據業務需求構建合適的算法及通過數據挖掘、機器學習等手段不斷優化策略及算法。
4. 跟蹤學習新的建模和數據挖掘技術,與同事共享知識和經驗。
任職要求:
1. 計算機、數學、物理等相關專業本科及以上學歷, 211、985高校優先
2.具有數據挖掘、機器學習、概率統計基礎理論知識,熟悉并應用過常用分類、聚類等機器學習算法;
3.熟練掌握R編程,熟悉數據庫開發技術,并有實際生產使用經驗者優先;
4. 學習能力強,擁有優秀的邏輯思維能力,工作認真負責,溝通能力良好,團隊合作意愿強,誠實、勤奮、嚴謹。
數據挖掘工程師工作的職責 篇5
職責:
1、根據公司自主產品需求,研究設計相應數據挖掘方案及算法,分析數據,設計方案,構建原型,快速實現對于數據分析、挖掘的需求;
2、深入分析汽車后服務應用數據,特別是時間序列內的連續數據,應用統計學、機器學習、數據挖掘等技術建立模型,形成診修技術分析報告或數據產品,并跟蹤產品運營落地;
3、負責診修行為、診斷過程、結果等數據與知識智推模型中的具體開發和應用。
任職要求:
1、本科以上學歷,數學、統計等相關專業背景,碩士或以上學歷優先;
2、4年以上相關工作經驗,精通SQL,熟練使用Hadoop/MongoDB/Spark進行數據處理加工;熟練掌握Python,Shell任一種腳本
3、有統計建模、機器學習(聚類、分類、回歸、貝葉期分類、神經網絡等)或數據挖掘應用的項目或研究經驗,能夠熟練運用python、R、spark任意一種進行建模;
4、具有大型電商類、網約車類、汽車后服務類等數據挖掘經驗者優先。
5、具有對時間序列進行數據挖掘經驗者優先。
數據挖掘工程師工作的職責 篇6
1、針對具體的業務場景需求、定義數據分析及挖掘問題;
2、使用統計學分析方法、挖掘算法、構建有效且通用的數據分析模型,對數據挖掘方案進行驗證、開發、改進和優化,實現數據挖掘的功能應用;
3、搭建高擴展高性能的數據分析模型庫,作為數據分析團隊的基礎工具;
4、完成領導安排的其他工作。
數據挖掘工程師工作的職責 篇7
1.負責直播業務相關數據倉庫的數據模型設計;
3.參與數據倉庫ETL流程設計、開發和優化,解決ETL過程相關技術問題;
3.參與項目規劃,數據采集設計,數據倉庫開發,模型開發,報表開發等;
4. 總結數據倉庫建模的方法,負責數據產品平臺化和系統化;
數據挖掘工程師工作的職責 篇8
1.負責企業級數據倉庫設計、規劃、建設、實施、管理,數據倉庫架構設計與數據開發,創建數據倉庫、數據集市
2.熟悉數據倉庫領域知識,從架構和技術層面參與建設數據倉庫,包括元數據管理、數據質量、主數據管理、性能優化和調優。
3.負責數據倉庫平臺相關數據管理工作,如研發規范、質量規范、保障規范的制定與推動實施落地
4.配合和協助數據分析/數據挖掘形成底層/中間層的業務邏輯切片
數據挖掘工程師工作的職責 篇9
1、 日常數據庫的基本安裝,維護,升級,監控的;
2、 配合研發部門進行數據庫設計支持,協助開發、設計和進行SQL語言優化;
3、 配合相關部門數據庫相關的'任務,比如數據導入導出,SQL的編寫;
4、 數據的安全防范,比如備份,容災等;
5、 定期數據庫巡檢、數檢查、狀態分析、優化運行瓶頸及故障診斷排除;
6、 協助數據庫DBA完成數據庫架構設計,安全性、可用性、高性能方案的實施。
數據挖掘工程師工作的職責 篇10
1、對海量業務數據進行分析,并利用算法挖掘用戶行為特征,發現潛在規律,建立機器學習算法并優化;
2、利用數據挖掘技術分析、預測用戶的消費行為;
3、建立各種業務邏輯模型和數學模型,幫助公司改善運營管理,節省成本。
任職要求:
1、大學本科及以上學歷;
2、統計學、會計學、數學、物理等相關專業;
3、本科5年以上同崗位工作經驗,研究生3年以上同崗位工作經驗;
4、對統計學和數據挖掘算法原理有較為深刻的理解,了解數據倉庫思想,熟悉SPSS、SAS、R、MAHOUT等數據挖掘軟件之一;
5、熟悉決策樹、聚類、邏輯回歸,關聯分析、SVM,貝葉斯等數據挖掘算法,有海量數據挖掘的項目經驗;
6、有用戶行為分析、用戶建模、業務建模、數學建模經驗優先;
7、良好的邏輯分析能力、分析問題和解決問題的`能力,對數據敏感,良好的溝通能力。
數據挖掘工程師工作的職責 篇11
崗位職責:
1.負責銜接大數據平臺與前端的數據傳輸;
2.根據客戶需求設計大數據業務平臺架構、配置組件;
3.負責后臺服務的調試與測試,梳理接口文檔、開發文檔與測試文檔。
任職資格:
1.碩士以上,或較為優秀的本科生;后端開發經驗2年以上;
2.有基于b/s架構進行實際業務平臺開發的經驗,有to b軟件開發經驗更佳;
3.通用軟件開發基礎、軟件架構基礎、scrum敏捷開發方法,有大數據基礎更佳;
4.精通java或python語言,有rcp框架經驗更佳;熟練掌握mybatis、springcloud / springboot、node.js等框架,精通sql技術;了解以太網通信協議,熟悉websocket技術。熟練使用git,svn等工具;
5.學習能力強,勇于挑戰,代碼質量意識強,篤信“工程即魔法”。
數據挖掘工程師工作的職責 篇12
1、學習并理解勵步云學業務及系統,根據業務部門需求對公司各項業務數據進行統計分析,出具相關報表;
2、進行數據倉庫設計、模型開發、數據質量校驗,報表開發;
3、進行數據差異分析,找出統計口徑、數據錯誤、操作錯誤等造成的差異原因;
4、進行數據查詢優化,解決跑數性能問題。
數據挖掘工程師工作的職責 篇13
1、負責產品數據庫研發,參與系統整體架構設計;
2、根據產品目標負責相關業務的數據分析、建模、設計評審,跟進產品過程中數據庫設計;
3、負責產品模塊的數據層分析、設計、編碼、測試;
4、能夠獨立完成產品數據層開發任務,負責各類數據接口開發;
5、負責各類型數據操作處理和兼容問題;數據庫復雜SQL開發和調優。
數據挖掘工程師工作的職責 篇14
1、參與數據倉庫建設,負責數據倉庫模型設計;
2、開發高質量可擴展的底層數據倉庫體系;
3、負責數據倉庫系統與業務系統的接口設計和確認工作;
4、負責數據平臺相關的管理工作,如數據研發規范、數據質量及穩定性保證等建設;
5、參與公司各個業務線BI、數據產品與應用的數據研發,發覺數據潛在價值。
數據挖掘工程師工作的職責 篇15
職責描述:
1、負責文本數據處理,如格式轉換、分詞處理、實體抽取、專業詞典整理等;
2、自然語言處理相關工具開發;
3、協助訓練nlp模型。
任職要求:
1、計算機相關專業(本科2年以上);
2、精通c/c++或java,熟悉python、bash?shell等腳本語言;
3、熟悉正則表達式,了解常用分類、聚類算法及相應工具;
4、熟悉使用基本分類、聚類算法及相應工具;
5、具備nlp相關工作(特別是數據處理與分析)經驗,了解nlp基本知識;
6、其他:耐心、細致;較強的邏輯思維能力;性格踏實穩定,抗壓能力強。
數據挖掘工程師工作的職責 篇16
1、負責公司與阿里巴巴在新行業方向(新金融、新零售、國內外運營商)的產品研發;
2、負責分析挖掘客戶/行業對大數據產品的需求(應用場景),利用數據分析結論提升客戶業務能力。例如:文本挖掘,潛在客戶挖掘,用戶畫像,個性化推薦,用能預測等;
3、進行大數據場景下的數據統計、數據挖掘、機器學習、深度學習,包括數據整理、模型建立、模型應用、評估優化等;
4、將客戶需求準確轉化為可執行的數學模型,針對不同的應用場景,負責編寫數據挖掘算法及對其的優化;
5、基于需求分析/運營支持/商業報告等成果,抽取典型用戶/客戶/行業/產品分析模型并與開發團隊溝通實施方案及構建產品原型。
崗位要求:
1、本科以上學歷,扎實的`機器學習、數據挖掘、統計學理論基礎;有統計、應用數學、金融等相關專業背景優先;
2、精通常見機器學習算法(如邏輯回歸、SVM、神經網絡、決策樹、貝葉斯等),有實際建模經驗,掌握深度學習算法優先;
3、具有扎實的計算機操作系統、數據結構等編程基礎,精通至少一門編程語言例如JAVA/python/R等;
4、熟悉Map-Reduce模型,對Hadoop、Spark、Storm等大規模數據存儲與運算平臺有實踐經驗優先。
數據挖掘工程師工作的職責 篇17
相關文件的定義和編寫
2.生產良率和拋料率的監控和改善
3.生產異常的分析解決
4.技術人員的班別安排
5.設備保養的'安排和作業follow
6.設備故障維修&coordinator
7.配合新產品導入或者其他需求的試產驗證
8.主管交付的其他事項
數據挖掘工程師工作的職責 篇18
•識別,分析和解決計劃支持問題。
•與BU利益相關者合作,確定并優先考慮數據和統計要求,包括要收集的特定數據元素。
•協助開發和實施數據庫,數據收集系統/工具,數據分析以及其他優化統計效率和質量的策略(包括確定流程改進以更好地滿足業務需求)。
•分析大量數據集,提出有見地的業務建議。
•通過查看報告和績效指標來確定和糾正數據收集問題,從而確保數據的準確性和完整性。
•識別,分析,解釋和建模數據湖中數據的趨勢或模式。
•為各種受眾設計和生成準確有效的統計數據可視化產品和報告。
•通過促進技術和非技術利益相關者之間的溝通,確保技術團隊了解計劃和業務工作的短期和長期目標
•準時交付優質,易懂,明確的產品。
•參與構建機器學習策略平臺。
•對數據驅動業務,關鍵思想家,問題解決者和自我啟動者的熱情
•促進技術和非技術利益相關者之間交流的能力
•出色的書面和口頭交流能力。
數據挖掘工程師工作的職責 篇19
1.針對用戶行為預測業務,負責用戶畫像、訂單特征體系建設,包括離線數據產出以及服務化;
2.針對用戶端上行為產出的實時數據流,挖掘實時特征并服務化;
3.針對客服場景,挖掘實時用戶行為異常以及進線異常;
4.針對智能客服場景用戶標簽挖掘,人群挖掘等工作,支持智能運營方向的業務;
5.負責開發并維護智能客服業務的特征服務系統。
數據挖掘工程師工作的職責 篇20
1、利用數據倉庫建模及相關技術,參與數據倉庫模型的設計。
2、參與企業級大數據倉庫項目的落地開發。
3、參與企業級主數據管理項目的實施落地。
4、利用hadoop生態相關技術,負責大數據中心的'數據處理流程,包括數據清洗、融合、統計、挖掘等。
數據挖掘工程師工作的職責 篇21
1、5年或以上 Oracle / MySQL / PG DBA或相關工作經驗;
2、熟悉Linux以及基于Linux的各種常用系統服務的部署、配置、運維、排障、監控等;
3、熟悉Oracle 10 / 11 / 12的SQL以及PL/SQL編寫;
4、熟悉上述版本Oracle以及RAC的運維、排障、數據遷移、調優等;
5、熟悉PG 10 / 11 / 12的'部署維護、備份恢復、數據遷移、流復制、排障調優者優先;
6、熟悉KVM、ZStack、Docker、K8S等云基礎架構技術并有相關工作經驗者優先。
數據挖掘工程師工作的職責 篇22
•在行業擔任數據工程師或后端工程師超過4年
•您將了解數據倉庫的概念(建模,調整,維護)
•您非常精通SQL,并渴望指導和教其他SQL
•您精通Python或任何其他腳本語言和軟件開發
•您在分布式數據處理/傳統RDBMS / MPP / NoSQL系統和數據建模方面有很強的低估/經驗
•您在Spark / Kafka / HBase / Redis / Kettle方面擁有豐富的經驗
•您受到探索數據的好奇心和動力的驅動
•您具有處理數據管道的DevOps問題的經驗
•對數據驅動業務,關鍵思想家,問題解決者和自我啟動者的熱情
•獲得認可大學的相關學科的學士學位
數據挖掘工程師工作的職責 篇23
1、基于大數據平臺的海量數據,負責業務相關的數據挖掘研發,及定向相關技術研發;
2、負責大數據可視化研究及平臺構建及優化工作;
3、負責數據挖掘分析體系的建設,并建立和規范數據挖掘模型標準;
4、協助項目團隊做好數據和應用的對接,完成項目的執行及交付;
5、配合架構師進行技術攻關和核心挖掘算法改善。
數據挖掘工程師工作的職責 篇24
1、負責每日的數據倉庫運維工作,保障數據的穩定性、一致性等;
2、參與數據倉庫的優化設計,如元數據、數據權限、調度優化;
3、負責數據質量和數據標準化的設計與開發;
4、負責滿足業務部門的日常業務提數與報表需求的開發。
數據挖掘工程師工作的職責 篇25
(1)分析需求,完成相關數據抽取、數據清洗、數據探索、數據建模分析等工作;
(2)按要求完成數據分析報告、建模報告、數據報表等;
(3)對數據進行深度挖掘和建模,做運營和用戶等各方面分析,深度挖掘運營優化和用戶行為特征等,推動分析問題的解決,為業務決策提供日常支持;
(4)與業務部門和技術部門對接,完成設計,編寫,維護和完善公司業務相關的.算法。
(5)參與項目成果匯編,對相關結果進行解讀和匯報。
任職要求:
(1)大專以上學歷,統計、數學、計算機、軟件專業優先;
(2)熟練使用Python,Mysql語言,具有一定的工程能力,完善的文檔和注釋習慣。熟悉JupyterLab遠程代碼編寫環境,Linux常用命令。會使用R,Java,Scala等語言更佳。
(3)熟悉數據分析過程,能夠完成數據抽取、數據處理、數據建模、數據分析報告等任務;
(4)一定的數據挖掘/機器學習理論和技術基礎,了解常用的數據挖掘算法如:聚類模型、線性回歸、邏輯回歸、分類模型、決策樹模型等。
數據挖掘工程師工作的職責 篇26
1.高質量地完成集團內外各類數據生產集成、數據分析應用建設工作,涉及投研、市場、ERP、全球金融資訊等四個業務領域方向;
2.需求及源系統數據分析,完成數據倉庫/EDM等系統數據模型及應用模型設計、數據Mapping規則文檔撰寫、開發、自測及上線部署;
3. 數據質量稽核、問題分析及處理,優化數據處理程序;
4. 洞察數據、滿足業務場景需求。
數據挖掘工程師工作的職責 篇27
1.負責數據分析,數據挖掘相關的算法、應用的設計與開發;
2.負責公司產品各階段數據的整理、分析、挖掘及提交數據報告,重點對車輛行為數據進行分析和挖掘,利用數據分析結論推動業務產品的優化;
3.對海量業務數據進行整合、分析挖掘,挖掘產品以及用戶潛在信息,為營銷、運營及決策提供業務分析及數據支持。
數據挖掘工程師工作的職責 篇28
1、3年以上etl開發經驗,熟悉etl開發規范和流程;
2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個,有開發、維護經驗;
3、熟練編寫存儲過程,擅長sql優化;
4、熟悉oracle、sqlserver等常用數據庫中的`一個或多個;
5、熟悉perl、shell腳本,linux操作系統;
6、有大型數據倉庫、bi相關項目的開發經驗,精通架構、建模者優先;
7、熟練使用erwin或powerdesigner等進行數據建模;
8、以下經驗優先考慮:流式處理、日志處理、數據倉庫全日制本科以上學歷(985/211),計算機科學與技術/軟件工程/數據相關專業
1、3年以上etl開發經驗,熟悉etl開發規范和流程;
2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個,有開發、維護經驗;
3、熟練編寫存儲過程,擅長sql優化;
4、熟悉oracle、sqlserver等常用數據庫中的一個或多個;
5、熟悉perl、shell腳本,linux操作系統;
6、有大型數據倉庫、bi相關項目的開發經驗,精通架構、建模者優先;
7、熟練使用erwin或powerdesigner等進行數據建模;
8、以下經驗優先考慮:流式處理、日志處理、數據倉庫
數據挖掘工程師工作的職責 篇29
1.根據項目經理或高級數據挖掘工程師要求獨立完成項目的數據搜集和數據處理;
2.能夠快速根據項目需要學習并理解行業知識,并能在項目經理或高級數據挖掘工程指導下完成部分數據分析工作;
3.能夠使用SAS,SPSS,或R,Python等開源平臺根據用戶需求定制開發相應的算法;
4.理解數據挖掘模型及預測分析結果,撰寫相關分析報告;
5.了解數據倉庫及商務智能背景,熟練掌握一類數據展現分析工具,如:Tableau,Cognos等;