數據倉庫工程師崗位職責(通用30篇)
數據倉庫工程師崗位職責 篇1
1、利用數據倉庫建模及相關技術,參與數據倉庫模型的設計。
2、參與企業級大數據倉庫項目的落地開發。
3、參與企業級主數據管理項目的實施落地。
4、利用hadoop生態相關技術,負責大數據中心的'數據處理流程,包括數據清洗、融合、統計、挖掘等。
數據倉庫工程師崗位職責 篇2
1、負責數據倉庫(HADOOP)ETL工作以及數據運營;
2、負責數據產品的業務需求梳理、數據開發以及維護;
3、負責數據倉庫的'維度建模以及設計相關的腳本調度;
4、負責維度模型的數據處理的腳本開發,程序開發以及接口對接。
數據倉庫工程師崗位職責 篇3
1、學習并理解勵步云學業務及系統,根據業務部門需求對公司各項業務數據進行統計分析,出具相關報表;
2、進行數據倉庫設計、模型開發、數據質量校驗,報表開發;
3、進行數據差異分析,找出統計口徑、數據錯誤、操作錯誤等造成的差異原因;
4、進行數據查詢優化,解決跑數性能問題。
數據倉庫工程師崗位職責 篇4
1、負責產品數據庫研發,參與系統整體架構設計;
2、根據產品目標負責相關業務的數據分析、建模、設計評審,跟進產品過程中數據庫設計;
3、負責產品模塊的數據層分析、設計、編碼、測試;
4、能夠獨立完成產品數據層開發任務,負責各類數據接口開發;
5、負責各類型數據操作處理和兼容問題;數據庫復雜SQL開發和調優。
數據倉庫工程師崗位職責 篇5
1、負責大數據平臺搭建及數據倉庫建模;
2、負責數據庫管理及數據優化;
3、利用大數據相關技術實現對數據的分析、挖掘、處理、及數據可視化等相關工作;
4、維護大數據平臺并能解決相關問題,保障平臺正常運行;
5、學習和研究新技術以滿足系統需求。
數據倉庫工程師崗位職責 篇6
1.負責企業級數據倉庫設計、規劃、建設、實施、管理,數據倉庫架構設計與數據開發,創建數據倉庫、數據集市
2.熟悉數據倉庫領域知識,從架構和技術層面參與建設數據倉庫,包括元數據管理、數據質量、主數據管理、性能優化和調優。
3.負責數據倉庫平臺相關數據管理工作,如研發規范、質量規范、保障規范的制定與推動實施落地
4.配合和協助數據分析/數據挖掘形成底層/中間層的業務邏輯切片
數據倉庫工程師崗位職責 篇7
1、負責每日的數據倉庫運維工作,保障數據的穩定性、一致性等;
2、參與數據倉庫的優化設計,如元數據、數據權限、調度優化;
3、負責數據質量和數據標準化的設計與開發;
4、負責滿足業務部門的日常業務提數與報表需求的開發。
數據倉庫工程師崗位職責 篇8
崗位職責:
1.負責銜接大數據平臺與前端的數據傳輸;
2.根據客戶需求設計大數據業務平臺架構、配置組件;
3.負責后臺服務的調試與測試,梳理接口文檔、開發文檔與測試文檔。
任職資格:
1.碩士以上,或較為優秀的本科生;后端開發經驗2年以上;
2.有基于b/s架構進行實際業務平臺開發的經驗,有to b軟件開發經驗更佳;
3.通用軟件開發基礎、軟件架構基礎、scrum敏捷開發方法,有大數據基礎更佳;
4.精通java或python語言,有rcp框架經驗更佳;熟練掌握mybatis、springcloud / springboot、node.js等框架,精通sql技術;了解以太網通信協議,熟悉websocket技術。熟練使用git,svn等工具;
5.學習能力強,勇于挑戰,代碼質量意識強,篤信“工程即魔法”。
數據倉庫工程師崗位職責 篇9
1、進行GIS數據建庫和數據處理方案的設計和實現;
2、運用相關GIS軟件進行數據空間化處理建庫;
3、進行影像識別及處理;
4、進行數據采集處理建庫項目管理。
數據倉庫工程師崗位職責 篇10
1.嵌入式bootloader,kernel開發;
2.工業通訊協議解析等;
3.windows/linux平臺網關應用層程序開發;
4.網關產品的軟件功能測試驗證;
5.工業網關產品軟件sdk及library開發。
數據倉庫工程師崗位職責 篇11
數據處理工程師(大數據項目)全成通信上海全成通信技術有限公司,全成通信,全成崗位職責:
1、負責大數據平臺的日常維護和監控
2、負責大數據項目日報發布工作
3、負責日報數據的統計
4、負責大數據項目日常數據的計算、分析和維護
任職要求:
1、一年以上相關工作經驗,有電信行業經驗者優先
2、熟悉linux和excel,熟練使用perl或者其他的'腳本語言
3、具有oracledll/dml技術的使用經驗
4、具有良好的團隊合作精神,有較強的學習能力、適應能力、溝通能力
數據倉庫工程師崗位職責 篇12
1.高質量地完成集團內外各類數據生產集成、數據分析應用建設工作,涉及投研、市場、ERP、全球金融資訊等四個業務領域方向;
2.需求及源系統數據分析,完成數據倉庫/EDM等系統數據模型及應用模型設計、數據Mapping規則文檔撰寫、開發、自測及上線部署;
3. 數據質量稽核、問題分析及處理,優化數據處理程序;
4. 洞察數據、滿足業務場景需求。
數據倉庫工程師崗位職責 篇13
1.負責海量數據的分析開發工作;
2.完成數據挖掘模型,跟蹤模型的實施和效果,定期優化算法和分析策略,分析研究后提供建設性建議;
3.優化大數據存儲、計算等各方面性能,確保能從海量大數據信息里,有效進行數據分析和挖掘;
4.根據用戶的活動記錄進行特征篩選和關聯挖掘。提高關聯準確性;
5.參與相關數據標準和規范的制定。
數據倉庫工程師崗位職責 篇14
1、負責數據接入、數據提取、數據清洗、底層重構、業務主題建模等工作;
2、參與數據集市開發,用戶畫像標簽開發;
3、負責接口平臺、自助分析平臺等系統的建設和維護;
4、針對具體大數據應用場景,提供有效解決方案,并針對具體模型落地實施;
數據倉庫工程師崗位職責 篇15
1.負責海量數據的分析開發工作;
2.完成數據挖掘模型,跟蹤模型的實施和效果,定期優化算法和分析策略,分析研究后提供建設性建議 ;
3.優化大數據存儲、計算等各方面性能,確保能從海量大數據信息里,有效進行數據分析和挖掘;
4.根據用戶的活動記錄進行特征篩選和關聯挖掘。提高關聯準確性;
5.參與相關數據標準和規范的制定。
要求:
1.熟悉java/scala/python/R中至少一種編程語言,具有良好的.編碼習慣;
2.計算機、數學相關專業本科以上學歷;
3.2年以上數據挖掘及其相關經驗,對常用的數據挖掘算法有較深入了解,有實際算法調優經驗 ;
4.熟悉常用數據挖掘算法(聚類/分類/回歸/關聯規則/圖模型)等算法原理,具備實際的建模經驗,熟悉常用機器學習算法原理,如樸素貝葉斯/決策樹/隨機森林/邏輯回歸/SVM等,并具備相關應用經驗;
5.熟悉hadoop生態,具有spark/flink等實際開發經驗;
6.極強的數據敏感度,能從海量數據中挖掘出數據核心價值,相關;
7.熟悉分布式存儲,熟悉mysql/oracle、hbase、redis、mogongdb、elasticsearch等,熟悉neo4j/JanusGraph等圖數據庫優先 ;
8.富有創新精神,充滿激情,樂于接受挑戰,良好的溝通技巧和團隊合作,抗壓性強,能適應加班。
數據倉庫工程師崗位職責 篇16
職責描述:
1、負責文本數據處理,如格式轉換、分詞處理、實體抽取、專業詞典整理等;
2、自然語言處理相關工具開發;
3、協助訓練nlp模型。
任職要求:
1、計算機相關專業(本科2年以上);
2、精通c/c++或java,熟悉python、bash?shell等腳本語言;
3、熟悉正則表達式,了解常用分類、聚類算法及相應工具;
4、熟悉使用基本分類、聚類算法及相應工具;
5、具備nlp相關工作(特別是數據處理與分析)經驗,了解nlp基本知識;
6、其他:耐心、細致;較強的邏輯思維能力;性格踏實穩定,抗壓能力強。
數據倉庫工程師崗位職責 篇17
1、空間數據采集、內業處理;
2、電子地圖制作、配圖以及地圖服務發布;
3、編制空間數據建庫工作文檔;
4、對成果數據的分類整理、歸檔;
5、領導安排的其他工作任務。
數據倉庫工程師崗位職責 篇18
1、熟悉掌握業務系統功能,靈活制定不同業務的推廣策略,通過活動運營、內容運營等方式策劃并落地項目推廣方案,拓展系統用戶量及影響力。
2、熟悉公文寫作,配合完成工作匯報材料的撰寫及分析報告。
3、與企業及海關關系的協調和維護,強化合作關系,維護好項目參與方的'關系。
4、面向進出口企業開展調研,主動挖掘系統需求,進行需求分析,形成調研報告或業務需求報告。
5、項目管理相關工作,包括組織業務需求論證、項目立項、進度管理等根據項目管理規范開展相關工作。
6、完成領導交辦的其他工作事項。
數據倉庫工程師崗位職責 篇19
1、負責數據倉庫的設計、開發、部署、維護和優化;
2、參與公司項目數據庫架構設計,及相關文檔的撰寫;
3、協助開發完成數據庫表的設計以及SQL調優,給開發人員提供SQL調優指導;
4、負責數據庫技術規范建設。
數據倉庫工程師崗位職責 篇20
1.負責工業設備組網及數據采集方案設計;
2.負責設計方案所需傳感器、儀表選型,布線圖、數據存儲方式、數據表等詳細設計;
3.負責與設備廠商、數控系統廠商進行業務協議、通信協議及接口協調;
4.負責現場數據采集相關軟硬件安裝調試;
5.負責和用戶現場對口協調、技術指導及現場培訓。
數據倉庫工程師崗位職責 篇21
•在行業擔任數據工程師或后端工程師超過4年
•您將了解數據倉庫的概念(建模,調整,維護)
•您非常精通SQL,并渴望指導和教其他SQL
•您精通Python或任何其他腳本語言和軟件開發
•您在分布式數據處理/傳統RDBMS / MPP / NoSQL系統和數據建模方面有很強的低估/經驗
•您在Spark / Kafka / HBase / Redis / Kettle方面擁有豐富的經驗
•您受到探索數據的好奇心和動力的驅動
•您具有處理數據管道的DevOps問題的經驗
•對數據驅動業務,關鍵思想家,問題解決者和自我啟動者的熱情
•獲得認可大學的相關學科的學士學位
數據倉庫工程師崗位職責 篇22
1、針對具體的業務場景需求、定義數據分析及挖掘問題;
2、使用統計學分析方法、挖掘算法、構建有效且通用的數據分析模型,對數據挖掘方案進行驗證、開發、改進和優化,實現數據挖掘的功能應用;
3、搭建高擴展高性能的數據分析模型庫,作為數據分析團隊的基礎工具;
4、完成領導安排的其他工作。
數據倉庫工程師崗位職責 篇23
崗位職責:
1.參與金融大數據平臺系統和算法的研發和優化;
2.基于大數據金融場景,進行信用風險模型,風控模型,營銷模型的創新設計;
3.與業務部門溝通合作,將數據模型應用于實際業務。
任職要求:
1.計算機相關專業碩士及以上學歷,至少7年以上相關工作經驗;;
2.具有良好的商業敏感度和優秀的數據分析技能,能夠開發創新而實際的.分析方法以解決復雜的商業問題。
3.熟悉機器學習的一般模型;例如分類.聚類.預測,理解一些常用的特征選擇和矩陣分解算法。
4.熟悉深度神經網絡和常用模型(如CNN,DBN,sparseconding,RNN等),有Caffe或Theano或ConvNet的實踐經驗。
5.在語義理解檢索(如知識圖譜表示.結構化預測.語義解析.信息檢索.知識挖掘等)有過深入的工作與研究。
6.較強的自學能力.優秀的邏輯思維能力和良好的溝通表達能力和敬業精神。
7.具備良好的系統分析能力,良好的抽象思維和邏輯思維能力,獨立分析問題解決問題的能力;
8.可承受較大壓力,有責任感,較強的溝通協調能力,具有團隊合作精神;
9.有互聯網公司.大型金融企業和大型IT企業工作經歷的優先。
數據倉庫工程師崗位職責 篇24
崗位職責:
1、對通信和金融業務數據進行分析和挖掘,滿足研發和運營等部門的業務需求和決策需求;
2、能根據業務特點選擇最合適的數據挖掘算法,并做調優;
3、支持數據分析、挖掘算法平臺的部署和日常運營;
4、撰寫分析類報告。
任職資格:
1、大學本科或本科以上統計學、數學或其他相關專業,對數據結構熟悉;
2、熟練使用python進行數據分析、處理、可視化。熟悉numpy/pandas/matplotlib等常用模塊。熟練使用sql,最好用過hive-sql或spark-sql;
3、對hadoop/spark有一定了解。能夠簡單使用hadoop系列命令;
4、對線性回歸,決策森林,xgboost,評分卡等數據挖掘相關算法有一定了解;
5、做過web接口調試,熟悉json者優先;
6、熟練掌握PPT和EXCEL制作;
7、具備良好的學習、溝通與表達能力,具有較強的團隊合作精神,對工作富有熱情,能承受工作壓力;
8、有運營商或金融類相關數據經驗工作優先考慮;
9、能適應中長期現場出差。
數據倉庫工程師崗位職責 篇25
1、維護數據庫穩定運行,持續發現和解決潛在的問題;
2、負責數據庫的性能優化,使用新技術和新架構滿足日益增長的業務需求;
3、負責數據庫的監控系統設計,為開發團隊提供平臺支持;
4、負責數據庫的運維方面的相關工作,包括數據庫的安裝部署、壓力測試、備份恢復、知識庫管理等
5、負責數據庫進行容量規劃、架構設計,提高業務高可用性和容災能力;
6、負責數據庫相關工作的整體規劃,提供決策建議。
數據倉庫工程師崗位職責 篇26
•識別,分析和解決計劃支持問題。
•與BU利益相關者合作,確定并優先考慮數據和統計要求,包括要收集的特定數據元素。
•協助開發和實施數據庫,數據收集系統/工具,數據分析以及其他優化統計效率和質量的策略(包括確定流程改進以更好地滿足業務需求)。
•分析大量數據集,提出有見地的業務建議。
•通過查看報告和績效指標來確定和糾正數據收集問題,從而確保數據的準確性和完整性。
•識別,分析,解釋和建模數據湖中數據的趨勢或模式。
•為各種受眾設計和生成準確有效的統計數據可視化產品和報告。
•通過促進技術和非技術利益相關者之間的溝通,確保技術團隊了解計劃和業務工作的短期和長期目標
•準時交付優質,易懂,明確的產品。
•參與構建機器學習策略平臺。
•對數據驅動業務,關鍵思想家,問題解決者和自我啟動者的熱情
•促進技術和非技術利益相關者之間交流的能力
•出色的書面和口頭交流能力。
數據倉庫工程師崗位職責 篇27
任職要求:
1、軟件、計算機、通訊等理工科相關專業本科及以上學歷;
2、具有3年配置管理或產品數據管理經驗;
3、熟悉計算機與網絡管理;
4、熟悉配置管理與產品數據管理知識,熟練掌握svn、plm等數據管理平臺的`操作與管理;
5、熟悉系統與信息安全知識;
6、具有較強的邏輯思維能力及良好的溝通能力,良好的主動學習能力及執行力。
數據倉庫工程師崗位職責 篇28
相關文件的定義和編寫
2.生產良率和拋料率的監控和改善
3.生產異常的分析解決
4.技術人員的班別安排
5.設備保養的'安排和作業follow
6.設備故障維修&coordinator
7.配合新產品導入或者其他需求的試產驗證
8.主管交付的其他事項
數據倉庫工程師崗位職責 篇29
1、參與數據倉庫建設,負責數據倉庫模型設計;
2、開發高質量可擴展的底層數據倉庫體系;
3、負責數據倉庫系統與業務系統的接口設計和確認工作;
4、負責數據平臺相關的管理工作,如數據研發規范、數據質量及穩定性保證等建設;
5、參與公司各個業務線BI、數據產品與應用的數據研發,發覺數據潛在價值。
數據倉庫工程師崗位職責 篇30
1.負責數據分析,數據挖掘相關的算法、應用的設計與開發;
2.負責公司產品各階段數據的整理、分析、挖掘及提交數據報告,重點對車輛行為數據進行分析和挖掘,利用數據分析結論推動業務產品的優化;
3.對海量業務數據進行整合、分析挖掘,挖掘產品以及用戶潛在信息,為營銷、運營及決策提供業務分析及數據支持。