數(shù)據(jù)倉庫工程師的主要職責(zé)(精選13篇)
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇1
職責(zé):
1.建設(shè)公司級數(shù)據(jù)倉庫,并根據(jù)業(yè)務(wù)變化持續(xù)迭代和優(yōu)化;
2.對業(yè)務(wù)數(shù)據(jù)進行梳理和抽象,建設(shè)數(shù)據(jù)倉庫的數(shù)據(jù)模型;
3.對業(yè)務(wù)數(shù)據(jù)進行采集、清洗、轉(zhuǎn)換和存儲;
4.支撐BI、用戶數(shù)據(jù)、用戶運營、用戶畫像、房源數(shù)據(jù)、推薦系統(tǒng)等核心數(shù)據(jù)平臺產(chǎn)品;
5.研究大數(shù)據(jù)前沿技術(shù),不斷持續(xù)優(yōu)化大數(shù)據(jù)平臺,為業(yè)務(wù)提供價值。
任職資格:
1.本科及以上計算機、統(tǒng)計學(xué)、數(shù)據(jù)庫、機器學(xué)習(xí)等相關(guān)專業(yè),5年以上數(shù)據(jù)相關(guān)工作;
2.對業(yè)務(wù)數(shù)據(jù)有敏銳的理解能力,并能快速梳理和分析業(yè)務(wù)數(shù)據(jù);
3.熟練掌握SQL語言、熟悉MySQL,對Shell、Java(主要開發(fā)語言)、Python編程非常熟悉;
4.熟悉常用的ETL技術(shù)和原則;精通數(shù)據(jù)倉庫數(shù)據(jù)庫設(shè)計規(guī)范和實操;
5.熟悉Hadoop、Hive、HBase、Spark、Storm等開源平臺者優(yōu)先;
6.具有較強的分析和解決問題的能力,良好的學(xué)習(xí)能力和團隊合作精神,追求價值實現(xiàn),認同目標(biāo)管理和敏捷。
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇2
職責(zé):
1.負責(zé)企業(yè)級數(shù)據(jù)倉庫設(shè)計、規(guī)劃、建設(shè)、實施、管理,數(shù)據(jù)倉庫架構(gòu)設(shè)計與數(shù)據(jù)開發(fā),創(chuàng)建數(shù)據(jù)倉庫、數(shù)據(jù)集市
2.熟悉數(shù)據(jù)倉庫領(lǐng)域知識,從架構(gòu)和技術(shù)層面參與建設(shè)數(shù)據(jù)倉庫,包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理、性能優(yōu)化和調(diào)優(yōu)。
3.負責(zé)數(shù)據(jù)倉庫平臺相關(guān)數(shù)據(jù)管理工作,如研發(fā)規(guī)范、質(zhì)量規(guī)范、保障規(guī)范的制定與推動實施落地
4.配合和協(xié)助數(shù)據(jù)分析/數(shù)據(jù)挖掘形成底層/中間層的業(yè)務(wù)邏輯切片
任職資格:
1. 本科或碩士以上學(xué)歷,計算機工程相關(guān)專業(yè)
2. 熟悉大數(shù)據(jù)相關(guān)技術(shù)能力(Hadoop/MapReduce/Hive/Hbase等),熟練進行數(shù)倉Hive建設(shè)和軟件架構(gòu),較強的數(shù)據(jù)抽象能力
3.精通SQL,具備海量數(shù)據(jù)處理和Hive/Spark性能調(diào)優(yōu)經(jīng)驗,3年以上大規(guī)模分布式數(shù)據(jù)倉庫建設(shè)經(jīng)驗
4.熟練使用Druid/Kylin之一進行數(shù)據(jù)挖掘模型設(shè)計,熟練掌握Java/Scala之一,具備良好的coding素養(yǎng)和習(xí)慣,了解腳本語言,如Python、Shell等
5.強烈的責(zé)任心,工作態(tài)度積極主動,有較好的團隊精神和溝通能力,工作細致認真
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇3
職責(zé):
1、負責(zé)ETL開發(fā)、作業(yè)調(diào)度和數(shù)據(jù)平臺建設(shè)
2、負責(zé)數(shù)據(jù)倉庫的設(shè)計、開發(fā)和優(yōu)化,建立結(jié)構(gòu)層次合理、靈活可擴展的數(shù)據(jù)倉庫
3、設(shè)計并研發(fā)BI分析相關(guān)的數(shù)據(jù)產(chǎn)品
4、結(jié)合對數(shù)據(jù)的理解和業(yè)務(wù)需求,對數(shù)據(jù)進行整理、分析和挖掘
任職要求
1、計算機相關(guān)專業(yè)本科及以上學(xué)歷,有2年以上數(shù)據(jù)倉庫、ETL工作經(jīng)驗
2、有海量數(shù)據(jù)處理、ETL及作業(yè)調(diào)度優(yōu)化、數(shù)據(jù)倉庫建模等經(jīng)驗
3、熟悉Linux、SQL、Python或Java、Shell腳本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗
4、邏輯清晰,對數(shù)據(jù)敏感,深入了解業(yè)務(wù),具備自己獨特的想法并能提出合理的建議
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇4
職責(zé):
1、負責(zé)制定數(shù)據(jù)倉庫平臺技術(shù)體系架構(gòu)、數(shù)據(jù)架構(gòu)及規(guī)范;
2、負責(zé)設(shè)計和實施公司業(yè)務(wù)數(shù)據(jù)的實時/離線數(shù)據(jù)ETL架構(gòu)方案;
3、負責(zé)調(diào)度架構(gòu)設(shè)計與開發(fā);
4、負責(zé)數(shù)據(jù)倉庫平臺運維以及日常數(shù)據(jù)運營等管理;
5、負責(zé)關(guān)鍵技術(shù)攻關(guān);
任職要求:
1、5年以上數(shù)據(jù)倉庫項目開發(fā)經(jīng)驗,參與過數(shù)據(jù)倉庫架構(gòu)設(shè)計,對ETL開發(fā)流程、調(diào)度架構(gòu)有深入理解;
2、精通mysql、 oralce 、greenplum等至少一種數(shù)據(jù)庫,豐富的SQL性能調(diào)優(yōu)經(jīng)驗;
3、熟練使用Java、Shell、Python、Perl等至少一種腳本語言;
4、熟悉數(shù)據(jù)治理理論,數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理流程和方法;
5、了解Hadoop/Hive/HBase/Spark/Storm等技術(shù)及其生態(tài)圈;
6、溝通能力好、責(zé)任心強,具有良好的團隊合作精神和敬業(yè)精神;
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇5
職責(zé):
1.參與傳統(tǒng)數(shù)倉和大數(shù)據(jù)數(shù)倉日常開發(fā)工作;
2.參與大數(shù)據(jù)倉庫設(shè)計、規(guī)劃和開發(fā);
3.參與日常工作的優(yōu)化,提出建設(shè)性意見;
4.負責(zé)管理項目,負責(zé)板塊內(nèi)的資源協(xié)調(diào)、進度管理、交付管理;
5.參與數(shù)據(jù)倉庫、數(shù)據(jù)集市體系架構(gòu)的設(shè)計、規(guī)劃與開發(fā), 參與大數(shù)據(jù)、ETL開發(fā),sql性能優(yōu)化。
任職要求:
1.全日制本科,計算機等相關(guān)專業(yè)。3年以上數(shù)倉開發(fā)經(jīng)驗,有銀行、金融從業(yè)經(jīng)驗者優(yōu)先。
2.2年以上項目管理經(jīng)驗,具備PMP證書優(yōu)先.
3.熟悉oracle/hive/spark,熟悉數(shù)據(jù)處理和性能優(yōu)化,有UDF自定義函數(shù)、MR開發(fā)經(jīng)驗優(yōu)先;
4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一種腳本語言。
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇6
職責(zé):
1、持續(xù)了解信貸行業(yè)發(fā)展,負責(zé)調(diào)研評估行業(yè)內(nèi)外最新風(fēng)控技術(shù)、產(chǎn)出可行性方案,協(xié)調(diào)資源應(yīng)用于公司內(nèi)部風(fēng)控產(chǎn)品體系建設(shè)中;
2、負責(zé)信審相關(guān)系統(tǒng)產(chǎn)品設(shè)計、需求文檔編寫,與風(fēng)控業(yè)務(wù)、技術(shù)部門緊密配合,管控進度及質(zhì)量,確保產(chǎn)品高效落地;
3、負責(zé)信審相關(guān)系統(tǒng)日常需求收集評估;
4、負責(zé)信審相關(guān)系統(tǒng)問題處理定位分析及跟蹤;
5、領(lǐng)導(dǎo)安排的其他工作;
任職資格:
1、3年以上互聯(lián)網(wǎng)金融風(fēng)控產(chǎn)品/運營/實操/開發(fā)工作經(jīng)驗;
2、具有敏銳的業(yè)務(wù)洞察、邏輯思維及數(shù)據(jù)分析能力;
3、具有較強的創(chuàng)新意識和目標(biāo)導(dǎo)向意識;
4、具有良好的產(chǎn)品文檔撰寫及產(chǎn)品原型設(shè)計能力 ;
5、具備良好的項目統(tǒng)籌推動及跨部門溝通協(xié)調(diào)能力 ;
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇7
1、熟練掌握翠歐產(chǎn)品知識技能,負責(zé)翠歐全線產(chǎn)品的技術(shù)支持和產(chǎn)品維護;
2、協(xié)助客戶開發(fā)程序,攻克項目難點;
3、獨立完成項目的編程調(diào)試工作;
4、整理行業(yè)相關(guān)案例;
5、開發(fā)通用功能塊。
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇8
職責(zé):
1.參與打造數(shù)據(jù)中心內(nèi)容的規(guī)劃、設(shè)計、開發(fā)和優(yōu)化工作,實現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;
2.參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設(shè)計和開發(fā),搭建離線、實時數(shù)據(jù)倉庫;
3.參與數(shù)據(jù)產(chǎn)品與應(yīng)用的數(shù)據(jù)研發(fā);
4.負責(zé)日常應(yīng)用系統(tǒng)監(jiān)控,發(fā)現(xiàn)異常問題及時分發(fā),并跟進后續(xù)處理;
5.編寫Python程序,或ETL技術(shù)完成日常數(shù)據(jù)抽取和整理任務(wù),可獨立進行數(shù)據(jù)分析;
崗位要求:
1.熟悉ETL開發(fā)、數(shù)據(jù)倉庫設(shè)計流程,熟悉Oracle, MS SQL Server 等主流數(shù)據(jù)庫,表結(jié)構(gòu)設(shè)計,存儲過程編寫;
2.熟練掌握常用Linux命令,具備shell編程能力,熟練掌握Python編程語言
3.具有較強的語言表達和溝通能力,良好的團隊合作精神
4.邏輯思維能力強,對數(shù)據(jù)敏感,有較強學(xué)習(xí)能力和創(chuàng)新思維;
5.具有高度的責(zé)任感和敬業(yè)精神,能夠承受較大的工作壓力
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇9
1. 負責(zé)主線橋梁、各種城市立交等常規(guī)跨徑橋梁設(shè)計;
2. 橋梁結(jié)構(gòu)整體和局部分析計算,完成計算分析報告;
3. 制訂和實施項目技術(shù)方案, 解決橋梁工程施工中的技術(shù)問題,提供相關(guān)技術(shù)咨詢意見;
4. 熟練運用橋梁博士、Midas、Ansys及CAD及相關(guān)軟件,有編程基礎(chǔ)者優(yōu)先;
5. 短期出差,與委托方或承包方進行技術(shù)交流;
6. 完成公司領(lǐng)導(dǎo)交辦的其他工作。
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇10
職責(zé):
1、編制水文水資源信息化項目有關(guān)的科研報告、實施方案、投標(biāo)文件等;
2、負責(zé)與客戶進行業(yè)務(wù)溝通,挖掘和把握客戶的需求;
3、在項目實施過程中,對階段成果進行功能性測試;
4、協(xié)助項目經(jīng)理在項目實施過程中進行匯報、溝通;
5、帶領(lǐng)團隊進行需求調(diào)研,包括需求調(diào)研計劃編制、需求調(diào)研實施、系統(tǒng)原型設(shè)計、需求規(guī)格說明書編寫、推進需求評審等;
6、掌握軟件開發(fā)與數(shù)據(jù)庫基礎(chǔ)知識,輔助項目實施工作;
7、負責(zé)需求變更的跟蹤管理;
8、編制項目過程文檔,完成各類匯報與項目驗收等工作,承擔(dān)培訓(xùn)及后期維護工作;
9、配合項目經(jīng)理,帶領(lǐng)團隊針對項目中的數(shù)據(jù)進行規(guī)劃、整理,掌握行業(yè)發(fā)展現(xiàn)狀,了解行業(yè)動態(tài),分析政策信息。
任職要求:
1、從事水利行業(yè)需求分析等相關(guān)經(jīng)驗3年以上,最好做過2個以上大中型項目(300萬以上),熟悉軟件開發(fā)者更佳;
2、本科及以上學(xué)歷,碩士研究生優(yōu)先考慮;
3、有良好的計算機基礎(chǔ),了解軟件設(shè)計和開發(fā)基本原理;
4、熟悉水文、水資源、地下水、水環(huán)境等業(yè)務(wù)者優(yōu)先,具備應(yīng)用系統(tǒng)初步設(shè)計能力;
5、有較強的文檔編寫能力;
6、具備良好的系統(tǒng)分析、邏輯思維和抽象概括的能力;
7、具備獨立工作能力和團隊合作精神,細心、責(zé)任感強;
8、 對用戶體驗方面的理論有一定的了解和認識,并能有效運用于產(chǎn)品設(shè)計工作中;
9、熟悉需求調(diào)研方法,有較強的業(yè)務(wù)流程及業(yè)務(wù)模型分析設(shè)計能力。
10、優(yōu)先考慮具有水利行業(yè)軟件需求分析經(jīng)驗的人員。
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇11
職責(zé):
對業(yè)務(wù)數(shù)據(jù)進行采集、清洗、整理、標(biāo)簽、分層;
根據(jù)業(yè)務(wù)需求,應(yīng)用統(tǒng)計學(xué)、數(shù)據(jù)挖掘等建立精準(zhǔn)數(shù)據(jù)模型,滿足業(yè)務(wù)需求;
能從業(yè)務(wù)和產(chǎn)品角度出發(fā),利用數(shù)據(jù)來發(fā)現(xiàn)產(chǎn)品或業(yè)務(wù)的瓶頸,提出優(yōu)化方案;
探索業(yè)界和學(xué)術(shù)界前言的數(shù)據(jù)挖掘、機器學(xué)習(xí)理論與實踐。
任職資格:
本科及以上學(xué)歷,數(shù)學(xué)、統(tǒng)計學(xué)、計算機專業(yè)優(yōu)先;
精通數(shù)據(jù)挖掘腳本語言,能靈活運用R、Python中的一種,熟練sklean/numpy/pandas等科學(xué)計算相關(guān)庫,有統(tǒng)計建模、機器學(xué)習(xí)或數(shù)據(jù)挖掘應(yīng)用的項目經(jīng)驗優(yōu)先;
對大數(shù)據(jù)技術(shù)有深入了解,能夠使用Hadoop、spark等相關(guān)技術(shù);
勤奮踏實,樂于學(xué)習(xí)新事物,有良好團隊合作精神和高度的責(zé)任感;
醫(yī)療、生物背景人員優(yōu)先。
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇12
1.與營銷、研發(fā)部門溝通協(xié)助,確定項目的milestone與MP schedule;
2.制定各個工作的詳細任務(wù),跟蹤任務(wù)的執(zhí)行情況并進行控制;
3.組織會議,對整個開發(fā)過程中的問題進行解決、檢討;
4.協(xié)調(diào)各項目參與人員之間的關(guān)系以及臨時的工作任務(wù)等。
數(shù)據(jù)倉庫工程師的主要職責(zé) 篇13
1、負責(zé)廢氣治理工程現(xiàn)場施工管理;
2、負責(zé)與甲方、監(jiān)理方的現(xiàn)場溝通協(xié)調(diào);
3、負責(zé)現(xiàn)場安全、技術(shù)安裝指導(dǎo)、質(zhì)量及工期把控;
4、完成領(lǐng)導(dǎo)安排的其他工作。