大數據運維工程師的基本職責（精選21篇）
大數據運維工程師的基本職責 篇1
職責:
1、負責Hadoop平臺搭建，運維，管理，故障處理。
2、負責保障大數據平臺的高效運轉、提升系統穩定性和安全性。
3、對平臺的Hadoop，Hbase，Kafka，Hive等進行優化。
4、建立Hadoop集群管理和維護規范，包括版本管理和變更記錄等。
崗位要求:
1、有豐富的Hadoop生態系統的運維經驗，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實施、維護hadoop 及相關組件的能力;
2、至少精通 Perl/Python/Shell腳本語言中的一種;
3、掌握Linux操作系統的配置，管理、優化以及各種常用命令，能夠獨立排查及解決操作系統層的各類問題;
4、分析問題能力優秀，善于從各種系統、應用日志中尋找出問題的原因。
5、有獨立分析問題和解決問題的能力，能出差。
大數據運維工程師的基本職責 篇2
職責:
1、技術保障各底層支撐系統的可靠性與穩定性;
2、負責車輛網平臺的運行監控的解決方案編制、實施與二次功能開發;
3、負責技術文檔手冊編寫，更新，經驗總結沉淀，培訓分享;
4、負責對新技術和方案進行調研，評估和引進，用技術去提升運維生產效率
任職資格:
1、熟悉常見的應用服務部署和調優(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負載均衡集群的規劃與搭建;
2、熟練使用Linux、TCP/IP網絡協議棧，了解常用的Troubleshooting手段和常見性能指標
3、具有車聯網平臺運維的經驗，精于容量規劃、架構設計、性能優化;
4、熟悉主流PaaS云產品的使用，具有運維平臺開發經驗者、參與過開源產品的開發者優先;
5、優秀的溝通能力，出色的學習與鉆研能力，良好的問題分析與解決能力;
6、對行業技術敏感度高且細致，善于思考，樂于發現，對解決具有挑戰性問題充滿激情。
大數據運維工程師的基本職責 篇3
職責：
1.負責Hadoop、spark、hbase、oozie、hive等平臺運營和優化工作，保障平臺服務運行穩定、高效。
2.負責大數據方案架構及方案落地;
3.開發Hadoop大數據管理平臺與監控建設;
3.負責hadoop平臺部署、維護;生產問題、告警、故障處理及服務器維護、日常值班;
4.負責集群網絡架構、機器管理等。
任職資格：
1. 全日制本科以上學歷，三年以上后臺系統運營工作經驗;
2. 熟悉hadoop原理，具有Hadoop平臺應用及管理經驗，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開源項目及部署、維護、調優;
3. 熟悉linux操作系統及調優;熟悉sql編程，熟悉Shell/Python/Java/Perl語言的一種或多種，有開發經驗優先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優先;
4. 對大數據和自動化運維開發有濃厚興趣，有大規模hadoop運維經驗者優先;有hadoop/hbase/spark/hive 開發經驗者優先。
大數據運維工程師的基本職責 篇4
職責：
1. 負責大數據平臺的穩定性和性能優化;
2. 負責大數據項目的運維工作;
3. 針對業務需求制定統一的運維解決方案;
4. 完善自動監控報警系統，對業務層面關鍵指標進行監控與報警通知;
任職要求：
1、熟練掌握hadoop平臺搭建、維護，有平臺優化經驗;
2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優先;
3、熟悉騰訊云產品，有騰訊云EMR使用經驗者優先考慮;
4、熟練掌握java、python語言，熟練使用SQL，并有一定的優化能力
大數據運維工程師的基本職責 篇5
職責：
1、負責維護服務器的運行，包括巡檢、故障排除、數據備份等業務，保證服務器高質量、高效率運行狀態;
2、負責服務器漏洞整改及補丁升級;
3、負責hadoop運維相關工作;
4、負責大數據平臺的日常部署、升級、擴容、遷移;
5、負責高并發，大存儲和實時流的Hadoop/spark大數據平臺規劃，運維，監控和優化工作。
任職資格：
1、2年左右服務器運維經驗;
2、對linux基礎運維命令熟悉，shell,python至少精通一種，如會scala語言可優先考慮;
3、熟悉Linux的維護和管理，熟悉bat及Shell腳本開發，能看懂Python/Scala優先;
4、做過大規模hadoop集群優先;
5、大數據項目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數據生態的平臺搭建，監控，運維，調優、生產環境hadoop集群trouble shooting 、hadoop版本升級管理及優化支持。
大數據運維工程師的基本職責 篇6
職責：
1. 負責公司自研產品上線，包括整體上線方案討論與制定、各事項準備、產品實施與部署以及上線方案涉及工具的優化等;
2. 負責運維公司線上產品，7x24小時運維預警、監控，處理客戶在產品使用過程中遇到的問題;
3. 負責公司自研產品的日常維護，包括版本發布、應用問題排查、系統部署與配置、網絡端口策略、資源服務器管理;
4. 根據工作要求，輸出運維相關的技術文案。
崗位要求：
1.統招全日制專科以上，計算機相關專業，5年以上同崗位工作經驗，同時具備應用平臺運維、系統實施運維、linux運維、網絡管理運維等多種經驗者優先考慮;
2.精通linux命令grep、sed、awk、xargs、scp、tar等，具有批量查找和修改文件內容操作經驗;能熟練使用shell/ant/python腳本，具備編寫腳本代碼者優先;
3.熟悉Apache、JBoss、Tomcat、Oracle等中間件，熟悉Apache、JBoss/Tomcat集群配置和管理，具備中間件故障排查、性能診斷與分析等能力;
4.精通jenkins、git、svn軟件，對軟件操作與命令熟悉有豐富經驗;
5.對JAVA面向對象編程產品有一定了解，熟悉java風格的log日志文件格式，能從日志中快速定位問題發生的位置，并開展問題排查;
6.熟悉網絡原理，懂得劃分子網與路由信息，熟悉F5等網絡相關知識;
7.公司會定期組織行業知識、業務需求、平臺架構、運維規范及運維內容相關培訓，并進行考核。
8.良好文字功底及溝通協調能力，強烈的責任心和團隊合作意識，穩定的心理素質，能承受高強度工作壓力。
大數據運維工程師的基本職責 篇7
職責：
1、 運維平臺開發/搭建/維護,包括CMDB、發布平臺、監控平臺、工具平臺等;
2、 研發自動化運維工具;
3、 研發基礎服務組件，減少重復開發與運維;
4、 服務器的規劃、監控，數據備份，日志分析，故障排除，性能調優等工作;
任職要求：
1、3年以上互聯網運維開發經驗
2、熟悉python語言，Django/Flask等常用的web框架原理，Javascript，并至少熟悉Angularjs、Reactjs、Vue.js、boostrap等框架中的一種。
3、熟悉Nginx、Ansible、git、jenkins、openfalcon、GitLab等工具使用。
4、熟悉docker和常用編排框架 swarm和k8s并有生產系統實踐經驗優先。
5、熟練掌握常用關系型數據庫使用和優化，如MySQL
大數據運維工程師的基本職責 篇8
1. 負責Hadoop及相關組件的部署和維護，保證其穩定運行;
2. 開發和使用Hadoop大數據自動化運維與監控工具;
3. 基于大數據應用需求，不斷調整和優化Hadoop框架及組件的配置，提升性能;
4. 為數據倉庫、數據挖掘建模等數據應用項目提供運行環境支持;
大數據運維工程師的基本職責 篇9
職責：
1、負責集團客戶應用系統底層環境的搭建和運維(包括線下系統及云平臺環境);
2、對操作系統、數據庫以及相關應用系統的維護和優化;
3、參與客戶系統平臺升級，負責相關系統環境的搭建和測試;
4、負責客戶數據庫的備份、管理及監控，跟蹤處理系統異常數據，及時發現潛在問題，保障系統正常運行。
崗位要求：
1、本科及以上學歷(計算機、通信或相關專業)，五年及以上相關工作經驗;
2、精通windows，Linux系統管理和維護;
3、熟悉Vmware vSphere和ESXi host的配置和管理;
4、熟悉Oracle DB，具備OCP認證者優先;
5、能獨立完成oracle/sql server的備份恢復，了解相關的性能調整和故障診斷;
6、能適應江浙滬范圍內的短途出差。
大數據運維工程師的基本職責 篇10
職責：
1. 業務平臺的日常管理和維護。
2. 服務器的配置、維護、監控、調優，相關故障、疑難問題排查處理。
3. 應用系統性能優化。
4. 保障服務器與業務平臺安全，檢查并消除安全漏洞。
5. 設計業務平臺和服務器可靠性保障方案、升級方案。
任職要求：
1. 3年以上在線系統運維工作經驗，精通Linux系統及常見服務的安裝配置，熟悉常見的負載均衡實現方案并有實際實施經驗。
2. 精通Apache、NginX、MySQL等常用服務的安裝、配置和維護。
3. 精通和靈活運用一種以上的腳本語言，包括但不限于：Shell、Python等。
4. 能夠熟練排查運維過程中出現的服務故障、系統故障、網絡故障。
5. 高度的責任感，較強的故障分析及排除能力，善于在工作中學習，能夠承受工作壓力，能適應短期出差和加班。
6. 優先考慮：精通LAMP架構，熟悉PHP，有相關大中型在線系統開發及維護經驗。
大數據運維工程師的基本職責 篇11
職責：
1、負責日常公司已交付項目的管理維護，保障系統的穩定運行;
2、負責相關故障、疑難問題排查處理，編制匯總故障、問題，定期提交匯總報告;
3、依照項目實際情況進行簡單的編程實現特殊業務需要 ;
4、對工作認真負責，并能承受一定的工作壓力 。
任職資格：
1、具有2年以上相關工作經驗，能熟練使用C#進行代碼編寫和調試;
2、具備優秀的計算機軟、硬件知識，能夠快速判斷軟、硬件故障并且提出解決方案;
3、熟悉常用的操作系統、數據庫的安裝、操作、配置、故障處理及部署的相關知識及解決問題的能力;
4、有使用主流大型數據庫的實際開發、維護經驗;
5、吃苦耐勞，踏實好學、有較強的責任心、團隊協作能力及溝通能力;
6、適應頻繁出差;
大數據運維工程師的基本職責 篇12
職責：
1、 負責操作系統、數據庫的使用及常用軟件的安裝、配置和維護，保證系統穩定運行;
2、負責服務器相關硬件日常巡檢、維護、故障分析及處理;
3、 負責IT相關軟件的安裝及對公司用戶提供相應的技術支持、客戶培訓等;
4、收集客戶需求，處理客戶協調工作;
5、編寫技術支持相關文檔和方案;
6、協助IT經理完成相關運維工作。
任職要求：
1、大專及以上學歷;年齡20-30歲;
2、計算機技術等相關專業; 了解數據庫優先;
3、良好的溝通、表達和人際交往的能力;
4、具有較強的學習能力和強烈的學習愿望;
5、具備專業的IT軟硬件知識：服務器、網絡、計算機設備、操作系統、數據庫等;
6、有IT行業智能交通、系統集成工作經驗者優先;
7、團隊合作能力強，能承受較大的工作壓力。
大數據運維工程師的基本職責 篇13
職責：
1、負責計量自動化系統等基礎架構(服務器、存儲、FC交換機等設備)規劃、安裝、維護工作;
2、負責計量自動化系統等硬件故障處理、定檢等;
3、負責計量自動化系統系統等加固、軟件升級等;
4、負責計量自動化系統等運維文檔編寫;
5、根據需求對新項目的設計、規劃、實施、維護等工作。
崗位要求：
1、計算機相關專業;
2、熟悉主流廠商服務器、存儲、FC交換機等設備的產品線和設備基本安裝;
3、熟悉市場主流操作系統Linux、aix、hpux配置;
4、熟悉TCP/IP協議，掌握網絡基礎知識;
5、具備良好的團隊合作精神，高度的責任感，善于溝通，有創新精神，能夠承受壓力;
6、有較好的文檔編寫能力，有標書、方案編寫經驗值優先;
7、具有RHCE、OCP、CCNP、MCSE、VCP等相關認證優先。
大數據運維工程師的基本職責 篇14
一、系統運維
1、負責系統發布，部署，編寫集成方案和部署方案
2、負責系統故障、疑難問題排查處理，記錄故障詳情、解決過程
3、負責配合開發搭建測試平臺，協助開發設計、推行、實施和持續改進
4、負責日常系統維護及監控，開發搭建系統日常維護、監控、分析、報警平臺系統
5、負責信息系統在客戶現場的安裝、培訓和維護工作
負責收集客戶在使用系統過程中的原始需求，優化需求，傳遞給產品經理
二、網絡運維
1、負責日常服務器、網絡，郵箱，電話系統，視頻會議系統的管理和維護
2、負責日常應用軟件，公司桌面辦公軟件的維護
3、持續改進日常操作以及優化公司網絡，跟蹤網絡互連技術發展，合理運用新技術
4、負責對服務器的健康狀況，業務進行監控，并處理應急情況
日常服務器巡檢，備案，安全等
大數據運維工程師的基本職責 篇15
職責：
1、負責項目功能技術支持和功能測試;
2、有1年以上運維、測試工作經驗;
3、追蹤解決項目相關 bug ;
4、具備良好的表達能力，包括語言及文字表達能，良好的團隊合作精神和解決問題的能力;
5、與開發人員、運維人員溝通，找出并能夠快速準確定位問題。
職位要求：
1、熟悉基本主機、數據庫系統、網絡知識 ;
2、至少1年以上的軟件運維支持經驗，有使用常用測試工具的經驗者優先 ;
3、具有Linux平臺運維經驗 ;
4、熟悉Sql語言、熟悉基本數據庫操作、有ORACLE經驗者優先;
5、能夠完成測試案例、測試計劃編寫;
大數據運維工程師的基本職責 篇16
職責：
1. 負責公司核心集群的運維工作,保證其高可用和穩定性。
2. 負責集群容量規劃、擴容及集群性能優化。
3. 深入研究大數據業務相關運維技術，持續優化集群服務架構，探索新的Hadoop運維技術及發展方向。
4. 設計實現分布式集群的運維、監控和管理平臺。
職位要求：
1.2年以上中等規模集群環境下的Hadoop/Impala/Hive/Spark集群相關運維經驗。
2.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關參數調優, 性能優化等有實際經驗。
3.有實際踩坑經歷, 對于相關組件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗。
4.實際處理過各種集群在線版本升級, 數據遷移, 集群擴容, 穩定性監控等工作。
4.熟悉Kerberos安全認證系統，實施過集群權限管理, 資源隔離方面的方案規劃或二次開發工作。
5.有Cloudera的CM使用經驗尤佳。
大數據運維工程師的基本職責 篇17
1、熟練掌握sql server的使用;
2、精通Windows、Linux、VMwares操作系統安裝維護與故障排除，基礎理論扎實，操作熟練;
3、對BS架構程序有所了解;
4、負責服務器日常維護、軟硬件安裝和配置、存儲設備日常維護整理;
5、對服務器進行日常維護，確保各項服務連續正常運行，無重大事故;
6、負責服務器存儲網絡等基礎平臺的技術維護和問題處理 ;
7、熟悉PC服務器硬件安裝與配置;
8、負責服務器異�；蚬收系氖芾�、跟蹤、解決以及統計分析。
大數據運維工程師的基本職責 篇18
職責：
- 負責局點大數據平臺的部署、管理、優化、監控報警，保障平臺服務7*24穩定可靠高效運行;
- 深入理解公司大數據平臺架構，發現并解決性能瓶頸，支撐業務和數據量的快速增長;
- 開發大數據自動化運維、監控報警、故障處理相關腳本和工具;
- 負責Hadoop/spark/Kafka等集群服務、業務監控、持續交付、應急響應、容量規劃等。
要求：
- 4年以上運維相關工作經驗，有大數據平臺運維相關工作經驗優先;
- 具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協議;
- 熟悉Linux(redhat/centos)軟硬件環境、系統管理和優化，熟練部署、優化各種常用服務。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發工具;
- 熟悉Hadoop大數據生態圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;
- 熟悉Hadoop各組件的原理和實現，有實際部署維護、管理( 包括元數據管理)及優化經驗。并擁有持續調優能力，運維管理過大規模數據平臺;
- 熟悉掌握常用的安全協議和組件服務，對hadoop各組件的權限、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大數據環境場景的使用;
- 熟悉常用運維監控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關插件的開發。比如郵件、短信、微信報警插件等;
- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優化;
- 具備良好的服務意識，善于主動思考，自我驅動力強。有良好的溝通、協調能力，富有團隊精神，有較強的文檔編寫能力;
- 有大數據開發經驗和閱讀源碼能力者優先
大數據運維工程師的基本職責 篇19
職責：
1. 負責大數據平臺的規劃、部署、監控、系統優化及運維等工作，保障系統7*24小時運營;
2. 為線上服務高效穩定運行負責，支撐業務和數據量的快速擴張，發現并能解決重大故障及性能瓶頸;
3. 深入理解系統平臺及大數據相關運維技術，持續優化集群服務架構;
4. 對大數據體系下新技術的調研、應用、對內培訓。
職位要求：
1. 至少3年以上大數據運維經驗， 深入理解Linux系統，運維體系結構;
2. 深度優化HADOOP平臺MR作業/計算框架/存儲技術，提升集群吞吐并降低成本;
3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大數據系統的運維經驗，有開發經驗;
4. 熟悉HADOOP生態，有數據安全相關工作經驗， 并能對平臺CPU/MEM/IO/網絡/調度中一個或多個方面的性能調優;
5. 熟練掌握shell/python中的任意一門腳本語言;
6. 強烈責任感、縝密的邏輯思維能力，良好的團隊協作能力，具備良好的項目管理及執行能力;
大數據運維工程師的基本職責 篇20
職責：
1、參與特定基礎架構領域(網絡/操作系統/數據庫)的基礎架構方案設計及實施;
2、負責網絡/操作系統/數據庫領域的系統運行趨勢分析，定期提交相關的故障、運行、流量、數據等情況的分析報告;
3、負責業務系統的日常運維工作;
4、負責數據中心日常巡檢、監控、故障處理;
5、確保各網絡系統正常運行，分析匯總日常問題，優化流程、提升服務質量;
6、上級交辦的其他工作。
崗位要求：
1、計算機相關專業，本科及以上學歷，2年以上工作經驗;
2、熟悉網絡/操作系統/數據庫的基本原理，有相關實際管理經驗或接受過相關專業培訓者優先;
3、熟悉主流網絡構架設計，精通TCP/IP協議。熟練配置主流網絡設備、了解服務器、存儲、虛擬化、集群、負載均衡、監控和系統安全等產品相關技術;
大數據運維工程師的基本職責 篇21
職責：
1、負責零售業務系統的運維工作;
2、及時解決用戶的系統使用問題;
3、推進建設系統運維流程、制度的制定，包括運維制度、流程與相關系統的日常運營維護、異常監控，保證其高效、穩定運行;
4、每日例行檢查及維護工作的監督及執行;
5、定期對用戶進行系統培訓;
6、直屬上司交付的其他工作。
崗位要求
1、大專及以上學歷，專業不限，接收優秀應屆畢業生，有無經驗均可;
2、性格外向開朗，反應敏捷，表達能力強，有良好的溝通技巧和服務意識;
3、工作積極主動，勤懇踏實，執行力強，能夠全面配合公司管理工作;
4、有一定的抗壓能力及對應各類客戶的能力。