大數據運維工程師的職責（精選15篇）

大數據運維工程師的職責 篇1

　　職責：

　　1、負責大數據平臺Hawq數據庫運維;

　　2、負責大數據平臺Tbase數據庫運維;

　　3、負責傳統數據(Oracle、MySQL等數據庫)數據遷移、數據同步;

　　4、負責日常數據庫的監控及問題分析排查;

　　5、負責OGG、Kafafa等組件數據傳輸同步日常運維;

　　6、負責數據庫的優化、SQL語句的優化調優;

　　7、負責數據同步的檢驗與異常處理，確保數據的一致性、完整性、及時性;

　　8、負責制定數據同步方案及實施。

　　任職要求：

　　1、大專或以上學歷，計算機或統計類相關專業

　　2、有3年以上技術類或數據類的開發經驗;

　　3、熟練linux 系統操作及linux 運維監控、軟件安裝配置;

　　4、熟悉大數據技術，如Hadoop、Spark、storm、zookeeper等;

　　5、熟悉主流數據庫mysql/sql serverl/oracle/postgreSQL等，精通SQL語句，對復雜SQL能進行優化，能熟練編寫存儲過程;

　　6、熟練Linux SHELL，可以進行運維SHELL開發;

　　7、學習能力強，責任心強，具有優秀的溝通表達、理解能力與團隊合作能力;

　　8、有CentOS 7、Red Hat 7等Linux操作系統，有Shell腳本編寫經驗的優先。

　　9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)數據倉庫的實際運維經驗或3年以上 HIVE、SPARK 實際項目運維經驗

　　10、在實際項目中，有異構數據庫遷移經驗，從傳統ORACLE,MYSQL遷移至MPP數據倉庫的實戰經驗.

大數據運維工程師的職責 篇2

　　職責:

　　1. 負責公司核心集群的運維工作, 任務調度、監控預警，持續完善大數據平臺，保證穩定性、安全性;

　　2. 負責集群容量規劃、擴容及集群性能優化;

　　3. 基于大數據應用需求，持續優化Hadoop框架及組件的配置，提升性能;

　　任職資格：

　　1.大專以上計算機，通信和網絡相關專業;

　　2.3年以上中等規模集群環境下的Hadoop/Impala/Hive/Spark集群相關運維經驗;

　　3.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關參數調優, 性能優化等有實際經驗;

　　4.有實際踩坑經歷, 對于相關組件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗;

　　5.實際處理過各種集群在線版本升級, 數據遷移, 集群擴容, 穩定性監控等工作;

　　6.熟悉Kerberos安全認證系統，實施過集群權限管理, 資源隔離方面的方案規劃或二次開發工作;

　　7.能維護Hadoop源碼，有Hadoop 源代碼BUG修復或者源代碼優化經驗者優先;

　　8.有Cloudera的CM使用經驗尤佳。

大數據運維工程師的職責 篇3

　　職責：

　　- 負責局點大數據平臺的部署、管理、優化、監控報警，保障平臺服務7*24穩定可靠高效運行;

　　- 深入理解公司大數據平臺架構，發現并解決性能瓶頸，支撐業務和數據量的快速增長;

　　- 開發大數據自動化運維、監控報警、故障處理相關腳本和工具;

　　- 負責Hadoop/spark/Kafka等集群服務、業務監控、持續交付、應急響應、容量規劃等。

　　要求：

　　- 4年以上運維相關工作經驗，有大數據平臺運維相關工作經驗優先;

　　- 具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協議;

　　- 熟悉Linux(redhat/centos)軟硬件環境、系統管理和優化，熟練部署、優化各種常用服務。熟練使用Linux 命令和常用的ssh、ftp、git、maven等開發工具;

　　- 熟悉Hadoop大數據生態圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;

　　- 熟悉Hadoop各組件的原理和實現，有實際部署維護、管理( 包括元數據管理)及優化經驗。并擁有持續調優能力，運維管理過大規模數據平臺;

　　- 熟悉掌握常用的安全協議和組件服務，對hadoop各組件的權限、安全、kerberos進行配置管理。熟悉SSL、ACL、kerberos等在大數據環境場景的使用;

　　- 熟悉常用運維監控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相關插件的開發。比如郵件、短信、微信報警插件等;

　　- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和優化;

　　- 具備良好的服務意識，善于主動思考，自我驅動力強。有良好的溝通、協調能力，富有團隊精神，有較強的文檔編寫能力;

　　- 有大數據開發經驗和閱讀源碼能力者優先

大數據運維工程師的職責 篇4

　　職責：

　　1負責政務云平臺、政務應用系統中數據庫業務的日常運維，保障平臺及應用系統服務7*24穩定可靠高效運行

　　2負責數據庫性能調優，了解鎖與隔離機制，協助客戶解決數據庫性能瓶頸

　　3制定數據庫使用規范，制定數據庫備份、升級、遷移規劃并部署實施

　　4參與數據庫設計工作，提高數據庫維護自動化水平

　　5熟悉Linux操作系統，熟練使用Python，Go，Shell等至少一種語言

　　崗位要求：

　　1) 5年以上 Oracle/MySQL DBA 從業經驗;

　　2) 熟練掌握 Oracle/MySQL 數據庫的基礎理論知識、運行機制、體系架構、高可用方案、備份機制、容災機制等;

　　3) 熟練掌握數據庫性能優化，了解主流的分布式數據庫 Spanner/Cassandra;

　　4) 熟悉 Linux/Unix 操作系統，對服務器硬件有一定了解;

　　5) 熟練掌握 golang、Python、Java 等語言中的一種;

　　6) 熟悉阿里云產品線，具備ACP認證者優先考慮;

大數據運維工程師的職責 篇5

　　職責：

　　1、負責銀行各類應用系統的運維標準制定和運維管理等工作;

　　2、負責銀行各類應用系統的運行情況及相關技術的整理、分析和總結等工作;

　　3、負責銀行各類應用系統的應用監控、應用運維體系工具的建設和維護工作;

　　4、負責銀行各類應用系統的自動化腳本編寫和測試工作。

　　招聘要求：

　　1、全日制一本以及以上學歷，理工類專業;

　　2、具備2年及以上應用系統運維或應用系統開發經驗，有銀行應用系統運維或開發經驗者優先;

　　3、具備較強的文檔編寫、英語文檔閱讀能力;

　　4、具備良好的溝通表達能力和團隊合作精神，具有較強的工作責任心和主動性;

　　5、至少具備以下二項技能：

　　(1)熟悉銀行應用系統體系架構、應用運維標準化流程;

　　(2)熟悉AIX、LInux操作系統相關運維工作，具備熟練的SHELL腳本編程能力;

　　(3)熟悉應用軟件持續集成和持續發布交付項目的整體流程，熟悉Jenkins、Nexus等相關Devops工具;

　　(4)熟練使用容器平臺相關技術，有容器平臺管理工作、應用容器打包的相關經驗;

　　(5)熟練使用Golang或者Python編程。

大數據運維工程師的職責 篇6

　　職責：

　　1.對公司各業務系統進行技術維護;

　　2.業務平臺新建、擴容等工作中部署、調測和對接;

　　3.業務系統故障和投訴的處理;

　　4.建設方案、割接方案等技術方案的編寫和實施;

　　5.公司各平臺業務所需的信號接收、轉碼等系統的維護;

　　6.業務系統的監控和巡檢;

　　7.根據工作需要，能適應夜班及節假日值班工作;

　　任職要求：

　　1.全日制本科(統招)及以上學歷，計算機、軟件、通信工程、網絡等相關專業，工作經驗不限。

　　2.熟悉linux操作系統，熟練使用linux基本命令。

　　3.熟悉一兩種常用linux上的開源程序或中間件，如:tomcat、nginx、lvs、redis、zabbix等。

　　4.了解mysql、oracle等主流數據庫，了解計算機網絡。

　　5.了解大數據、云計算、虛擬化、容器化、AI、CI/CD等技術者優先，如：hadoop、docker、kubernetes、python、jenkins等。

　　6.有良好的邏輯思維，掌握一門主流編程語言者優先，如：Java、php、js、python、C++、go等。

　　7.具備良好的溝通協調能力，文字表達能力和執行力，對其他部門的技術支持工作有服務意識。

　　8.有較強的學習能力，熱愛運維工作，喜歡鉆研運維相關技術，能吃苦耐勞

　　9.對運維工作有高度的安全意識，辦事仔細、認真、不浮躁。

大數據運維工程師的職責 篇7

　　職責：

　　1. 負責游戲產品的上線、更新和維護;

　　2. 負責公司產品自動化運維平臺的搭建及持續更新;

　　3. 負責與業務團隊進行溝通，提高業務產品的可維護性。

　　任職資格：

　　1. 3年以上Linux系統運維工作經驗，有上線游戲產品運維經驗;

　　2. 精通shell腳本編寫，至少熟悉一種編程語言(python/perl);

　　3. 熟悉mysql、redis、mongodb等數據庫操作和維護，具備高并發數據庫維護經驗;

　　4. 精通nginx、php、tomcat等開源軟件的配置和維護;

　　5. 熟悉各種公有云服務器以及cdn dns等產品，具備獨立搭建自建服務器能力;

　　6. 具備開發和搭建自動化運維平臺經驗者優先;

　　7. 有強烈的責任心，具備較強的溝通協調能力。

大數據運維工程師的職責 篇8

　　職責:

　　1、參與項目需求分析, 制定開發計劃，承擔項目的架構設計和詳細設計工作，并承擔項目核心模塊的開發任務，確保按時完成既定的開發內容;

　　2、參與軟件開發的整體規劃及實施，分析并解決軟件開發過程中的技術問題，為公司的業務開展提供支持;

　　3、完成軟件系統代碼的實現，編寫代碼注釋和開發文檔，進行系統的功能定義,程序設計;

　　4、根據設計文檔或需求說明完成代碼編寫，調試，測試和維護;

　　5、根據需要不斷修改完善軟件，負責現有系統的重構、優化、維護等工作;

　　7、對系統數據庫進行日常管理，統計數據庫中相關信息;

　　8、負責網絡運行的安全性、可靠性及穩定性;

　　9、配合項目經理完成相關任務目標。

　　相關要求：

　　1、計算機或相關專業大專學歷以上;

　　2、2年以上軟件開發經驗;

　　3、具備需求分析和系統設計能力，以及較強的邏輯分析和獨立解決問題的能力;

　　4、熟練使用photoshop、flash、dreamweaver等工具，熟悉ASP，JAVA,SQL,HTML等開發語言;

　　5、具有良好的溝通領悟能力及團隊協作能力，有進取心，強烈的責任感和認真細致的工作態度，善于學習,具備良好的團隊意識。

大數據運維工程師的職責 篇9

　　職責：

　　1、負責項目功能技術支持和功能測試;

　　2、有1年以上運維、測試工作經驗;

　　3、追蹤解決項目相關 bug ;

　　4、具備良好的表達能力，包括語言及文字表達能，良好的團隊合作精神和解決問題的能力;

　　5、與開發人員、運維人員溝通，找出并能夠快速準確定位問題。

　　職位要求：

　　1、熟悉基本主機、數據庫系統、網絡知識 ;

　　2、至少1年以上的軟件運維支持經驗，有使用常用測試工具的經驗者優先 ;

　　3、具有Linux平臺運維經驗 ;

　　4、熟悉Sql語言、熟悉基本數據庫操作、有ORACLE經驗者優先;

　　5、能夠完成測試案例、測試計劃編寫;

大數據運維工程師的職責 篇10

　　1、對服務器進行日常維護，確保各項服務連續正常運行。

　　2、負責服務器存儲網絡等基礎平臺的技術維護和問題處理 ;

　　3、負責執行大客戶服務項目的定制化服務配置和硬件安裝等處理工作;

　　4、了解操作系統安裝與配置;

　　5、具備一定的網絡相關故障解決能力;

　　6、熟悉主流廠商PC服務器硬件安裝與配置;

　　7、Windows、Linux、VMware等日常管理、維護;

　　8、負責服務器異常或故障的受理、跟蹤、解決以及統計分析;

大數據運維工程師的職責 篇11

　　職責：

　　1、負責公司IDC業務線監控系統的日常維護與管理;

　　2、負責公司官網、OA、云平臺等系統的日常維護與管理;

　　3、負責研發項目著作權申請文檔的編寫與申請溝通;

　　4、負責研發產品的實施與部署;

　　5、根據部門工作要求完成臨時性的配合工作;

　　任職要求：

　　1、熟悉Linux系統的常用操作

　　2、熟悉Shell或Python的編程

　　3、具有良好的溝通與協調能力

大數據運維工程師的職責 篇12

　　職責：

　　1、負責多云管理平臺的自動化部署及運維;

　　2、負責提供平臺相關的技術支持,協助客戶故障的分析和排除;

　　3、負責集群架構、性能、穩定性等優化工作,配合進行開發調試、排查及解決業務故障;

　　4、負責運維報告及知識庫的整理以及相關文檔的編寫;

　　5、協助客戶設置NAT網關、Internet 網關、軟件負載均衡、終端節點、防火墻等高級網絡配置;

　　6、協助客戶設置彈性策略、高可用、反親和性等主機高級策略;

　　7、協助客戶調研高級云計算服務和配置運營相關策略;

　　任職要求:

　　1、統招本科以上學歷,5年以上云運維工作經驗;

　　2、熟悉Shell、Python或Ansible，有自動化運維的理念,并且具備一定的腳本能力能夠推進自動化運維建設;

　　3、熟練使用fio、iperf、telnet、tcpdump、nc等運維測試和排錯工具;

　　4、熟悉關系型數據庫MySQL和健值數據庫Redis的安裝配置，以及任意一款中間件的使用;

　　5、熟悉Linux 安裝、配置和命令和WIndows Server 20xx以上操作系統的服務配置。

　　6、熟悉計算、存儲、安全、網絡等基本知識;

　　7、熟練使用公有云、VMware、OpenStack 或KVM 中至少二款云計算或虛擬化產品;

　　8、有良好的客戶服務意識、良好的溝通能力、團隊協作能力;

　　9、具備AWS相關認證優先

大數據運維工程師的職責 篇13

　　1、大規模以Mesos為資源調度平臺，承載了上百套應用的大型數據中心操作系統(DCOS)，負責平臺高可用/高并發/可用性管控，有過SRE經驗優先考慮。

　　2、負責指導應用上云及平臺自身監控運維性質開發，有devops工作心得優先考慮。

　　崗位要求

　　1.良好的語言表達和溝通能力，較強的服務意識與團隊合作精神

　　2.有主動推進預定計劃/方案實施的意識，愿意主動學習

　　3.深入理解Linux操作系統，能夠對主機性能進行分析和優化;

　　4.熟悉常用的監控軟件nagios、zabbix、cAdvisor、Prometheus中的一種或多種;

　　5.熟悉常用的虛擬化技術，了解docker常見的使用方法，編排方式;

　　6.對mysql、redis、zookeeper、tomcat、haproxy等有一定的運維經驗;

　　7.熟練使用shell、python、go中的一種或多種;

大數據運維工程師的職責 篇14

　　職責：

　　1. 客戶Web端，微信端銷售系統及后臺管理系統的日常維護，故障排除，用戶培訓，用戶指南制作;

　　2. 常駐客戶現場，及時處理用戶提出的各類軟件系統問題;

　　3. 全面負責軟件測試的質量管理，并根據測試結果提交相關結論性意見建議;

　　4. 配合開發團隊完成新軟件系統的部署、發布工作;

　　5. 完成部門主管或上級領導交辦的其它臨時性工作。

　　職位要求：

　　1. 本科及以上學歷，計算機、通信及相關專業;

　　2. 有年及以上軟件開發或運維工作經驗，同時擁有開發和運維工作經驗者優先;

　　3. 有豐富的MySQL，SQLServer等數據庫運維和支持經驗尤佳;

　　4. 熟知Linux操作系統平臺，熟悉在該平臺進行軟件搭建能力;

　　5. 有其他IT運維工作經驗者優先。

大數據運維工程師的職責 篇15

　　1、日常短彩信質量分析工作，協助短彩信業務質量人工測試、協助自有人員以提升用戶感知、加強故障監控能力、消滅安全隱患為目標，提供對短彩信系統業務指標、系統運行效能進行主動發現、隱患整改、持續優化的服務。

　　2、日常巡檢：協助實施系統巡檢，協助編寫問題報告。

　　3、投訴處理：協助投訴與故障現象分析，明確投訴原因，提出投訴處理建議。

　　4、作業計劃：協助完成作業計劃執行以及完成情況反饋。

　　5、系統備份與系統資料管理：協助開展系統備份與系統資料整理。

　　6、日常故障處理：協助數據提取與分析、系統監控，開展人工測試，提供故障處理建議，協助維保廠商及自有人員完成故障處理。

　　7、緊急故障處理：協助數據提取與分析、系統監控，開展人工測試，協助故障處理，提供故障處理建議，協助8、提供故障分析內容，協助維保廠商及自有人員完成故障處理。

　　9、話單數據保障：協助進行話單文件的日常維護，協助完成話單缺失的補傳工作。

　　10、協助數據提取與分析、系統監控，開展業務測試。

　　11、協助開展日常安全掃描等工作，內容主要為：系統安全加固、弱口令、漏洞的自查及修復;信息安全風險的自查及整改;管控平臺全面接入及繞行控制;防火墻設備策略梳理;定級備案內容提供;更新應急預案，完成應急演練等。

　　12、數據配置：進行局數據制作后測試。

　　13、報表分析：協助提取分析報表，實施分析工作，編寫分析報告。

　　14、數據分析、服務匯報：協助完成系統指標數據提取、整理、問題分析;完成各系統專項服務匯報(故障報告、巡檢報告等)，以及定期服務總結。

　　15、協助買方完成其他臨時性、階段性工作任務。