爬蟲工程師崗位職責（通用28篇）

爬蟲工程師崗位職責 篇1

　　崗位職責

　　1、熟悉線程池、并發機制、鎖機制、線程安全原理；

　　2、java體系知識：網絡io、設計模式、linux、jvm、java類加載機制、java內存模型；

　　3、爬蟲經驗：webmagic、adsl撥號、正則表達式、脫殼技術、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲調度、數據質量監控、代理ip調度算法、配置化爬蟲、授權爬蟲、輿情、應用市場、反爬；

　　4、熟悉http/http、tcp/ip、socket等通訊協議；

　　5、6年以上軟件開發經驗，至少2年爬蟲開發經驗。

　　任職要求

　　1、采集、清洗、監控、配置化、調度、反爬、數據爬取、分詞、檢索等數據采集研發；

　　2、較強的邏輯思維和發散思維；

　　3、計算機或相關專業本科及以上學歷。

爬蟲工程師崗位職責 篇2

　　職責描述：

　　1、負責公司產品的爬蟲架構設計與開發，以及爬蟲策略優化等工作；

　　2、根據數據產品需求，負責對網頁等大規模文本數據抓取、清洗、存儲等設計開發工作；

　　任職要求：

　　1、計算機、數學或統計等相關專業本科及以上學歷，1年以上爬蟲相關工作經驗；

　　2、熟悉linux平臺，熟練掌握python或java爬蟲開發工作；

　　3、熟悉靜態、動態網頁等大規模文本數據的高效信息抽取、清洗、存儲等技術；

　　4、有反爬相關問題處理經驗，精通常用的爬蟲技術及架構設計，并能快速開發實現；

　　5、具備良好的編程習慣和算法基礎；

　　6、善于學習，熱愛技術開發，善于團隊協作，能積極主動地參與公司產品研發等相關工作。職責描述：

　　1、負責公司產品的爬蟲架構設計與開發，以及爬蟲策略優化等工作；

　　2、根據數據產品需求，負責對網頁等大規模文本數據抓取、清洗、存儲等設計開發工作；

爬蟲工程師崗位職責 篇3

　　職位描述：

　　1、參與爬蟲系統的架構設計與開發；

　　2、負責執行和開發分布式網絡爬蟲系統，進行多平臺信息的抓取和分析；

　　3、負責網頁信息和app數據抽取、清洗、消重等工作，提升平臺的抓取效率；

　　4、參與爬蟲核心算法和策略優化，熟悉采集系統的`調度策略；

　　5、實時監控爬蟲的進度和警報反饋。

　　任職要求：

　　1、本科以上學歷，3年以上爬蟲開發相關經驗，熟練使用python或java進行開發；

　　2、熟練使用正則表達式、css path、xpath等，能夠從結構化的和非結構化的數據中獲取信息；

　　3、熟練使用mysql數據庫，掌握redis、mongodb、hive等常用nosql技術并具有實戰經驗；

　　4、熟悉各種抓取技術，包括代理、phantomjs/selenium、驗證碼處理；

　　5、熟悉整個爬蟲的設計及實現流程，有從事網絡爬蟲、網頁信息抽取開發經驗，熟悉反爬蟲技術，有分布式爬蟲架構經驗；

　　6、具有數據挖掘、自然語言處理、信息檢索、機器學習背景者優先；

　　7、快速學習能力，工作積極主動，有創業熱情和良好的團隊協助能力；

　　8、需要有大量數據爬取以及高難度反爬經驗，沒有相關經驗的勿擾。

爬蟲工程師崗位職責 篇4

　　職位描述：

　　1、負責廣告素材線索和垂直類產品爬蟲系統的設計、開發

　　2、抓取數據的清洗、落地、分析

　　3、抓取策略算法的更新維護，以及確保數據抽取準確、高效

　　任職要求：

　　1、具備強悍的編碼能力、扎實的數據結構和算法功底

　　2、熟悉tcp，http協議原理；熟悉ajax工作原理；精通python編程，熟悉一種開源爬蟲框架和源碼；

　　3、有爬蟲、信息抽取、文本分類、大數據處理相關經驗優先

　　4、有自然語言處理、機器學習經驗優先

爬蟲工程師崗位職責 篇5

　　職位描述：

　　1、開發網頁自動化腳本。

　　2、負責商品信息結構化，編寫自動化腳本解析網頁信息。

　　3、商品索引系統：億級sku的庫存價格實時跟蹤同步，并對商品進行智能分類、本地化、圖片處理和去重。

　　4、設計、開發、測試、部署以及維護并改進各子系統；

　　5、管理項目優先級并按時交付。

　　職位要求：

　　1、全日制統招本科、碩士畢業，1年以上軟件開發工作經驗；

　　2、熟悉至少一門通用靜態編譯編程語言，c/c++/java/c#/go；

　　3、熟悉web端基礎標準，包括html、css、javascript、json等；

　　4、熟悉python或其他腳本語言，有興趣和能力根據需求學習其他編程語言；

　　5、熟悉unix/linux環境，memcache/redis/mongodb等存儲系統，能獨立設計開發包括前后端交互的業務子系統；

　　6、熟悉常見的設計模式、單元測試、持續開發集成、code review，并能在日常工作踐行；

　　7、了解搜索引擎、電子商務、社交類應用的系統基本架構，能對已有的子系統進行優化調整的優先；

　　8、活躍的開源項目貢獻者優先。

爬蟲工程師崗位職責 篇6

　　崗位職責：

　　1、負責網絡爬蟲的架構設計、開發與優化；

　　2、負責抓取數據的清洗、落地、分析；

　　3、抓取策略算法的更新維護，以及確保數據抽取準確、高效。

　　任職要求：

　　1、兩年及以上互聯網或軟件行業工作經驗；

　　2、理解http協議，熟悉html、dom、xpath；

　　3、熟悉linux開發環境，至少熟悉python/go/java/node、js中的一種編程語言；

　　4、有爬蟲、信息抽取、文本分類、大數據處理相關經驗優先；

　　5、有自然語言處理、機器學習經驗優先；

　　6、熟悉瀏覽器內核、渲染機制優先；

　　7、工作認真，細心，有條理，積極性高；良好的溝通能力及團隊合作精神。

爬蟲工程師崗位職責 篇7

　　職責描述：

　　1、負責網絡爬蟲系統的設計與開發

　　2、對爬取的網頁信息進行數據抽取，清洗和去重等工作

　　任職要求：

　　1、2年及以上網絡爬蟲開發經驗，本科及大專學歷，計算機相關專業，

　　2、積極、溝通順暢，工作認真負責

　　3、扎實的編程能力，熟悉常用算法和數據結構等基礎知識

　　4、熟練掌握開發語言java或c/c++，熟悉腳本語言和正則表達式

爬蟲工程師崗位職責 篇8

　　崗位職責：

　　1、參與app爬蟲項目的架構設計、研發工作，改進和提升爬蟲效率；

　　2、攻破各種反爬策略；

　　3、解決各類技術疑難問題，包括網絡問題、app分析、反編譯等；

　　4、與大數據工程師對接，完成實時數據與離線數據的爬取與對接；

　　任職資格：

　　1、計算機及相關專業本科及以上學歷，兩年以上相關工作經驗；

　　2、精通至少一種開發語言，如python、java；

　　3、熟練掌握一種開源爬蟲框架，如scrapy、webmagic，有研發爬蟲框架經驗者優先；

　　4、熟悉appium、selenium等技術；

　　5、善于獨立分析并解決核心問題，如javascript反爬、爬蟲策略、防屏蔽規則、app爬取、驗證碼識別技術等；

　　6、熟悉mysql，？mongodb，？redis，？elasticsearch等數據庫；

　　7、對爬蟲有濃厚的興趣，責任感強，有較好的交流溝通能力和團隊合作能力；

　　8、有app安全、逆向等領域經驗的優先；

爬蟲工程師崗位職責 篇9

　　職位描述：

　　1、負責設計和開發分布式網絡爬蟲系統，進行多平臺信息的抓取和分析工作；

　　2、負責網頁信息和app數據抽取、清洗、消重等工作，提升平臺的抓取效率；

　　3、參與爬蟲核心算法和策略優化，熟悉采集系統的調度策略；

　　4、實時監控爬蟲的進度和警報反饋。

　　任職要求：

　　1、有扎實的算法和數據結構能力；

　　2、熟悉爬蟲原理，熟悉常見的反爬蟲技術，有爬蟲相關項目開發經驗者優先；

　　3、掌握http協議，熟悉html、dom、xpath等常見的數據抽取技術；

　　4、有大規模數據處理、數據挖掘、信息提取等經驗者優先。

爬蟲工程師崗位職責 篇10

　　工作內容：

　　1、基礎系統架構、模塊、庫和組件的研發；

　　2、分布式海量數據存儲和分析系統的研發和調優；

　　3、統計分析、報表、saas業務等系統研發；

　　4、crm、財務結算、工作流等內部管理系統的研發。

　　能力要求：

　　1、至少使用php/java/python等一門以上語言，開發過不算太小的項目；

　　2、熟悉數據結構、db、os、web開發等相關知識，對linux相關的各類技術情有獨鐘；

　　3、有大規模、高性能互聯網網站系統相關的設計和開發經驗者優先；

　　4、具備良好的學習能力和成長潛力，渴望和團隊一起快速成長。

爬蟲工程師崗位職責 篇11

　　職位要求

　　1、計算機相關專業，本科及以上學歷，3年以上爬蟲相關工作經驗；

　　2、對爬蟲編程有強烈愛好，熟練精通掌握至少1種語言java、python，在需要的情況下能快速上手新語言切換；

　　3、深入理解tpc/ip、http、以及web登錄認證的機制，有成功破解復雜驗證碼的經驗；

　　4、有通用分布式爬蟲系統架構和開發經驗，能快速部署新的爬蟲應用；

　　5、已有2年以上網絡爬蟲或搜索引擎工作經驗，參與過大規模數據爬蟲優先考慮；

　　6、有app安全、逆向等領域的經驗；

　　7、具有良好的溝通、團隊協作、計劃能力，有過1—2人的團隊管理經驗。

　　崗位職責

　　1、建設完善分布式爬蟲系統；

　　2、建立通用的爬蟲框架，能夠快速適應新的爬蟲需求；

　　3、快速完成對目標資源的數據抓取、處理。

爬蟲工程師崗位職責 篇12

　　職位描述：

　　負責設計和開發分布式網絡爬蟲系統

　　應用多種技術對各平臺進行數據采集

　　設計數據采集策略，提升數據采集效率及質量

　　與各行業分析師溝通，分析項目的可行性和討論抓取方案。

　　兩年以上爬蟲開發相關經驗，本科及以上學歷，計算機相關專業為佳

　　熟練掌握c#或java開發語言為佳

　　了解tcp/ip，http及相關網絡協議

　　熟悉js / html / xpath / json /正則表達式等網頁相關技術

　　熟悉分布式、多線程、緩存、消息隊列等互聯網技術

　　熟悉手機應用的數據抓取，手機app開發經驗，加/脫殼經驗為佳

　　良好的溝通技能，注重細節，抗壓性強

　　良好的英語溝通技能為佳

爬蟲工程師崗位職責 篇13

　　職責描述：

　　1、分析和定義sap項目中pp模塊相關業務需求；

　　2、指導sap項目pp業務人員制定pp模塊業務藍圖；

　　3、提供sap項目pp模塊功能設計方案，完成后臺配置、單元測試、集成測試，并輸出相應文檔；

　　4、培訓sap項目中pp模塊相關業務用戶的sap系統技能，指導相關業務sap用戶完成sap系統操作手冊的編寫、sap崗位權限的分配；

　　5、指導sap項目中pp模塊相關業務用戶進行項目上線工作，提供sap項目中pp模塊上線及后續維護的sap技術支持服務；

　　6、分析和確認pp模塊業務用戶反饋的sap日常使用問題并能及時解決。

　　職位要求：

　　1、計算機或管理相關專業專科及以上學歷；

　　2、有制造行業經驗，熟悉制造業生產、計劃、物料采購與倉庫、供應鏈管理等流程；

　　3、熟悉sap pp產品和解決方案，熟悉sap pp后臺配置，具有pp模塊獨立實施能力，有5個以上sap項目的pp模塊實施經驗；

　　4、具有外部實施經驗或sap s/4 項目實施經驗優先考慮；

　　5、較強的工作責任心以及獨立性，具備持續學習的'熱情；

　　6、有良好的表達和溝通能力、團隊合作精神、較強的學習和創新能力；

爬蟲工程師崗位職責 篇14

　　工作職責:

　　負責煉鋼項目自動化系統應用軟件編程，系統測試和現場調試。

　　負責協助解決項目執行過程中的技術問題。

　　知識/能力:

　　扎實的工業自動化及控制理論知識。

　　熟練應用西門子tia博途，pcs7，step7，wincc等編程軟件。

　　熟悉西門子自動化產品:plc400，plc1500，et200。

　　熟悉工業現場總線:profinet，profibus。

　　良好的英語閱讀及口語能力。

　　動手能力強， 吃苦耐勞，能接受頻繁的國內或國際出差。

　　經驗:

　　3年以上自動化行業的工作經驗;

　　1年以上鋼鐵行業煉鋼項目的自動化工程經驗或現場應用經驗;

　　良好的溝通技巧和團隊合作精神;

　　教育:

　　大專或本科以上學歷

　　電氣自動化或相關專業

　　煉鋼工程師崗位

爬蟲工程師崗位職責 篇15

　　崗位職責

　　1、負責防雷系統的方案設計、安裝以及編程、調試等工作內容。能熟練運用產品系列的plc、ddc軟件的設計、編程及調試,熟悉主流產品的性能(西門子、霍尼韋爾、江森等),有獨立完成的相關成功案例優先;

　　2、負責與客戶的技術溝通,方案制定,點表、清單、系統原理圖、配盤圖的制作等;

　　3、負責項目的深化(施工圖)設計、施工交底和現場技術支持等;

　　4、針對防雷項目需求,負責對外技術交流以及對客戶提出的專業技術問題進行解答。

　　任職資格

　　1、本科學歷;電氣、自動化控制、計算機、通信及建筑電氣專業畢業優先;

　　2、熟悉防雷相關設備產品與性能,具有1年以上防雷行業工作經驗者優先;

　　3、掌握弱電系統專業理論知識,熟悉cad繪圖以及軟硬件基礎知識,對防雷系統的設計、安裝、調試等相關經驗優先考慮;

　　4、工作積極主動,認真負責,踏實細心,有高度的責任心和工作熱情,具備團隊合作精神。

爬蟲工程師崗位職責 篇16

　　崗位職責:

　　1、跟催設計進展,協調解決現場設計問題;

　　2、協調工程部、設計院、監理及施工單位之間的圖紙修改工作;

　　3、協助配套部門搞好建筑施工圖紙送審工作;

　　4、協調各設計顧問單位的工作,助現場問題的設計解決;

　　5、工程竣工時校核施工單位的竣工圖,協調預算部門搞好工程決算;

　　6、完成上級交辦的其它工作。

　　任職要求:

　　1、大專及以上學歷,設計或建筑相關專業;

　　2、5年以上甲方或總承包機電管理經驗;

　　3、了解土建、水電、精裝修等各工種穿插作業中設計的協調內容和工作重點;

　　4、了解國家和地方建筑法規規范,熟悉房產項目設計規范,熟練使用autocad、office等相關繪圖辦公軟件;

　　5、熟悉現場管理,具有較強的溝通協調能力,有責任感、進取心及良好的團隊合作精神。

爬蟲工程師崗位職責 篇17

　　崗位職責：

　　1、負責編制各類總承包工程項目比的材料設備采購計劃、采購成本控制目標和開展控制工作；

　　2、負責制定分項招標方案與實施計劃；

　　3、負責組織材料設備采購招投標工作；

　　4、負責組織合作單位的中間評估及后評估工作，建立合格供方資料庫；

　　5、負責市場調查與行業設備價格信息跟蹤，建立材料、設備的性價比數據庫。

　　任職要求：

　　1、本科學歷，機械工程或環境工程相關專業；

　　2、有23年污水處理廠相關工作經驗，或相關設備采購經驗優先；

　　3、具有一定的.英文聽說讀寫能力；

　　4、了解采購流程，對設備，機械電氣相關產品有一定基礎；

　　5、熟練使用word，excel等辦公軟件和autocad軟件；

　　6、工作細致認真，責任心強，思維敏捷，具有較強的團隊合作精神；

　　7、嚴格目標、遵守法紀、誠信敬業。

爬蟲工程師崗位職責 篇18

　　崗位職責:

　　1、保障特殊氣體、化學品輸送系統及設備安全、穩定、連續運行;

　　2、掌握氣化各設備、系統的原理和運行要求并有針對性的提出管理措施;

　　3、掌握和了解氣化各設備和系統的維護要求并執行維護計劃;

　　4、負責建立健全的設備管理制度、維護保養制度和建立完整的動力設備和系統臺賬;

　　5、及時發現設備運行中的.隱患,對系統設備出現的故障進行原因分析,提出解決方案并解決故障,確保設備正常運行;

　　6、處理氣化系統異常問題及突發事件。

　　任職要求:

　　1、化學、機械、自動化等相關專業本科及以上學歷。

　　2、3年以上同崗位實際工作經驗;

　　3、有光伏太陽能氣體化學品系統管理經驗優先

　　4、能吃苦耐勞,責任心強,善于溝通。

爬蟲工程師崗位職責 篇19

　　1、 根據軟件的特定用戶群，提出構思貼切、有吸引力的創意設計;

　　2、 與美工配合，生成及優化HTML及CSS靜態頁;

　　3、 對頁交互進行優化，使用戶操作更趨于人性化;

　　4、 收集和分析用戶對于UI的需求;

　　5、 優化公司UI規范。

爬蟲工程師崗位職責 篇20

　　職位描述：

　　1、負責基于深度學習的超分辨率算在流媒體和短視頻場景的研究與落地；

　　2、負責視頻前、后處理增強算法的研究與落地，包括但不限于視頻去噪，色彩增強，視頻去抖，視頻去模糊，暗光效果提升；

　　3、優化模型和算法在移動端的計算性能；

　　4、探索和實現最新的移動端優化技術。

　　任職要求：

　　1、精通pythpn，c/c++編程語言，具有扎實的數據結構/算法基礎；

　　2、熟悉opencv等常用庫，熟練使用一種或幾種深度學習框架（tensorflow、 caffe）；

　　3、有android/ios開發經驗優先；

　　4、有深度學習模型壓縮經驗優先考慮；

　　5、具備算法開發實現能力，熟悉c/c++、cuda、python等編程語言；

　　6、良好的英語能力，能熟練閱讀英文論文和專利。

爬蟲工程師崗位職責 篇21

　　1.負責土地利用總體規劃及專項規劃、土地整治可研及規劃設計報告的編制及部門技術工作的審查;

　　2.熟悉土地利用總體規劃、村莊規劃、規劃局部修改、建設用地預審、土地復墾整理等工作流程;

　　3.熟悉土地規劃、城鄉規劃、國土空間規劃的政策技術規范，熟練掌握各項規劃文本、圖件的編制能力;

爬蟲工程師崗位職責 篇22

　　職責

　　1、針對海量用戶行為數據進行挖掘和建模，深入挖掘數據的業務價值。研究機器學習或統計學習領域的前沿技術，并能活學活用到項目中。

　　2、基于對汽車廣告投放業務及用戶的理解，參與精準營銷、個性化推薦等模型建設和領域研究，提升轉化率等業務指標。

　　3、根據業務需要采集相關數據，對原始數據進行ETL和歸類整理，并實現流程自動化。

　　4、其他大數據處理及項目開發工作等。

　　任職要求:

　　1、本科及以上學歷，至少3年以上機器學習、數據挖掘相關經驗。

　　2、精通一門語言JAVA或Python等，較強的算法和數據結構功底;熟悉大規模數據挖掘、機器學習等相關技術,熟悉Hadoop/Spark/SparkML等優先。

　　3、喜歡研究新技術，優秀的分析和解決問題的能力，對挑戰性問題充滿激情。

　　4、具備良好的分析問題能力、溝通能力和團隊合作能力，具備很強的學習和鉆研能力

　　5、關注技術發展趨勢，熱愛開源，為開源項目貢獻過代碼優先。

爬蟲工程師崗位職責 篇23

　　一、認真貫徹執行上級各項技術，方針，政策，及時把施工方案傳達到每個員工，確保安全生產。

　　二、認真編寫施工措施，及時送交有關部門和領導審批，并及時傳達到每個員工。

　　三、認真負責做好核算，杜絕各種材料浪費現象，堅持深入一線，檢查工程質量，生產進度及用料情況。

　　四、及時和上級技術部門取的聯系保證生產接續，確保嚴格管理，一步到位，準確無誤。

　　五、按時參加技術部門的業務學習和專業會議，提高自己的業務水平，做到理論聯系實際，正確指導現場工作。

　　六、定期組織職工學習各種安全業務知識，提高工作質量，干好自己的本職工作。

爬蟲工程師崗位職責 篇24

　　綜合布線工程師職位要求

　　1、計算機相關專業,大專及以上學歷。有相關專業證書者優先,包括:ocp、mcse、mcdba證書

　　2、了解綜合布線或通信類電纜連接器等產品的相關標準

　　3、熟悉綜合布線產品與系統集成施工

　　4、精通linu*/uni*/windows操作系統

　　5、熟悉tcp/ip協議;熟悉路由器、交換機等網絡設備

　　6、具有動手能力和設備軟硬件排障能力

爬蟲工程師崗位職責 篇25

　　1. 定義底盤系統(轉向、車輛性能/零件調試、車架及動力總成懸置、懸架、制動、車輪輪胎)及子系統關鍵特征;

　　2. 定義底盤系統及子系統恰當的尺寸和公差;

　　3. 確定底盤零部件的要求和測試規范;

　　4. 負責底盤零部件的技術設計、工作圖樣繪制及技術文件編制工作;

　　5. 負責對底盤技術問題和質量問題進行分析，并提出持續改進措施;

　　6. 負責新開發的底盤零部件的試制、改進及驗證跟蹤工作;

　　7. 進行底盤零部件樣品的確認封樣工作，并協同相關部門進行合格供方的評審及技術協議的簽訂;

　　8. 維護底盤零部件清單并保證全球描述系統中底盤零部件發布的正確性。

爬蟲工程師崗位職責 篇26

　　職責描述:

　　負責內部及客戶網站建設方面的web前端部分

　　1.根據團隊規范和設計圖,進行前端代碼實現(css/html/javascript),包括pc和移動,部分需要和后端進行數據交互實現;

　　2.負責項目方面技術支持,包括問題處理、技術方案梳理。

　　任職要求:

　　1.大專或本科及以上學歷;

　　2.熟練css(含css3)、html(含html5)進行前端頁面的編寫。

　　3.熟悉javascript(含ajax、dom操作)進行前端交互功能的實現和代碼編寫,并熟練運用jquery進行開發。

　　4.主動的溝通習慣、抗壓能力強、良好的職業素養。

　　以下是加分項:

　　1.有接觸過cms、php、模塊化開發、前端代碼優化等web相關領域。

　　2.在javascript領域有系統化的學習,并且熟練掌握面向對象編程思想,能自主主導小型項目的前端部分。

　　3.規范的代碼習慣、清晰的頁面寫法。

爬蟲工程師崗位職責 篇27

　　1、負責/參與應用系統平臺設計、重構、優化,主導/參與技術難題攻關;

　　2、負責并參與系統需求分析、功能模塊詳細設計,完成系統業務功能實現、測試及維護工作;

　　3、負責編寫相應的需求、設計與技術文檔,向系統使用者提供技術支持服務;

　　4、參與線上系統環境的升級、運維監控、性能調優;

　　5、推動跟進業務線需求,為改善系統的功能積極提出建議。

爬蟲工程師崗位職責 篇28

　　崗位職責：

　　1、電力SCADA系統接口調試，編寫接口規格書、系統規格書；

　　2、現場電力SCADA系統調試；

　　3、現場調試進度管理，并同各方交流解決實施過程中的問題；

　　4、參與設計聯絡，配合項目經理完成相關任務目標。

　　崗位要求：

　　1、電氣自動化專業（強電或弱電儀表方向），研究生以上學歷，大學英語六級，985和211高校畢業生優先；

　　2、熟悉組態軟件和SCADA系統原理，調試和相關技術；

　　3、具備需求分析和系統設計能力，以及較強的邏輯分析和獨立解決問題能力；

　　4、責任心強，有鉆研新技術的興趣和能力，具有良好的溝通能力和團隊合作精神。