爬蟲(chóng)崗位職責(zé)17篇

崗位職責(zé)是什么

爬蟲(chóng)崗位是數(shù)據(jù)科學(xué)領(lǐng)域的一個(gè)重要組成部分，主要負(fù)責(zé)通過(guò)編寫(xiě)自動(dòng)化程序，從互聯(lián)網(wǎng)上抓取大量信息，為數(shù)據(jù)分析和決策提供原始數(shù)據(jù)。

崗位職責(zé)要求

1. 精通python、java或相關(guān)編程語(yǔ)言，具備扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)。

2. 對(duì)網(wǎng)絡(luò)協(xié)議（如http/https）有深入理解，熟悉網(wǎng)頁(yè)結(jié)構(gòu)和html/css/javascript解析。

3. 熟練使用scrapy、beautifulsoup、selenium等爬蟲(chóng)框架，能夠高效地編寫(xiě)和優(yōu)化爬蟲(chóng)程序。

4. 了解反爬蟲(chóng)策略和應(yīng)對(duì)方法，如ip代理池、user-agent切換等。

5. 具備一定的數(shù)據(jù)分析能力，能處理和清洗抓取到的數(shù)據(jù)，進(jìn)行初步的數(shù)據(jù)挖掘。

6. 有良好的問(wèn)題解決能力，能夠應(yīng)對(duì)各種爬取過(guò)程中遇到的挑戰(zhàn)和障礙。

7. 了解數(shù)據(jù)庫(kù)操作，如mysql、mongodb，能進(jìn)行數(shù)據(jù)存儲(chǔ)和管理。

8. 遵守法律法規(guī)，尊重網(wǎng)站版權(quán)，確保爬蟲(chóng)活動(dòng)的合法性和合規(guī)性。

崗位職責(zé)描述

爬蟲(chóng)工程師在日常工作中，需要不斷監(jiān)控和調(diào)整爬蟲(chóng)策略，以適應(yīng)網(wǎng)站動(dòng)態(tài)變化。他們不僅需要編寫(xiě)高效的爬蟲(chóng)代碼，還要關(guān)注數(shù)據(jù)質(zhì)量，確保抓取的數(shù)據(jù)準(zhǔn)確無(wú)誤。此外，他們還需要與數(shù)據(jù)分析師、產(chǎn)品經(jīng)理等團(tuán)隊(duì)成員緊密合作，理解業(yè)務(wù)需求，提供定制化的數(shù)據(jù)解決方案。

有哪些內(nèi)容

1. 設(shè)計(jì)和實(shí)現(xiàn)爬蟲(chóng)架構(gòu)，確保其穩(wěn)定性和擴(kuò)展性，滿足大規(guī)模數(shù)據(jù)抓取的需求。

2. 持續(xù)監(jiān)控和優(yōu)化爬蟲(chóng)性能，提高數(shù)據(jù)抓取的速度和效率。

3. 分析和處理爬取異常，如404錯(cuò)誤、驗(yàn)證碼識(shí)別、動(dòng)態(tài)加載內(nèi)容等，確保數(shù)據(jù)的完整性和準(zhǔn)確性。

4. 實(shí)施數(shù)據(jù)清洗和預(yù)處理，去除噪聲，為后續(xù)分析做好準(zhǔn)備。

5. 參與數(shù)據(jù)分析項(xiàng)目，根據(jù)業(yè)務(wù)需求提供數(shù)據(jù)支持，如市場(chǎng)趨勢(shì)分析、用戶行為研究等。

6. 協(xié)同開(kāi)發(fā)團(tuán)隊(duì)，將爬蟲(chóng)獲取的數(shù)據(jù)集成到公司的數(shù)據(jù)平臺(tái)，服務(wù)于各業(yè)務(wù)部門(mén)。

7. 與法務(wù)部門(mén)溝通，確保爬蟲(chóng)活動(dòng)符合相關(guān)法律法規(guī)，防止侵犯隱私或版權(quán)問(wèn)題。

8. 學(xué)習(xí)和跟蹤最新的爬蟲(chóng)技術(shù)、反爬策略，持續(xù)提升爬蟲(chóng)技術(shù)能力。

爬蟲(chóng)崗位在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代中扮演著關(guān)鍵角色，通過(guò)其技術(shù)手段，為企業(yè)的決策提供強(qiáng)有力的數(shù)據(jù)支持，推動(dòng)業(yè)務(wù)發(fā)展。

爬蟲(chóng)崗位職責(zé)范文

第1篇 網(wǎng)絡(luò)爬蟲(chóng)崗位職責(zé)網(wǎng)絡(luò)爬蟲(chóng)職責(zé)任職要求

網(wǎng)絡(luò)爬蟲(chóng)崗位職責(zé)

工作內(nèi)容:負(fù)責(zé)小程序搜索爬蟲(chóng)系統(tǒng)的建設(shè)，包括小程序爬蟲(chóng)策略的開(kāi)發(fā)，分布式爬蟲(chóng)系統(tǒng)的建設(shè)，數(shù)據(jù)分析及處理等，為小程序搜索提供豐富優(yōu)質(zhì)的基礎(chǔ)數(shù)據(jù)。

任職要求:

職位要求:

具備良好的計(jì)算機(jī)基礎(chǔ)，熟悉http協(xié)議，具備良好的基礎(chǔ)前端知識(shí);

有過(guò)良好的高并發(fā)系統(tǒng)的后臺(tái)開(kāi)發(fā)經(jīng)驗(yàn);

具備一定的數(shù)據(jù)處理/分析經(jīng)驗(yàn)，熟悉hadoop、mapreduce、spark等并行計(jì)算框架;

了解小程序的基礎(chǔ)框架，有實(shí)際開(kāi)發(fā)經(jīng)驗(yàn)更優(yōu);

掌握 c/c++、python 等一門(mén)或多門(mén)語(yǔ)言，有nodejs開(kāi)發(fā)經(jīng)驗(yàn)更優(yōu);

如果您還具備以下技能，我們會(huì)優(yōu)先考慮:

具備網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的開(kāi)發(fā)經(jīng)驗(yàn)，有反爬蟲(chóng)實(shí)踐經(jīng)驗(yàn);

具備機(jī)器學(xué)習(xí)框架的開(kāi)發(fā)使用經(jīng)驗(yàn);

熟悉傳統(tǒng)搜索引擎的seo規(guī)則。

第2篇 java高級(jí)工程師（爬蟲(chóng)方向）職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)

1.熟悉線程池、并發(fā)機(jī)制、鎖機(jī)制、線程安全原理；

2.java體系知識(shí)：網(wǎng)絡(luò)io、設(shè)計(jì)模式、linu_、jvm、java類(lèi)加載機(jī)制、java內(nèi)存模型；

3.爬蟲(chóng)經(jīng)驗(yàn)：webmagic、adsl撥號(hào)、正則表達(dá)式、脫殼技術(shù)、加密、圖片破解、二維碼識(shí)別、滑塊驗(yàn)證碼破解、httpclient、分詞、分布式爬蟲(chóng)調(diào)度、數(shù)據(jù)質(zhì)量監(jiān)控、代理ip調(diào)度算法、配置化爬蟲(chóng)、授權(quán)爬蟲(chóng)、輿情、應(yīng)用市場(chǎng)、反爬；

4.熟悉http/http、tcp/ip、socket等通訊協(xié)議；

5.6年以上軟件開(kāi)發(fā)經(jīng)驗(yàn)，至少2年爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)。

任職要求

1. 采集、清洗、監(jiān)控、配置化、調(diào)度、反爬、數(shù)據(jù)爬取、分詞、檢索等數(shù)據(jù)采集研發(fā)；

2. 較強(qiáng)的邏輯思維和發(fā)散思維；

3. 計(jì)算機(jī)或相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷。

第3篇 資深爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1. 參與爬蟲(chóng)系統(tǒng)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā)；

2. 負(fù)責(zé)執(zhí)行和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，進(jìn)行多平臺(tái)信息的抓取和分析；

3. 負(fù)責(zé)網(wǎng)頁(yè)信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺(tái)的抓取效率；

4. 參與爬蟲(chóng)核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；

5. 實(shí)時(shí)監(jiān)控爬蟲(chóng)的進(jìn)度和警報(bào)反饋。

任職要求：

1. 本科以上學(xué)歷，3年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn)，熟練使用python或java進(jìn)行開(kāi)發(fā)；

2. 熟練使用正則表達(dá)式、css path、_path等，能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；

3. 熟練使用mysql數(shù)據(jù)庫(kù)，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實(shí)戰(zhàn)經(jīng)驗(yàn)；

4. 熟悉各種抓取技術(shù)，包括代理、phantomjs/selenium、驗(yàn)證碼處理；

5. 熟悉整個(gè)爬蟲(chóng)的設(shè)計(jì)及實(shí)現(xiàn)流程，有從事網(wǎng)絡(luò)爬蟲(chóng)、網(wǎng)頁(yè)信息抽取開(kāi)發(fā)經(jīng)驗(yàn)，熟悉反爬蟲(chóng)技術(shù)，有分布式爬蟲(chóng)架構(gòu)經(jīng)驗(yàn)；

6. 具有數(shù)據(jù)挖掘、自然語(yǔ)言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先；

7. 快速學(xué)習(xí)能力，工作積極主動(dòng)，有創(chuàng)業(yè)熱情和良好的團(tuán)隊(duì)協(xié)助能力；

8. 需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗(yàn)，沒(méi)有相關(guān)經(jīng)驗(yàn)的勿擾。

第4篇 網(wǎng)絡(luò)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職責(zé)描述：

1，負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

2，對(duì)爬取的網(wǎng)頁(yè)信息進(jìn)行數(shù)據(jù)抽取，清洗和去重等工作

任職要求：

1、2年及以上網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)，本科及大專(zhuān)學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，

2、積極、溝通順暢，工作認(rèn)真負(fù)責(zé)

3、扎實(shí)的編程能力，熟悉常用算法和數(shù)據(jù)結(jié)構(gòu)等基礎(chǔ)知識(shí)

4、熟練掌握開(kāi)發(fā)語(yǔ)言java或c/c++，熟悉腳本語(yǔ)言和正則表達(dá)式

第5篇 數(shù)據(jù)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1.開(kāi)發(fā)網(wǎng)頁(yè)自動(dòng)化腳本。

2.負(fù)責(zé)商品信息結(jié)構(gòu)化，編寫(xiě)自動(dòng)化腳本解析網(wǎng)頁(yè)信息。

3.商品索引系統(tǒng)：億級(jí)sku的庫(kù)存價(jià)格實(shí)時(shí)跟蹤同步，并對(duì)商品進(jìn)行智能分類(lèi)、本地化、圖片處理和去重。

4.設(shè)計(jì)、開(kāi)發(fā)、測(cè)試、部署以及維護(hù)并改進(jìn)各子系統(tǒng)；

5.管理項(xiàng)目?jī)?yōu)先級(jí)并按時(shí)交付。

職位要求：

1.全日制統(tǒng)招本科、碩士畢業(yè)，1年以上軟件開(kāi)發(fā)工作經(jīng)驗(yàn)；

2.熟悉至少一門(mén)通用靜態(tài)編譯編程語(yǔ)言，c/c++/java/c#/go；

3.熟悉web端基礎(chǔ)標(biāo)準(zhǔn)，包括html、css、javascript、json等；

4.熟悉python或其他腳本語(yǔ)言，有興趣和能力根據(jù)需求學(xué)習(xí)其他編程語(yǔ)言；

5.熟悉uni_/linu_環(huán)境，memcache/redis/mongodb等存儲(chǔ)系統(tǒng)，能獨(dú)立設(shè)計(jì)開(kāi)發(fā)包括前后端交互的業(yè)務(wù)子系統(tǒng)；

6.熟悉常見(jiàn)的設(shè)計(jì)模式、單元測(cè)試、持續(xù)開(kāi)發(fā)集成、code review，并能在日常工作踐行；

7.了解搜索引擎、電子商務(wù)、社交類(lèi)應(yīng)用的系統(tǒng)基本架構(gòu)，能對(duì)已有的子系統(tǒng)進(jìn)行優(yōu)化調(diào)整的優(yōu)先；

8.活躍的開(kāi)源項(xiàng)目貢獻(xiàn)者優(yōu)先。

第6篇 python爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，進(jìn)行多平臺(tái)信息的抓取和分析工作；

2、負(fù)責(zé)網(wǎng)頁(yè)信息和app數(shù)據(jù)抽取、清洗、消重等工作，提升平臺(tái)的抓取效率；

3、參與爬蟲(chóng)核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；

4、實(shí)時(shí)監(jiān)控爬蟲(chóng)的進(jìn)度和警報(bào)反饋。

任職要求：

1、有扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)能力；

2、熟悉爬蟲(chóng)原理，熟悉常見(jiàn)的反爬蟲(chóng)技術(shù)，有爬蟲(chóng)相關(guān)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；

3、掌握http協(xié)議，熟悉html、dom、_path等常見(jiàn)的數(shù)據(jù)抽取技術(shù)；

4、有大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、信息提取等經(jīng)驗(yàn)者優(yōu)先。

第7篇 爬蟲(chóng)工程師（p6-p8)職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1.負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)的架構(gòu)設(shè)計(jì)、開(kāi)發(fā)與優(yōu)化；

2.負(fù)責(zé)抓取數(shù)據(jù)的清洗、落地、分析；

3.抓取策略算法的更新維護(hù)，以及確保數(shù)據(jù)抽取準(zhǔn)確、高效。

任職要求：

1.兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗(yàn)；

2.理解 http 協(xié)議，熟悉 html、dom、_path；

3.熟悉 linu_ 開(kāi)發(fā)環(huán)境，至少熟悉 python/go/java/node.js 中的一種編程語(yǔ)言；

4.有爬蟲(chóng)、信息抽取、文本分類(lèi)、大數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)優(yōu)先；

5.有自然語(yǔ)言處理、機(jī)器學(xué)習(xí)經(jīng)驗(yàn)優(yōu)先；

6.熟悉瀏覽器內(nèi)核、渲染機(jī)制優(yōu)先；

7.工作認(rèn)真，細(xì)心，有條理，積極性高；良好的溝通能力及團(tuán)隊(duì)合作精神。

第8篇 廣告爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

1、負(fù)責(zé)廣告素材線索和垂直類(lèi)產(chǎn)品爬蟲(chóng)系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)

2、抓取數(shù)據(jù)的清洗、落地、分析

3、抓取策略算法的更新維護(hù)，以及確保數(shù)據(jù)抽取準(zhǔn)確、高效

任職要求：

1、具備強(qiáng)悍的編碼能力、扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法功底

2、 熟悉tcp，http協(xié)議原理；熟悉aja_工作原理；精通python編程，熟悉一種開(kāi)源爬蟲(chóng)框架和源碼；

3、有爬蟲(chóng)、信息抽取、文本分類(lèi)、大數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)優(yōu)先

4、有自然語(yǔ)言處理、機(jī)器學(xué)習(xí)經(jīng)驗(yàn)優(yōu)先

第9篇 爬蟲(chóng)工程師崗位職責(zé)

高級(jí)爬蟲(chóng)開(kāi)發(fā)工程師 職責(zé)描述:

1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略優(yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);

2、熟悉linu_平臺(tái),熟練掌握python或java爬蟲(chóng)開(kāi)發(fā)工作;

3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);

4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);

5、具備良好的編程習(xí)慣和算法基礎(chǔ);

6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。 職責(zé)描述:

1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略優(yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);

2、熟悉linu_平臺(tái),熟練掌握python或java爬蟲(chóng)開(kāi)發(fā)工作;

3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);

4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);

5、具備良好的編程習(xí)慣和算法基礎(chǔ);

6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。

第10篇 python爬蟲(chóng)職位描述與崗位職責(zé)任職要求

職位描述：

工作職責(zé)：

負(fù)責(zé)競(jìng)品數(shù)據(jù)的抓取、分析

負(fù)責(zé)商業(yè)產(chǎn)品中的定價(jià)策略模塊(seo排名)

負(fù)責(zé)帶領(lǐng)相關(guān)同事構(gòu)建爬蟲(chóng)規(guī)范，設(shè)計(jì)和開(kāi)發(fā)分布式的網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用，進(jìn)行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析；

職位要求：

1. 計(jì)算機(jī)、信息技術(shù)或相關(guān)專(zhuān)業(yè)本科或以上學(xué)歷；

2. 2年以上爬蟲(chóng)工作經(jīng)驗(yàn)、3個(gè)以上實(shí)際項(xiàng)目經(jīng)驗(yàn)

3. 精通python開(kāi)發(fā)，理解并掌握 scrapy及scrapy-redis；

4. 對(duì)采集規(guī)則，對(duì)反爬、加解密、代理等關(guān)鍵技術(shù)有深度理解

5. 熟練使用redis、mq、mongodb、mysql等常用技術(shù)

6. 有良好的合作意識(shí)和自我驅(qū)動(dòng)力，能主動(dòng)承擔(dān)模糊任務(wù)，抗壓能力

加分項(xiàng):

1.熟悉主流搜索引擎的搜索算法

2.獨(dú)立負(fù)責(zé)項(xiàng)目

3.帶過(guò)團(tuán)隊(duì)

第11篇 爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

職位誘惑：

全球項(xiàng)目、高薪資、高福利、國(guó)際團(tuán)隊(duì)

職位描述：

if (your_passions.includes(coding)) {

switch(your_stacks) {

case node.js:

case python:

case kubernetes:

case serverless:

console.log(join aftership);

break;

}

}

崗位職責(zé)

1、負(fù)責(zé)與不同物流公司的系統(tǒng)對(duì)接，使用各種 api 及爬蟲(chóng)技巧，抓取、分析、調(diào)度、存儲(chǔ)數(shù)據(jù)，為公司業(yè)務(wù)提供正確穩(wěn)定的數(shù)據(jù)；

2、負(fù)責(zé)系統(tǒng)的 sla 代碼維護(hù)、秩代更新，保證任務(wù)質(zhì)量和交付及時(shí)性；

3、負(fù)責(zé)編寫(xiě)相關(guān)的技術(shù)文檔、單元測(cè)試，對(duì)產(chǎn)品質(zhì)量負(fù)責(zé)。

崗位要求

1、統(tǒng)招本科及以上學(xué)歷，具備英語(yǔ)讀寫(xiě)能力；

2、熟悉 git/github，通信協(xié)議 tcp/http 及 restful 標(biāo)準(zhǔn)；

3、一年及以上 python 爬蟲(chóng)開(kāi)發(fā)工作經(jīng)驗(yàn)， javascript 基礎(chǔ)扎實(shí)，有 scrapy 等使用經(jīng)驗(yàn)；

4、有 mysql，redis 或 mongodb 等相關(guān)數(shù)據(jù)庫(kù)使用經(jīng)驗(yàn)。

加分項(xiàng)

1、有 ci/cd 自動(dòng)化測(cè)試經(jīng)驗(yàn)；

2、有使用 docker、kubernetes、aws 或 gcp 云計(jì)算經(jīng)驗(yàn)；

3、有寫(xiě) blog 的習(xí)慣，活躍技術(shù)社區(qū)，參與開(kāi)源項(xiàng)目等；

4、有代碼潔癖，對(duì)代碼精益求精，對(duì)技術(shù)有極客熱情；

5、有軟件著作權(quán)申請(qǐng)，有專(zhuān)利發(fā)明申請(qǐng)。

為什么加入我們

1、極客氛圍: 擁抱開(kāi)源技術(shù)，實(shí)踐敏捷開(kāi)發(fā)；

2、最新技術(shù): kubernetes， serverless， tensorflow， microservice；

3、特色福利: 每天下午茶，學(xué)習(xí)成長(zhǎng)基金， 提供 macbook pro；

4、多元文化: 團(tuán)隊(duì)來(lái)自全球十幾個(gè)國(guó)家；

5、龍頭企業(yè): 海外知名企業(yè)；

6、朝陽(yáng)行業(yè): b2b 企業(yè)級(jí)系統(tǒng)， 國(guó)際性 saas 平臺(tái)。

第12篇 手機(jī)應(yīng)用爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

_ 負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)

_ 應(yīng)用多種技術(shù)對(duì)各平臺(tái)進(jìn)行數(shù)據(jù)采集

_ 設(shè)計(jì)數(shù)據(jù)采集策略，提升數(shù)據(jù)采集效率及質(zhì)量

_ 與各行業(yè)分析師溝通，分析項(xiàng)目的可行性和討論抓取方案。

_ 兩年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn)，本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)為佳

_ 熟練掌握c#或java開(kāi)發(fā)語(yǔ)言為佳

_ 了解tcp/ip，http及相關(guān)網(wǎng)絡(luò)協(xié)議

_ 熟悉js / html / _path / json / 正則表達(dá)式等網(wǎng)頁(yè)相關(guān)技術(shù)

_ 熟悉分布式、多線程、緩存、消息隊(duì)列等互聯(lián)網(wǎng)技術(shù)

_ 熟悉手機(jī)應(yīng)用的數(shù)據(jù)抓取，手機(jī)app開(kāi)發(fā)經(jīng)驗(yàn)，加/脫殼經(jīng)驗(yàn)為佳

_ 良好的溝通技能，注重細(xì)節(jié)，抗壓性強(qiáng)

_ 良好的英語(yǔ)溝通技能為佳

第13篇 高級(jí)爬蟲(chóng)工程師職位描述與崗位職責(zé)任職要求

職位描述：

崗位職責(zé)：

1、參與app爬蟲(chóng)項(xiàng)目的架構(gòu)設(shè)計(jì)、研發(fā)工作，改進(jìn)和提升爬蟲(chóng)效率；

2、攻破各種反爬策略；

3、解決各類(lèi)技術(shù)疑難問(wèn)題，包括網(wǎng)絡(luò)問(wèn)題、app分析、反編譯等;

4、與大數(shù)據(jù)工程師對(duì)接，完成實(shí)時(shí)數(shù)據(jù)與離線數(shù)據(jù)的爬取與對(duì)接；

任職資格：

1、計(jì)算機(jī)及相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷，兩年以上相關(guān)工作經(jīng)驗(yàn)；

2、精通至少一種開(kāi)發(fā)語(yǔ)言，如python、java；

3、熟練掌握一種開(kāi)源爬蟲(chóng)框架，如scrapy、webmagic，有研發(fā)爬蟲(chóng)框架經(jīng)驗(yàn)者優(yōu)先；

4、熟悉appium、selenium等技術(shù)；

5、善于獨(dú)立分析并解決核心問(wèn)題，如javascript反爬、爬蟲(chóng)策略、防屏蔽規(guī)則、app爬取、驗(yàn)證碼識(shí)別技術(shù)等；

6、熟悉mysql，?mongodb，?redis，?elasticsearch等數(shù)據(jù)庫(kù)；

7、對(duì)爬蟲(chóng)有濃厚的興趣，責(zé)任感強(qiáng)，有較好的交流溝通能力和團(tuán)隊(duì)合作能力；

8、有app安全、逆向等領(lǐng)域經(jīng)驗(yàn)的優(yōu)先；

第14篇 爬蟲(chóng)技術(shù)經(jīng)理職位描述與崗位職責(zé)任職要求

職位描述：

職位描述：

1、負(fù)責(zé)核心爬蟲(chóng)系統(tǒng)架構(gòu)設(shè)計(jì)、數(shù)據(jù)庫(kù)設(shè)計(jì)；

2、負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)的核心技術(shù)研究和開(kāi)發(fā)，參與各種核心搜索策略、算法、數(shù)據(jù)聚類(lèi)、重組的設(shè)計(jì)與開(kāi)發(fā)；

3、設(shè)計(jì)策略和算法，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量；

4、分析爬蟲(chóng)系統(tǒng)的技術(shù)缺陷，對(duì)策略架構(gòu)做出合理地調(diào)整和改進(jìn)；

崗位要求：

1、 全日制本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)；

2、精通java、c#、go、python其中一種，熟悉常用的信息抓取策略和數(shù)據(jù)重組算法；

3、精通信息抓取和整合技術(shù)，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；

4、熟悉代理技術(shù)、驗(yàn)證碼技術(shù)；

5、熟悉mongodb、hbase、hive等nosql數(shù)據(jù)庫(kù)，了解關(guān)系型數(shù)據(jù)庫(kù)優(yōu)先。

第15篇 高級(jí)python工程師／爬蟲(chóng)／spider職位描述與崗位職責(zé)任職要求

職位描述：

工作內(nèi)容：

1、 基礎(chǔ)系統(tǒng)架構(gòu)、模塊、庫(kù)和組件的研發(fā)；

2、 分布式海量數(shù)據(jù)存儲(chǔ)和分析系統(tǒng)的研發(fā)和調(diào)優(yōu)；

3、統(tǒng)計(jì)分析、報(bào)表、saas業(yè)務(wù)等系統(tǒng)研發(fā)；

4、crm、財(cái)務(wù)結(jié)算、工作流等內(nèi)部管理系統(tǒng)的研發(fā)。

能力要求：

1、至少使用php/java/python等一門(mén)以上語(yǔ)言，開(kāi)發(fā)過(guò)不算太小的項(xiàng)目；

2、熟悉數(shù)據(jù)結(jié)構(gòu)、db、os、web開(kāi)發(fā)等相關(guān)知識(shí)，對(duì)linu_相關(guān)的各類(lèi)技術(shù)情有獨(dú)鐘；

3、有大規(guī)模、高性能互聯(lián)網(wǎng)網(wǎng)站系統(tǒng)相關(guān)的設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先；

4、具備良好的學(xué)習(xí)能力和成長(zhǎng)潛力，渴望和團(tuán)隊(duì)一起快速成長(zhǎng)。

第16篇 資深爬蟲(chóng)工程師崗位職責(zé)及職位要求

資深爬蟲(chóng)工程師職位要求

1、計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，本科及以上學(xué)歷，3年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn)；

2、對(duì)爬蟲(chóng)編程有強(qiáng)烈愛(ài)好，熟練精通掌握至少1種語(yǔ)言java、python，在需要的情況下能快速上手新語(yǔ)言切換；

3、深入理解tpc/ip、http、以及web登錄認(rèn)證的機(jī)制，有成功破解復(fù)雜驗(yàn)證碼的經(jīng)驗(yàn)；

4、有通用分布式爬蟲(chóng)系統(tǒng)架構(gòu)和開(kāi)發(fā)經(jīng)驗(yàn)，能快速部署新的爬蟲(chóng)應(yīng)用；

5、已有2年以上網(wǎng)絡(luò)爬蟲(chóng)或搜索引擎工作經(jīng)驗(yàn)，參與過(guò)大規(guī)模數(shù)據(jù)爬蟲(chóng)優(yōu)先考慮；

6、有app安全、逆向等領(lǐng)域的經(jīng)驗(yàn)；

7、具有良好的溝通、團(tuán)隊(duì)協(xié)作、計(jì)劃能力， 有過(guò)1-2人的團(tuán)隊(duì)管理經(jīng)驗(yàn)。

資深爬蟲(chóng)工程師崗位職責(zé)

1、建設(shè)完善分布式爬蟲(chóng)系統(tǒng)；

2、建立通用的爬蟲(chóng)框架，能夠快速適應(yīng)新的爬蟲(chóng)需求；

3、快速完成對(duì)目標(biāo)資源的數(shù)據(jù)抓取、處理。

第17篇 網(wǎng)絡(luò)爬蟲(chóng)崗位職責(zé)

高級(jí)爬蟲(chóng)開(kāi)發(fā)工程師 職責(zé)描述:

1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略優(yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);

2、熟悉linu_平臺(tái),熟練掌握python或java爬蟲(chóng)開(kāi)發(fā)工作;

3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);

4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);

5、具備良好的編程習(xí)慣和算法基礎(chǔ);

6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。 職責(zé)描述:

1、負(fù)責(zé)公司產(chǎn)品的爬蟲(chóng)架構(gòu)設(shè)計(jì)與開(kāi)發(fā),以及爬蟲(chóng)策略優(yōu)化等工作;

2、根據(jù)數(shù)據(jù)產(chǎn)品需求,負(fù)責(zé)對(duì)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)抓取、清洗、存儲(chǔ)等設(shè)計(jì)開(kāi)發(fā)工作;

任職要求:

1、計(jì)算機(jī)、數(shù)學(xué)或統(tǒng)計(jì)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn);

2、熟悉linu_平臺(tái),熟練掌握python或java爬蟲(chóng)開(kāi)發(fā)工作;

3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規(guī)模文本數(shù)據(jù)的高效信息抽取、清洗、存儲(chǔ)等技術(shù);

4、有反爬相關(guān)問(wèn)題處理經(jīng)驗(yàn),精通常用的爬蟲(chóng)技術(shù)及架構(gòu)設(shè)計(jì),并能快速開(kāi)發(fā)實(shí)現(xiàn);

5、具備良好的編程習(xí)慣和算法基礎(chǔ);

6、善于學(xué)習(xí),熱愛(ài)技術(shù)開(kāi)發(fā),善于團(tuán)隊(duì)協(xié)作,能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。