我們正在尋找一名熱愛數(shù)據(jù)挖掘和信息收集的爬蟲工程師加入我們的團(tuán)隊(duì)。作為一名爬蟲工程師,你將負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)各種爬蟲程序,并使用這些程序從互聯(lián)網(wǎng)上提取所需的數(shù)據(jù)。你需要具備扎實(shí)的編程技能和對(duì)互聯(lián)網(wǎng)技術(shù)的深刻理解,能夠快速地適應(yīng)不同的平臺(tái),系統(tǒng)和數(shù)據(jù)源。
崗位職責(zé):
1. 負(fù)責(zé)設(shè)計(jì)和開發(fā)高效、可靠的爬蟲系統(tǒng),進(jìn)行多平臺(tái),多渠道的信息抓取和分析工作。
2. 分析和優(yōu)化現(xiàn)有的爬蟲程序,提高其性能和穩(wěn)定性。
3. 解決爬蟲,防爬的技術(shù)疑難問題,應(yīng)對(duì)不同的爬蟲及防爬方案,提升數(shù)據(jù)抓取的效率和質(zhì)量。
4. 根據(jù)需要撰寫相關(guān)文檔和技術(shù)報(bào)告,分享技術(shù)經(jīng)驗(yàn)和心得體會(huì)。
崗位要求:
1. 本科及以上學(xué)歷,在計(jì)算機(jī)科學(xué)、軟件工程或相關(guān)領(lǐng)域擁有扎實(shí)的基礎(chǔ)知識(shí)。
2. 具備至少3年的爬蟲開發(fā)經(jīng)驗(yàn),能夠獨(dú)立完成爬蟲程序的設(shè)計(jì)和開發(fā),熟悉爬蟲原理和常見的反爬技術(shù)。
3. 精通Python編程語言,熟悉其相關(guān)框架和庫,如Scrapy、Requests、Pandas等。
4. 熟悉常見的web技術(shù),如HTML、CSS、JavaScript等,了解網(wǎng)絡(luò)協(xié)議和數(shù)據(jù)格式,熟悉常見的加解密及混淆加固算法。
5. 熟悉并使用各種爬蟲工具和技術(shù),如Scrapy、Beautiful Soup、Selenium等。
6. 具有良好的數(shù)據(jù)分析和處理能力,能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行清洗、挖掘和分析。
7. 具備良好的團(tuán)隊(duì)合作精神、溝通能力和自我驅(qū)動(dòng)力,能夠快速適應(yīng)多變的項(xiàng)目需求。
8. 掌握app加固,脫殼等能力者優(yōu)先。



-
互聯(lián)網(wǎng)·電子商務(wù)
-
200-499人
-
公司性質(zhì)未知
-
安徽省合肥市潛山路新華國際廣場(chǎng)a座17
-
WEB前端中級(jí)工程師 10000-16000元浦口區(qū) 應(yīng)屆畢業(yè)生 本科鈦能科技股份有限公司
-
嵌入式軟件助理工程師 8000-13000元浦口區(qū) 應(yīng)屆畢業(yè)生 本科鈦能科技股份有限公司
-
采購內(nèi)勤文員 面議浦口區(qū) 應(yīng)屆畢業(yè)生 不限南京交韻汽車科技有限公司
-
市場(chǎng)廣培生 10000-15000元浦口區(qū) 應(yīng)屆畢業(yè)生 本科中國平安人壽保險(xiǎn)股份有限公司江蘇分公司
-
施工員 5000-8000元浦口區(qū) 應(yīng)屆畢業(yè)生 大專江蘇東道交通科技集團(tuán)有限公司
-
客戶開發(fā)專員 面議浦口區(qū) 應(yīng)屆畢業(yè)生 不限焦點(diǎn)教育科技有限公司