職位描述
該職位還未進(jìn)行加V認(rèn)證,請仔細(xì)了解后再進(jìn)行投遞!
崗位職責(zé)
1、負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)高效、穩(wěn)定的爬蟲系統(tǒng),提升數(shù)據(jù)采集的效率和質(zhì)量;
2、負(fù)責(zé)多平臺(tái)信息抽取、數(shù)據(jù)清洗、入庫、服務(wù)化等研發(fā)和優(yōu)化工作;
3、解決實(shí)際開發(fā)過程中碰到的各類產(chǎn)品數(shù)據(jù)需求和接口問題。
任職要求
1、統(tǒng)招本科及以上學(xué)歷,熟練使用Python或其他相關(guān)語言進(jìn)行爬蟲開發(fā),擁有扎實(shí)的編碼和調(diào)試能力,并能夠編寫高質(zhì)量的可維護(hù)代碼;
2、熟悉各種爬蟲框架和工具,如Scrapy、BeautifulSoup、Selenium等,能夠根據(jù)需求靈活使用,同時(shí)熟悉反爬蟲機(jī)制的解決方案;
3、具備大規(guī)模分布式爬蟲系統(tǒng)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn),能夠解決分布式爬蟲中的挑戰(zhàn)和問題,如任務(wù)調(diào)度、數(shù)據(jù)同步和去重等;
4、深入理解網(wǎng)絡(luò)協(xié)議和網(wǎng)頁結(jié)構(gòu),能夠處理復(fù)雜的頁面結(jié)構(gòu)和動(dòng)態(tài)內(nèi)容;
5、熟悉數(shù)據(jù)庫的使用,能夠設(shè)計(jì)和優(yōu)化數(shù)據(jù)存儲(chǔ)和查詢方案,具備數(shù)據(jù)清洗和處理的能力。
6、有開源大模型部署及微調(diào)經(jīng)驗(yàn)優(yōu)先
1、負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)高效、穩(wěn)定的爬蟲系統(tǒng),提升數(shù)據(jù)采集的效率和質(zhì)量;
2、負(fù)責(zé)多平臺(tái)信息抽取、數(shù)據(jù)清洗、入庫、服務(wù)化等研發(fā)和優(yōu)化工作;
3、解決實(shí)際開發(fā)過程中碰到的各類產(chǎn)品數(shù)據(jù)需求和接口問題。
任職要求
1、統(tǒng)招本科及以上學(xué)歷,熟練使用Python或其他相關(guān)語言進(jìn)行爬蟲開發(fā),擁有扎實(shí)的編碼和調(diào)試能力,并能夠編寫高質(zhì)量的可維護(hù)代碼;
2、熟悉各種爬蟲框架和工具,如Scrapy、BeautifulSoup、Selenium等,能夠根據(jù)需求靈活使用,同時(shí)熟悉反爬蟲機(jī)制的解決方案;
3、具備大規(guī)模分布式爬蟲系統(tǒng)設(shè)計(jì)和開發(fā)經(jīng)驗(yàn),能夠解決分布式爬蟲中的挑戰(zhàn)和問題,如任務(wù)調(diào)度、數(shù)據(jù)同步和去重等;
4、深入理解網(wǎng)絡(luò)協(xié)議和網(wǎng)頁結(jié)構(gòu),能夠處理復(fù)雜的頁面結(jié)構(gòu)和動(dòng)態(tài)內(nèi)容;
5、熟悉數(shù)據(jù)庫的使用,能夠設(shè)計(jì)和優(yōu)化數(shù)據(jù)存儲(chǔ)和查詢方案,具備數(shù)據(jù)清洗和處理的能力。
6、有開源大模型部署及微調(diào)經(jīng)驗(yàn)優(yōu)先
工作時(shí)間:995
工作地點(diǎn)
地址:北京朝陽區(qū)海航大廈北京市朝陽區(qū)霄云路26號海航大廈


職位發(fā)布者
劉小姐HR
位來小獵(寧波)信息技術(shù)有限公司

-
專業(yè)服務(wù)
-
200-499人
-
私營·民營企業(yè)
-
上海市普陀區(qū)真如山姆
相似職位
-
施工員(帶C證) 面議浦口區(qū) 應(yīng)屆畢業(yè)生 不限江蘇東道交通科技集團(tuán)有限公司
-
月結(jié)寒暑假工 面議浦口區(qū) 應(yīng)屆畢業(yè)生 不限天津吉城美家餐飲配送服務(wù)有限公司
-
項(xiàng)目申報(bào)專員 7000-9000元浦口區(qū) 應(yīng)屆畢業(yè)生 本科江蘇中研創(chuàng)星材料科技有限公司
-
高級技術(shù)支持-單細(xì)胞(博士) 18000-30000元浦口區(qū) 應(yīng)屆畢業(yè)生 博士上海派森諾生物科技股份有限公司
-
WEB前端中級工程師 10000-16000元浦口區(qū) 應(yīng)屆畢業(yè)生 本科鈦能科技股份有限公司
-
嵌入式軟件助理工程師 8000-13000元浦口區(qū) 應(yīng)屆畢業(yè)生 本科鈦能科技股份有限公司