日本一区二区无卡高清视频_gogo欧美裸体艺术大胆_又爽又黄无遮挡高潮视频网站_热99re久久精品天堂

大模型數(shù)據(jù)爬取、清洗工程師
崗位職責(zé):
為人工智能領(lǐng)域研究提供高質(zhì)量數(shù)據(jù)集，包括但不僅限于以下工作內(nèi)容：
1、負責(zé)設(shè)計、開發(fā)、維護數(shù)據(jù)采集代碼，收集互聯(lián)網(wǎng)公開數(shù)據(jù)
2、負責(zé)指定網(wǎng)頁、小程序、APP等內(nèi)容采集以及抽取和去重等工作
3、負責(zé)合作數(shù)據(jù)對接、數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫等工作
任職要求：
1、2年及以上工作經(jīng)驗計算機相關(guān)專業(yè)，擅長互聯(lián)網(wǎng)數(shù)據(jù)采集、大數(shù)據(jù)處理等一項或多項，富有責(zé)任心。
2、熟練掌握Python語言，對數(shù)據(jù)敏感，具有良好的邏輯分析能力；
3、熟悉Linux系統(tǒng)，精通Python編程語言，熟悉爬蟲原理、常見的反爬蟲技術(shù)和cookie的登錄原理，掌握requests，selenium，scrapy等模塊的用法，
4、熟悉常見的數(shù)據(jù)庫，如redis、mongodb和mysql等其中一種或幾種，有數(shù)據(jù)清洗分析的工作經(jīng)驗，了解大數(shù)據(jù)平臺的基本原理；
5、熟悉多線程、反爬蟲、驗證碼識并精通網(wǎng)頁抓取原理及技術(shù)，熟練使用正則表達式、csspath、xpath等獲取信息；
6、熟悉爬取的各類實現(xiàn)方式和技術(shù)細節(jié)，包括不限于：熟悉常見的反爬策略、掌握網(wǎng)絡(luò)協(xié)議分析（http1.1/http2等）、有JavaScript反爬/逆向（AST）、APP反爬/逆向等；
熱愛技術(shù)，喜歡鉆研，注重代碼質(zhì)量，工作認真細致，有良好的協(xié)作意識；
五天八小時工作制，