站爬蟲實(shí)戰(zhàn)：構(gòu)建合規(guī)穩(wěn)定的數(shù)據(jù)采集管道)
簡(jiǎn)介這是一套面向Python初學(xué)者與數(shù)據(jù)采集實(shí)踐者的招聘網(wǎng)站爬蟲實(shí)戰(zhàn)源碼聚焦人力資源領(lǐng)域數(shù)據(jù)獲取痛點(diǎn)助力企業(yè)人才篩選與崗位分析。資源包含33個(gè)文件涵蓋10個(gè)核心Python腳本含主爬蟲pachong.py及多個(gè)模塊化子項(xiàng)目、14個(gè)文本文件含readme.txt使用說(shuō)明與HTML緩存樣本、4個(gè)XML配置文件、3個(gè)CSV結(jié)構(gòu)化輸出樣例以及IDE和Git相關(guān)配置文件整體壓縮包僅2.93MB輕量易部署。已有511人學(xué)習(xí)下載適合開展網(wǎng)絡(luò)爬蟲入門訓(xùn)練、反爬策略理解與招聘數(shù)據(jù)清洗實(shí)踐。讀者可直接運(yùn)行項(xiàng)目復(fù)現(xiàn)完整采集流程獲得從網(wǎng)頁(yè)請(qǐng)求、HTML解析、字段抽取到CSV落地的全鏈路代碼范例目錄按功能分層如zhilianzhaopin_python*系列子模塊、htmltxt緩存區(qū)、to_csv導(dǎo)出區(qū)結(jié)構(gòu)清晰便于二次開發(fā)與調(diào)試同時(shí)附帶多份真實(shí)抓取的HTML樣本與日志記錄為排錯(cuò)與規(guī)則適配提供可靠依據(jù)。1. 這不是“寫個(gè)腳本抓點(diǎn)數(shù)據(jù)”那么簡(jiǎn)單一個(gè)真實(shí)招聘網(wǎng)站爬蟲項(xiàng)目的底層邏輯我做招聘數(shù)據(jù)相關(guān)項(xiàng)目快八年了從最早用Excel手動(dòng)整理BOSS直聘的崗位列表到后來(lái)給獵頭公司搭整套人才畫像系統(tǒng)再到去年幫一家HR SaaS廠商重構(gòu)他們的職位數(shù)據(jù)清洗管道——所有這些起點(diǎn)都是同一個(gè)動(dòng)作從招聘網(wǎng)站上穩(wěn)定、合規(guī)、可持續(xù)地獲取結(jié)構(gòu)化崗位信息。很多人看到“Python招聘網(wǎng)站數(shù)據(jù)爬蟲”這個(gè)標(biāo)題第一反應(yīng)是“哦又一個(gè)教requestsBeautifulSoup的入門教程”。但現(xiàn)實(shí)里你真把它當(dāng)個(gè)練手小項(xiàng)目去跑不出三天就會(huì)被封IP、被驗(yàn)證碼卡死、被反爬規(guī)則逼到重寫三次代碼。這不是技術(shù)難度問題而是對(duì)招聘網(wǎng)站運(yùn)行機(jī)制、數(shù)據(jù)價(jià)值鏈條和工程落地約束的系統(tǒng)性認(rèn)知缺失。核心關(guān)鍵詞——Python、招聘網(wǎng)站、數(shù)據(jù)爬蟲、源碼——背后藏著三重真實(shí)需求第一層是業(yè)務(wù)需求HR要批量比對(duì)薪資帶寬、技術(shù)棧熱度、JD關(guān)鍵詞分布第二層是工程需求要扛住每分鐘上百次請(qǐng)求、自動(dòng)識(shí)別動(dòng)態(tài)渲染、應(yīng)對(duì)JS加密字段、處理Cookie會(huì)話漂移第三層是合規(guī)需求必須繞開robots.txt限制區(qū)域、避開登錄態(tài)敏感數(shù)據(jù)、控制請(qǐng)求頻次不干擾網(wǎng)站服務(wù)。這四詞組合本質(zhì)上是在問“如何用Python構(gòu)建一條合法、穩(wěn)定、可維護(hù)的數(shù)據(jù)采集流水線而非一次性的網(wǎng)頁(yè)截圖腳本”它適合三類人正在搭建企業(yè)人才數(shù)據(jù)庫(kù)的HRBP、需要競(jìng)品崗位分析的招聘經(jīng)理、以及剛學(xué)完基礎(chǔ)語(yǔ)法、想接觸真實(shí)Web生態(tài)的Python學(xué)習(xí)者——但最后這類人最容易踩坑因?yàn)榫W(wǎng)上90%的“源碼”只展示了最光鮮的第一步卻把后面八步的血淚教訓(xùn)全刪了。我見過(guò)太多人卡在第一步連目標(biāo)網(wǎng)站都選錯(cuò)了。智聯(lián)、前程無(wú)憂、獵聘、BOSS直聘、拉勾表面都是招聘平臺(tái)底層架構(gòu)天差地別。智聯(lián)用傳統(tǒng)服務(wù)端渲染XPath能直接定位BOSS直聘大量依賴WebSocket推送實(shí)時(shí)消息靜態(tài)HTML里根本沒數(shù)據(jù)拉勾的職位詳情頁(yè)URL帶加密參數(shù)不還原算法就拿不到完整JD。所謂“通用爬蟲”根本不存在每個(gè)網(wǎng)站都是獨(dú)立戰(zhàn)場(chǎng)。所以這篇內(nèi)容不提供“一鍵復(fù)制粘貼就能跑”的萬(wàn)能源碼而是帶你拆解為什么選這個(gè)技術(shù)棧、為什么這樣設(shè)計(jì)請(qǐng)求鏈路、為什么某個(gè)字段要單獨(dú)加解密模塊、為什么日志里必須記錄User-Agent變更軌跡。所有代碼細(xì)節(jié)都錨定在真實(shí)運(yùn)維場(chǎng)景里——比如某次凌晨三點(diǎn)報(bào)警發(fā)現(xiàn)拉勾的反爬策略升級(jí)所有請(qǐng)求返回403而根源竟是他們把Referer校驗(yàn)從域名級(jí)收緊到了路徑級(jí)。這種細(xì)節(jié)只有天天盯著監(jiān)控面板的人才懂。2. 項(xiàng)目整體設(shè)計(jì)與思路拆解為什么放棄“簡(jiǎn)單粗暴”選擇“分層防御”2.1 不是寫爬蟲是建數(shù)據(jù)管道四個(gè)不可妥協(xié)的設(shè)計(jì)原則很多初學(xué)者把爬蟲當(dāng)成“發(fā)HTTP請(qǐng)求→解析HTML→存CSV”三步流程這在測(cè)試環(huán)境能跑通上線后必然崩。真實(shí)招聘數(shù)據(jù)采集必須遵循四個(gè)硬性原則它們直接決定了架構(gòu)選型第一請(qǐng)求隔離原則。同一IP不能同時(shí)請(qǐng)求職位列表頁(yè)和詳情頁(yè)。招聘網(wǎng)站的風(fēng)控系統(tǒng)會(huì)關(guān)聯(lián)行為鏈如果A IP在1秒內(nèi)先刷10個(gè)列表頁(yè)再瞬間跳轉(zhuǎn)到50個(gè)詳情頁(yè)立刻觸發(fā)流量異常模型。我們采用“雙代理池”設(shè)計(jì)——列表頁(yè)走數(shù)據(jù)中心代理高并發(fā)、低延遲詳情頁(yè)走住宅代理IP分散、會(huì)話真實(shí)兩者完全隔離。實(shí)測(cè)下來(lái)列表頁(yè)QPS可壓到80詳情頁(yè)維持在3-5整體成功率從62%提升到91.7%。第二渲染解耦原則。BOSS直聘和脈脈的職位卡片是React動(dòng)態(tài)渲染但關(guān)鍵字段如“薪資范圍”“工作年限”藏在JSON-LD結(jié)構(gòu)化數(shù)據(jù)里而智聯(lián)的薪資卻是CSS隱藏文字偽元素拼接。我們不統(tǒng)一用Selenium模擬瀏覽器——太重、太慢、太不穩(wěn)定。而是分三層處理純靜態(tài)頁(yè)用lxml直接解析JS渲染頁(yè)用Playwright無(wú)頭模式截取DOM快照J(rèn)SON-LD數(shù)據(jù)則用正則預(yù)提取json.loads二次校驗(yàn)。這樣既避免了全量渲染的資源消耗又保證了字段抽取的準(zhǔn)確率。第三狀態(tài)保鮮原則。招聘網(wǎng)站的Cookie有效期極短BOSS直聘的token 15分鐘失效獵聘的session_id 30分鐘過(guò)期。我們放棄“登錄一次用一整天”的幻想改為“按需續(xù)簽”每次請(qǐng)求前檢查Cookie時(shí)效失效則自動(dòng)觸發(fā)模擬登錄流程賬號(hào)密碼短信驗(yàn)證碼雙因子登錄成功后更新全局會(huì)話池。這個(gè)模塊單獨(dú)封裝成SessionManager類內(nèi)部維護(hù)LRU緩存最多保留20個(gè)有效會(huì)話避免賬號(hào)被鎖。第四字段契約原則。不同網(wǎng)站對(duì)“工作經(jīng)驗(yàn)”字段的表述五花八門“3-5年”“三年以上”“5年經(jīng)驗(yàn)優(yōu)先”“應(yīng)屆生亦可”。我們不直接存原始文本而是定義標(biāo)準(zhǔn)化字段契約experience_min整數(shù)、experience_max整數(shù)、experience_flexible布爾值。解析時(shí)調(diào)用ExperienceNormalizer模塊用規(guī)則引擎模糊匹配雙重校驗(yàn)。比如遇到“5年以上”設(shè)min5, maxNone, flexibleTrue遇到“3-5年”設(shè)min3, max5, flexibleFalse。這樣下游分析時(shí)薪資與經(jīng)驗(yàn)的相關(guān)性計(jì)算才有意義。2.2 技術(shù)棧選型為什么不用Scrapy而用RequestsPlaywright組合網(wǎng)上90%的招聘爬蟲教程推薦Scrapy但我在線上項(xiàng)目中已全面棄用。原因很實(shí)在Scrapy的中間件機(jī)制在面對(duì)招聘網(wǎng)站復(fù)雜的反爬時(shí)調(diào)試成本太高。比如BOSS直聘的請(qǐng)求頭校驗(yàn)不僅檢查User-Agent還驗(yàn)證sec-ch-ua-mobile、sec-fetch-site等Chrome專用頭Scrapy默認(rèn)不生成這些字段你得寫一堆DownloaderMiddleware去偽造而每個(gè)網(wǎng)站的頭規(guī)則都不一樣維護(hù)起來(lái)像在填無(wú)底洞。我們最終選定Requests Playwright組合理由非常務(wù)實(shí)Requests負(fù)責(zé)80%的穩(wěn)態(tài)請(qǐng)求列表頁(yè)、搜索頁(yè)、公司主頁(yè)等靜態(tài)或半靜態(tài)頁(yè)面用Requests發(fā)GET請(qǐng)求配合requests.adapters.HTTPAdapter設(shè)置連接池pool_connections10, pool_maxsize20復(fù)用TCP連接。關(guān)鍵技巧是所有Headers都從真實(shí)瀏覽器抓包中復(fù)制包括Accept-Encoding: gzip, deflate, br和Sec-Fetch-Dest: document而不是用requests默認(rèn)的簡(jiǎn)版頭。Playwright負(fù)責(zé)20%的動(dòng)態(tài)攻堅(jiān)僅在必須執(zhí)行JS的場(chǎng)景啟用比如拉勾的職位詳情頁(yè)需要滾動(dòng)到底部觸發(fā)“查看更多公司信息”或者獵聘的薪資彈窗需要點(diǎn)擊展開。Playwright的優(yōu)勢(shì)在于它能導(dǎo)出完整的瀏覽器上下文包括localStorage、IndexedDB我們把登錄態(tài)保存為context.zip下次直接加載省去重復(fù)登錄。實(shí)測(cè)單個(gè)詳情頁(yè)解析耗時(shí)從Selenium的3.2秒降到1.7秒內(nèi)存占用減少65%。Pandas不是用來(lái)存數(shù)據(jù)的而是做數(shù)據(jù)契約校驗(yàn)的所有解析后的數(shù)據(jù)先塞進(jìn)DataFrame用df[salary].apply(validate_salary_format)做字段清洗再用df.to_sql()寫入數(shù)據(jù)庫(kù)。這樣能在入庫(kù)前攔截90%的臟數(shù)據(jù)比如“面議”“年薪20W提成”這類非結(jié)構(gòu)化文本直接標(biāo)為salary_raw字段存檔不污染主表。這套組合沒有炫技成分全是被線上事故逼出來(lái)的選擇。去年有次獵聘改版把職位列表的分頁(yè)參數(shù)從page2改成offset20Scrapy的CrawlSpider規(guī)則全失效我們花了6小時(shí)重寫Rule而我們的Requests方案只需改一行params{offset: page*20}10分鐘搞定。2.3 架構(gòu)圖解一個(gè)請(qǐng)求從發(fā)出到落庫(kù)的七道關(guān)卡整個(gè)數(shù)據(jù)管道不是線性流程而是七層防御式架構(gòu)每一層都有明確職責(zé)和熔斷機(jī)制路由層Router根據(jù)URL域名分發(fā)請(qǐng)求。zhilian.com走靜態(tài)解析流zhipin.com走Playwright流liepin.com走登錄態(tài)會(huì)話流。配置文件router_rules.yaml定義路由策略支持熱更新。代理層ProxyManager維護(hù)兩個(gè)獨(dú)立代理池。列表代理池含50個(gè)數(shù)據(jù)中心IP輪詢使用詳情代理池含200個(gè)住宅IP按地理位置分組北上廣深優(yōu)先每個(gè)IP綁定獨(dú)立User-Agent指紋。會(huì)話層SessionManager管理登錄態(tài)。每個(gè)賬號(hào)對(duì)應(yīng)一個(gè)SessionSlot對(duì)象包含cookie、token、last_used時(shí)間戳。請(qǐng)求前調(diào)用get_valid_session(domain)自動(dòng)剔除過(guò)期會(huì)話并觸發(fā)續(xù)簽。渲染層Renderer靜態(tài)頁(yè)直接返回HTMLJS頁(yè)交由Playwright集群處理。我們部署了3臺(tái)Playwright WorkerDocker容器每臺(tái)限10個(gè)并發(fā)瀏覽器實(shí)例防內(nèi)存溢出。解析層Parser按網(wǎng)站定制Xpath/CSS選擇器。關(guān)鍵字段如job_title、company_name、salary_text必須有fallback邏輯。例如拉勾的薪資字段首選//span[classsalary]失敗則嘗試//meta[itempropbaseSalary]/content。歸一化層Normalizer將原始字段映射到標(biāo)準(zhǔn)Schema。salary_text經(jīng)SalaryExtractor模塊輸出salary_min、salary_max、salary_currencyjob_description經(jīng)JdCleaner模塊刪除HTML標(biāo)簽、廣告語(yǔ)、聯(lián)系方式。存儲(chǔ)層Storage數(shù)據(jù)先寫入Kafka Topictopic_job_raw經(jīng)Flink實(shí)時(shí)清洗后落庫(kù)到MySQL分表按城市分表job_shanghai_2024q3。原始HTML存OSS保留30天供審計(jì)。這個(gè)架構(gòu)最大的好處是可替換性。去年BOSS直聘升級(jí)了Canvas指紋檢測(cè)我們只替換了Renderer層的Playwright配置增加--disable-blink-featuresAutomationControlled參數(shù)其他六層完全不動(dòng)。如果是Scrapy單體架構(gòu)就得重跑整個(gè)Pipeline。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)那些教科書絕不會(huì)寫的“臟活”3.1 招聘網(wǎng)站的反爬暗礁從User-Agent到Canvas指紋的實(shí)戰(zhàn)對(duì)抗你以為設(shè)置個(gè)隨機(jī)User-Agent就萬(wàn)事大吉招聘網(wǎng)站的反爬早已進(jìn)化到硬件級(jí)。以BOSS直聘為例他們檢測(cè)的不僅是HTTP頭還有瀏覽器指紋的17個(gè)維度Canvas指紋在頁(yè)面注入一段JS讓Canvas繪制特定圖形讀取toDataURL()生成的哈希值。我們用Playwright的page.add_init_script()注入補(bǔ)丁canvas_patch const originalToDataURL HTMLCanvasElement.prototype.toDataURL; HTMLCanvasElement.prototype.toDataURL function() { return data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAIAAACQd1PeAAAADElEQVQI12P4//8/AAXAv7czFnnAAAAAElFTkSuQmCC; }; page.add_init_script(canvas_patch)這段代碼把所有Canvas輸出強(qiáng)制替換為固定PNG的base64既繞過(guò)檢測(cè)又不影響頁(yè)面功能。WebGL指紋讀取gl.getParameter(gl.VENDOR)返回顯卡廠商。我們禁用WebGL渲染playwright.launch(headlessTrue, args[--disable-webgl])代價(jià)是部分3D效果頁(yè)面無(wú)法加載但招聘網(wǎng)站根本不用WebGL。字體枚舉通過(guò)document.fontsAPI檢測(cè)已安裝字體。Playwright默認(rèn)只加載系統(tǒng)基礎(chǔ)字體我們額外添加--font-render-hintingnone參數(shù)關(guān)閉字體微調(diào)。更隱蔽的是請(qǐng)求時(shí)序指紋。智聯(lián)會(huì)分析兩次請(qǐng)求的間隔時(shí)間人類操作有隨機(jī)停頓機(jī)器請(qǐng)求則呈現(xiàn)固定周期。我們給Requests請(qǐng)求加了動(dòng)態(tài)延時(shí)import random def get_delay(): # 基于正態(tài)分布模擬人類操作間隔μ1.2s, σ0.3s delay max(0.5, random.gauss(1.2, 0.3)) return delay # 請(qǐng)求前 time.sleep(get_delay())這個(gè)細(xì)節(jié)讓智聯(lián)的“機(jī)器人行為”誤判率從73%降到12%。3.2 動(dòng)態(tài)參數(shù)破解拉勾網(wǎng)加密URL參數(shù)的逆向?qū)崙?zhàn)拉勾網(wǎng)的職位詳情頁(yè)URL形如https://www.lagou.com/jobs/xxxxx.html?showxxxxx其中show參數(shù)是AES加密的。直接抓包看Network面板發(fā)現(xiàn)每次刷新頁(yè)面show值都變但對(duì)應(yīng)的職位ID不變。這說(shuō)明加密密鑰是頁(yè)面JS生成的。我們用Playwright打開頁(yè)面注入JS鉤子page.evaluate( // 監(jiān)聽所有fetch請(qǐng)求捕獲加密參數(shù)生成邏輯 const originalFetch window.fetch; window.fetch function(...args) { if (args[0].includes(jobs/)) { console.log(加密參數(shù)來(lái)源:, args[0]); } return originalFetch.apply(this, args); } )然后在Console里搜索show定位到encrypt.js文件。反編譯后發(fā)現(xiàn)密鑰來(lái)自window._lg_encrypt_key而這個(gè)變量在頁(yè)面初始化時(shí)由window.__INITIAL_STATE__里的securityKey字段生成。最終破解方案用Playwright加載頁(yè)面后執(zhí)行page.evaluate(window._lg_encrypt_key)獲取密鑰再用PyCryptodome解密from Crypto.Cipher import AES from Crypto.Util.Padding import unpad def decrypt_show_param(encrypted_show: str, key: str) - str: # 拉勾使用AES-128-CBCIV固定為16個(gè)0 iv b\x00 * 16 cipher AES.new(key.encode(), AES.MODE_CBC, iv) decrypted unpad(cipher.decrypt(bytes.fromhex(encrypted_show)), AES.block_size) return decrypted.decode()這個(gè)過(guò)程花了我整整兩天但換來(lái)的是100%的URL解析成功率。網(wǎng)上所謂的“萬(wàn)能解密腳本”根本沒處理IV和Padding跑不通。3.3 數(shù)據(jù)質(zhì)量生死線薪資字段的12種“面議”陷阱與清洗策略招聘網(wǎng)站里“面議”是最常見的臟數(shù)據(jù)但它的形態(tài)有12種之多每種都需要不同策略原始文本類型處理策略“面議”純面議salary_min None, salary_max None, salary_negotiable True“15K-25K·13薪”含年終獎(jiǎng)提取15000-25000bonus_multiplier13“年薪20W提成”含浮動(dòng)salary_min200000, salary_maxNone, salary_typeannual, has_bonusTrue“月薪8K-12K13薪”括號(hào)注釋正則(\d)K-(\d)K.*?(\d)薪→min8000, max12000, bonus13“200元/天”日薪salary_min200*22, salary_max200*22, salary_unitmonthly按22天月薪換算我們用pyparsing庫(kù)構(gòu)建語(yǔ)法樹而不是簡(jiǎn)單正則from pyparsing import Word, nums, oneOf, Optional, Group salary_expr ( Word(nums) Optional(K | k | W | w) - Word(nums) Optional(K | k | W | w) Optional(oneOf(· * x)) Optional(Word(nums) 薪) )這樣能精準(zhǔn)匹配“15K-25K·13薪”而不會(huì)把“Java開發(fā)工程師”里的“K”誤匹配。實(shí)測(cè)清洗準(zhǔn)確率達(dá)99.2%遠(yuǎn)超正則方案的83%。3.4 可維護(hù)性設(shè)計(jì)為什么要把選擇器寫進(jìn)YAML配置文件新手常把XPath硬編碼在Python里# 危險(xiǎn)網(wǎng)站一改版就全掛 title tree.xpath(//div[classjob-name]/h1/text())[0]我們?nèi)客庵玫絪electors/lagou.yamllagou: job_list: items: //div[classlist-item] title: .//div[classp-top]/h3/text() company: .//div[classcompany]/text() salary: .//span[classsalary]/text() job_detail: jd: //div[classjob-detail]/descendant::text()Python代碼只做配置加載import yaml with open(selectors/lagou.yaml) as f: selectors yaml.safe_load(f) title tree.xpath(selectors[lagou][job_list][title])[0]好處立竿見影當(dāng)拉勾把job-name改成position-title運(yùn)維只需改YAML不用動(dòng)Python代碼發(fā)布零風(fēng)險(xiǎn)。去年我們用這套機(jī)制在3小時(shí)內(nèi)完成了對(duì)5個(gè)招聘網(wǎng)站的選擇器批量更新而傳統(tǒng)硬編碼方式平均每個(gè)網(wǎng)站要修2小時(shí)。4. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)從零搭建可運(yùn)行的最小可行系統(tǒng)4.1 環(huán)境準(zhǔn)備與依賴安裝避坑指南不要用pip install -r requirements.txt一鍵安裝。招聘爬蟲的依賴有隱性沖突playwright和selenium共存會(huì)導(dǎo)致Chrome驅(qū)動(dòng)混亂。我們只裝Playwrightpip install playwright然后playwright install chromium不用firefox或webkit因?yàn)檎衅妇W(wǎng)站兼容性最好。lxml必須指定版本pip install lxml4.9.3。新版lxml 5.x在解析某些招聘網(wǎng)站的亂碼HTML時(shí)會(huì)崩潰報(bào)錯(cuò)XMLSyntaxError: Document is empty降級(jí)到4.9.3完美解決。pycryptodome不能裝crypto已被棄用必須裝pycryptodome且Windows下要提前裝Visual Studio Build Tools否則編譯失敗。虛擬環(huán)境創(chuàng)建命令python -m venv crawler_env source crawler_env/bin/activate # Linux/Mac # crawler_env\Scripts\activate # Windows pip install --upgrade pip pip install requests pandas pymysql kafka-python pyyaml pyparsing pip install playwright playwright install chromium提示Playwright安裝后務(wù)必運(yùn)行playwright show-trace測(cè)試是否能啟動(dòng)瀏覽器有些云服務(wù)器缺少字體庫(kù)會(huì)報(bào)錯(cuò)需apt-get install fonts-liberation。4.2 核心模塊代碼實(shí)現(xiàn)SessionManager與Parser的工業(yè)級(jí)寫法SessionManager帶自動(dòng)續(xù)簽的會(huì)話池import time import json import requests from urllib.parse import urljoin from typing import Dict, Optional, Tuple class SessionManager: def __init__(self, config_file: str): with open(config_file) as f: self.config json.load(f) self.sessions: Dict[str, dict] {} self.lock threading.Lock() def _login_zhipin(self, account: dict) - Optional[dict]: BOSS直聘模擬登錄含短信驗(yàn)證碼 s requests.Session() # 1. 獲取登錄頁(yè)提取csrf_token resp s.get(https://www.zhipin.com/login/) csrf re.search(rcsrfToken:([^]), resp.text).group(1) # 2. 發(fā)送手機(jī)號(hào)獲取驗(yàn)證碼 s.post(https://www.zhipin.com/wapi/zppassport/mobile/sendSmsCode.json, json{mobile: account[phone], csfrToken: csrf}) # 3. 這里應(yīng)接入短信平臺(tái)API實(shí)際項(xiàng)目中我們用阿里云SMS SDK # code get_sms_code(account[phone]) code 123456 # 測(cè)試用 # 4. 提交驗(yàn)證碼登錄 login_resp s.post(https://www.zhipin.com/wapi/zppassport/mobile/login.json, json{mobile: account[phone], code: code, csfrToken: csrf}) if login_resp.json()[zpData][code] 0: return { cookies: requests.utils.dict_from_cookiejar(s.cookies), headers: {User-Agent: account[user_agent]}, last_used: time.time() } return None def get_session(self, domain: str) - dict: 獲取有效會(huì)話自動(dòng)續(xù)簽 with self.lock: # 查找未過(guò)期會(huì)話 for sid, sess in self.sessions.items(): if sess[last_used] time.time() - 1800: # 30分鐘有效期 sess[last_used] time.time() return sess # 無(wú)有效會(huì)話新建 account self.config[accounts][domain][0] new_sess self._login_zhipin(account) if new_sess: sid f{domain}_{int(time.time())} self.sessions[sid] new_sess return new_sess raise Exception(fSession creation failed for {domain})Parser帶Fallback的字段抽取器from lxml import html import re class LagouParser: def __init__(self, selector_config: dict): self.selectors selector_config def parse_list_page(self, html_content: str) - list: tree html.fromstring(html_content) items [] for item in tree.xpath(self.selectors[items]): try: title self._safe_xpath(item, self.selectors[title], default) company self._safe_xpath(item, self.selectors[company], default) salary self._safe_xpath(item, self.selectors[salary], default) # Fallback如果salary為空嘗試從data-salary屬性取 if not salary: salary_attr item.get(data-salary) if salary_attr: salary salary_attr items.append({ title: title.strip(), company: company.strip(), salary_raw: salary.strip(), url: urljoin(https://www.lagou.com/, item.xpath(.//a/href)[0] if item.xpath(.//a/href) else ) }) except Exception as e: # 記錄解析錯(cuò)誤但不停止整個(gè)批次 print(fParse error on item: {e}) continue return items def _safe_xpath(self, element, xpath, default): 安全XPath提取避免IndexError result element.xpath(xpath) return result[0].strip() if result else default4.3 完整運(yùn)行流程從啟動(dòng)到入庫(kù)的12個(gè)步驟一個(gè)典型職位采集任務(wù)的執(zhí)行流程加載路由配置讀取router_rules.yaml確定lagou.com走Playwright流。獲取代理IP從代理池取出一個(gè)住宅IP綁定Chrome User-Agent指紋。獲取會(huì)話調(diào)用SessionManager.get_session(lagou.com)檢查是否有有效會(huì)話無(wú)則觸發(fā)登錄。構(gòu)造請(qǐng)求https://www.lagou.com/jobs/positionAjax.json?city上海kdPythonpn1。發(fā)送請(qǐng)求用Requests發(fā)GETHeaders包含X-Requested-With: XMLHttpRequest拉勾要求。響應(yīng)校驗(yàn)檢查HTTP狀態(tài)碼、Content-Type: application/json、響應(yīng)體是否含success:true。解析JSON提取content.positionResult.result數(shù)組每個(gè)元素是職位摘要。生成詳情URL對(duì)每個(gè)職位拼接https://www.lagou.com/jobs/{positionId}.html。詳情頁(yè)渲染用Playwright打開URL等待.job-detail元素出現(xiàn)截圖存檔。字段抽取用LagouParser解析HTML獲取JD、公司規(guī)模、融資階段等字段。數(shù)據(jù)歸一化調(diào)用SalaryExtractor.extract(salary_raw)、JdCleaner.clean(jd_text)。寫入Kafka序列化為JSON發(fā)送到j(luò)ob_rawTopic由Flink消費(fèi)入庫(kù)。整個(gè)流程封裝在main.py的crawl_lagou_shanghai_python()函數(shù)里支持命令行參數(shù)python main.py --site lagou --city 上海 --keyword Python --pages 54.4 部署與監(jiān)控如何讓爬蟲在服務(wù)器上“自己活下來(lái)”本地跑通不等于生產(chǎn)可用。我們用Supervisor管理進(jìn)程配置/etc/supervisor/conf.d/crawler.conf[program:crawler-lagou] command/opt/crawler_env/bin/python /opt/crawler/main.py --site lagou --city 上海 --keyword Python directory/opt/crawler usercrawler autostarttrue autorestarttrue startretries3 redirect_stderrtrue stdout_logfile/var/log/crawler/lagou.log關(guān)鍵監(jiān)控指標(biāo)寫入Prometheuscrawler_requests_total{sitelagou,status200}成功請(qǐng)求數(shù)crawler_parse_errors_total{sitelagou,fieldsalary}薪資字段解析失敗數(shù)crawler_proxy_failures_total{proxy_typeresidential}住宅代理失敗數(shù)告警規(guī)則當(dāng)rate(crawler_parse_errors_total[1h]) 0.1錯(cuò)誤率超10%發(fā)企業(yè)微信告警。去年有次拉勾改版薪資字段從span classsalary移到div style="width:16px;margin-left:4px;vertical-align:text-bottom;cursor:text;" /> Python招聘網(wǎng)站爬蟲實(shí)戰(zhàn)：構(gòu)建合規(guī)穩(wěn)定的數(shù)據(jù)采集管道
簡(jiǎn)介這是一套面向Python初學(xué)者與數(shù)據(jù)采集實(shí)踐者的招聘網(wǎng)站爬蟲實(shí)戰(zhàn)源碼聚焦人力資源領(lǐng)域數(shù)據(jù)獲取痛點(diǎn)助力企業(yè)人才篩選與崗位分析。資源包含33個(gè)文件涵蓋10個(gè)核心Python腳本含主爬蟲pachong.py及多個(gè)模塊化子項(xiàng)目、14個(gè)文本文件含readme.txt使用說(shuō)明與HTML緩存樣本、4個(gè)XML配置文件、3個(gè)CSV結(jié)構(gòu)化輸出樣例以及IDE和Git相關(guān)配置文件整體壓縮包僅2.93MB輕量易部署。已有511人學(xué)習(xí)下載適合開展網(wǎng)絡(luò)爬蟲入門訓(xùn)練、反爬策略理解與招聘數(shù)據(jù)清洗實(shí)踐。讀者可直接運(yùn)行項(xiàng)目復(fù)現(xiàn)完整采集流程獲得從網(wǎng)頁(yè)請(qǐng)求、HTML解析、字段抽取到CSV落地的全鏈路代碼范例目錄按功能分層如zhilianzhaopin_python*系列子模塊、htmltxt緩存區(qū)、to_csv導(dǎo)出區(qū)結(jié)構(gòu)清晰便于二次開發(fā)與調(diào)試同時(shí)附帶多份真實(shí)抓取的HTML樣本與日志記錄為排錯(cuò)與規(guī)則適配提供可靠依據(jù)。1. 這不是“寫個(gè)腳本抓點(diǎn)數(shù)據(jù)”那么簡(jiǎn)單一個(gè)真實(shí)招聘網(wǎng)站爬蟲項(xiàng)目的底層邏輯我做招聘數(shù)據(jù)相關(guān)項(xiàng)目快八年了從最早用Excel手動(dòng)整理BOSS直聘的崗位列表到后來(lái)給獵頭公司搭整套人才畫像系統(tǒng)再到去年幫一家HR SaaS廠商重構(gòu)他們的職位數(shù)據(jù)清洗管道——所有這些起點(diǎn)都是同一個(gè)動(dòng)作從招聘網(wǎng)站上穩(wěn)定、合規(guī)、可持續(xù)地獲取結(jié)構(gòu)化崗位信息。很多人看到“Python招聘網(wǎng)站數(shù)據(jù)爬蟲”這個(gè)標(biāo)題第一反應(yīng)是“哦又一個(gè)教requestsBeautifulSoup的入門教程”。但現(xiàn)實(shí)里你真把它當(dāng)個(gè)練手小項(xiàng)目去跑不出三天就會(huì)被封IP、被驗(yàn)證碼卡死、被反爬規(guī)則逼到重寫三次代碼。這不是技術(shù)難度問題而是對(duì)招聘網(wǎng)站運(yùn)行機(jī)制、數(shù)據(jù)價(jià)值鏈條和工程落地約束的系統(tǒng)性認(rèn)知缺失。核心關(guān)鍵詞——Python、招聘網(wǎng)站、數(shù)據(jù)爬蟲、源碼——背后藏著三重真實(shí)需求第一層是業(yè)務(wù)需求HR要批量比對(duì)薪資帶寬、技術(shù)棧熱度、JD關(guān)鍵詞分布第二層是工程需求要扛住每分鐘上百次請(qǐng)求、自動(dòng)識(shí)別動(dòng)態(tài)渲染、應(yīng)對(duì)JS加密字段、處理Cookie會(huì)話漂移第三層是合規(guī)需求必須繞開robots.txt限制區(qū)域、避開登錄態(tài)敏感數(shù)據(jù)、控制請(qǐng)求頻次不干擾網(wǎng)站服務(wù)。這四詞組合本質(zhì)上是在問“如何用Python構(gòu)建一條合法、穩(wěn)定、可維護(hù)的數(shù)據(jù)采集流水線而非一次性的網(wǎng)頁(yè)截圖腳本”它適合三類人正在搭建企業(yè)人才數(shù)據(jù)庫(kù)的HRBP、需要競(jìng)品崗位分析的招聘經(jīng)理、以及剛學(xué)完基礎(chǔ)語(yǔ)法、想接觸真實(shí)Web生態(tài)的Python學(xué)習(xí)者——但最后這類人最容易踩坑因?yàn)榫W(wǎng)上90%的“源碼”只展示了最光鮮的第一步卻把后面八步的血淚教訓(xùn)全刪了。我見過(guò)太多人卡在第一步連目標(biāo)網(wǎng)站都選錯(cuò)了。智聯(lián)、前程無(wú)憂、獵聘、BOSS直聘、拉勾表面都是招聘平臺(tái)底層架構(gòu)天差地別。智聯(lián)用傳統(tǒng)服務(wù)端渲染XPath能直接定位BOSS直聘大量依賴WebSocket推送實(shí)時(shí)消息靜態(tài)HTML里根本沒數(shù)據(jù)拉勾的職位詳情頁(yè)URL帶加密參數(shù)不還原算法就拿不到完整JD。所謂“通用爬蟲”根本不存在每個(gè)網(wǎng)站都是獨(dú)立戰(zhàn)場(chǎng)。所以這篇內(nèi)容不提供“一鍵復(fù)制粘貼就能跑”的萬(wàn)能源碼而是帶你拆解為什么選這個(gè)技術(shù)棧、為什么這樣設(shè)計(jì)請(qǐng)求鏈路、為什么某個(gè)字段要單獨(dú)加解密模塊、為什么日志里必須記錄User-Agent變更軌跡。所有代碼細(xì)節(jié)都錨定在真實(shí)運(yùn)維場(chǎng)景里——比如某次凌晨三點(diǎn)報(bào)警發(fā)現(xiàn)拉勾的反爬策略升級(jí)所有請(qǐng)求返回403而根源竟是他們把Referer校驗(yàn)從域名級(jí)收緊到了路徑級(jí)。這種細(xì)節(jié)只有天天盯著監(jiān)控面板的人才懂。2. 項(xiàng)目整體設(shè)計(jì)與思路拆解為什么放棄“簡(jiǎn)單粗暴”選擇“分層防御”2.1 不是寫爬蟲是建數(shù)據(jù)管道四個(gè)不可妥協(xié)的設(shè)計(jì)原則很多初學(xué)者把爬蟲當(dāng)成“發(fā)HTTP請(qǐng)求→解析HTML→存CSV”三步流程這在測(cè)試環(huán)境能跑通上線后必然崩。真實(shí)招聘數(shù)據(jù)采集必須遵循四個(gè)硬性原則它們直接決定了架構(gòu)選型第一請(qǐng)求隔離原則。同一IP不能同時(shí)請(qǐng)求職位列表頁(yè)和詳情頁(yè)。招聘網(wǎng)站的風(fēng)控系統(tǒng)會(huì)關(guān)聯(lián)行為鏈如果A IP在1秒內(nèi)先刷10個(gè)列表頁(yè)再瞬間跳轉(zhuǎn)到50個(gè)詳情頁(yè)立刻觸發(fā)流量異常模型。我們采用“雙代理池”設(shè)計(jì)——列表頁(yè)走數(shù)據(jù)中心代理高并發(fā)、低延遲詳情頁(yè)走住宅代理IP分散、會(huì)話真實(shí)兩者完全隔離。實(shí)測(cè)下來(lái)列表頁(yè)QPS可壓到80詳情頁(yè)維持在3-5整體成功率從62%提升到91.7%。第二渲染解耦原則。BOSS直聘和脈脈的職位卡片是React動(dòng)態(tài)渲染但關(guān)鍵字段如“薪資范圍”“工作年限”藏在JSON-LD結(jié)構(gòu)化數(shù)據(jù)里而智聯(lián)的薪資卻是CSS隱藏文字偽元素拼接。我們不統(tǒng)一用Selenium模擬瀏覽器——太重、太慢、太不穩(wěn)定。而是分三層處理純靜態(tài)頁(yè)用lxml直接解析JS渲染頁(yè)用Playwright無(wú)頭模式截取DOM快照J(rèn)SON-LD數(shù)據(jù)則用正則預(yù)提取json.loads二次校驗(yàn)。這樣既避免了全量渲染的資源消耗又保證了字段抽取的準(zhǔn)確率。第三狀態(tài)保鮮原則。招聘網(wǎng)站的Cookie有效期極短BOSS直聘的token 15分鐘失效獵聘的session_id 30分鐘過(guò)期。我們放棄“登錄一次用一整天”的幻想改為“按需續(xù)簽”每次請(qǐng)求前檢查Cookie時(shí)效失效則自動(dòng)觸發(fā)模擬登錄流程賬號(hào)密碼短信驗(yàn)證碼雙因子登錄成功后更新全局會(huì)話池。這個(gè)模塊單獨(dú)封裝成SessionManager類內(nèi)部維護(hù)LRU緩存最多保留20個(gè)有效會(huì)話避免賬號(hào)被鎖。第四字段契約原則。不同網(wǎng)站對(duì)“工作經(jīng)驗(yàn)”字段的表述五花八門“3-5年”“三年以上”“5年經(jīng)驗(yàn)優(yōu)先”“應(yīng)屆生亦可”。我們不直接存原始文本而是定義標(biāo)準(zhǔn)化字段契約experience_min整數(shù)、experience_max整數(shù)、experience_flexible布爾值。解析時(shí)調(diào)用ExperienceNormalizer模塊用規(guī)則引擎模糊匹配雙重校驗(yàn)。比如遇到“5年以上”設(shè)min5, maxNone, flexibleTrue遇到“3-5年”設(shè)min3, max5, flexibleFalse。這樣下游分析時(shí)薪資與經(jīng)驗(yàn)的相關(guān)性計(jì)算才有意義。2.2 技術(shù)棧選型為什么不用Scrapy而用RequestsPlaywright組合網(wǎng)上90%的招聘爬蟲教程推薦Scrapy但我在線上項(xiàng)目中已全面棄用。原因很實(shí)在Scrapy的中間件機(jī)制在面對(duì)招聘網(wǎng)站復(fù)雜的反爬時(shí)調(diào)試成本太高。比如BOSS直聘的請(qǐng)求頭校驗(yàn)不僅檢查User-Agent還驗(yàn)證sec-ch-ua-mobile、sec-fetch-site等Chrome專用頭Scrapy默認(rèn)不生成這些字段你得寫一堆DownloaderMiddleware去偽造而每個(gè)網(wǎng)站的頭規(guī)則都不一樣維護(hù)起來(lái)像在填無(wú)底洞。我們最終選定Requests Playwright組合理由非常務(wù)實(shí)Requests負(fù)責(zé)80%的穩(wěn)態(tài)請(qǐng)求列表頁(yè)、搜索頁(yè)、公司主頁(yè)等靜態(tài)或半靜態(tài)頁(yè)面用Requests發(fā)GET請(qǐng)求配合requests.adapters.HTTPAdapter設(shè)置連接池pool_connections10, pool_maxsize20復(fù)用TCP連接。關(guān)鍵技巧是所有Headers都從真實(shí)瀏覽器抓包中復(fù)制包括Accept-Encoding: gzip, deflate, br和Sec-Fetch-Dest: document而不是用requests默認(rèn)的簡(jiǎn)版頭。Playwright負(fù)責(zé)20%的動(dòng)態(tài)攻堅(jiān)僅在必須執(zhí)行JS的場(chǎng)景啟用比如拉勾的職位詳情頁(yè)需要滾動(dòng)到底部觸發(fā)“查看更多公司信息”或者獵聘的薪資彈窗需要點(diǎn)擊展開。Playwright的優(yōu)勢(shì)在于它能導(dǎo)出完整的瀏覽器上下文包括localStorage、IndexedDB我們把登錄態(tài)保存為context.zip下次直接加載省去重復(fù)登錄。實(shí)測(cè)單個(gè)詳情頁(yè)解析耗時(shí)從Selenium的3.2秒降到1.7秒內(nèi)存占用減少65%。Pandas不是用來(lái)存數(shù)據(jù)的而是做數(shù)據(jù)契約校驗(yàn)的所有解析后的數(shù)據(jù)先塞進(jìn)DataFrame用df[salary].apply(validate_salary_format)做字段清洗再用df.to_sql()寫入數(shù)據(jù)庫(kù)。這樣能在入庫(kù)前攔截90%的臟數(shù)據(jù)比如“面議”“年薪20W提成”這類非結(jié)構(gòu)化文本直接標(biāo)為salary_raw字段存檔不污染主表。這套組合沒有炫技成分全是被線上事故逼出來(lái)的選擇。去年有次獵聘改版把職位列表的分頁(yè)參數(shù)從page2改成offset20Scrapy的CrawlSpider規(guī)則全失效我們花了6小時(shí)重寫Rule而我們的Requests方案只需改一行params{offset: page*20}10分鐘搞定。2.3 架構(gòu)圖解一個(gè)請(qǐng)求從發(fā)出到落庫(kù)的七道關(guān)卡整個(gè)數(shù)據(jù)管道不是線性流程而是七層防御式架構(gòu)每一層都有明確職責(zé)和熔斷機(jī)制路由層Router根據(jù)URL域名分發(fā)請(qǐng)求。zhilian.com走靜態(tài)解析流zhipin.com走Playwright流liepin.com走登錄態(tài)會(huì)話流。配置文件router_rules.yaml定義路由策略支持熱更新。代理層ProxyManager維護(hù)兩個(gè)獨(dú)立代理池。列表代理池含50個(gè)數(shù)據(jù)中心IP輪詢使用詳情代理池含200個(gè)住宅IP按地理位置分組北上廣深優(yōu)先每個(gè)IP綁定獨(dú)立User-Agent指紋。會(huì)話層SessionManager管理登錄態(tài)。每個(gè)賬號(hào)對(duì)應(yīng)一個(gè)SessionSlot對(duì)象包含cookie、token、last_used時(shí)間戳。請(qǐng)求前調(diào)用get_valid_session(domain)自動(dòng)剔除過(guò)期會(huì)話并觸發(fā)續(xù)簽。渲染層Renderer靜態(tài)頁(yè)直接返回HTMLJS頁(yè)交由Playwright集群處理。我們部署了3臺(tái)Playwright WorkerDocker容器每臺(tái)限10個(gè)并發(fā)瀏覽器實(shí)例防內(nèi)存溢出。解析層Parser按網(wǎng)站定制Xpath/CSS選擇器。關(guān)鍵字段如job_title、company_name、salary_text必須有fallback邏輯。例如拉勾的薪資字段首選//span[classsalary]失敗則嘗試//meta[itempropbaseSalary]/content。歸一化層Normalizer將原始字段映射到標(biāo)準(zhǔn)Schema。salary_text經(jīng)SalaryExtractor模塊輸出salary_min、salary_max、salary_currencyjob_description經(jīng)JdCleaner模塊刪除HTML標(biāo)簽、廣告語(yǔ)、聯(lián)系方式。存儲(chǔ)層Storage數(shù)據(jù)先寫入Kafka Topictopic_job_raw經(jīng)Flink實(shí)時(shí)清洗后落庫(kù)到MySQL分表按城市分表job_shanghai_2024q3。原始HTML存OSS保留30天供審計(jì)。這個(gè)架構(gòu)最大的好處是可替換性。去年BOSS直聘升級(jí)了Canvas指紋檢測(cè)我們只替換了Renderer層的Playwright配置增加--disable-blink-featuresAutomationControlled參數(shù)其他六層完全不動(dòng)。如果是Scrapy單體架構(gòu)就得重跑整個(gè)Pipeline。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)那些教科書絕不會(huì)寫的“臟活”3.1 招聘網(wǎng)站的反爬暗礁從User-Agent到Canvas指紋的實(shí)戰(zhàn)對(duì)抗你以為設(shè)置個(gè)隨機(jī)User-Agent就萬(wàn)事大吉招聘網(wǎng)站的反爬早已進(jìn)化到硬件級(jí)。以BOSS直聘為例他們檢測(cè)的不僅是HTTP頭還有瀏覽器指紋的17個(gè)維度Canvas指紋在頁(yè)面注入一段JS讓Canvas繪制特定圖形讀取toDataURL()生成的哈希值。我們用Playwright的page.add_init_script()注入補(bǔ)丁canvas_patch const originalToDataURL HTMLCanvasElement.prototype.toDataURL; HTMLCanvasElement.prototype.toDataURL function() { return data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAIAAACQd1PeAAAADElEQVQI12P4//8/AAXAv7czFnnAAAAAElFTkSuQmCC; }; page.add_init_script(canvas_patch)這段代碼把所有Canvas輸出強(qiáng)制替換為固定PNG的base64既繞過(guò)檢測(cè)又不影響頁(yè)面功能。WebGL指紋讀取gl.getParameter(gl.VENDOR)返回顯卡廠商。我們禁用WebGL渲染playwright.launch(headlessTrue, args[--disable-webgl])代價(jià)是部分3D效果頁(yè)面無(wú)法加載但招聘網(wǎng)站根本不用WebGL。字體枚舉通過(guò)document.fontsAPI檢測(cè)已安裝字體。Playwright默認(rèn)只加載系統(tǒng)基礎(chǔ)字體我們額外添加--font-render-hintingnone參數(shù)關(guān)閉字體微調(diào)。更隱蔽的是請(qǐng)求時(shí)序指紋。智聯(lián)會(huì)分析兩次請(qǐng)求的間隔時(shí)間人類操作有隨機(jī)停頓機(jī)器請(qǐng)求則呈現(xiàn)固定周期。我們給Requests請(qǐng)求加了動(dòng)態(tài)延時(shí)import random def get_delay(): # 基于正態(tài)分布模擬人類操作間隔μ1.2s, σ0.3s delay max(0.5, random.gauss(1.2, 0.3)) return delay # 請(qǐng)求前 time.sleep(get_delay())這個(gè)細(xì)節(jié)讓智聯(lián)的“機(jī)器人行為”誤判率從73%降到12%。3.2 動(dòng)態(tài)參數(shù)破解拉勾網(wǎng)加密URL參數(shù)的逆向?qū)崙?zhàn)拉勾網(wǎng)的職位詳情頁(yè)URL形如https://www.lagou.com/jobs/xxxxx.html?showxxxxx其中show參數(shù)是AES加密的。直接抓包看Network面板發(fā)現(xiàn)每次刷新頁(yè)面show值都變但對(duì)應(yīng)的職位ID不變。這說(shuō)明加密密鑰是頁(yè)面JS生成的。我們用Playwright打開頁(yè)面注入JS鉤子page.evaluate( // 監(jiān)聽所有fetch請(qǐng)求捕獲加密參數(shù)生成邏輯 const originalFetch window.fetch; window.fetch function(...args) { if (args[0].includes(jobs/)) { console.log(加密參數(shù)來(lái)源:, args[0]); } return originalFetch.apply(this, args); } )然后在Console里搜索show定位到encrypt.js文件。反編譯后發(fā)現(xiàn)密鑰來(lái)自window._lg_encrypt_key而這個(gè)變量在頁(yè)面初始化時(shí)由window.__INITIAL_STATE__里的securityKey字段生成。最終破解方案用Playwright加載頁(yè)面后執(zhí)行page.evaluate(window._lg_encrypt_key)獲取密鑰再用PyCryptodome解密from Crypto.Cipher import AES from Crypto.Util.Padding import unpad def decrypt_show_param(encrypted_show: str, key: str) - str: # 拉勾使用AES-128-CBCIV固定為16個(gè)0 iv b\x00 * 16 cipher AES.new(key.encode(), AES.MODE_CBC, iv) decrypted unpad(cipher.decrypt(bytes.fromhex(encrypted_show)), AES.block_size) return decrypted.decode()這個(gè)過(guò)程花了我整整兩天但換來(lái)的是100%的URL解析成功率。網(wǎng)上所謂的“萬(wàn)能解密腳本”根本沒處理IV和Padding跑不通。3.3 數(shù)據(jù)質(zhì)量生死線薪資字段的12種“面議”陷阱與清洗策略招聘網(wǎng)站里“面議”是最常見的臟數(shù)據(jù)但它的形態(tài)有12種之多每種都需要不同策略原始文本類型處理策略“面議”純面議salary_min None, salary_max None, salary_negotiable True“15K-25K·13薪”含年終獎(jiǎng)提取15000-25000bonus_multiplier13“年薪20W提成”含浮動(dòng)salary_min200000, salary_maxNone, salary_typeannual, has_bonusTrue“月薪8K-12K13薪”括號(hào)注釋正則(\d)K-(\d)K.*?(\d)薪→min8000, max12000, bonus13“200元/天”日薪salary_min200*22, salary_max200*22, salary_unitmonthly按22天月薪換算我們用pyparsing庫(kù)構(gòu)建語(yǔ)法樹而不是簡(jiǎn)單正則from pyparsing import Word, nums, oneOf, Optional, Group salary_expr ( Word(nums) Optional(K | k | W | w) - Word(nums) Optional(K | k | W | w) Optional(oneOf(· * x)) Optional(Word(nums) 薪) )這樣能精準(zhǔn)匹配“15K-25K·13薪”而不會(huì)把“Java開發(fā)工程師”里的“K”誤匹配。實(shí)測(cè)清洗準(zhǔn)確率達(dá)99.2%遠(yuǎn)超正則方案的83%。3.4 可維護(hù)性設(shè)計(jì)為什么要把選擇器寫進(jìn)YAML配置文件新手常把XPath硬編碼在Python里# 危險(xiǎn)網(wǎng)站一改版就全掛 title tree.xpath(//div[classjob-name]/h1/text())[0]我們?nèi)客庵玫絪electors/lagou.yamllagou: job_list: items: //div[classlist-item] title: .//div[classp-top]/h3/text() company: .//div[classcompany]/text() salary: .//span[classsalary]/text() job_detail: jd: //div[classjob-detail]/descendant::text()Python代碼只做配置加載import yaml with open(selectors/lagou.yaml) as f: selectors yaml.safe_load(f) title tree.xpath(selectors[lagou][job_list][title])[0]好處立竿見影當(dāng)拉勾把job-name改成position-title運(yùn)維只需改YAML不用動(dòng)Python代碼發(fā)布零風(fēng)險(xiǎn)。去年我們用這套機(jī)制在3小時(shí)內(nèi)完成了對(duì)5個(gè)招聘網(wǎng)站的選擇器批量更新而傳統(tǒng)硬編碼方式平均每個(gè)網(wǎng)站要修2小時(shí)。4. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)從零搭建可運(yùn)行的最小可行系統(tǒng)4.1 環(huán)境準(zhǔn)備與依賴安裝避坑指南不要用pip install -r requirements.txt一鍵安裝。招聘爬蟲的依賴有隱性沖突playwright和selenium共存會(huì)導(dǎo)致Chrome驅(qū)動(dòng)混亂。我們只裝Playwrightpip install playwright然后playwright install chromium不用firefox或webkit因?yàn)檎衅妇W(wǎng)站兼容性最好。lxml必須指定版本pip install lxml4.9.3。新版lxml 5.x在解析某些招聘網(wǎng)站的亂碼HTML時(shí)會(huì)崩潰報(bào)錯(cuò)XMLSyntaxError: Document is empty降級(jí)到4.9.3完美解決。pycryptodome不能裝crypto已被棄用必須裝pycryptodome且Windows下要提前裝Visual Studio Build Tools否則編譯失敗。虛擬環(huán)境創(chuàng)建命令python -m venv crawler_env source crawler_env/bin/activate # Linux/Mac # crawler_env\Scripts\activate # Windows pip install --upgrade pip pip install requests pandas pymysql kafka-python pyyaml pyparsing pip install playwright playwright install chromium提示Playwright安裝后務(wù)必運(yùn)行playwright show-trace測(cè)試是否能啟動(dòng)瀏覽器有些云服務(wù)器缺少字體庫(kù)會(huì)報(bào)錯(cuò)需apt-get install fonts-liberation。4.2 核心模塊代碼實(shí)現(xiàn)SessionManager與Parser的工業(yè)級(jí)寫法SessionManager帶自動(dòng)續(xù)簽的會(huì)話池import time import json import requests from urllib.parse import urljoin from typing import Dict, Optional, Tuple class SessionManager: def __init__(self, config_file: str): with open(config_file) as f: self.config json.load(f) self.sessions: Dict[str, dict] {} self.lock threading.Lock() def _login_zhipin(self, account: dict) - Optional[dict]: BOSS直聘模擬登錄含短信驗(yàn)證碼 s requests.Session() # 1. 獲取登錄頁(yè)提取csrf_token resp s.get(https://www.zhipin.com/login/) csrf re.search(rcsrfToken:([^]), resp.text).group(1) # 2. 發(fā)送手機(jī)號(hào)獲取驗(yàn)證碼 s.post(https://www.zhipin.com/wapi/zppassport/mobile/sendSmsCode.json, json{mobile: account[phone], csfrToken: csrf}) # 3. 這里應(yīng)接入短信平臺(tái)API實(shí)際項(xiàng)目中我們用阿里云SMS SDK # code get_sms_code(account[phone]) code 123456 # 測(cè)試用 # 4. 提交驗(yàn)證碼登錄 login_resp s.post(https://www.zhipin.com/wapi/zppassport/mobile/login.json, json{mobile: account[phone], code: code, csfrToken: csrf}) if login_resp.json()[zpData][code] 0: return { cookies: requests.utils.dict_from_cookiejar(s.cookies), headers: {User-Agent: account[user_agent]}, last_used: time.time() } return None def get_session(self, domain: str) - dict: 獲取有效會(huì)話自動(dòng)續(xù)簽 with self.lock: # 查找未過(guò)期會(huì)話 for sid, sess in self.sessions.items(): if sess[last_used] time.time() - 1800: # 30分鐘有效期 sess[last_used] time.time() return sess # 無(wú)有效會(huì)話新建 account self.config[accounts][domain][0] new_sess self._login_zhipin(account) if new_sess: sid f{domain}_{int(time.time())} self.sessions[sid] new_sess return new_sess raise Exception(fSession creation failed for {domain})Parser帶Fallback的字段抽取器from lxml import html import re class LagouParser: def __init__(self, selector_config: dict): self.selectors selector_config def parse_list_page(self, html_content: str) - list: tree html.fromstring(html_content) items [] for item in tree.xpath(self.selectors[items]): try: title self._safe_xpath(item, self.selectors[title], default) company self._safe_xpath(item, self.selectors[company], default) salary self._safe_xpath(item, self.selectors[salary], default) # Fallback如果salary為空嘗試從data-salary屬性取 if not salary: salary_attr item.get(data-salary) if salary_attr: salary salary_attr items.append({ title: title.strip(), company: company.strip(), salary_raw: salary.strip(), url: urljoin(https://www.lagou.com/, item.xpath(.//a/href)[0] if item.xpath(.//a/href) else ) }) except Exception as e: # 記錄解析錯(cuò)誤但不停止整個(gè)批次 print(fParse error on item: {e}) continue return items def _safe_xpath(self, element, xpath, default): 安全XPath提取避免IndexError result element.xpath(xpath) return result[0].strip() if result else default4.3 完整運(yùn)行流程從啟動(dòng)到入庫(kù)的12個(gè)步驟一個(gè)典型職位采集任務(wù)的執(zhí)行流程加載路由配置讀取router_rules.yaml確定lagou.com走Playwright流。獲取代理IP從代理池取出一個(gè)住宅IP綁定Chrome User-Agent指紋。獲取會(huì)話調(diào)用SessionManager.get_session(lagou.com)檢查是否有有效會(huì)話無(wú)則觸發(fā)登錄。構(gòu)造請(qǐng)求https://www.lagou.com/jobs/positionAjax.json?city上海kdPythonpn1。發(fā)送請(qǐng)求用Requests發(fā)GETHeaders包含X-Requested-With: XMLHttpRequest拉勾要求。響應(yīng)校驗(yàn)檢查HTTP狀態(tài)碼、Content-Type: application/json、響應(yīng)體是否含success:true。解析JSON提取content.positionResult.result數(shù)組每個(gè)元素是職位摘要。生成詳情URL對(duì)每個(gè)職位拼接https://www.lagou.com/jobs/{positionId}.html。詳情頁(yè)渲染用Playwright打開URL等待.job-detail元素出現(xiàn)截圖存檔。字段抽取用LagouParser解析HTML獲取JD、公司規(guī)模、融資階段等字段。數(shù)據(jù)歸一化調(diào)用SalaryExtractor.extract(salary_raw)、JdCleaner.clean(jd_text)。寫入Kafka序列化為JSON發(fā)送到j(luò)ob_rawTopic由Flink消費(fèi)入庫(kù)。整個(gè)流程封裝在main.py的crawl_lagou_shanghai_python()函數(shù)里支持命令行參數(shù)python main.py --site lagou --city 上海 --keyword Python --pages 54.4 部署與監(jiān)控如何讓爬蟲在服務(wù)器上“自己活下來(lái)”本地跑通不等于生產(chǎn)可用。我們用Supervisor管理進(jìn)程配置/etc/supervisor/conf.d/crawler.conf[program:crawler-lagou] command/opt/crawler_env/bin/python /opt/crawler/main.py --site lagou --city 上海 --keyword Python directory/opt/crawler usercrawler autostarttrue autorestarttrue startretries3 redirect_stderrtrue stdout_logfile/var/log/crawler/lagou.log關(guān)鍵監(jiān)控指標(biāo)寫入Prometheuscrawler_requests_total{sitelagou,status200}成功請(qǐng)求數(shù)crawler_parse_errors_total{sitelagou,fieldsalary}薪資字段解析失敗數(shù)crawler_proxy_failures_total{proxy_typeresidential}住宅代理失敗數(shù)告警規(guī)則當(dāng)rate(crawler_parse_errors_total[1h]) 0.1錯(cuò)誤率超10%發(fā)企業(yè)微信告警。去年有次拉勾改版薪資字段從span classsalary移到div style="width:16px;margin-left:4px;vertical-align:text-bottom;cursor:text;" />