保姆級 WechatSogou 爬蟲庫教程批量采集公眾號信息、歷史文章與熱門內(nèi)容【免費下載鏈接】WechatSogou基于搜狗微信搜索的微信公眾號爬蟲接口項目地址: https://gitcode.com/gh_mirrors/we/WechatSogouWechatSogou 是一個基于搜狗微信搜索的微信公眾號爬蟲庫把「搜公眾號、搜文章、抓歷史推送、看熱門內(nèi)容、提取正文」這些原本要在瀏覽器里來回折騰的活兒封裝成了幾個干凈的 Python 方法。這篇文章?lián)Q個講法先給你看成品效果再倒推一步步怎么實現(xiàn)最后手寫一個能自動落盤保存數(shù)據(jù)的公眾號監(jiān)控小助手。全程代碼可復制可運行跟著敲一遍你就能自己上手。先看結(jié)果一行代碼拿到公眾號完整檔案你可能有這種經(jīng)歷想分析某個公眾號得先打開搜狗微信搜名字再點進主頁把簡介、認證、二維碼挨個截圖保存。手慢一點頁面還可能彈驗證碼。用 WechatSogou這件事壓縮成一行import wechatsogou api wechatsogou.WechatSogouAPI() info api.get_gzh_info(南航青年志愿者) print(info)跑出來的結(jié)果就是下面這張圖的樣子返回的是一個字典字段全給你拆好了{ wechat_name: 南航青年志愿者, # 公眾號名稱 wechat_id: nanhangqinggong, # 微信號 introduction: ..., # 簡介 authentication: 南京航空航天大學, # 認證主體 profile_url: ..., # 最近10條群發(fā)頁鏈接 qrcode: ..., # 二維碼圖片鏈接 headimage: ..., # 頭像 post_perm: 26, # 最近一月群發(fā)數(shù) }你不需要關(guān)心請求怎么發(fā)、頁面怎么解析庫內(nèi)部全處理好了。下面咱們倒推回去看看想拿到這份數(shù)據(jù)從零要準備什么。三步裝好環(huán)境初始化 API 實例第一步安裝。直接走 pip一行命令pip install wechatsogou --upgrade第二步創(chuàng)建實例。默認配置零參數(shù)就能用api wechatsogou.WechatSogouAPI()第三步按需調(diào)參。構(gòu)造函數(shù)里的參數(shù)不多但都挺關(guān)鍵# 驗證碼輸錯重試 3 次默認 1 次 api wechatsogou.WechatSogouAPI(captcha_break_time3) # 所有 requests 的參數(shù)都能透傳比如超時和代理 api wechatsogou.WechatSogouAPI(timeout15, proxies{ http: http://127.0.0.1:8888, https: http://127.0.0.1:8888, })captcha_break_time是驗證碼重試次數(shù)建議設成 2~3既給足容錯又不會反復挑戰(zhàn)風控。代理和超時是批量采集時的保命配置后面進階部分會細說。記住 6 個方法公眾號數(shù)據(jù)隨便取get_gzh_info只是開胃菜。整個庫的核心方法都掛在同一個api對象上咱們按使用頻率挨個過。① 模糊搜公眾號search_gzh只記得公眾號名字的一部分直接搜返回列表翻頁用page參數(shù)results api.search_gzh(南京航空航天大學, page1) for gzh in results: print(gzh[wechat_name], gzh[wechat_id])② 帶條件篩文章search_article搜文章是這個庫的重頭戲可以疊加時間范圍和內(nèi)容類型兩個篩選條件。時間常量在WechatSogouConst.search_article_time里day / week / month / year / specific內(nèi)容類型在search_article_type里image 有圖 / video 有視頻 / rich 圖文都有 / all 不限from wechatsogou import WechatSogouConst # 搜最近一周、帶圖的數(shù)據(jù)分析文章 articles api.search_article( 數(shù)據(jù)分析, timesnWechatSogouConst.search_article_time.week, article_typeWechatSogouConst.search_article_type.image, ) for item in articles: print(item[article][title], -, item[gzh][wechat_name])每條結(jié)果長這樣article里是標題、鏈接、摘要、推送時間戳、配圖列表gzh里是公眾號名稱、頭像、是否加 V。搜公眾號搜文章共用一張截圖見下③ 拉歷史推送get_gzh_article_by_history想盯住某個公眾號最近發(fā)了什么這一個方法就夠。傳入公眾號名稱或微信號它會自動先搜出主頁鏈接再抓最近 10 條群發(fā)記錄data api.get_gzh_article_by_history(南航青年志愿者) print(data[gzh][wechat_name], 共, len(data[article]), 篇文章) for article in data[article]: print(article[title], |, article[datetime])每篇文章還帶content_url文章鏈接、cover封面圖、author、copyright_stat是否原創(chuàng)等字段做內(nèi)容庫綽綽有余。④ 蹭熱門內(nèi)容get_gzh_article_by_hot不知道搜什么直接看搜狗微信首頁的排行榜。分類常量在WechatSogouConst.hot_index里從科技、財經(jīng)到美食、萌寵一共 20 多個hot api.get_gzh_article_by_hot(WechatSogouConst.hot_index.technology) for item in hot: print(item[article][title], 來自, item[gzh][wechat_name])⑤ 搶救正文內(nèi)容get_article_content微信文章鏈接有有效期過期就 404。所以拿到鏈接后建議趁熱把正文抓下來存好這正是get_article_content的用途content api.get_article_content(article_url) html content[content_html] # 處理后的正文 HTML img_list content[content_img_list] # 正文里的圖片列表還可以順手刪掉正文里插入的 QQ 音樂和語音del_qqmusicTrue, del_mpvoiceTrue默認就是開的。⑥ 關(guān)鍵詞聯(lián)想get_sugg給搜索框找靈感用的輸入一個詞返回一串相關(guān)聯(lián)想sugg api.get_sugg(高考) print(sugg) # [高考e通, 高考專業(yè)培訓, 高考地理俱樂部, ...]30 行代碼做一個公眾號監(jiān)控小助手方法都認識了現(xiàn)在把它們串起來寫一個真正能跑的迷你項目定時抓取一批公眾號的最近推送落盤成 JSON方便后續(xù)做分析或歸檔。# -*- coding: utf-8 -*- 公眾號監(jiān)控小助手定時抓取指定公眾號的最近推送存成 JSON import json import time from datetime import datetime import wechatsogou WATCH_LIST [南航青年志愿者, 南京航空航天大學] # 換成你想盯的公眾號 api wechatsogou.WechatSogouAPI(captcha_break_time3, timeout15) def fetch_and_save(name): data api.get_gzh_article_by_history(name) if not data: print(沒有抓到 {} 的數(shù)據(jù)可能被風控攔了稍后再試.format(name)) return gzh, articles data[gzh], data[article] print({} ({}): {} 篇.format(gzh[wechat_name], gzh[wechat_id], len(articles))) payload { grab_time: datetime.now().strftime(%Y-%m-%d %H:%M:%S), gzh: gzh, articles: articles, } filename {}.json.format(gzh[wechat_id] or unknown) with open(filename, w, encodingutf-8) as f: json.dump(payload, f, ensure_asciiFalse, indent2) print(已保存到, filename) if __name__ __main__: for name in WATCH_LIST: fetch_and_save(name) time.sleep(3) # 請求間隔做個有禮貌的爬蟲三個要點值得注意if not data搜不到公眾號時返回空字典先判空再取值避免崩潰。ensure_asciiFalse中文原樣寫入 JSON文件可讀。time.sleep(3)批次之間留出間隔別把接口打得太急。想定時跑直接塞進 crontab 或者配個schedule就行項目骨架已經(jīng)齊了。排掉 5 個高頻坑少走半天彎路Q1鏈接已過期 / 拿不到原始文章 URL搜狗給的文章鏈接是臨時簽名鏈接有有效期。對策是拿到鏈接后立刻調(diào)get_article_content把正文存下來別等到分析時再抓。Q2為什么一個公眾號只能拿到 10 篇文章這是搜狗接口的硬限制網(wǎng)頁端只展示最近 10 條群發(fā)。想積累更多歷史數(shù)據(jù)就得定期采集、增量歸檔這也是上面監(jiān)控小助手存在的意義。Q3老是觸發(fā)驗證碼怎么辦庫內(nèi)置了驗證碼處理邏輯captcha_break_time控制重試次數(shù)。如果頻繁彈碼多半是請求太密集——降低頻率、換代理、換個 User-Agent 都是有效手段。const.py里內(nèi)置了 30 多個 UA初始化時自動隨機選一個。Q4支持 Python 2 還是 3都支持Python 2.7 和 Python 3.5 均可。老項目也能直接引用。Q5拋WechatSogouRequestsException是什么情況這是請求層異常通常是網(wǎng)絡不通、代理失效或請求被限流。先檢查代理可用性再檢查頻率。3 個進階配置讓采集更穩(wěn)更快不需要解析跳轉(zhuǎn) URL 就關(guān)掉它。search_gzh和search_article都有decode_url參數(shù)默認True會額外請求解析真實鏈接。只做關(guān)鍵詞趨勢分析、不點進原文的話設成decode_urlFalse速度快一截。自定義驗證碼識別。默認是人工識別彈出圖片你自己輸想全自動可以傳入identify_image_callback一個「輸入驗證碼圖片二進制、輸出識別文字」的函數(shù)接第三方打碼平臺或 OCR 都行更復雜的場景還能用unlock_callback接管整個解鎖流程。請求頻率做隨機化。固定間隔容易被規(guī)律識別改成隨機更好import random import time time.sleep(random.uniform(2, 5))從跑通到跑穩(wěn)你的下一步到這兒你已經(jīng)有了一條完整的采集鏈路裝庫 → 初始化 → 搜公眾號 → 搜文章 → 抓歷史 → 存正文 → 落盤歸檔。想深入研究的核心實現(xiàn)都集中在 wechatsogou/api.py常量定義在 wechatsogou/const.py完整文檔和數(shù)據(jù)結(jié)構(gòu)示例在 README.md版本變更記錄看 CHANGELOG.md。我的建議是先把上面的監(jiān)控小助手跑起來用自己的公眾號列表試一遍再根據(jù)實際需要加功能——比如把 JSON 換成 SQLite、給抓到的正文做全文檢索或者接個定時任務做長期歸檔。最后說句實在話WechatSogou 面向的是搜狗微信搜索的公開頁面使用時要遵守平臺規(guī)則控制請求頻率別對服務器造成壓力抓到的數(shù)據(jù)也請合理使用。工具本身只是把重復勞動自動化怎么用、用在哪咱們心里要有數(shù)。現(xiàn)在就去裝個庫跑通第一行g(shù)et_gzh_info吧——你的公眾號數(shù)據(jù)采集之旅從這一行代碼開始。【免費下載鏈接】WechatSogou基于搜狗微信搜索的微信公眾號爬蟲接口項目地址: https://gitcode.com/gh_mirrors/we/WechatSogou創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考