Scrapling 通用爬蟲(chóng)模板實(shí)戰(zhàn)CrawlSpider、SitemapSpider 與 LinkExtractor 深度解析【免費(fèi)下載鏈接】Scrapling? An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling絕大多數(shù)站點(diǎn)抓取都逃不出兩種模式「跟隨符合某種模式的鏈接」和「遍歷站點(diǎn) sitemap 中列出的每個(gè) URL」。Scrapling 的通用爬蟲(chóng)模板Generic Spider Templates正是為此而生——它把這兩類(lèi)最常見(jiàn)的parse()樣板代碼封裝成了CrawlSpider與SitemapSpider并提供XMLFeedSpider、CSVFeedSpider處理數(shù)據(jù)源場(chǎng)景。讀完本篇你將掌握如何用最少的代碼聲明式地驅(qū)動(dòng)一場(chǎng)完整爬取并理解每個(gè)模板底層的調(diào)度邏輯與LinkExtractor的完整參數(shù)語(yǔ)義。模板總覽它們省掉了什么所有模板都構(gòu)建在LinkExtractor之上——這個(gè)原語(yǔ)負(fù)責(zé)從Response中抽取 URL或者通過(guò)matches()對(duì)單個(gè) URL 做過(guò)濾判斷。SitemapSpider還會(huì)在內(nèi)部解析 sitemap.xml / sitemap_index.xml 的響應(yīng)體無(wú)論是否 gzip 壓縮。模板只是替你省去了接線(xiàn)工作wiring你完全可以在任何普通Spider.parse()里直接使用LinkExtractor。模板的源碼位于 scrapling/spiders/templates/導(dǎo)出CrawlSpider、CrawlRule、SitemapSpider、ShopifySpider、XMLFeedSpider、CSVFeedSpider六個(gè)類(lèi)。CrawlSpider基于聲明式規(guī)則自動(dòng)跟隨鏈接CrawlSpider根據(jù)聲明式的規(guī)則自動(dòng)跟隨鏈接。官方文檔給出的最小可用示例from scrapling.spiders import CrawlSpider, CrawlRule, LinkExtractor class QuotesSpider(CrawlSpider): name blog start_urls [https://quotes.toscrape.com/] def rules(self): return [ CrawlRule(LinkExtractor(allowr/author/), callbackself.parse_author), CrawlRule(LinkExtractor(allowr/page/\d/)), # follow pagination, no callback ] async def parse_author(self, response): yield { .author-title: response.css(.author-title::text).get(), birthday: response.css(.author-born-date::text).get(), url: response.url, } result QuotesSpider().start()規(guī)則機(jī)制從源碼看默認(rèn) parse() 的行為一條CrawlRule將LinkExtractor與三個(gè)可選字段配對(duì)定義見(jiàn) crawler.pycallback蜘蛛上的一個(gè)綁定方法處理每個(gè)匹配 URL 的請(qǐng)求priority覆蓋所派發(fā)Request的優(yōu)先級(jí)process_request一個(gè)綁定方法在Request被 yield 之前對(duì)其進(jìn)行修改。CrawlSpider的默認(rèn)parse()實(shí)現(xiàn)非常直白crawler.py遍歷rules()返回的每條規(guī)則用規(guī)則的link_extractor.extract(response)從當(dāng)前響應(yīng)中抽取 URL逐個(gè)調(diào)用response.follow(url, callbackrule.callback)生成請(qǐng)求若設(shè)置了priority則覆寫(xiě)請(qǐng)求優(yōu)先級(jí)若設(shè)置了process_request則在其返回的 request 上繼續(xù) yield。兩條值得注意的行為細(xì)節(jié)無(wú) callback 的規(guī)則會(huì)落到默認(rèn)parse()。規(guī)則沒(méi)有 callback 時(shí)匹配到的 URL 會(huì)經(jīng)由response.follow()繼承原請(qǐng)求的callback即None引擎隨后回落到蜘蛛的默認(rèn)parse()。這對(duì)翻頁(yè)非常方便抽取下一頁(yè)鏈接讓爬取繼續(xù)無(wú)需單獨(dú)寫(xiě)處理器。tests/spiders/test_templates.py 中的test_rule_with_no_callback_leaves_request_callback_none明確驗(yàn)證了這一點(diǎn)。規(guī)則是疊加執(zhí)行的。默認(rèn)parse()會(huì)把每條規(guī)則都作用于每個(gè)響應(yīng)每個(gè)匹配 URL 都會(huì)產(chǎn)出一個(gè)Request——多條規(guī)則之間不做互斥。這與SitemapSpider的「首個(gè)匹配即勝出」語(yǔ)義不同寫(xiě)規(guī)則時(shí)要心中有數(shù)。結(jié)合規(guī)則與自定義邏輯重寫(xiě)parse()并調(diào)用super().parse(response)就能同時(shí)獲得規(guī)則行為和自己的產(chǎn)出class MySpider(CrawlSpider): def rules(self): return [CrawlRule(LinkExtractor(allowr/posts/), callbackself.parse_post)] async def parse(self, response): yield {page_url: response.url} async for req in super().parse(response): yield reqtests/spiders/test_templates.py 的test_user_can_compose_super_parse驗(yàn)證了這種組合先產(chǎn)出自定義 item再轉(zhuǎn)發(fā)規(guī)則產(chǎn)生的請(qǐng)求。用 process_request 修改請(qǐng)求process_request的簽名是(request, response) - request可以在 yield 前加請(qǐng)求頭、改優(yōu)先級(jí)甚至整個(gè)替換請(qǐng)求def add_priority(self, request, response): request.priority 10 return request def rules(self): return [CrawlRule( LinkExtractor(allowr/posts/), callbackself.parse_post, process_requestself.add_priority, )]測(cè)試用例 test_process_request_invoked 與 test_process_request_can_replace_request 分別驗(yàn)證了「修改后返回」與「返回一個(gè)全新的 Request」兩種用法都成立。另外response.follow()會(huì)附帶 referer 頭規(guī)則路徑派發(fā)出的請(qǐng)求同樣保留該頭見(jiàn) test_referer_set_on_followed_requests而帶綁定方法 callback 的Request也通過(guò)__getstate__機(jī)制把回調(diào)轉(zhuǎn)換為方法名字符串可安全參與 pickle 序列化這對(duì) checkpoint 斷點(diǎn)續(xù)爬至關(guān)重要見(jiàn) test_pickle_request_with_bound_method_callback。SitemapSpider從 sitemap.xml 播種的爬蟲(chóng)SitemapSpider以 sitemap.xml 中的 URL 作為爬取種子。它使用與CrawlSpider相同的rules()API心智模型完全共享from scrapling.spiders import SitemapSpider, CrawlRule, LinkExtractor class MySitemap(SitemapSpider): name sm sitemap_urls [https://example.com/sitemap.xml] def rules(self): return [ CrawlRule(LinkExtractor(allowr/posts/), callbackself.parse_post), CrawlRule(LinkExtractor(allowr/products/), callbackself.parse_product), ] async def parse_post(self, response): yield {title: response.css(h1::text).get()} async def parse_product(self, response): yield {sku: response.css(.sku::text).get()} result MySitemap().start()URL 是如何被派發(fā)的對(duì) sitemap 中的每個(gè) URLSitemapSpider按順序檢查每條規(guī)則的LinkExtractor.matches(url)首個(gè)匹配的規(guī)則勝出并 yield 一個(gè)攜帶該規(guī)則 callback 的Request。若沒(méi)有任何規(guī)則匹配且rules()非空該 URL 被丟棄若rules()返回空列表則所有 URL 都路由到蜘蛛的parse()方法——而基類(lèi)默認(rèn)實(shí)現(xiàn)直接拋NotImplementedError除非你重寫(xiě)了它。這段調(diào)度邏輯對(duì)應(yīng) _dispatch 與 _parse_sitemaprules為空時(shí)直接response.follow(url)callback 為None落回parse()否則逐條matches()命中即返回請(qǐng)求。tests/spiders/test_sitemap.py 的test_urlset_dispatched_through_rules和test_no_rules_means_all_urls_fall_through分別鎖定了這兩種行為/about這類(lèi)未匹配 URL 會(huì)被丟棄而空規(guī)則時(shí)所有 URL 都以callbackNone派發(fā)。Sitemap 索引sitemap of sitemaps遇到sitemapindex時(shí)蜘蛛會(huì)自動(dòng)深入每個(gè)子 sitemap。若要篩選深入哪些子 sitemap把sitemap_follow設(shè)為一個(gè)LinkExtractorclass MySitemap(SitemapSpider): name sm sitemap_urls [https://example.com/sitemap.xml] sitemap_follow LinkExtractor(allowr/posts-sitemap-\d\.xml) # only post sitemaps實(shí)現(xiàn)上_sm_body 區(qū)分根元素類(lèi)型sitemapindex收集子 sitemap 的locurlset則提取 URL 列表見(jiàn)數(shù)據(jù)結(jié)構(gòu) SitemapResult隨后在_parse_sitemap中每個(gè)子 sitemap URL 都先過(guò)一遍sitemap_follow.matches()sitemap_follow為None時(shí)全部深入。test_sitemap_follow_filters_child_sitemaps 驗(yàn)證了過(guò)濾器只放行posts-sitemap.xml的效果。robots.txt 支持直接把robots.txt的 URL 放進(jìn)sitemap_urls蜘蛛會(huì)識(shí)別它、提取其中聲明的所有 Sitemap 并逐一跟隨class MySitemap(SitemapSpider): name sm sitemap_urls [https://example.com/robots.txt]判斷依據(jù)是響應(yīng) URL 的路徑是否以/robots.txt結(jié)尾sitemap.py解析則由 _robots_body 借助protego庫(kù)完成解析失敗時(shí)僅記錄警告并返回空列表不會(huì)中斷爬取。多語(yǔ)言AlternateURL設(shè)置sitemap_alternate_links True后xhtml:link relalternate hreflang...聲明的 URL 也會(huì)一并通過(guò)你的rules()派發(fā)。實(shí)現(xiàn)位于 _extract_urls遍歷url節(jié)點(diǎn)時(shí)除loc外還收集開(kāi)啟了開(kāi)關(guān)后的link子元素的href。test_alternate_links_dispatched_when_enabled 驗(yàn)證了英文主 URL 與法語(yǔ)、德語(yǔ) alternate URL 共三個(gè) URL 全部進(jìn)入調(diào)度。gzip 與容錯(cuò)Sitemap 體無(wú)論是以 gzip 魔數(shù)\x1f\x8b開(kāi)頭還是content-type聲明 gzip都會(huì)被 _decompress 自動(dòng)解壓解壓輸出設(shè)置了64 MiB 上限以防御 gzip 炸彈超限拋OSError后被_sm_body捕獲為警告。XML 解析失敗XMLSyntaxError同樣只記錄警告并返回空的SitemapResult爬蟲(chóng)繼續(xù)運(yùn)行。XMLFeedSpider逐節(jié)點(diǎn)解析 XML 數(shù)據(jù)源XMLFeedSpider遍歷 XML 數(shù)據(jù)源RSS、Atom、商品 feed 等的節(jié)點(diǎn)。把itertag設(shè)為你想迭代的節(jié)點(diǎn)名默認(rèn)item并重寫(xiě)parse_node()——它會(huì)對(duì)每個(gè)匹配節(jié)點(diǎn)調(diào)用一次from scrapling.spiders import XMLFeedSpider class RSSSpider(XMLFeedSpider): name rss start_urls [https://example.com/feed.xml] itertag item async def parse_node(self, response, node): yield { title: node.findtext(title), link: node.findtext(link), date: node.findtext(pubDate), } result RSSSpider().start()和其他回調(diào)一樣parse_node()也可以 yieldRequest對(duì)象例如response.follow(node.findtext(link), callbackself.parse_post)從而深入數(shù)據(jù)源指向的頁(yè)面。節(jié)點(diǎn)如何匹配與解析傳給parse_node()的每個(gè)節(jié)點(diǎn)都是一個(gè)已剝離全部命名空間的lxml元素因此node.findtext(title)、node.find(thumbnail).get(url)以及大小寫(xiě)敏感的node.xpath(...)在任何 feed 上都不需要命名空間映射即可工作。匹配機(jī)制分兩種見(jiàn) _wanted_tag 與 _iter_nodes普通itertag如entry按局部名匹配無(wú)視命名空間——這正是 Atom 和大多數(shù)帶命名空間 feed 需要的行為帶前綴的itertag前綴必須在namespaces中定義成(prefix, uri)元組否則拋ValueError。此時(shí)只匹配該命名空間下的節(jié)點(diǎn)class ThumbnailSpider(XMLFeedSpider): name thumbs start_urls [https://example.com/feed.xml] itertag media:thumbnail namespaces ((media, http://search.yahoo.com/mrss/),) async def parse_node(self, response, node): yield {thumbnail: node.get(url)}命名空間剝離由 _strip_namespaces 完成深拷貝節(jié)點(diǎn)后把每個(gè) tag 與屬性名替換為localname再調(diào)用etree.cleanup_namespaces。Gzipped feed.xml.gz或以 gzip content-type 傳輸沿用 sitemap 同一套解壓保護(hù)自動(dòng)解壓畸形 XML 記錄警告而非讓爬取崩潰——feed.py 的parse()中對(duì)OSError和XMLSyntaxError都只warning后return。測(cè)試文件 tests/spiders/test_feed.py 覆蓋了默認(rèn)itertag迭代、命名空間剝離、Atomentry匹配等場(chǎng)景。CSVFeedSpider逐行解析 CSV 數(shù)據(jù)源CSVFeedSpider遍歷 CSV feed 的每一行。重寫(xiě)parse_row()它接收的每行都是以列名為鍵的字典from scrapling.spiders import CSVFeedSpider class PriceSpider(CSVFeedSpider): name prices start_urls [https://example.com/products.csv] async def parse_row(self, response, row): yield {product: row[title], price: float(row[price])} result PriceSpider().start()相關(guān)類(lèi)屬性定義見(jiàn) feed.pyheaders列名列表。默認(rèn)不設(shè)置時(shí)feed 的第一行用作表頭若 feed 沒(méi)有表頭行需自行指定delimiter字段分隔符默認(rèn),quotechar包裹特殊字符字段的引號(hào)字符默認(rèn)。class PriceSpider(CSVFeedSpider): name prices start_urls [https://example.com/products.csv] headers [title, price, url] delimiter ;實(shí)現(xiàn)上parse響應(yīng)體經(jīng)_decompress解壓后按response.encoding缺省utf-8errorsreplace解碼交給csv.DictReader逐行產(chǎn)出并轉(zhuǎn)發(fā)給parse_row()。Gzipped feed 同樣自動(dòng)解壓保護(hù)機(jī)制與 XMLFeedSpider 相同。tests/spiders/test_feed.py 中專(zhuān)門(mén)準(zhǔn)備了無(wú)表頭 CSV 與分號(hào)分隔 CSV 的測(cè)試數(shù)據(jù)。直接使用 LinkExtractor你不必使用模板。LinkExtractor在任何普通Spider里都能工作from scrapling.spiders import Spider, LinkExtractor class CustomSpider(Spider): name custom start_urls [https://example.com] def __init__(self): super().__init__() self._links LinkExtractor(allowr/posts/, deny_domainsads.example.com) async def parse(self, response): for url in self._links.extract(response): yield response.follow(url, callbackself.parse_post) async def parse_post(self, response): yield {title: response.css(h1::text).get()}LinkExtractor 參數(shù)參考完整參數(shù)語(yǔ)義源碼位于 links.py參數(shù)默認(rèn)值說(shuō)明allow()要保留的 URL 模式?？毡硎尽溉ヅ洹??？蔀樽址?、編譯好的Pattern或二者的可迭代對(duì)象。deny()要丟棄的 URL 模式。永遠(yuǎn)覆蓋allow。allow_domains()要保留的主機(jī)名。子域自動(dòng)匹配example.com匹配api.example.com。deny_domains()要丟棄的主機(jī)名。restrict_css()CSS 選擇器把 DOM 抽取限定到某個(gè)區(qū)域。restrict_xpath()XPath 選擇器把 DOM 抽取限定到某個(gè)區(qū)域。tags(a, area)查找鏈接的元素標(biāo)簽。attrs(href,)從這些標(biāo)簽讀取 URL 的屬性。canonicalizeTrue排序查詢(xún)參數(shù)并規(guī)范化路徑。stripTrue去除抽取 URL 中的空白字符。keep_fragmentFalse規(guī)范化時(shí)是否保留#fragment。deny_extensionsIGNORED_EXTENSIONS要丟棄的文件擴(kuò)展名pdf、zip、圖片、視頻等。processNone可選的回調(diào)在過(guò)濾前作用于每個(gè)抽取到的 URL。返回假值即丟棄該 URL。LinkExtractor.extract(response)返回一個(gè)list[str]絕對(duì)的、經(jīng)過(guò)過(guò)濾的、去重后的URL 列表LinkExtractor.matches(url)返回bool是純 URL 過(guò)濾器allow/deny/domain/extension被SitemapSpider用于在沒(méi)有Response的情況下按規(guī)則派發(fā) sitemap URL。從 _extract 與 _url_passes 的實(shí)現(xiàn)還可以確認(rèn)幾個(gè)細(xì)節(jié)抽取流程若設(shè)置了restrict_css/restrict_xpath先圈定作用域都沒(méi)設(shè)則作用于整頁(yè)再用拼接的 XPath如.//a/href | .//area/href取原始 href隨后依次經(jīng)過(guò)strip空白 →response.urljoin相對(duì)轉(zhuǎn)絕對(duì) →process回調(diào) →canonicalize_url規(guī)范化 → 合法性校驗(yàn) → 過(guò)濾去重使用dict.fromkeys以保持鏈接出現(xiàn)順序Schema 白名單只放行http、https、file三種協(xié)議javascript:、mailto:等鏈接天然被排除links.py擴(kuò)展名檢查最優(yōu)先在 allow/deny 正則之前先做擴(kuò)展名過(guò)濾IGNORED_EXTENSIONS內(nèi)置了約 100 個(gè)擴(kuò)展名涵蓋壓縮包zip、tar.gz等、圖片、音視頻、Office 文檔、css/pdf/exe/js等links.py匹配時(shí)按后綴逐級(jí)判斷tar.gz這類(lèi)多段后綴也能命中域名匹配規(guī)則host d or host.endswith(. d)即精確主機(jī)加任意子域且兩側(cè)都轉(zhuǎn)小寫(xiě)比較避免Example.com與example.com的漏配。小結(jié)模板的選擇路徑場(chǎng)景選擇核心 API跟隨符合正則模式的鏈接CrawlSpiderrules()CrawlRule以 sitemap.xml 為種子SitemapSpidersitemap_urls/sitemap_follow/rules()消費(fèi) robots.txt 聲明的 sitemapSitemapSpidersitemap_urls直接放 robots.txt遍歷 RSS/Atom/商品 XML 源XMLFeedSpideritertagparse_node()遍歷 CSV 數(shù)據(jù)源CSVFeedSpiderheaders/delimiterparse_row()完全自定義鏈接策略普通Spider直接使用LinkExtractor三者共同的底座是LinkExtractor的正則化 URL 過(guò)濾scrapling/spiders/links.py模板則在其上疊加了各自的調(diào)度語(yǔ)義CrawlSpider多規(guī)則疊加、SitemapSpider首規(guī)則勝出。配合CrawlRule的priority與process_request鉤子、response.follow()的 referer 傳遞、以及Request的 pickle 友好設(shè)計(jì)這套模板可以平滑接入 Scrapling 爬蟲(chóng)引擎的并發(fā)、限速與 checkpoint 能力從單條請(qǐng)求到全量爬取都適用?！久赓M(fèi)下載鏈接】Scrapling? An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考