實(shí)戰(zhàn)：從Requests到異步下載的完整實(shí)現(xiàn))
1. 項(xiàng)目概述從手動(dòng)右鍵到自動(dòng)化歸檔干過(guò)內(nèi)容運(yùn)營(yíng)、素材收集或者數(shù)據(jù)分析的朋友十有八九都遇到過(guò)這個(gè)場(chǎng)景看到一個(gè)網(wǎng)頁(yè)里面幾十上百?gòu)埜咔鍒D片正是你急需的素材庫(kù)。然后呢一張張右鍵、另存為、重命名……重復(fù)勞動(dòng)枯燥不說(shuō)還容易出錯(cuò)漏存。幾年前我剛?cè)胄凶鲂旅襟w時(shí)就經(jīng)常為了找配圖這么干效率低到令人發(fā)指。后來(lái)接觸了Python第一個(gè)想到的自動(dòng)化任務(wù)就是搞定這個(gè)痛點(diǎn)——寫(xiě)個(gè)爬蟲(chóng)讓它替我批量抓取網(wǎng)頁(yè)上的圖片并保存到本地。這個(gè)項(xiàng)目說(shuō)白了就是用程序模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)自動(dòng)識(shí)別頁(yè)面中的所有圖片鏈接然后一張張下載下來(lái)并按你設(shè)定的規(guī)則整理好。它解決的遠(yuǎn)不止是“省時(shí)間”的問(wèn)題。比如在做競(jìng)品分析時(shí)你需要批量抓取對(duì)手官網(wǎng)的產(chǎn)品圖在做設(shè)計(jì)靈感收集時(shí)需要從特定網(wǎng)站歸檔一批風(fēng)格統(tǒng)一的圖片甚至在做簡(jiǎn)單的數(shù)據(jù)標(biāo)注或圖像識(shí)別項(xiàng)目前期也需要一個(gè)可靠的圖片采集工具。手動(dòng)操作在幾十張的規(guī)模下尚可忍受一旦目標(biāo)成百上千自動(dòng)化就成了唯一可行的路徑。實(shí)現(xiàn)這個(gè)目標(biāo)核心就是Python。它豐富的第三方庫(kù)讓HTTP請(qǐng)求、HTML解析、文件操作這些步驟變得異常簡(jiǎn)單。即使你是個(gè)剛學(xué)完基礎(chǔ)語(yǔ)法的新手跟著清晰的步驟走一兩個(gè)小時(shí)也能搭出一個(gè)可用的爬蟲(chóng)。接下來(lái)我會(huì)結(jié)合我這些年踩過(guò)的坑和優(yōu)化經(jīng)驗(yàn)把一個(gè)完整的、健壯的圖片爬蟲(chóng)從思路到代碼再到部署和問(wèn)題排查給你徹底講明白。你會(huì)發(fā)現(xiàn)自動(dòng)化處理信息才是打開(kāi)數(shù)字世界效率之門的正確方式。2. 核心工具鏈選型與原理剖析工欲善其事必先利其器。選對(duì)工具項(xiàng)目就成功了一半。一個(gè)圖片爬蟲(chóng)的工作流程可以抽象為四個(gè)核心環(huán)節(jié)獲取網(wǎng)頁(yè)、解析內(nèi)容、提取鏈接、下載保存。每個(gè)環(huán)節(jié)都有若干成熟的Python庫(kù)可供選擇我們的選型需要兼顧易用性、性能和生態(tài)。2.1 網(wǎng)絡(luò)請(qǐng)求庫(kù)Requests vs. aiohttp首先是把網(wǎng)頁(yè)的原始HTML代碼“拿回來(lái)”。這里最經(jīng)典的選擇是requests庫(kù)。它提供了極其人性化的API幾乎成了Python發(fā)送HTTP請(qǐng)求的事實(shí)標(biāo)準(zhǔn)。它的優(yōu)點(diǎn)是同步、阻塞式代碼寫(xiě)起來(lái)是線性的非常易于理解和調(diào)試。對(duì)于初學(xué)者或者目標(biāo)頁(yè)面不多的場(chǎng)景requests是首選。import requests response requests.get(https://example.com) html_content response.text但是當(dāng)需要批量抓取成百上千個(gè)頁(yè)面或者一個(gè)頁(yè)面里有大量圖片時(shí)同步請(qǐng)求的缺點(diǎn)就暴露了你必須等一張圖片下載完才能開(kāi)始下一張大部分時(shí)間都在等待網(wǎng)絡(luò)I/OCPU是空閑的。這時(shí)異步庫(kù)aiohttp配合asyncio就該登場(chǎng)了。它可以同時(shí)發(fā)起和處理大量網(wǎng)絡(luò)請(qǐng)求極大地提升下載效率。不過(guò)異步編程模型有一定學(xué)習(xí)門檻代碼結(jié)構(gòu)也更復(fù)雜。實(shí)操心得對(duì)于新手強(qiáng)烈建議從requests開(kāi)始。先把同步的邏輯跑通理解整個(gè)流程。當(dāng)你的爬蟲(chóng)需要抓取的圖片量很大并且遇到了明顯的性能瓶頸時(shí)再考慮升級(jí)到aiohttp。99%的中小規(guī)模需求requests完全夠用。2.2 HTML解析庫(kù)BeautifulSoup4 與 lxml拿到HTML后我們需要從中“大海撈針”找出所有圖片的標(biāo)簽通常是img。這就需要HTML解析庫(kù)。BeautifulSoup4簡(jiǎn)稱bs4是這方面的王者它提供了“一鍋亂燉”式的解析方式能很好地處理各種不規(guī)范的HTMLAPI也非常直觀支持通過(guò)標(biāo)簽名、屬性、CSS選擇器等多種方式查找元素。from bs4 import BeautifulSoup soup BeautifulSoup(html_content, html.parser) img_tags soup.find_all(img)注意上面代碼中的html.parser這是Python內(nèi)置的解析器速度慢但無(wú)需安裝。在實(shí)際生產(chǎn)中我們通常會(huì)指定lxml作為解析器需要先pip install lxml。lxml是一個(gè)用C語(yǔ)言編寫(xiě)的庫(kù)解析速度極快容錯(cuò)能力也更強(qiáng)。BeautifulSoup只是一個(gè)“包裝器”它依賴底層的解析器如lxml,html5lib來(lái)干活。所以最佳實(shí)踐是安裝lxml然后這樣創(chuàng)建對(duì)象soup BeautifulSoup(html_content, lxml) # 速度更快更健壯2.3 圖片鏈接提取與下載找到img標(biāo)簽后圖片的URL通常存儲(chǔ)在src屬性里。但事情沒(méi)那么簡(jiǎn)單。有些網(wǎng)站使用懶加載技術(shù)初始的src可能是一個(gè)占位圖真正的圖片URL藏在>環(huán)節(jié)首選工具備選/進(jìn)階工具核心作用網(wǎng)絡(luò)請(qǐng)求requestsaiohttp(異步)獲取網(wǎng)頁(yè)HTML內(nèi)容HTML解析BeautifulSoup4lxmlparsel(Scrapy風(fēng)格)從HTML中定位img標(biāo)簽鏈接提取BeautifulSoup屬性查找正則表達(dá)式re從標(biāo)簽中獲取真實(shí)的圖片URL文件下載requests.get()(流模式)aiohttpaiofiles(異步)將網(wǎng)絡(luò)圖片以二進(jìn)制形式保存到磁盤路徑管理os,pathlib-創(chuàng)建目錄、生成文件名、管理文件這套組合拳構(gòu)成了我們爬蟲(chóng)項(xiàng)目的技術(shù)骨架。接下來(lái)我們就用它們來(lái)搭建一個(gè)五臟俱全的爬蟲(chóng)。3. 基礎(chǔ)爬蟲(chóng)搭建從零到一的完整實(shí)現(xiàn)讓我們暫時(shí)忘掉那些復(fù)雜的概念先動(dòng)手實(shí)現(xiàn)一個(gè)最基礎(chǔ)、但絕對(duì)可用的版本。這個(gè)版本的目標(biāo)很明確給定一個(gè)網(wǎng)頁(yè)URL爬取該頁(yè)面上所有圖片保存到本地一個(gè)文件夾里。3.1 環(huán)境準(zhǔn)備與依賴安裝首先確保你的Python環(huán)境已經(jīng)就緒建議使用Python 3.7及以上版本。然后通過(guò)pip安裝我們需要的核心庫(kù)。打開(kāi)你的終端或命令行執(zhí)行以下命令pip install requests beautifulsoup4 lxml這三行命令會(huì)安裝網(wǎng)絡(luò)請(qǐng)求、HTML解析以及高效的解析器引擎。安裝過(guò)程通常很快如果遇到速度慢的問(wèn)題可以考慮使用國(guó)內(nèi)的鏡像源例如加上-i https://pypi.tuna.tsinghua.edu.cn/simple。3.2 核心代碼逐行解析下面我們創(chuàng)建一個(gè)名為simple_image_crawler.py的Python文件并開(kāi)始編寫(xiě)代碼。第一步導(dǎo)入必要的模塊import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparseos: 用于操作系統(tǒng)功能如創(chuàng)建目錄。requests: 用于發(fā)送HTTP請(qǐng)求。BeautifulSoup: 用于解析HTML。urllib.parse.urljoin: 這是一個(gè)至關(guān)重要的函數(shù)。網(wǎng)頁(yè)中的圖片鏈接很多是相對(duì)路徑如/images/photo.jpg我們需要將其與基礎(chǔ)URL拼接成絕對(duì)路徑。urllib.parse.urlparse: 用于解析URL從中提取信息比如我們用它來(lái)生成合理的本地文件名。第二步定義核心爬取函數(shù)def download_images(url, save_dirdownloaded_images): 從指定URL下載所有圖片到本地目錄 :param url: 目標(biāo)網(wǎng)頁(yè)的URL :param save_dir: 圖片保存的本地目錄名 # 1. 創(chuàng)建保存目錄 if not os.path.exists(save_dir): os.makedirs(save_dir) print(f[信息] 創(chuàng)建保存目錄: {save_dir}) else: print(f[信息] 目錄已存在: {save_dir}) # 2. 發(fā)送HTTP請(qǐng)求獲取網(wǎng)頁(yè)內(nèi)容 try: headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 如果狀態(tài)碼不是200拋出異常 response.encoding response.apparent_encoding # 自動(dòng)識(shí)別編碼 html_content response.text except requests.exceptions.RequestException as e: print(f[錯(cuò)誤] 請(qǐng)求網(wǎng)頁(yè)失敗: {e}) return # 3. 解析HTML找到所有img標(biāo)簽 soup BeautifulSoup(html_content, lxml) img_tags soup.find_all(img) print(f[信息] 在頁(yè)面上找到 {len(img_tags)} 個(gè)圖片標(biāo)簽) # 4. 遍歷每個(gè)img標(biāo)簽下載圖片 downloaded_count 0 for i, img_tag in enumerate(img_tags): # 獲取圖片鏈接。優(yōu)先考慮>if __name__ __main__: target_url https://example.com # 替換成你想爬取的網(wǎng)站 download_images(target_url)3.3 代碼關(guān)鍵點(diǎn)解讀與避坑指南User-Agent頭這是模擬瀏覽器訪問(wèn)的關(guān)鍵。沒(méi)有這個(gè)頭很多網(wǎng)站會(huì)拒絕請(qǐng)求或返回不同的內(nèi)容。代碼中使用的是一個(gè)常見(jiàn)的Chrome瀏覽器UA字符串。異常處理網(wǎng)絡(luò)請(qǐng)求和文件操作充滿了不確定性。使用try...except包裹關(guān)鍵步驟可以避免程序因單個(gè)圖片下載失敗而整體崩潰。鏈接補(bǔ)全urljoin(base, url)是處理相對(duì)路徑的神器。無(wú)論img_url是/img/1.jpg還是./img/1.jpg它都能正確拼接成完整的URL。流式下載requests.get(streamTrue)配合iter_content()可以分塊下載大文件避免一次性將整個(gè)圖片加載到內(nèi)存更安全高效。文件名處理直接從URL路徑的最后一部分取文件名是最常見(jiàn)的做法。但必須考慮文件名可能缺失、包含非法字符或重復(fù)的情況。我們的代碼做了簡(jiǎn)單的沖突處理。懶加載處理img_tag.get(data-src) or img_tag.get(src)這行代碼是關(guān)鍵。它優(yōu)先獲取>headers { User-Agent: ..., Referer: https://www.google.com/, # 示例可設(shè)置為目標(biāo)網(wǎng)站的域名 Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, }請(qǐng)求延遲在循環(huán)下載圖片的請(qǐng)求之間隨機(jī)等待一小段時(shí)間。這是最基本的“禮貌”可以避免因請(qǐng)求過(guò)快被服務(wù)器封禁IP。import time import random # 在下載每張圖片的循環(huán)內(nèi)請(qǐng)求前或請(qǐng)求后添加 time.sleep(random.uniform(0.5, 2.0)) # 隨機(jī)等待0.5到2秒處理Cookie與Session有些網(wǎng)站需要登錄后才能看到圖片。這時(shí)可以使用requests.Session()對(duì)象它會(huì)自動(dòng)管理Cookie模擬一次完整的瀏覽器會(huì)話。session requests.Session() # 可以先POST請(qǐng)求登錄如果需要 # login_data {username: ..., password: ...} # session.post(login_url, datalogin_data) # 然后用session去get目標(biāo)頁(yè)面 response session.get(target_url, headersheaders)4.2 增強(qiáng)鏈接提取與過(guò)濾基礎(chǔ)版本只抓取了img標(biāo)簽。但圖片還可能以其他形式存在CSS背景圖有些圖片通過(guò)background-image: url(...)設(shè)置在CSS里。要抓取這些需要先提取所有style標(biāo)簽或鏈接的CSS文件然后用正則表達(dá)式匹配url(...)中的路徑。這比較復(fù)雜通常需要根據(jù)目標(biāo)網(wǎng)站具體情況定制。JavaScript動(dòng)態(tài)加載越來(lái)越多的網(wǎng)站用JS動(dòng)態(tài)渲染內(nèi)容初始HTML里沒(méi)有圖片標(biāo)簽。這時(shí)requestsBeautifulSoup就無(wú)能為力了因?yàn)樗鼈冎荒芸吹絁S執(zhí)行前的靜態(tài)HTML。解決方案是使用Selenium或Playwright這類瀏覽器自動(dòng)化工具它們能控制一個(gè)真實(shí)的瀏覽器如Chrome加載頁(yè)面、執(zhí)行JS等頁(yè)面完全渲染后再獲取HTML。這是一個(gè)更高級(jí)的話題代碼復(fù)雜度和資源消耗也更大。鏈接過(guò)濾我們可能只想要特定尺寸、特定格式的圖片。可以在提取鏈接后增加過(guò)濾邏輯。# 示例只下載jpg和png格式且鏈接中包含‘large’關(guān)鍵詞的圖片 allowed_extensions (.jpg, .jpeg, .png, .webp) if not img_url.lower().endswith(allowed_extensions): continue if large not in img_url: # 這是一個(gè)簡(jiǎn)單示例實(shí)際規(guī)則更復(fù)雜 continue4.3 文件管理優(yōu)化按域名或日期分類保存下載的圖片全部堆在一個(gè)文件夾里很快就會(huì)混亂。我們可以創(chuàng)建更有條理的目錄結(jié)構(gòu)。import datetime # 在創(chuàng)建保存目錄時(shí)使用更結(jié)構(gòu)化的路徑 domain urlparse(url).netloc.replace(www., ) # 獲取域名去掉www date_str datetime.datetime.now().strftime(%Y%m%d) save_dir os.path.join(downloads, domain, date_str) # 最終路徑如 downloads/example.com/20231027/更智能的文件命名除了從URL提取我們還可以嘗試從圖片標(biāo)簽的alt屬性圖片描述文本生成文件名或者使用MD5哈希值作為唯一文件名。import hashlib # 使用圖片內(nèi)容的MD5作為文件名絕對(duì)唯一 img_data img_response.content file_hash hashlib.md5(img_data).hexdigest() # 獲取文件擴(kuò)展名 content_type img_response.headers.get(content-type, ) if jpeg in content_type: ext .jpg elif png in content_type: ext .png else: # 從URL猜測(cè)或使用默認(rèn) ext .jpg filename f{file_hash}{ext}4.4 加入進(jìn)度顯示與日志記錄對(duì)于批量下載一個(gè)直觀的進(jìn)度條能極大提升體驗(yàn)?？梢允褂胻qdm庫(kù)。pip install tqdmfrom tqdm import tqdm # 將遍歷 img_tags 的循環(huán)改為 for i, img_tag in enumerate(tqdm(img_tags, desc下載進(jìn)度)): # ... 下載邏輯 ...同時(shí)將打印信息寫(xiě)入日志文件方便事后排查問(wèn)題。import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[logging.FileHandler(crawler.log), logging.StreamHandler()]) # 之后用 logging.info(...) 代替 print(...)經(jīng)過(guò)這些增強(qiáng)你的爬蟲(chóng)已經(jīng)從一個(gè)“玩具”升級(jí)為一個(gè)相對(duì)可靠的工具了。它更禮貌、更健壯、也更易用。5. 實(shí)戰(zhàn)構(gòu)建一個(gè)可配置的通用爬蟲(chóng)腳本現(xiàn)在我們把前面提到的所有最佳實(shí)踐整合起來(lái)寫(xiě)一個(gè)更通用、更強(qiáng)大的爬蟲(chóng)腳本。這個(gè)腳本支持通過(guò)命令行參數(shù)配置并具備基本的錯(cuò)誤恢復(fù)能力。創(chuàng)建一個(gè)新文件advanced_image_crawler.py。#!/usr/bin/env python3 高級(jí)圖片爬蟲(chóng)腳本 支持命令行參數(shù)具備反爬、分類保存、日志記錄等功能。 import os import sys import time import random import logging import argparse import hashlib from urllib.parse import urljoin, urlparse from concurrent.futures import ThreadPoolExecutor, as_completed import requests from bs4 import BeautifulSoup from tqdm import tqdm # 配置日志 logging.basicConfig( levellogging.INFO, format%(asctime)s [%(levelname)s] %(message)s, handlers[ logging.FileHandler(image_crawler.log, encodingutf-8), logging.StreamHandler(sys.stdout) ] ) logger logging.getLogger(__name__) class ImageCrawler: def __init__(self, base_url, output_dir./downloaded_images, max_workers5, delay_range(1, 3)): 初始化爬蟲(chóng) :param base_url: 目標(biāo)網(wǎng)頁(yè)URL :param output_dir: 輸出根目錄 :param max_workers: 并發(fā)下載線程數(shù) :param delay_range: 請(qǐng)求延遲范圍秒 self.base_url base_url self.output_dir output_dir self.max_workers max_workers self.delay_range delay_range # 創(chuàng)建按域名和日期分類的目錄 self.domain urlparse(base_url).netloc.replace(www., ) self.date_str time.strftime(%Y%m%d) self.save_dir os.path.join(output_dir, self.domain, self.date_str) os.makedirs(self.save_dir, exist_okTrue) logger.info(f圖片將保存至: {self.save_dir}) # 會(huì)話和請(qǐng)求頭 self.session requests.Session() self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: base_url, } # 記錄已下載的圖片哈希避免重復(fù)下載同一頁(yè)面內(nèi) self.downloaded_hashes set() def _random_delay(self): 隨機(jī)延遲模擬人工操作 time.sleep(random.uniform(*self.delay_range)) def fetch_page(self): 獲取目標(biāo)頁(yè)面HTML try: logger.info(f正在獲取頁(yè)面: {self.base_url}) self._random_delay() resp self.session.get(self.base_url, headersself.headers, timeout15) resp.raise_for_status() # 嘗試自動(dòng)檢測(cè)編碼 resp.encoding resp.apparent_encoding if resp.apparent_encoding else utf-8 return resp.text except requests.exceptions.RequestException as e: logger.error(f獲取頁(yè)面失敗: {e}) return None def extract_image_urls(self, html): 從HTML中提取所有圖片URL if not html: return [] soup BeautifulSoup(html, lxml) img_tags soup.find_all(img) urls [] for img in img_tags: # 多種屬性嘗試 for attr in [data-src, data-original, src, data-lazy-src]: img_url img.get(attr) if img_url and not img_url.startswith(data:image): # 排除base64內(nèi)嵌圖片 # 轉(zhuǎn)換為絕對(duì)URL absolute_url urljoin(self.base_url, img_url) urls.append(absolute_url) break # 找到一個(gè)有效屬性就跳出循環(huán) # 去重 unique_urls list(dict.fromkeys(urls)) logger.info(f共提取到 {len(unique_urls)} 個(gè)唯一圖片鏈接) return unique_urls def download_single_image(self, img_url, index): 下載單張圖片 try: self._random_delay() resp self.session.get(img_url, headersself.headers, streamTrue, timeout20) resp.raise_for_status() # 根據(jù)Content-Type確定擴(kuò)展名 content_type resp.headers.get(content-type, ).lower() if jpeg in content_type or jpg in content_type: ext .jpg elif png in content_type: ext .png elif gif in content_type: ext .gif elif webp in content_type: ext .webp else: # 從URL猜測(cè)或使用默認(rèn) parsed urlparse(img_url) path_ext os.path.splitext(parsed.path)[1] ext path_ext if path_ext and len(path_ext) 6 else .jpg # 生成唯一文件名索引_內(nèi)容MD5 img_data resp.content file_hash hashlib.md5(img_data).hexdigest()[:8] # 取前8位足夠唯一且短 # 檢查是否重復(fù)基于哈希 if file_hash in self.downloaded_hashes: logger.warning(f跳過(guò)重復(fù)圖片: {img_url}) return False filename f{index:04d}_{file_hash}{ext} filepath os.path.join(self.save_dir, filename) with open(filepath, wb) as f: f.write(img_data) self.downloaded_hashes.add(file_hash) logger.debug(f已保存: {filename}) return True except Exception as e: logger.error(f下載失敗 [{img_url[:50]}...]: {e}) return False def run(self): 主運(yùn)行流程 html self.fetch_page() if not html: logger.error(無(wú)法獲取頁(yè)面內(nèi)容程序退出。) return image_urls self.extract_image_urls(html) if not image_urls: logger.warning(未在頁(yè)面中發(fā)現(xiàn)圖片鏈接。) return logger.info(f開(kāi)始下載 {len(image_urls)} 張圖片使用 {self.max_workers} 個(gè)線程...) success_count 0 # 使用線程池并發(fā)下載 with ThreadPoolExecutor(max_workersself.max_workers) as executor: # 創(chuàng)建任務(wù)字典 {future: (url, index)} future_to_url { executor.submit(self.download_single_image, url, idx): (url, idx) for idx, url in enumerate(image_urls, 1) } # 使用tqdm創(chuàng)建進(jìn)度條 with tqdm(totallen(image_urls), desc下載進(jìn)度, unitimg) as pbar: for future in as_completed(future_to_url): url, idx future_to_url[future] try: if future.result(): # 如果下載成功返回True success_count 1 except Exception as e: logger.error(f任務(wù)執(zhí)行異常 [{url[:50]}...]: {e}) finally: pbar.update(1) # 更新進(jìn)度條 logger.info(f任務(wù)完成成功下載 {success_count}/{len(image_urls)} 張圖片。) logger.info(f圖片保存位置: {os.path.abspath(self.save_dir)}) def main(): parser argparse.ArgumentParser(description高級(jí)圖片爬蟲(chóng)) parser.add_argument(url, help目標(biāo)網(wǎng)頁(yè)的URL) parser.add_argument(-o, --output, default./downloaded_images, help輸出目錄 (默認(rèn): ./downloaded_images)) parser.add_argument(-w, --workers, typeint, default5, help并發(fā)下載線程數(shù) (默認(rèn): 5)) parser.add_argument(-d, --delay, typefloat, nargs2, default[1.0, 3.0], metavar(MIN, MAX), help請(qǐng)求延遲范圍單位秒 (默認(rèn): 1.0 3.0)) args parser.parse_args() crawler ImageCrawler( base_urlargs.url, output_dirargs.output, max_workersargs.workers, delay_rangetuple(args.delay) ) crawler.run() if __name__ __main__: main()這個(gè)腳本的亮點(diǎn)在于面向?qū)ο蠓庋b將功能封裝在ImageCrawler類中結(jié)構(gòu)清晰易于維護(hù)和擴(kuò)展。命令行接口使用argparse庫(kù)可以通過(guò)命令行參數(shù)靈活配置URL、輸出目錄、并發(fā)數(shù)等。并發(fā)下載使用ThreadPoolExecutor實(shí)現(xiàn)多線程下載顯著提升批量下載速度。智能去重通過(guò)計(jì)算圖片內(nèi)容的MD5哈希值避免下載完全相同的圖片。健壯的文件命名結(jié)合索引和哈希值生成唯一且有序的文件名。完善的日志同時(shí)輸出到控制臺(tái)和文件便于調(diào)試和追溯。使用方法# 基本用法 python advanced_image_crawler.py https://example.com # 指定輸出目錄和并發(fā)數(shù) python advanced_image_crawler.py https://example.com -o ./my_pics -w 10 # 指定更長(zhǎng)的請(qǐng)求延遲更禮貌 python advanced_image_crawler.py https://example.com -d 2 56. 常見(jiàn)問(wèn)題排查與實(shí)戰(zhàn)經(jīng)驗(yàn)分享即使有了健壯的腳本在實(shí)際操作中還是會(huì)遇到各種稀奇古怪的問(wèn)題。下面是我總結(jié)的一些典型“坑”及其解決方案。6.1 請(qǐng)求被拒絕或返回403錯(cuò)誤這是最常見(jiàn)的反爬蟲(chóng)響應(yīng)。癥狀requests.get()拋出異常或返回的狀態(tài)碼是403 Forbidden。排查與解決檢查User-Agent確保你的請(qǐng)求頭中包含一個(gè)常見(jiàn)瀏覽器的User-Agent?？梢試L試更換不同的UA字符串。添加Referer有些網(wǎng)站會(huì)檢查請(qǐng)求來(lái)源Referer將其設(shè)置為目標(biāo)網(wǎng)站的域名或一個(gè)搜索引擎的URL。使用Session對(duì)于需要維持狀態(tài)的網(wǎng)站務(wù)必使用requests.Session()。模擬更完整的請(qǐng)求頭復(fù)制瀏覽器開(kāi)發(fā)者工具中Network標(biāo)簽下的一個(gè)真實(shí)請(qǐng)求的所有Headers直接用作你的請(qǐng)求頭字典。終極方案Selenium如果網(wǎng)站反爬極其嚴(yán)格如驗(yàn)證碼、復(fù)雜JS加密考慮使用Selenium模擬真人操作。但這會(huì)犧牲速度。6.2 下載的圖片文件損壞或無(wú)法打開(kāi)癥狀文件大小異常如只有幾KB或用圖片查看器打開(kāi)時(shí)報(bào)錯(cuò)。排查與解決檢查響應(yīng)狀態(tài)碼和內(nèi)容類型在保存文件前打印resp.status_code和resp.headers.get(content-type)。確保狀態(tài)碼是200且內(nèi)容類型是圖片如image/jpeg。有時(shí)服務(wù)器返回的錯(cuò)誤頁(yè)面如404 HTML也被當(dāng)成了圖片內(nèi)容。檢查流式下載確保使用了streamTrue和resp.iter_content()。直接使用resp.content對(duì)于大文件可能引發(fā)內(nèi)存問(wèn)題但通常不會(huì)導(dǎo)致文件損壞。驗(yàn)證文件頭真正的圖片文件有特定的文件頭Magic Number。例如JPEG以FF D8 FF開(kāi)頭PNG以89 50 4E 47開(kāi)頭?？梢詫?xiě)一個(gè)簡(jiǎn)單的函數(shù)在保存前校驗(yàn)。6.3 爬取到的圖片數(shù)量遠(yuǎn)少于瀏覽器所見(jiàn)癥狀腳本只找到十幾張圖但瀏覽器肉眼可見(jiàn)有上百?gòu)垺Ｅ挪榕c解決懶加載Lazy Load這是最主要的原因?，F(xiàn)代網(wǎng)站大量使用此技術(shù)。解決方案就是像我們代碼里做的那樣優(yōu)先抓取>import re def sanitize_filename(filename): # 移除非法字符 filename re.sub(r[\/:*?|], _, filename) # 限制長(zhǎng)度可選 if len(filename) 255: name, ext os.path.splitext(filename) filename name[:250-len(ext)] ext return filename6.5 性能瓶頸與優(yōu)化癥狀下載幾百?gòu)垐D片速度極慢。優(yōu)化方向增加并發(fā)如我們腳本中所做使用線程池ThreadPoolExecutor。注意線程數(shù)不是越多越好一般設(shè)置為5-15個(gè)為宜過(guò)多可能導(dǎo)致本地網(wǎng)絡(luò)擁堵或被目標(biāo)服務(wù)器封禁。異步IO對(duì)于IO密集型任務(wù)異步是終極方案。將核心下載邏輯用aiohttp和aiofiles重寫(xiě)可以同時(shí)處理成千上萬(wàn)個(gè)請(qǐng)求性能提升巨大但代碼復(fù)雜度也最高。減少延遲在遵守網(wǎng)站規(guī)則的前提下可以適當(dāng)縮短delay_range。對(duì)于反爬不嚴(yán)的網(wǎng)站可以設(shè)置為(0.1, 0.5)。連接復(fù)用使用requests.Session()本身就復(fù)用了TCP連接比每次創(chuàng)建新連接高效。6.6 法律與道德風(fēng)險(xiǎn)規(guī)避這是最重要的一點(diǎn)技術(shù)必須在合規(guī)的框架內(nèi)使用。尊重robots.txt在爬取前訪問(wèn)https://目標(biāo)網(wǎng)站/robots.txt查看是否允許爬蟲(chóng)訪問(wèn)你想要的路徑。Python有robotparser模塊可以解析此文件?？刂普?qǐng)求速率務(wù)必在請(qǐng)求間添加延遲避免對(duì)目標(biāo)服務(wù)器造成拒絕服務(wù)攻擊DoS的壓力。我們的_random_delay函數(shù)就是干這個(gè)的。遵守版權(quán)明確你爬取的圖片的版權(quán)歸屬。個(gè)人學(xué)習(xí)、研究使用通常屬于合理使用范疇但未經(jīng)授權(quán)用于商業(yè)目的、大量分發(fā)或公開(kāi)傳播可能構(gòu)成侵權(quán)。識(shí)別并遵守網(wǎng)站條款許多網(wǎng)站的“服務(wù)條款”Terms of Service中明確禁止爬蟲(chóng)。在使用自動(dòng)化工具前最好查閱一下。最后分享一個(gè)我自己的習(xí)慣在運(yùn)行任何爬蟲(chóng)尤其是新寫(xiě)的、針對(duì)陌生網(wǎng)站的爬蟲(chóng)時(shí)我會(huì)先用一個(gè)很小的、只抓取前2-3張圖片的測(cè)試模式跑一遍。觀察日志檢查下載的圖片是否正確請(qǐng)求是否正常。確認(rèn)無(wú)誤后再放開(kāi)限制進(jìn)行全量爬取。這個(gè)習(xí)慣幫我避免了很多次“跑了一晚上結(jié)果全下錯(cuò)了”的悲劇。爬蟲(chóng)開(kāi)發(fā)三分在寫(xiě)七分在調(diào)。耐心和細(xì)致的測(cè)試是成功的關(guān)鍵。 Python圖片爬蟲(chóng)實(shí)戰(zhàn)：從Requests到異步下載的完整實(shí)現(xiàn)
1. 項(xiàng)目概述從手動(dòng)右鍵到自動(dòng)化歸檔干過(guò)內(nèi)容運(yùn)營(yíng)、素材收集或者數(shù)據(jù)分析的朋友十有八九都遇到過(guò)這個(gè)場(chǎng)景看到一個(gè)網(wǎng)頁(yè)里面幾十上百?gòu)埜咔鍒D片正是你急需的素材庫(kù)。然后呢一張張右鍵、另存為、重命名……重復(fù)勞動(dòng)枯燥不說(shuō)還容易出錯(cuò)漏存。幾年前我剛?cè)胄凶鲂旅襟w時(shí)就經(jīng)常為了找配圖這么干效率低到令人發(fā)指。后來(lái)接觸了Python第一個(gè)想到的自動(dòng)化任務(wù)就是搞定這個(gè)痛點(diǎn)——寫(xiě)個(gè)爬蟲(chóng)讓它替我批量抓取網(wǎng)頁(yè)上的圖片并保存到本地。這個(gè)項(xiàng)目說(shuō)白了就是用程序模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)自動(dòng)識(shí)別頁(yè)面中的所有圖片鏈接然后一張張下載下來(lái)并按你設(shè)定的規(guī)則整理好。它解決的遠(yuǎn)不止是“省時(shí)間”的問(wèn)題。比如在做競(jìng)品分析時(shí)你需要批量抓取對(duì)手官網(wǎng)的產(chǎn)品圖在做設(shè)計(jì)靈感收集時(shí)需要從特定網(wǎng)站歸檔一批風(fēng)格統(tǒng)一的圖片甚至在做簡(jiǎn)單的數(shù)據(jù)標(biāo)注或圖像識(shí)別項(xiàng)目前期也需要一個(gè)可靠的圖片采集工具。手動(dòng)操作在幾十張的規(guī)模下尚可忍受一旦目標(biāo)成百上千自動(dòng)化就成了唯一可行的路徑。實(shí)現(xiàn)這個(gè)目標(biāo)核心就是Python。它豐富的第三方庫(kù)讓HTTP請(qǐng)求、HTML解析、文件操作這些步驟變得異常簡(jiǎn)單。即使你是個(gè)剛學(xué)完基礎(chǔ)語(yǔ)法的新手跟著清晰的步驟走一兩個(gè)小時(shí)也能搭出一個(gè)可用的爬蟲(chóng)。接下來(lái)我會(huì)結(jié)合我這些年踩過(guò)的坑和優(yōu)化經(jīng)驗(yàn)把一個(gè)完整的、健壯的圖片爬蟲(chóng)從思路到代碼再到部署和問(wèn)題排查給你徹底講明白。你會(huì)發(fā)現(xiàn)自動(dòng)化處理信息才是打開(kāi)數(shù)字世界效率之門的正確方式。2. 核心工具鏈選型與原理剖析工欲善其事必先利其器。選對(duì)工具項(xiàng)目就成功了一半。一個(gè)圖片爬蟲(chóng)的工作流程可以抽象為四個(gè)核心環(huán)節(jié)獲取網(wǎng)頁(yè)、解析內(nèi)容、提取鏈接、下載保存。每個(gè)環(huán)節(jié)都有若干成熟的Python庫(kù)可供選擇我們的選型需要兼顧易用性、性能和生態(tài)。2.1 網(wǎng)絡(luò)請(qǐng)求庫(kù)Requests vs. aiohttp首先是把網(wǎng)頁(yè)的原始HTML代碼“拿回來(lái)”。這里最經(jīng)典的選擇是requests庫(kù)。它提供了極其人性化的API幾乎成了Python發(fā)送HTTP請(qǐng)求的事實(shí)標(biāo)準(zhǔn)。它的優(yōu)點(diǎn)是同步、阻塞式代碼寫(xiě)起來(lái)是線性的非常易于理解和調(diào)試。對(duì)于初學(xué)者或者目標(biāo)頁(yè)面不多的場(chǎng)景requests是首選。import requests response requests.get(https://example.com) html_content response.text但是當(dāng)需要批量抓取成百上千個(gè)頁(yè)面或者一個(gè)頁(yè)面里有大量圖片時(shí)同步請(qǐng)求的缺點(diǎn)就暴露了你必須等一張圖片下載完才能開(kāi)始下一張大部分時(shí)間都在等待網(wǎng)絡(luò)I/OCPU是空閑的。這時(shí)異步庫(kù)aiohttp配合asyncio就該登場(chǎng)了。它可以同時(shí)發(fā)起和處理大量網(wǎng)絡(luò)請(qǐng)求極大地提升下載效率。不過(guò)異步編程模型有一定學(xué)習(xí)門檻代碼結(jié)構(gòu)也更復(fù)雜。實(shí)操心得對(duì)于新手強(qiáng)烈建議從requests開(kāi)始。先把同步的邏輯跑通理解整個(gè)流程。當(dāng)你的爬蟲(chóng)需要抓取的圖片量很大并且遇到了明顯的性能瓶頸時(shí)再考慮升級(jí)到aiohttp。99%的中小規(guī)模需求requests完全夠用。2.2 HTML解析庫(kù)BeautifulSoup4 與 lxml拿到HTML后我們需要從中“大海撈針”找出所有圖片的標(biāo)簽通常是img。這就需要HTML解析庫(kù)。BeautifulSoup4簡(jiǎn)稱bs4是這方面的王者它提供了“一鍋亂燉”式的解析方式能很好地處理各種不規(guī)范的HTMLAPI也非常直觀支持通過(guò)標(biāo)簽名、屬性、CSS選擇器等多種方式查找元素。from bs4 import BeautifulSoup soup BeautifulSoup(html_content, html.parser) img_tags soup.find_all(img)注意上面代碼中的html.parser這是Python內(nèi)置的解析器速度慢但無(wú)需安裝。在實(shí)際生產(chǎn)中我們通常會(huì)指定lxml作為解析器需要先pip install lxml。lxml是一個(gè)用C語(yǔ)言編寫(xiě)的庫(kù)解析速度極快容錯(cuò)能力也更強(qiáng)。BeautifulSoup只是一個(gè)“包裝器”它依賴底層的解析器如lxml,html5lib來(lái)干活。所以最佳實(shí)踐是安裝lxml然后這樣創(chuàng)建對(duì)象soup BeautifulSoup(html_content, lxml) # 速度更快更健壯2.3 圖片鏈接提取與下載找到img標(biāo)簽后圖片的URL通常存儲(chǔ)在src屬性里。但事情沒(méi)那么簡(jiǎn)單。有些網(wǎng)站使用懶加載技術(shù)初始的src可能是一個(gè)占位圖真正的圖片URL藏在>環(huán)節(jié)首選工具備選/進(jìn)階工具核心作用網(wǎng)絡(luò)請(qǐng)求requestsaiohttp(異步)獲取網(wǎng)頁(yè)HTML內(nèi)容HTML解析BeautifulSoup4lxmlparsel(Scrapy風(fēng)格)從HTML中定位img標(biāo)簽鏈接提取BeautifulSoup屬性查找正則表達(dá)式re從標(biāo)簽中獲取真實(shí)的圖片URL文件下載requests.get()(流模式)aiohttpaiofiles(異步)將網(wǎng)絡(luò)圖片以二進(jìn)制形式保存到磁盤路徑管理os,pathlib-創(chuàng)建目錄、生成文件名、管理文件這套組合拳構(gòu)成了我們爬蟲(chóng)項(xiàng)目的技術(shù)骨架。接下來(lái)我們就用它們來(lái)搭建一個(gè)五臟俱全的爬蟲(chóng)。3. 基礎(chǔ)爬蟲(chóng)搭建從零到一的完整實(shí)現(xiàn)讓我們暫時(shí)忘掉那些復(fù)雜的概念先動(dòng)手實(shí)現(xiàn)一個(gè)最基礎(chǔ)、但絕對(duì)可用的版本。這個(gè)版本的目標(biāo)很明確給定一個(gè)網(wǎng)頁(yè)URL爬取該頁(yè)面上所有圖片保存到本地一個(gè)文件夾里。3.1 環(huán)境準(zhǔn)備與依賴安裝首先確保你的Python環(huán)境已經(jīng)就緒建議使用Python 3.7及以上版本。然后通過(guò)pip安裝我們需要的核心庫(kù)。打開(kāi)你的終端或命令行執(zhí)行以下命令pip install requests beautifulsoup4 lxml這三行命令會(huì)安裝網(wǎng)絡(luò)請(qǐng)求、HTML解析以及高效的解析器引擎。安裝過(guò)程通常很快如果遇到速度慢的問(wèn)題可以考慮使用國(guó)內(nèi)的鏡像源例如加上-i https://pypi.tuna.tsinghua.edu.cn/simple。3.2 核心代碼逐行解析下面我們創(chuàng)建一個(gè)名為simple_image_crawler.py的Python文件并開(kāi)始編寫(xiě)代碼。第一步導(dǎo)入必要的模塊import os import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparseos: 用于操作系統(tǒng)功能如創(chuàng)建目錄。requests: 用于發(fā)送HTTP請(qǐng)求。BeautifulSoup: 用于解析HTML。urllib.parse.urljoin: 這是一個(gè)至關(guān)重要的函數(shù)。網(wǎng)頁(yè)中的圖片鏈接很多是相對(duì)路徑如/images/photo.jpg我們需要將其與基礎(chǔ)URL拼接成絕對(duì)路徑。urllib.parse.urlparse: 用于解析URL從中提取信息比如我們用它來(lái)生成合理的本地文件名。第二步定義核心爬取函數(shù)def download_images(url, save_dirdownloaded_images): 從指定URL下載所有圖片到本地目錄 :param url: 目標(biāo)網(wǎng)頁(yè)的URL :param save_dir: 圖片保存的本地目錄名 # 1. 創(chuàng)建保存目錄 if not os.path.exists(save_dir): os.makedirs(save_dir) print(f[信息] 創(chuàng)建保存目錄: {save_dir}) else: print(f[信息] 目錄已存在: {save_dir}) # 2. 發(fā)送HTTP請(qǐng)求獲取網(wǎng)頁(yè)內(nèi)容 try: headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 如果狀態(tài)碼不是200拋出異常 response.encoding response.apparent_encoding # 自動(dòng)識(shí)別編碼 html_content response.text except requests.exceptions.RequestException as e: print(f[錯(cuò)誤] 請(qǐng)求網(wǎng)頁(yè)失敗: {e}) return # 3. 解析HTML找到所有img標(biāo)簽 soup BeautifulSoup(html_content, lxml) img_tags soup.find_all(img) print(f[信息] 在頁(yè)面上找到 {len(img_tags)} 個(gè)圖片標(biāo)簽) # 4. 遍歷每個(gè)img標(biāo)簽下載圖片 downloaded_count 0 for i, img_tag in enumerate(img_tags): # 獲取圖片鏈接。優(yōu)先考慮>if __name__ __main__: target_url https://example.com # 替換成你想爬取的網(wǎng)站 download_images(target_url)3.3 代碼關(guān)鍵點(diǎn)解讀與避坑指南User-Agent頭這是模擬瀏覽器訪問(wèn)的關(guān)鍵。沒(méi)有這個(gè)頭很多網(wǎng)站會(huì)拒絕請(qǐng)求或返回不同的內(nèi)容。代碼中使用的是一個(gè)常見(jiàn)的Chrome瀏覽器UA字符串。異常處理網(wǎng)絡(luò)請(qǐng)求和文件操作充滿了不確定性。使用try...except包裹關(guān)鍵步驟可以避免程序因單個(gè)圖片下載失敗而整體崩潰。鏈接補(bǔ)全urljoin(base, url)是處理相對(duì)路徑的神器。無(wú)論img_url是/img/1.jpg還是./img/1.jpg它都能正確拼接成完整的URL。流式下載requests.get(streamTrue)配合iter_content()可以分塊下載大文件避免一次性將整個(gè)圖片加載到內(nèi)存更安全高效。文件名處理直接從URL路徑的最后一部分取文件名是最常見(jiàn)的做法。但必須考慮文件名可能缺失、包含非法字符或重復(fù)的情況。我們的代碼做了簡(jiǎn)單的沖突處理。懶加載處理img_tag.get(data-src) or img_tag.get(src)這行代碼是關(guān)鍵。它優(yōu)先獲取>headers { User-Agent: ..., Referer: https://www.google.com/, # 示例可設(shè)置為目標(biāo)網(wǎng)站的域名 Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, }請(qǐng)求延遲在循環(huán)下載圖片的請(qǐng)求之間隨機(jī)等待一小段時(shí)間。這是最基本的“禮貌”可以避免因請(qǐng)求過(guò)快被服務(wù)器封禁IP。import time import random # 在下載每張圖片的循環(huán)內(nèi)請(qǐng)求前或請(qǐng)求后添加 time.sleep(random.uniform(0.5, 2.0)) # 隨機(jī)等待0.5到2秒處理Cookie與Session有些網(wǎng)站需要登錄后才能看到圖片。這時(shí)可以使用requests.Session()對(duì)象它會(huì)自動(dòng)管理Cookie模擬一次完整的瀏覽器會(huì)話。session requests.Session() # 可以先POST請(qǐng)求登錄如果需要 # login_data {username: ..., password: ...} # session.post(login_url, datalogin_data) # 然后用session去get目標(biāo)頁(yè)面 response session.get(target_url, headersheaders)4.2 增強(qiáng)鏈接提取與過(guò)濾基礎(chǔ)版本只抓取了img標(biāo)簽。但圖片還可能以其他形式存在CSS背景圖有些圖片通過(guò)background-image: url(...)設(shè)置在CSS里。要抓取這些需要先提取所有style標(biāo)簽或鏈接的CSS文件然后用正則表達(dá)式匹配url(...)中的路徑。這比較復(fù)雜通常需要根據(jù)目標(biāo)網(wǎng)站具體情況定制。JavaScript動(dòng)態(tài)加載越來(lái)越多的網(wǎng)站用JS動(dòng)態(tài)渲染內(nèi)容初始HTML里沒(méi)有圖片標(biāo)簽。這時(shí)requestsBeautifulSoup就無(wú)能為力了因?yàn)樗鼈冎荒芸吹絁S執(zhí)行前的靜態(tài)HTML。解決方案是使用Selenium或Playwright這類瀏覽器自動(dòng)化工具它們能控制一個(gè)真實(shí)的瀏覽器如Chrome加載頁(yè)面、執(zhí)行JS等頁(yè)面完全渲染后再獲取HTML。這是一個(gè)更高級(jí)的話題代碼復(fù)雜度和資源消耗也更大。鏈接過(guò)濾我們可能只想要特定尺寸、特定格式的圖片。可以在提取鏈接后增加過(guò)濾邏輯。# 示例只下載jpg和png格式且鏈接中包含‘large’關(guān)鍵詞的圖片 allowed_extensions (.jpg, .jpeg, .png, .webp) if not img_url.lower().endswith(allowed_extensions): continue if large not in img_url: # 這是一個(gè)簡(jiǎn)單示例實(shí)際規(guī)則更復(fù)雜 continue4.3 文件管理優(yōu)化按域名或日期分類保存下載的圖片全部堆在一個(gè)文件夾里很快就會(huì)混亂。我們可以創(chuàng)建更有條理的目錄結(jié)構(gòu)。import datetime # 在創(chuàng)建保存目錄時(shí)使用更結(jié)構(gòu)化的路徑 domain urlparse(url).netloc.replace(www., ) # 獲取域名去掉www date_str datetime.datetime.now().strftime(%Y%m%d) save_dir os.path.join(downloads, domain, date_str) # 最終路徑如 downloads/example.com/20231027/更智能的文件命名除了從URL提取我們還可以嘗試從圖片標(biāo)簽的alt屬性圖片描述文本生成文件名或者使用MD5哈希值作為唯一文件名。import hashlib # 使用圖片內(nèi)容的MD5作為文件名絕對(duì)唯一 img_data img_response.content file_hash hashlib.md5(img_data).hexdigest() # 獲取文件擴(kuò)展名 content_type img_response.headers.get(content-type, ) if jpeg in content_type: ext .jpg elif png in content_type: ext .png else: # 從URL猜測(cè)或使用默認(rèn) ext .jpg filename f{file_hash}{ext}4.4 加入進(jìn)度顯示與日志記錄對(duì)于批量下載一個(gè)直觀的進(jìn)度條能極大提升體驗(yàn)?？梢允褂胻qdm庫(kù)。pip install tqdmfrom tqdm import tqdm # 將遍歷 img_tags 的循環(huán)改為 for i, img_tag in enumerate(tqdm(img_tags, desc下載進(jìn)度)): # ... 下載邏輯 ...同時(shí)將打印信息寫(xiě)入日志文件方便事后排查問(wèn)題。import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s, handlers[logging.FileHandler(crawler.log), logging.StreamHandler()]) # 之后用 logging.info(...) 代替 print(...)經(jīng)過(guò)這些增強(qiáng)你的爬蟲(chóng)已經(jīng)從一個(gè)“玩具”升級(jí)為一個(gè)相對(duì)可靠的工具了。它更禮貌、更健壯、也更易用。5. 實(shí)戰(zhàn)構(gòu)建一個(gè)可配置的通用爬蟲(chóng)腳本現(xiàn)在我們把前面提到的所有最佳實(shí)踐整合起來(lái)寫(xiě)一個(gè)更通用、更強(qiáng)大的爬蟲(chóng)腳本。這個(gè)腳本支持通過(guò)命令行參數(shù)配置并具備基本的錯(cuò)誤恢復(fù)能力。創(chuàng)建一個(gè)新文件advanced_image_crawler.py。#!/usr/bin/env python3 高級(jí)圖片爬蟲(chóng)腳本 支持命令行參數(shù)具備反爬、分類保存、日志記錄等功能。 import os import sys import time import random import logging import argparse import hashlib from urllib.parse import urljoin, urlparse from concurrent.futures import ThreadPoolExecutor, as_completed import requests from bs4 import BeautifulSoup from tqdm import tqdm # 配置日志 logging.basicConfig( levellogging.INFO, format%(asctime)s [%(levelname)s] %(message)s, handlers[ logging.FileHandler(image_crawler.log, encodingutf-8), logging.StreamHandler(sys.stdout) ] ) logger logging.getLogger(__name__) class ImageCrawler: def __init__(self, base_url, output_dir./downloaded_images, max_workers5, delay_range(1, 3)): 初始化爬蟲(chóng) :param base_url: 目標(biāo)網(wǎng)頁(yè)URL :param output_dir: 輸出根目錄 :param max_workers: 并發(fā)下載線程數(shù) :param delay_range: 請(qǐng)求延遲范圍秒 self.base_url base_url self.output_dir output_dir self.max_workers max_workers self.delay_range delay_range # 創(chuàng)建按域名和日期分類的目錄 self.domain urlparse(base_url).netloc.replace(www., ) self.date_str time.strftime(%Y%m%d) self.save_dir os.path.join(output_dir, self.domain, self.date_str) os.makedirs(self.save_dir, exist_okTrue) logger.info(f圖片將保存至: {self.save_dir}) # 會(huì)話和請(qǐng)求頭 self.session requests.Session() self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: base_url, } # 記錄已下載的圖片哈希避免重復(fù)下載同一頁(yè)面內(nèi) self.downloaded_hashes set() def _random_delay(self): 隨機(jī)延遲模擬人工操作 time.sleep(random.uniform(*self.delay_range)) def fetch_page(self): 獲取目標(biāo)頁(yè)面HTML try: logger.info(f正在獲取頁(yè)面: {self.base_url}) self._random_delay() resp self.session.get(self.base_url, headersself.headers, timeout15) resp.raise_for_status() # 嘗試自動(dòng)檢測(cè)編碼 resp.encoding resp.apparent_encoding if resp.apparent_encoding else utf-8 return resp.text except requests.exceptions.RequestException as e: logger.error(f獲取頁(yè)面失敗: {e}) return None def extract_image_urls(self, html): 從HTML中提取所有圖片URL if not html: return [] soup BeautifulSoup(html, lxml) img_tags soup.find_all(img) urls [] for img in img_tags: # 多種屬性嘗試 for attr in [data-src, data-original, src, data-lazy-src]: img_url img.get(attr) if img_url and not img_url.startswith(data:image): # 排除base64內(nèi)嵌圖片 # 轉(zhuǎn)換為絕對(duì)URL absolute_url urljoin(self.base_url, img_url) urls.append(absolute_url) break # 找到一個(gè)有效屬性就跳出循環(huán) # 去重 unique_urls list(dict.fromkeys(urls)) logger.info(f共提取到 {len(unique_urls)} 個(gè)唯一圖片鏈接) return unique_urls def download_single_image(self, img_url, index): 下載單張圖片 try: self._random_delay() resp self.session.get(img_url, headersself.headers, streamTrue, timeout20) resp.raise_for_status() # 根據(jù)Content-Type確定擴(kuò)展名 content_type resp.headers.get(content-type, ).lower() if jpeg in content_type or jpg in content_type: ext .jpg elif png in content_type: ext .png elif gif in content_type: ext .gif elif webp in content_type: ext .webp else: # 從URL猜測(cè)或使用默認(rèn) parsed urlparse(img_url) path_ext os.path.splitext(parsed.path)[1] ext path_ext if path_ext and len(path_ext) 6 else .jpg # 生成唯一文件名索引_內(nèi)容MD5 img_data resp.content file_hash hashlib.md5(img_data).hexdigest()[:8] # 取前8位足夠唯一且短 # 檢查是否重復(fù)基于哈希 if file_hash in self.downloaded_hashes: logger.warning(f跳過(guò)重復(fù)圖片: {img_url}) return False filename f{index:04d}_{file_hash}{ext} filepath os.path.join(self.save_dir, filename) with open(filepath, wb) as f: f.write(img_data) self.downloaded_hashes.add(file_hash) logger.debug(f已保存: {filename}) return True except Exception as e: logger.error(f下載失敗 [{img_url[:50]}...]: {e}) return False def run(self): 主運(yùn)行流程 html self.fetch_page() if not html: logger.error(無(wú)法獲取頁(yè)面內(nèi)容程序退出。) return image_urls self.extract_image_urls(html) if not image_urls: logger.warning(未在頁(yè)面中發(fā)現(xiàn)圖片鏈接。) return logger.info(f開(kāi)始下載 {len(image_urls)} 張圖片使用 {self.max_workers} 個(gè)線程...) success_count 0 # 使用線程池并發(fā)下載 with ThreadPoolExecutor(max_workersself.max_workers) as executor: # 創(chuàng)建任務(wù)字典 {future: (url, index)} future_to_url { executor.submit(self.download_single_image, url, idx): (url, idx) for idx, url in enumerate(image_urls, 1) } # 使用tqdm創(chuàng)建進(jìn)度條 with tqdm(totallen(image_urls), desc下載進(jìn)度, unitimg) as pbar: for future in as_completed(future_to_url): url, idx future_to_url[future] try: if future.result(): # 如果下載成功返回True success_count 1 except Exception as e: logger.error(f任務(wù)執(zhí)行異常 [{url[:50]}...]: {e}) finally: pbar.update(1) # 更新進(jìn)度條 logger.info(f任務(wù)完成成功下載 {success_count}/{len(image_urls)} 張圖片。) logger.info(f圖片保存位置: {os.path.abspath(self.save_dir)}) def main(): parser argparse.ArgumentParser(description高級(jí)圖片爬蟲(chóng)) parser.add_argument(url, help目標(biāo)網(wǎng)頁(yè)的URL) parser.add_argument(-o, --output, default./downloaded_images, help輸出目錄 (默認(rèn): ./downloaded_images)) parser.add_argument(-w, --workers, typeint, default5, help并發(fā)下載線程數(shù) (默認(rèn): 5)) parser.add_argument(-d, --delay, typefloat, nargs2, default[1.0, 3.0], metavar(MIN, MAX), help請(qǐng)求延遲范圍單位秒 (默認(rèn): 1.0 3.0)) args parser.parse_args() crawler ImageCrawler( base_urlargs.url, output_dirargs.output, max_workersargs.workers, delay_rangetuple(args.delay) ) crawler.run() if __name__ __main__: main()這個(gè)腳本的亮點(diǎn)在于面向?qū)ο蠓庋b將功能封裝在ImageCrawler類中結(jié)構(gòu)清晰易于維護(hù)和擴(kuò)展。命令行接口使用argparse庫(kù)可以通過(guò)命令行參數(shù)靈活配置URL、輸出目錄、并發(fā)數(shù)等。并發(fā)下載使用ThreadPoolExecutor實(shí)現(xiàn)多線程下載顯著提升批量下載速度。智能去重通過(guò)計(jì)算圖片內(nèi)容的MD5哈希值避免下載完全相同的圖片。健壯的文件命名結(jié)合索引和哈希值生成唯一且有序的文件名。完善的日志同時(shí)輸出到控制臺(tái)和文件便于調(diào)試和追溯。使用方法# 基本用法 python advanced_image_crawler.py https://example.com # 指定輸出目錄和并發(fā)數(shù) python advanced_image_crawler.py https://example.com -o ./my_pics -w 10 # 指定更長(zhǎng)的請(qǐng)求延遲更禮貌 python advanced_image_crawler.py https://example.com -d 2 56. 常見(jiàn)問(wèn)題排查與實(shí)戰(zhàn)經(jīng)驗(yàn)分享即使有了健壯的腳本在實(shí)際操作中還是會(huì)遇到各種稀奇古怪的問(wèn)題。下面是我總結(jié)的一些典型“坑”及其解決方案。6.1 請(qǐng)求被拒絕或返回403錯(cuò)誤這是最常見(jiàn)的反爬蟲(chóng)響應(yīng)。癥狀requests.get()拋出異常或返回的狀態(tài)碼是403 Forbidden。排查與解決檢查User-Agent確保你的請(qǐng)求頭中包含一個(gè)常見(jiàn)瀏覽器的User-Agent?？梢試L試更換不同的UA字符串。添加Referer有些網(wǎng)站會(huì)檢查請(qǐng)求來(lái)源Referer將其設(shè)置為目標(biāo)網(wǎng)站的域名或一個(gè)搜索引擎的URL。使用Session對(duì)于需要維持狀態(tài)的網(wǎng)站務(wù)必使用requests.Session()。模擬更完整的請(qǐng)求頭復(fù)制瀏覽器開(kāi)發(fā)者工具中Network標(biāo)簽下的一個(gè)真實(shí)請(qǐng)求的所有Headers直接用作你的請(qǐng)求頭字典。終極方案Selenium如果網(wǎng)站反爬極其嚴(yán)格如驗(yàn)證碼、復(fù)雜JS加密考慮使用Selenium模擬真人操作。但這會(huì)犧牲速度。6.2 下載的圖片文件損壞或無(wú)法打開(kāi)癥狀文件大小異常如只有幾KB或用圖片查看器打開(kāi)時(shí)報(bào)錯(cuò)。排查與解決檢查響應(yīng)狀態(tài)碼和內(nèi)容類型在保存文件前打印resp.status_code和resp.headers.get(content-type)。確保狀態(tài)碼是200且內(nèi)容類型是圖片如image/jpeg。有時(shí)服務(wù)器返回的錯(cuò)誤頁(yè)面如404 HTML也被當(dāng)成了圖片內(nèi)容。檢查流式下載確保使用了streamTrue和resp.iter_content()。直接使用resp.content對(duì)于大文件可能引發(fā)內(nèi)存問(wèn)題但通常不會(huì)導(dǎo)致文件損壞。驗(yàn)證文件頭真正的圖片文件有特定的文件頭Magic Number。例如JPEG以FF D8 FF開(kāi)頭PNG以89 50 4E 47開(kāi)頭?？梢詫?xiě)一個(gè)簡(jiǎn)單的函數(shù)在保存前校驗(yàn)。6.3 爬取到的圖片數(shù)量遠(yuǎn)少于瀏覽器所見(jiàn)癥狀腳本只找到十幾張圖但瀏覽器肉眼可見(jiàn)有上百?gòu)垺Ｅ挪榕c解決懶加載Lazy Load這是最主要的原因?，F(xiàn)代網(wǎng)站大量使用此技術(shù)。解決方案就是像我們代碼里做的那樣優(yōu)先抓取>import re def sanitize_filename(filename): # 移除非法字符 filename re.sub(r[\/:*?|], _, filename) # 限制長(zhǎng)度可選 if len(filename) 255: name, ext os.path.splitext(filename) filename name[:250-len(ext)] ext return filename6.5 性能瓶頸與優(yōu)化癥狀下載幾百?gòu)垐D片速度極慢。優(yōu)化方向增加并發(fā)如我們腳本中所做使用線程池ThreadPoolExecutor。注意線程數(shù)不是越多越好一般設(shè)置為5-15個(gè)為宜過(guò)多可能導(dǎo)致本地網(wǎng)絡(luò)擁堵或被目標(biāo)服務(wù)器封禁。異步IO對(duì)于IO密集型任務(wù)異步是終極方案。將核心下載邏輯用aiohttp和aiofiles重寫(xiě)可以同時(shí)處理成千上萬(wàn)個(gè)請(qǐng)求性能提升巨大但代碼復(fù)雜度也最高。減少延遲在遵守網(wǎng)站規(guī)則的前提下可以適當(dāng)縮短delay_range。對(duì)于反爬不嚴(yán)的網(wǎng)站可以設(shè)置為(0.1, 0.5)。連接復(fù)用使用requests.Session()本身就復(fù)用了TCP連接比每次創(chuàng)建新連接高效。6.6 法律與道德風(fēng)險(xiǎn)規(guī)避這是最重要的一點(diǎn)技術(shù)必須在合規(guī)的框架內(nèi)使用。尊重robots.txt在爬取前訪問(wèn)https://目標(biāo)網(wǎng)站/robots.txt查看是否允許爬蟲(chóng)訪問(wèn)你想要的路徑。Python有robotparser模塊可以解析此文件?？刂普?qǐng)求速率務(wù)必在請(qǐng)求間添加延遲避免對(duì)目標(biāo)服務(wù)器造成拒絕服務(wù)攻擊DoS的壓力。我們的_random_delay函數(shù)就是干這個(gè)的。遵守版權(quán)明確你爬取的圖片的版權(quán)歸屬。個(gè)人學(xué)習(xí)、研究使用通常屬于合理使用范疇但未經(jīng)授權(quán)用于商業(yè)目的、大量分發(fā)或公開(kāi)傳播可能構(gòu)成侵權(quán)。識(shí)別并遵守網(wǎng)站條款許多網(wǎng)站的“服務(wù)條款”Terms of Service中明確禁止爬蟲(chóng)。在使用自動(dòng)化工具前最好查閱一下。最后分享一個(gè)我自己的習(xí)慣在運(yùn)行任何爬蟲(chóng)尤其是新寫(xiě)的、針對(duì)陌生網(wǎng)站的爬蟲(chóng)時(shí)我會(huì)先用一個(gè)很小的、只抓取前2-3張圖片的測(cè)試模式跑一遍。觀察日志檢查下載的圖片是否正確請(qǐng)求是否正常。確認(rèn)無(wú)誤后再放開(kāi)限制進(jìn)行全量爬取。這個(gè)習(xí)慣幫我避免了很多次“跑了一晚上結(jié)果全下錯(cuò)了”的悲劇。爬蟲(chóng)開(kāi)發(fā)三分在寫(xiě)七分在調(diào)。耐心和細(xì)致的測(cè)試是成功的關(guān)鍵。