現(xiàn)RSS與Atom訂閱源：協(xié)議差異、完整代碼與避坑實(shí)踐)
說到RSS、Atom和Feed很多剛?cè)胄械耐瑢W(xué)可能只在老一輩技術(shù)文章里見過這幾個(gè)詞以為這是“上一代互聯(lián)網(wǎng)的化石”。但如果你真的動手維護(hù)過一個(gè)內(nèi)容站你會發(fā)現(xiàn)Feed機(jī)制至今依然是內(nèi)容分發(fā)的基石之一新聞聚合器、播客客戶端、知識管理工具、自動化工作流全都在消費(fèi)這種標(biāo)準(zhǔn)格式。這次我用Django從零實(shí)現(xiàn)了一套RSS 2.0和Atom 1.0訂閱源踩了不少坑也把前后端、模板、緩存、協(xié)議細(xì)節(jié)捋了一遍。這篇文章會把概念拆解、實(shí)現(xiàn)方案、完整代碼和線上問題排查經(jīng)驗(yàn)一次性講清楚適合需要用Django快速輸出Feed的開發(fā)者也適合想弄清楚RSS/Atom底層協(xié)議差異但在網(wǎng)上找不到系統(tǒng)解釋的人。先給個(gè)結(jié)論Django內(nèi)置的Feed框架比大多數(shù)人想象中好用但默認(rèn)行為里藏著不少雷。如果你只是照抄官方文檔通常會遇到三個(gè)問題文章正文里的相對鏈接沒有被解析成絕對地址、中文內(nèi)容在部分訂閱器里亂碼、發(fā)布時(shí)間因?yàn)闀r(shí)區(qū)設(shè)置導(dǎo)致錯(cuò)亂。這篇文章后面會逐一說明并且給你一套可以直接復(fù)用的完整實(shí)現(xiàn)。1. Feed概念拆解你寫的到底是一種什么文件1.1 RSS、Atom、Feed三者到底是什么關(guān)系Feed是一種“站點(diǎn)主動向外廣播更新內(nèi)容的XML文檔”的統(tǒng)稱。網(wǎng)站把最新文章標(biāo)題、鏈接、摘要、發(fā)布時(shí)間等信息按照約定的XML結(jié)構(gòu)寫出來訂閱器比如瀏覽器內(nèi)置的閱讀器、手機(jī)上的播客App、各類聚合工具定期抓取這個(gè)XML就能知道站點(diǎn)有沒有更新新內(nèi)容。這個(gè)機(jī)制把“用戶去網(wǎng)站看有沒有更新”變成了“訂閱器替你持續(xù)盯著有更新就通知你”。RSS是最早流行起來的一套XML規(guī)范常見版本是RSS 2.0。Atom則是后來為了修正RSS的一些混亂約定而生的標(biāo)準(zhǔn)兩者解決的問題幾乎一樣傳輸“內(nèi)容的元數(shù)據(jù)正文”。因此才會有“RSS/Atom/Feed”這種三個(gè)名詞常被混用的現(xiàn)象。嚴(yán)格來說“Feed”是統(tǒng)稱“RSS”和“Atom”是具體格式。你在瀏覽器地址欄輸入一個(gè)Feed鏈接網(wǎng)絡(luò)請求頭會帶application/rssxml或application/atomxml但很多訂閱器并不嚴(yán)格區(qū)分這種MIME類型只要XML結(jié)構(gòu)能解析就行。RSS 2.0的典型結(jié)構(gòu)長這樣最外層rss version2.0里面一個(gè)channelchannel下有title、link、description然后是一條條item。每條item里又包含title、link、guid、description、pubDate。如果你見過網(wǎng)景早期做的博客目錄就能理解為什么XML字段都那么簡單——它本來就是為“目錄聚合”設(shè)計(jì)的沒打算承載復(fù)雜的富文本。Atom 1.0的結(jié)構(gòu)則更規(guī)整根節(jié)點(diǎn)feed xmlnshttp://www.w3.org/2005/Atom下面有title、updated、id、author條目叫entryentry里用content typehtml存放正文用published和updated區(qū)分“首次發(fā)布”和“最后修改”。Atom還強(qiáng)制要求每條entry必須有id這個(gè)id要求是全局唯一的永久標(biāo)識。1.2 RSS與Atom的關(guān)鍵差異選型時(shí)看這幾點(diǎn)我在實(shí)際項(xiàng)目里把RSS和Atom都實(shí)現(xiàn)了因?yàn)椴煌嗛喥骺蛻舳酥С值母袷讲⒉煌耆恢?。很多老牌閱讀器只認(rèn)RSS而一些現(xiàn)代化工具反而偏好Atom。如果你的站點(diǎn)拿不準(zhǔn)用戶用什么客戶端建議同時(shí)輸出兩種格式成本很低只需在URL里區(qū)分路徑即可。對照來看RSS 2.0和Atom 1.0有幾個(gè)關(guān)鍵差異對比項(xiàng)RSS 2.0Atom 1.0根節(jié)點(diǎn)rss version2.0feed xmlns...Atom條目標(biāo)簽itementry正文容器description習(xí)慣上放摘要也常放全文content typehtml發(fā)布時(shí)間pubDateRFC 822格式published/updatedISO 8601格式ID要求guid可選但建議有id必需自包含元數(shù)據(jù)較弱作者信息通常放channel層級每條entry都可以有獨(dú)立作者擴(kuò)展機(jī)制需要額外命名空間原生支持XML命名空間擴(kuò)展選型思路其實(shí)不復(fù)雜如果只想服務(wù)老牌RSS閱讀器RSS 2.0就夠如果你的內(nèi)容摘要經(jīng)常包含富文本、需要精確表達(dá)更新時(shí)間和作者信息Atom更規(guī)范。如果兩者都上Django的Feed框架可以共用一套代碼只是指定不同的feed_type即可。1.3 202X年了為什么還要折騰Feed有人會問現(xiàn)在有移動端推送、有消息隊(duì)列、有各種社交平臺還要Feed干嘛我自己的體會是Feed是“用戶主動訂閱”機(jī)制里成本最低的通道。推送是平臺方單向決定你要看什么而訂閱是用戶自主決定的長期授權(quán)。你收進(jìn)閱讀器里的每一個(gè)Feed都是穩(wěn)定的信息來源不受推薦算法干擾。對于獨(dú)立博客、個(gè)人作品集、技術(shù)文檔站來說輸出一個(gè)規(guī)范的Feed能顯著提升內(nèi)容被復(fù)用的效率。另外很多自動化系統(tǒng)至今依賴Feed作為數(shù)據(jù)源。比如我見過一個(gè)內(nèi)部運(yùn)維平臺每天凌晨抓取若干技術(shù)博客的RSS篩選關(guān)鍵詞后自動生成摘要日報(bào)發(fā)送到企業(yè)聊天群。這種場景不需要調(diào)用對方網(wǎng)站的任何API只需解析一個(gè)XML文件。還有不少靜默校準(zhǔn)的AI訓(xùn)練管線、合規(guī)審計(jì)系統(tǒng)也經(jīng)常把Feed里的發(fā)布時(shí)間當(dāng)作時(shí)間戳基準(zhǔn)。所以Feed不是過氣技術(shù)而是基礎(chǔ)能力。2. Django實(shí)現(xiàn)Feed的方案選型2.1 自建XML模板 vs 官方Feed框架在Django里做Feed最直觀的想法是寫一個(gè)視圖函數(shù)用HttpResponse返回一段模板渲染后的XML。這種做法當(dāng)然可行數(shù)據(jù)控制力最強(qiáng)想輸出什么自定義節(jié)點(diǎn)都能辦到。但隨之而來的問題是你要自己處理XML轉(zhuǎn)義、日期格式轉(zhuǎn)換、絕對URL拼接、條件判斷邏輯復(fù)用等一系列細(xì)節(jié)。這些細(xì)節(jié)在單個(gè)頁面里不算什么一旦擴(kuò)展到多語言、多內(nèi)容模型文章、問答、視頻、播客代碼很快會變得不可維護(hù)。Django官方提供了django.contrib.syndication.views.Feed這個(gè)類它把以上細(xì)節(jié)封裝成了可復(fù)用的框架。你只需要聲明一個(gè)繼承Feed的類定義title、link、description三個(gè)屬性再實(shí)現(xiàn)items()方法告訴框架“取哪些數(shù)據(jù)”框架就會自動生成標(biāo)準(zhǔn)格式的XML。內(nèi)置框架還替你處理了:syndication的MIME類型輸出、link rel”self”的自動生成以及根據(jù)請求域名自動把相對URL轉(zhuǎn)換為絕對URL。我最終選擇的是用官方Feed框架作為主骨架同時(shí)覆寫item_pubdate、item_updateddate、item_content等鉤子方法加入業(yè)務(wù)需要的內(nèi)容。這樣既不用從零維護(hù)XML標(biāo)簽拼接又能對輸出結(jié)構(gòu)做精細(xì)控制。2.2 Feed框架運(yùn)行的三個(gè)關(guān)鍵環(huán)節(jié)理解Django Feed框架的核心機(jī)制記住三個(gè)環(huán)節(jié)就夠了。第一URL路由。Feed框架實(shí)質(zhì)是一個(gè)視圖類你需要在urls.py里調(diào)用FeedClass()實(shí)例作為視圖函數(shù)比如path(‘rss.xml’, MyFeed())。當(dāng)請求到達(dá)模板時(shí)Django先實(shí)例化Feed類然后根據(jù)請求內(nèi)容構(gòu)造響應(yīng)對象。第二items()返回的數(shù)據(jù)集?？蚣軆?nèi)部會調(diào)用items()方法把返回的QuerySet逐條傳入后續(xù)的鉤子方法。這個(gè)方法就是你的數(shù)據(jù)入口你可以在這里做權(quán)限過濾、緩存優(yōu)化、分頁控制。第三格式化鉤子?？蚣軐γ恳粭litem調(diào)用一系列item_xxx()方法獲取對應(yīng)字段比如item_title(item)返回條目標(biāo)題item_link(item)返回條目鏈接item_description(item)返回內(nèi)容摘要。如果你沒有實(shí)現(xiàn)這些方法框架會用默認(rèn)邏輯比如默認(rèn)把item.link當(dāng)作相對URL拼在當(dāng)前請求域名下。Django的Feed框架還支持兩種輸出格式Rss201rev2Feed對應(yīng)RSS 2.0Atom1Feed對應(yīng)Atom 1.0。你只需要在Feed類里設(shè)置feed_type屬性例如feed_type Atom1Feed返回的XML結(jié)構(gòu)就會自動切換為Atom格式?？蚣軆?nèi)部會根據(jù)feed_type調(diào)用不同的FeedGenerator類生成XML時(shí)按協(xié)議輸出對應(yīng)的標(biāo)簽和屬性。2.3 擴(kuò)展點(diǎn)那些官方文檔沒細(xì)講的能力除了上面提到的item_系列方法Feed框架還有幾個(gè)容易被忽略但非常實(shí)用的擴(kuò)展點(diǎn)。get_feed(self, obj, request)是整個(gè)Feed視圖的入口你可以在這里設(shè)置響應(yīng)頭比如添加Cache-Control、Last-Modified等。我需要輸出全量最近50篇文章但又不想每5分鐘讓數(shù)據(jù)庫承受一次重復(fù)查詢就在這個(gè)方法里打了輕量緩存。get_object(self, request, *args, **kwargs)用于處理URL路徑里的參數(shù)。比如你要做分類Feed路徑為/feeds/category/advanced-python/在get_object里解析分類參數(shù)并返回一個(gè)分類對象Feed類里該參數(shù)會被自動傳給items等方法。這相當(dāng)于給Feed設(shè)計(jì)了一個(gè)動態(tài)作用域。更有用的是item_extra_kwargs(item)方法用來給每條item追加額外XML節(jié)點(diǎn)。比如我想在RSS里輸出文章封面圖直接在item_description里拼img標(biāo)簽?zāi)軠惡系タ虵eed要求有enclosure節(jié)點(diǎn)這在RSS框架里沒有默認(rèn)鉤子。覆寫item_extra_kwargs返回一個(gè)字典再覆寫item_enclosure就能輸出正確的enclosure結(jié)構(gòu)。官方文檔只提了一兩句但實(shí)戰(zhàn)中這是一個(gè)關(guān)鍵擴(kuò)展點(diǎn)。3. 核心實(shí)現(xiàn)從零搭建一套可用的Feed輸出服務(wù)3.1 準(zhǔn)備數(shù)據(jù)模型先設(shè)定一個(gè)簡化的博客模型。實(shí)際項(xiàng)目中你可能有多個(gè)內(nèi)容類型這里用一個(gè)Article模型來演示。# models.py from django.db import models from django.utils import timezone class Article(models.Model): title models.CharField(max_length200) slug models.SlugField(uniqueTrue) summary models.TextField(blankTrue) content models.TextField() author_name models.CharField(max_length50) published_at models.DateTimeField(defaulttimezone.now) updated_at models.DateTimeField(auto_nowTrue) is_public models.BooleanField(defaultTrue) class Meta: ordering [-published_at] def get_absolute_url(self): return f/articles/{self.slug}/這里有兩個(gè)值得注意的細(xì)節(jié)updated_at字段用來標(biāo)識內(nèi)容是否有過修改Atom格式里強(qiáng)制要求每條entry有updated字段可以用它get_absolute_url返回的必須是相對路徑因?yàn)榭蚣軙詣悠从蛎?。如果你直接硬編碼回絕對URL反而可能導(dǎo)致域名判斷錯(cuò)誤時(shí)出現(xiàn)不一致的鏈接。為了演示“分類Feed”我順便加一個(gè)Category模型并給Article增加外鍵。但為了保持示例簡潔不用關(guān)系表改用一種更常見的設(shè)計(jì)文章可以掛在多個(gè)分類下用多對多即可。這里只貼出核心字段。3.2 編寫Feed類下面這個(gè)類是整套實(shí)現(xiàn)的核心。它同時(shí)支持輸出RSS和Atom兩種格式你可以通過URL路徑里是否帶atom關(guān)鍵字來切換。# feeds.py from django.contrib.syndication.views import Feed from django.contrib.syndication import feeds as django_feeds from django.urls import reverse from django.utils.feedgenerator import Atom1Feed, Rss201rev2Feed from .models import Article class BaseArticleFeed(Feed): 抽象基類統(tǒng)一處理文章Feed公共部分 # 子類可通過修改feed_type切換格式 feed_type Rss201rev2Feed title 我的博客 - 最新文章 subtitle 記錄技術(shù)成長與日常思考 link /articles/ description 定期輸出的文章匯總 def items(self): # 實(shí)際項(xiàng)目里這里要用緩存或只取必要字段 return Article.objects.filter(is_publicTrue)[:50] def item_title(self, item): return item.title def item_description(self, item): return item.summary or item.content[:200] def item_link(self, item): return item.get_absolute_url() def item_pubdate(self, item): return item.published_at def item_updateddate(self, item): return item.updated_at def item_author_name(self, item): return item.author_name def item_categories(self, item): return [c.name for c in item.categories.all()] class ArticleRssFeed(BaseArticleFeed): feed_type Rss201rev2Feed class ArticleAtomFeed(BaseArticleFeed): feed_type Atom1Feed # Atom還允許設(shè)置author官方幀默認(rèn)用settings里的也可在子類覆寫 def item_author_email(self, item): return noreplyexample.com你可能注意到BaseArticleFeed里沒有寫feed_type之外的代碼這樣兩個(gè)子類就自然繼承了全部邏輯。不同格式之間的切換開銷極小框架底層是同一個(gè)items()和鉤子方法集合只是XML輸出模板不同。有人問item_link為什么不用reverse()生成倒是很簡單這里我直接返回相對路徑框架會自動補(bǔ)全為當(dāng)前站點(diǎn)的絕對URL。如果用reverse(article_detail, args[item.slug])也是一樣的效果。在Feed里返回所有Article實(shí)例如果不做限制數(shù)據(jù)量大時(shí)會把全部文章序列化成XML非常浪費(fèi)時(shí)間。我在這里用[:50]切片限制條數(shù)實(shí)際項(xiàng)目建議在items里使用only()指定只加載需要的字段避免加載巨大的content字段。只有item_description需要summary或content時(shí)才加載它。3.3 URL配置與路由路由配置同樣非常簡單給兩種格式各配一個(gè)URL模式。# urls.py from django.urls import path from .feeds import ArticleRssFeed, ArticleAtomFeed urlpatterns [ path(feeds/rss/, ArticleRssFeed(), namearticle_rss_feed), path(feeds/atom/, ArticleAtomFeed(), namearticle_atom_feed), ]注意這里Feed類實(shí)例要以視圖函數(shù)形式使用因此加上括號ArticleRssFeed()。Django框架內(nèi)部調(diào)用__call__符合視圖接口。如果想讓訂閱鏈接在HTML模板中自動填充還可以在head中加link relalternate typeapplication/rssxml titleRSS href{% url article_rss_feed %} /。這樣瀏覽器檢測到頁面有Feed后就會在地址欄高亮RSS按鈕。還有一個(gè)容易被忽略的細(xì)節(jié)Feed視圖本身不需要crsf中間件保護(hù)。因?yàn)樗荊ET請求且通常被各種訂閱器頻繁抓取你完全不需要登錄態(tài)判斷哪些用戶有權(quán)限。如果網(wǎng)站有獨(dú)立的“私有訂閱”邏輯你需要通過URL里的Token來識別這種場景就不適合公開直接掛出去。3.4 內(nèi)容格式化與模板細(xì)節(jié)Django框架生成XML時(shí)會自動對title、description等字段做XML轉(zhuǎn)義把轉(zhuǎn)成amp;把轉(zhuǎn)成lt;。但有個(gè)坑如果你的description里放的是富文本HTML比如包含p、img、blockquote標(biāo)簽框架默認(rèn)會原樣輸出導(dǎo)致“雙重轉(zhuǎn)義”或格式錯(cuò)亂。解決辦法是覆寫item_description時(shí)明確控制內(nèi)容類型。官方框架在生成RSS時(shí)會調(diào)用item_description返回值放入description標(biāo)簽?zāi)J(rèn)不做HTML轉(zhuǎn)義。如果你的內(nèi)容字段是安全的HTML其實(shí)可以直接返回原文但需要注意如果你把不安全的用戶輸入直接塞進(jìn)去就可能引發(fā)XML注入。我用于文章站的字段是后臺編輯產(chǎn)生的可信內(nèi)容所以直接輸出沒問題。如果你的description里既有富文本又要保持安全建議用django.utils.html.strip_tags先去掉標(biāo)簽或者用bleach庫做白名單過濾。我通常的做法是RSS的description輸出純摘要文本而把全文HTML放進(jìn)Atom的content typehtml里。但Django框架默認(rèn)的Atom輸出在content里也會放入item_description的內(nèi)容。如果你希望Atom里放全文RSS里放摘要可以分別覆寫不同格式類里的item_description。另一個(gè)實(shí)用細(xì)節(jié)是給link添加xml:base。如果你從數(shù)據(jù)庫取出的正文里包含類似/media/xxx.jpg的相對路徑閱讀器是不知道相對路徑應(yīng)該基于哪個(gè)域名解析的。Django框架會基于請求域名生成link和guid但正文內(nèi)部HTML里的相對路徑不代表會被改寫。因此我在模板輸出前統(tǒng)一加一個(gè)預(yù)處理函數(shù)把正文里的相對路徑拼接成絕對URL。# feeds.py from django.utils.html import conditional_escape import re def absolutize_html(html_content, base_url): return re.sub(r(src|href)(/[^]*), lambda m: f{m.group(1)}{base_url}{m.group(2)}, html_content)不過用正則處理HTML并不穩(wěn)健。如果項(xiàng)目里已經(jīng)用了markdownify或富文本編輯器它們很可能輸出完整絕對鏈接可以省掉這步。我這里只是為了演示一套可用的策略生產(chǎn)環(huán)境更推薦在編輯器端存儲時(shí)就存絕對URL或存相對路徑后渲染到瀏覽器頁面時(shí)統(tǒng)一用request.build_absolute_uri處理。3.5 訂閱測試與驗(yàn)證寫完代碼后建議先不用訂閱器直接用瀏覽器訪問/feeds/rss/看XML原始輸出。接著用兩個(gè)工具做驗(yàn)證一個(gè)是W3C的Feed驗(yàn)證服務(wù)另一個(gè)是本地命令行功能。curl -s http://127.0.0.1:8000/feeds/rss/ | head -80看輸出的XML是否包含合法的rss version2.0和item條目確認(rèn)編碼是否為UTF-8。然后檢查某個(gè)guid是不是永久鏈接pubDate格式是否形如Thu, 14 Nov 2024 06:24:38 0000。如果你有Python環(huán)境可以直接用標(biāo)準(zhǔn)庫解析import xml.etree.ElementTree as ET import urllib.request xml_data urllib.request.urlopen(http://127.0.0.1:8000/feeds/rss/).read() root ET.fromstring(xml_data) for item in root.iter(item): title item.find(title).text print(title)這能快速發(fā)現(xiàn)XML是否損壞。很多訂閱器對XML解析非常嚴(yán)格如果某個(gè)字段里包含了未轉(zhuǎn)義的字符往往整個(gè)Feed就無法更新。4. 線上排查實(shí)錄與避坑經(jīng)驗(yàn)4.1 中文亂碼或部分訂閱器顯示亂碼這個(gè)問題一般出在HTTP響應(yīng)頭沒有聲明正確的編碼。Django框架生成的Feed默認(rèn)返回text/xml; charsetutf-8理論上沒問題。但如果你用自建視圖或手動拼接XML字符串很容易忘記設(shè)置消息頭。此外有的老訂閱器對Content-Type里的charset參數(shù)比較敏感如果只有text/xml沒有charsetutf-8它們會按照默認(rèn)的sales-8859-1解析中文就變成了亂碼。我遇到過具體場景是本地開發(fā)一切都正常部署到生產(chǎn)環(huán)境后某些在線訂閱器抓取得到的標(biāo)題變成了類似a€?...的亂碼。排查下來發(fā)現(xiàn)是因?yàn)椴渴瓠h(huán)境里的Nginx把上游Django返回的Content-Type給重寫了覆蓋成text/xml而丟失了charsetutf-8。修復(fù)方式是在Django視圖里顯式設(shè)置響應(yīng)頭def get_feed(self, obj, request): response super().get_feed(obj, request) response[Content-Type] application/rssxml; charsetutf-8 return response順便說一句RSS標(biāo)準(zhǔn)建議的MIME類型是application/rssxml但許多瀏覽器確實(shí)支持application/xml。我傾向于直接使用框架默認(rèn)值但會確保帶上charset參數(shù)。4.2 發(fā)布時(shí)間時(shí)區(qū)錯(cuò)亂或“更新日期”缺失Django默認(rèn)時(shí)區(qū)是UTC但國內(nèi)很多站點(diǎn)可能會把settings.TIME_ZONE改成Asia/Shanghai。如果你使用django.utils.timezone.now()生成文章發(fā)布時(shí)間數(shù)據(jù)庫存的是UTC時(shí)間輸出時(shí)框架會以settings.USE_TZ的配置格式化。有時(shí)部署環(huán)境里USE_TZFalse會導(dǎo)致published_at里的naive datetime被當(dāng)成當(dāng)前系統(tǒng)時(shí)區(qū)輸出不同客戶端看到的時(shí)間就會不一致。最簡單的處理方式是堅(jiān)持使用帶時(shí)區(qū)的DateTimeField并在item_pubdate里確保返回的是aware datetime。可以用timezone.localtime(value)把時(shí)間轉(zhuǎn)換到站點(diǎn)時(shí)區(qū)再輸出。另外Atom格式要求updated字段必須有值如果你沒實(shí)現(xiàn)item_updateddate方法框架會回退到item_pubdate這會丟失“內(nèi)容后來被修改”的信息。我一般會同時(shí)實(shí)現(xiàn)這兩個(gè)方法保證Atom用戶能看到準(zhǔn)確的更新狀態(tài)。4.3 訂閱器里鏈接指向了localhost或內(nèi)部域名這是新手最容易踩的坑。當(dāng)你用runserver測試時(shí)Feed里所有鏈接都是http://127.0.0.1:8000。一旦把代碼部署到線上如果請求頭里的Host字段沒有被正確傳遞或者你的反代配置有問題訂閱器抓到的仍是內(nèi)網(wǎng)地址。Django框架生成絕對URL時(shí)用的是request.build_absolute_uri它會基于request.get_host()判斷域名。因此排查思路是先用curl -I查看響應(yīng)的link標(biāo)簽看域名是否正常。如果是內(nèi)網(wǎng)地址說明部署環(huán)境沒有把正確的Host頭轉(zhuǎn)發(fā)給你檢查Nginx里的proxy_set_header Host $host;。另外如果站點(diǎn)本身配置了多個(gè)域名比如example.com和www.example.com建議在Feed的link屬性里明確指定固定域名避免不同入口抓到的內(nèi)容不一致。我在線上項(xiàng)目中是這樣處理的class BaseArticleFeed(Feed): def get_feed(self, obj, request): self._absolute_uri request.build_absolute_uri(/)[:-1] return super().get_feed(obj, request) def item_link(self, item): return self._absolute_uri item.get_absolute_url()這樣能確保無論通過哪個(gè)域名訪問Feed里的鏈接始終基于當(dāng)前請求域名。如果你希望更穩(wěn)定可以單獨(dú)配置一個(gè)settings.SITE_DOMAIN常量在item_link里拼固定域名。4.4 訂閱器不更新或拒絕解析訂閱器不自動更新常見原因有三個(gè)。第一Feed URL返回了HTTP 200但沒有輸出新內(nèi)容因?yàn)榫彺娌呗蕴みM(jìn)。很多閱讀器會按照Last-Modified或ETag來決定是否拉取新內(nèi)容。如果你在入口寫了全局緩存中間件卻沒有正確設(shè)置新鮮度信息可能導(dǎo)致訂閱器長期拿到舊數(shù)據(jù)。解決方案是在Feed響應(yīng)里添加合理的緩存頭response[Cache-Control] max-age3600 response[Last-Modified] last_modified_time.strftime(%a, %d %b %Y %H:%M:%S GMT)第二XML解析失敗但肉眼看不出來。比如你的文章正文里有一個(gè)單獨(dú)的框架默認(rèn)轉(zhuǎn)義后應(yīng)該輸出amp;如果你在item_description里用了mark_safe卻沒有做轉(zhuǎn)義就會生成非法XML。遇到訂閱器報(bào)“解析錯(cuò)誤”時(shí)先用標(biāo)準(zhǔn)XML解析器校驗(yàn)一下這一步能快速定位到具體是哪一篇文章或哪個(gè)字段出了問題。第三guid重復(fù)。RSS規(guī)范建議guid永久唯一。如果你把文章ID當(dāng)作guid刪除重建文章后ID可能會復(fù)用導(dǎo)致訂閱器認(rèn)定“這條更新過”但內(nèi)容沒變。我習(xí)慣使用鏈接本身作為guid因?yàn)槲恼骆溄油ǔ２粫貜?fù)。Django框架默認(rèn)使用item_link作為guid這個(gè)行為已經(jīng)比較安全不需要額外改動。4.5 性能問題一次抓取觸發(fā)了過量數(shù)據(jù)庫查詢Feed通常被訂閱器每小時(shí)甚至每十分鐘抓取一次如果站點(diǎn)文章量大不做優(yōu)化的話數(shù)據(jù)庫壓力會很大。我的優(yōu)化策略分三層第一層在items方法里用select_related和prefetch_related預(yù)取關(guān)聯(lián)數(shù)據(jù)避免item_categories這類鉤子觸發(fā)N1查詢。def items(self): return (Article.objects.filter(is_publicTrue) .select_related(author) .prefetch_related(categories) .only(id, title, slug, summary, content, published_at, updated_at, author_name) [:50])第二層把items()返回的QuerySet結(jié)果序列化成基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)加一個(gè)短時(shí)緩存。比如用cache.set(feed_items_50, items_data, 300)。這樣兩三百秒內(nèi)多次抓取都不會打數(shù)據(jù)庫。第三層如果站點(diǎn)內(nèi)容更新不頻繁可以讓get_feed方法直接拼接緩存好的XML字節(jié)串返回效果最明顯。但使用字節(jié)緩存前要留意響應(yīng)頭里Content-Type和Last-Modified也要一并緩存。有一個(gè)小坑你直接緩存QuerySet對象可能報(bào)QuerySet is not picklable因?yàn)槠渲邪四Ｐ蛯?shí)例的狀態(tài)。我的做法是只緩存list(item_dict)然后items()方法返回cached_list框架對普通列表也能迭代處理。這樣緩存結(jié)構(gòu)簡單也不會觸碰深拷貝模型實(shí)例的坑。5. 輸出效果的對比測試很多同學(xué)實(shí)現(xiàn)完Feed就收工了我建議多做一步用同一個(gè)數(shù)據(jù)源輸出RSS和Atom兩個(gè)格式然后跑一下簡短的對比測試看看兩個(gè)格式在主流閱讀器里的呈現(xiàn)差異。我的測試結(jié)果供你參考。用一個(gè)包含標(biāo)題、摘要、正文、兩個(gè)分類、更新時(shí)間不同的文章列表分別請求RSS和Atom輸出對比兩邊的關(guān)鍵字段。檢查點(diǎn)RSS 2.0輸出Atom 1.0輸出根節(jié)點(diǎn)rss version2.0feed xmlnshttp://www.w3.org/2005/Atom時(shí)間格式Sun, 18 Nov 2024 11:23:05 08002024-11-18T11:23:0508:00正文位置description里的是摘要content typehtml里的是全文作者放在channel下每條entry內(nèi)都有author分類category可選category可重復(fù)這段測試之后我意識到RSS閱讀器通常看重“標(biāo)題摘要”的清爽感Atom客戶端卻更傾向于把全文當(dāng)作content解析。如果你的站點(diǎn)內(nèi)容以長文為主建議默認(rèn)輸出Atom如果你的目標(biāo)用戶習(xí)慣使用收件箱式的摘要閱讀器RSS就足夠了。大多數(shù)場景下兩者一起輸出并不帶來額外維護(hù)負(fù)擔(dān)反而是最穩(wěn)妥的選擇。6. 想清楚這些之后我的維護(hù)心得最后說一個(gè)我在實(shí)際運(yùn)營中體會很深的角度。很多人把Feed當(dāng)作“一個(gè)靜態(tài)文件”看待寫好后就不再接維護(hù)。但其實(shí)Feed也是站點(diǎn)的一部分它和頁面URL一樣需要保持穩(wěn)定、可緩存、可監(jiān)測。你要把/feeds/rss/和/feeds/atom/當(dāng)作兩個(gè)獨(dú)立頁面來看待納入監(jiān)控系統(tǒng)檢查它們是否返回200、XML是否合法、內(nèi)容是否更新。我在自己的項(xiàng)目里給Feed增加了更新檢測邏輯每次文章發(fā)布時(shí)主動清理Feed緩存并且觸發(fā)一次curl拉取確保輸出XML里新文章排在第一位。這樣能在用戶發(fā)現(xiàn)訂閱源“壞掉”之前及時(shí)暴露問題。畢竟一個(gè)內(nèi)容站的生命力就在于“更新被看見”而Feed正是讓更新被看見的通道之一。如果你要在這個(gè)基礎(chǔ)上繼續(xù)擴(kuò)展可以考慮幾個(gè)方向按分類輸出不同的Feed、給Feed條目添加enclosure支持播客音頻、給不同內(nèi)容類型打不同標(biāo)簽。Django的Feed框架留有足夠的擴(kuò)展接口以上這些都能在保持代碼結(jié)構(gòu)清晰的前提下完成。希望這篇文章里的概念拆解和彎路預(yù)警能幫你省下幾個(gè)排查的夜晚。 Django實(shí)現(xiàn)RSS與Atom訂閱源：協(xié)議差異、完整代碼與避坑實(shí)踐
說到RSS、Atom和Feed很多剛?cè)胄械耐瑢W(xué)可能只在老一輩技術(shù)文章里見過這幾個(gè)詞以為這是“上一代互聯(lián)網(wǎng)的化石”。但如果你真的動手維護(hù)過一個(gè)內(nèi)容站你會發(fā)現(xiàn)Feed機(jī)制至今依然是內(nèi)容分發(fā)的基石之一新聞聚合器、播客客戶端、知識管理工具、自動化工作流全都在消費(fèi)這種標(biāo)準(zhǔn)格式。這次我用Django從零實(shí)現(xiàn)了一套RSS 2.0和Atom 1.0訂閱源踩了不少坑也把前后端、模板、緩存、協(xié)議細(xì)節(jié)捋了一遍。這篇文章會把概念拆解、實(shí)現(xiàn)方案、完整代碼和線上問題排查經(jīng)驗(yàn)一次性講清楚適合需要用Django快速輸出Feed的開發(fā)者也適合想弄清楚RSS/Atom底層協(xié)議差異但在網(wǎng)上找不到系統(tǒng)解釋的人。先給個(gè)結(jié)論Django內(nèi)置的Feed框架比大多數(shù)人想象中好用但默認(rèn)行為里藏著不少雷。如果你只是照抄官方文檔通常會遇到三個(gè)問題文章正文里的相對鏈接沒有被解析成絕對地址、中文內(nèi)容在部分訂閱器里亂碼、發(fā)布時(shí)間因?yàn)闀r(shí)區(qū)設(shè)置導(dǎo)致錯(cuò)亂。這篇文章后面會逐一說明并且給你一套可以直接復(fù)用的完整實(shí)現(xiàn)。1. Feed概念拆解你寫的到底是一種什么文件1.1 RSS、Atom、Feed三者到底是什么關(guān)系Feed是一種“站點(diǎn)主動向外廣播更新內(nèi)容的XML文檔”的統(tǒng)稱。網(wǎng)站把最新文章標(biāo)題、鏈接、摘要、發(fā)布時(shí)間等信息按照約定的XML結(jié)構(gòu)寫出來訂閱器比如瀏覽器內(nèi)置的閱讀器、手機(jī)上的播客App、各類聚合工具定期抓取這個(gè)XML就能知道站點(diǎn)有沒有更新新內(nèi)容。這個(gè)機(jī)制把“用戶去網(wǎng)站看有沒有更新”變成了“訂閱器替你持續(xù)盯著有更新就通知你”。RSS是最早流行起來的一套XML規(guī)范常見版本是RSS 2.0。Atom則是后來為了修正RSS的一些混亂約定而生的標(biāo)準(zhǔn)兩者解決的問題幾乎一樣傳輸“內(nèi)容的元數(shù)據(jù)正文”。因此才會有“RSS/Atom/Feed”這種三個(gè)名詞常被混用的現(xiàn)象。嚴(yán)格來說“Feed”是統(tǒng)稱“RSS”和“Atom”是具體格式。你在瀏覽器地址欄輸入一個(gè)Feed鏈接網(wǎng)絡(luò)請求頭會帶application/rssxml或application/atomxml但很多訂閱器并不嚴(yán)格區(qū)分這種MIME類型只要XML結(jié)構(gòu)能解析就行。RSS 2.0的典型結(jié)構(gòu)長這樣最外層rss version2.0里面一個(gè)channelchannel下有title、link、description然后是一條條item。每條item里又包含title、link、guid、description、pubDate。如果你見過網(wǎng)景早期做的博客目錄就能理解為什么XML字段都那么簡單——它本來就是為“目錄聚合”設(shè)計(jì)的沒打算承載復(fù)雜的富文本。Atom 1.0的結(jié)構(gòu)則更規(guī)整根節(jié)點(diǎn)feed xmlnshttp://www.w3.org/2005/Atom下面有title、updated、id、author條目叫entryentry里用content typehtml存放正文用published和updated區(qū)分“首次發(fā)布”和“最后修改”。Atom還強(qiáng)制要求每條entry必須有id這個(gè)id要求是全局唯一的永久標(biāo)識。1.2 RSS與Atom的關(guān)鍵差異選型時(shí)看這幾點(diǎn)我在實(shí)際項(xiàng)目里把RSS和Atom都實(shí)現(xiàn)了因?yàn)椴煌嗛喥骺蛻舳酥С值母袷讲⒉煌耆恢?。很多老牌閱讀器只認(rèn)RSS而一些現(xiàn)代化工具反而偏好Atom。如果你的站點(diǎn)拿不準(zhǔn)用戶用什么客戶端建議同時(shí)輸出兩種格式成本很低只需在URL里區(qū)分路徑即可。對照來看RSS 2.0和Atom 1.0有幾個(gè)關(guān)鍵差異對比項(xiàng)RSS 2.0Atom 1.0根節(jié)點(diǎn)rss version2.0feed xmlns...Atom條目標(biāo)簽itementry正文容器description習(xí)慣上放摘要也常放全文content typehtml發(fā)布時(shí)間pubDateRFC 822格式published/updatedISO 8601格式ID要求guid可選但建議有id必需自包含元數(shù)據(jù)較弱作者信息通常放channel層級每條entry都可以有獨(dú)立作者擴(kuò)展機(jī)制需要額外命名空間原生支持XML命名空間擴(kuò)展選型思路其實(shí)不復(fù)雜如果只想服務(wù)老牌RSS閱讀器RSS 2.0就夠如果你的內(nèi)容摘要經(jīng)常包含富文本、需要精確表達(dá)更新時(shí)間和作者信息Atom更規(guī)范。如果兩者都上Django的Feed框架可以共用一套代碼只是指定不同的feed_type即可。1.3 202X年了為什么還要折騰Feed有人會問現(xiàn)在有移動端推送、有消息隊(duì)列、有各種社交平臺還要Feed干嘛我自己的體會是Feed是“用戶主動訂閱”機(jī)制里成本最低的通道。推送是平臺方單向決定你要看什么而訂閱是用戶自主決定的長期授權(quán)。你收進(jìn)閱讀器里的每一個(gè)Feed都是穩(wěn)定的信息來源不受推薦算法干擾。對于獨(dú)立博客、個(gè)人作品集、技術(shù)文檔站來說輸出一個(gè)規(guī)范的Feed能顯著提升內(nèi)容被復(fù)用的效率。另外很多自動化系統(tǒng)至今依賴Feed作為數(shù)據(jù)源。比如我見過一個(gè)內(nèi)部運(yùn)維平臺每天凌晨抓取若干技術(shù)博客的RSS篩選關(guān)鍵詞后自動生成摘要日報(bào)發(fā)送到企業(yè)聊天群。這種場景不需要調(diào)用對方網(wǎng)站的任何API只需解析一個(gè)XML文件。還有不少靜默校準(zhǔn)的AI訓(xùn)練管線、合規(guī)審計(jì)系統(tǒng)也經(jīng)常把Feed里的發(fā)布時(shí)間當(dāng)作時(shí)間戳基準(zhǔn)。所以Feed不是過氣技術(shù)而是基礎(chǔ)能力。2. Django實(shí)現(xiàn)Feed的方案選型2.1 自建XML模板 vs 官方Feed框架在Django里做Feed最直觀的想法是寫一個(gè)視圖函數(shù)用HttpResponse返回一段模板渲染后的XML。這種做法當(dāng)然可行數(shù)據(jù)控制力最強(qiáng)想輸出什么自定義節(jié)點(diǎn)都能辦到。但隨之而來的問題是你要自己處理XML轉(zhuǎn)義、日期格式轉(zhuǎn)換、絕對URL拼接、條件判斷邏輯復(fù)用等一系列細(xì)節(jié)。這些細(xì)節(jié)在單個(gè)頁面里不算什么一旦擴(kuò)展到多語言、多內(nèi)容模型文章、問答、視頻、播客代碼很快會變得不可維護(hù)。Django官方提供了django.contrib.syndication.views.Feed這個(gè)類它把以上細(xì)節(jié)封裝成了可復(fù)用的框架。你只需要聲明一個(gè)繼承Feed的類定義title、link、description三個(gè)屬性再實(shí)現(xiàn)items()方法告訴框架“取哪些數(shù)據(jù)”框架就會自動生成標(biāo)準(zhǔn)格式的XML。內(nèi)置框架還替你處理了:syndication的MIME類型輸出、link rel”self”的自動生成以及根據(jù)請求域名自動把相對URL轉(zhuǎn)換為絕對URL。我最終選擇的是用官方Feed框架作為主骨架同時(shí)覆寫item_pubdate、item_updateddate、item_content等鉤子方法加入業(yè)務(wù)需要的內(nèi)容。這樣既不用從零維護(hù)XML標(biāo)簽拼接又能對輸出結(jié)構(gòu)做精細(xì)控制。2.2 Feed框架運(yùn)行的三個(gè)關(guān)鍵環(huán)節(jié)理解Django Feed框架的核心機(jī)制記住三個(gè)環(huán)節(jié)就夠了。第一URL路由。Feed框架實(shí)質(zhì)是一個(gè)視圖類你需要在urls.py里調(diào)用FeedClass()實(shí)例作為視圖函數(shù)比如path(‘rss.xml’, MyFeed())。當(dāng)請求到達(dá)模板時(shí)Django先實(shí)例化Feed類然后根據(jù)請求內(nèi)容構(gòu)造響應(yīng)對象。第二items()返回的數(shù)據(jù)集?？蚣軆?nèi)部會調(diào)用items()方法把返回的QuerySet逐條傳入后續(xù)的鉤子方法。這個(gè)方法就是你的數(shù)據(jù)入口你可以在這里做權(quán)限過濾、緩存優(yōu)化、分頁控制。第三格式化鉤子?？蚣軐γ恳粭litem調(diào)用一系列item_xxx()方法獲取對應(yīng)字段比如item_title(item)返回條目標(biāo)題item_link(item)返回條目鏈接item_description(item)返回內(nèi)容摘要。如果你沒有實(shí)現(xiàn)這些方法框架會用默認(rèn)邏輯比如默認(rèn)把item.link當(dāng)作相對URL拼在當(dāng)前請求域名下。Django的Feed框架還支持兩種輸出格式Rss201rev2Feed對應(yīng)RSS 2.0Atom1Feed對應(yīng)Atom 1.0。你只需要在Feed類里設(shè)置feed_type屬性例如feed_type Atom1Feed返回的XML結(jié)構(gòu)就會自動切換為Atom格式?？蚣軆?nèi)部會根據(jù)feed_type調(diào)用不同的FeedGenerator類生成XML時(shí)按協(xié)議輸出對應(yīng)的標(biāo)簽和屬性。2.3 擴(kuò)展點(diǎn)那些官方文檔沒細(xì)講的能力除了上面提到的item_系列方法Feed框架還有幾個(gè)容易被忽略但非常實(shí)用的擴(kuò)展點(diǎn)。get_feed(self, obj, request)是整個(gè)Feed視圖的入口你可以在這里設(shè)置響應(yīng)頭比如添加Cache-Control、Last-Modified等。我需要輸出全量最近50篇文章但又不想每5分鐘讓數(shù)據(jù)庫承受一次重復(fù)查詢就在這個(gè)方法里打了輕量緩存。get_object(self, request, *args, **kwargs)用于處理URL路徑里的參數(shù)。比如你要做分類Feed路徑為/feeds/category/advanced-python/在get_object里解析分類參數(shù)并返回一個(gè)分類對象Feed類里該參數(shù)會被自動傳給items等方法。這相當(dāng)于給Feed設(shè)計(jì)了一個(gè)動態(tài)作用域。更有用的是item_extra_kwargs(item)方法用來給每條item追加額外XML節(jié)點(diǎn)。比如我想在RSS里輸出文章封面圖直接在item_description里拼img標(biāo)簽?zāi)軠惡系タ虵eed要求有enclosure節(jié)點(diǎn)這在RSS框架里沒有默認(rèn)鉤子。覆寫item_extra_kwargs返回一個(gè)字典再覆寫item_enclosure就能輸出正確的enclosure結(jié)構(gòu)。官方文檔只提了一兩句但實(shí)戰(zhàn)中這是一個(gè)關(guān)鍵擴(kuò)展點(diǎn)。3. 核心實(shí)現(xiàn)從零搭建一套可用的Feed輸出服務(wù)3.1 準(zhǔn)備數(shù)據(jù)模型先設(shè)定一個(gè)簡化的博客模型。實(shí)際項(xiàng)目中你可能有多個(gè)內(nèi)容類型這里用一個(gè)Article模型來演示。# models.py from django.db import models from django.utils import timezone class Article(models.Model): title models.CharField(max_length200) slug models.SlugField(uniqueTrue) summary models.TextField(blankTrue) content models.TextField() author_name models.CharField(max_length50) published_at models.DateTimeField(defaulttimezone.now) updated_at models.DateTimeField(auto_nowTrue) is_public models.BooleanField(defaultTrue) class Meta: ordering [-published_at] def get_absolute_url(self): return f/articles/{self.slug}/這里有兩個(gè)值得注意的細(xì)節(jié)updated_at字段用來標(biāo)識內(nèi)容是否有過修改Atom格式里強(qiáng)制要求每條entry有updated字段可以用它get_absolute_url返回的必須是相對路徑因?yàn)榭蚣軙詣悠从蛎?。如果你直接硬編碼回絕對URL反而可能導(dǎo)致域名判斷錯(cuò)誤時(shí)出現(xiàn)不一致的鏈接。為了演示“分類Feed”我順便加一個(gè)Category模型并給Article增加外鍵。但為了保持示例簡潔不用關(guān)系表改用一種更常見的設(shè)計(jì)文章可以掛在多個(gè)分類下用多對多即可。這里只貼出核心字段。3.2 編寫Feed類下面這個(gè)類是整套實(shí)現(xiàn)的核心。它同時(shí)支持輸出RSS和Atom兩種格式你可以通過URL路徑里是否帶atom關(guān)鍵字來切換。# feeds.py from django.contrib.syndication.views import Feed from django.contrib.syndication import feeds as django_feeds from django.urls import reverse from django.utils.feedgenerator import Atom1Feed, Rss201rev2Feed from .models import Article class BaseArticleFeed(Feed): 抽象基類統(tǒng)一處理文章Feed公共部分 # 子類可通過修改feed_type切換格式 feed_type Rss201rev2Feed title 我的博客 - 最新文章 subtitle 記錄技術(shù)成長與日常思考 link /articles/ description 定期輸出的文章匯總 def items(self): # 實(shí)際項(xiàng)目里這里要用緩存或只取必要字段 return Article.objects.filter(is_publicTrue)[:50] def item_title(self, item): return item.title def item_description(self, item): return item.summary or item.content[:200] def item_link(self, item): return item.get_absolute_url() def item_pubdate(self, item): return item.published_at def item_updateddate(self, item): return item.updated_at def item_author_name(self, item): return item.author_name def item_categories(self, item): return [c.name for c in item.categories.all()] class ArticleRssFeed(BaseArticleFeed): feed_type Rss201rev2Feed class ArticleAtomFeed(BaseArticleFeed): feed_type Atom1Feed # Atom還允許設(shè)置author官方幀默認(rèn)用settings里的也可在子類覆寫 def item_author_email(self, item): return noreplyexample.com你可能注意到BaseArticleFeed里沒有寫feed_type之外的代碼這樣兩個(gè)子類就自然繼承了全部邏輯。不同格式之間的切換開銷極小框架底層是同一個(gè)items()和鉤子方法集合只是XML輸出模板不同。有人問item_link為什么不用reverse()生成倒是很簡單這里我直接返回相對路徑框架會自動補(bǔ)全為當(dāng)前站點(diǎn)的絕對URL。如果用reverse(article_detail, args[item.slug])也是一樣的效果。在Feed里返回所有Article實(shí)例如果不做限制數(shù)據(jù)量大時(shí)會把全部文章序列化成XML非常浪費(fèi)時(shí)間。我在這里用[:50]切片限制條數(shù)實(shí)際項(xiàng)目建議在items里使用only()指定只加載需要的字段避免加載巨大的content字段。只有item_description需要summary或content時(shí)才加載它。3.3 URL配置與路由路由配置同樣非常簡單給兩種格式各配一個(gè)URL模式。# urls.py from django.urls import path from .feeds import ArticleRssFeed, ArticleAtomFeed urlpatterns [ path(feeds/rss/, ArticleRssFeed(), namearticle_rss_feed), path(feeds/atom/, ArticleAtomFeed(), namearticle_atom_feed), ]注意這里Feed類實(shí)例要以視圖函數(shù)形式使用因此加上括號ArticleRssFeed()。Django框架內(nèi)部調(diào)用__call__符合視圖接口。如果想讓訂閱鏈接在HTML模板中自動填充還可以在head中加link relalternate typeapplication/rssxml titleRSS href{% url article_rss_feed %} /。這樣瀏覽器檢測到頁面有Feed后就會在地址欄高亮RSS按鈕。還有一個(gè)容易被忽略的細(xì)節(jié)Feed視圖本身不需要crsf中間件保護(hù)。因?yàn)樗荊ET請求且通常被各種訂閱器頻繁抓取你完全不需要登錄態(tài)判斷哪些用戶有權(quán)限。如果網(wǎng)站有獨(dú)立的“私有訂閱”邏輯你需要通過URL里的Token來識別這種場景就不適合公開直接掛出去。3.4 內(nèi)容格式化與模板細(xì)節(jié)Django框架生成XML時(shí)會自動對title、description等字段做XML轉(zhuǎn)義把轉(zhuǎn)成amp;把轉(zhuǎn)成lt;。但有個(gè)坑如果你的description里放的是富文本HTML比如包含p、img、blockquote標(biāo)簽框架默認(rèn)會原樣輸出導(dǎo)致“雙重轉(zhuǎn)義”或格式錯(cuò)亂。解決辦法是覆寫item_description時(shí)明確控制內(nèi)容類型。官方框架在生成RSS時(shí)會調(diào)用item_description返回值放入description標(biāo)簽?zāi)J(rèn)不做HTML轉(zhuǎn)義。如果你的內(nèi)容字段是安全的HTML其實(shí)可以直接返回原文但需要注意如果你把不安全的用戶輸入直接塞進(jìn)去就可能引發(fā)XML注入。我用于文章站的字段是后臺編輯產(chǎn)生的可信內(nèi)容所以直接輸出沒問題。如果你的description里既有富文本又要保持安全建議用django.utils.html.strip_tags先去掉標(biāo)簽或者用bleach庫做白名單過濾。我通常的做法是RSS的description輸出純摘要文本而把全文HTML放進(jìn)Atom的content typehtml里。但Django框架默認(rèn)的Atom輸出在content里也會放入item_description的內(nèi)容。如果你希望Atom里放全文RSS里放摘要可以分別覆寫不同格式類里的item_description。另一個(gè)實(shí)用細(xì)節(jié)是給link添加xml:base。如果你從數(shù)據(jù)庫取出的正文里包含類似/media/xxx.jpg的相對路徑閱讀器是不知道相對路徑應(yīng)該基于哪個(gè)域名解析的。Django框架會基于請求域名生成link和guid但正文內(nèi)部HTML里的相對路徑不代表會被改寫。因此我在模板輸出前統(tǒng)一加一個(gè)預(yù)處理函數(shù)把正文里的相對路徑拼接成絕對URL。# feeds.py from django.utils.html import conditional_escape import re def absolutize_html(html_content, base_url): return re.sub(r(src|href)(/[^]*), lambda m: f{m.group(1)}{base_url}{m.group(2)}, html_content)不過用正則處理HTML并不穩(wěn)健。如果項(xiàng)目里已經(jīng)用了markdownify或富文本編輯器它們很可能輸出完整絕對鏈接可以省掉這步。我這里只是為了演示一套可用的策略生產(chǎn)環(huán)境更推薦在編輯器端存儲時(shí)就存絕對URL或存相對路徑后渲染到瀏覽器頁面時(shí)統(tǒng)一用request.build_absolute_uri處理。3.5 訂閱測試與驗(yàn)證寫完代碼后建議先不用訂閱器直接用瀏覽器訪問/feeds/rss/看XML原始輸出。接著用兩個(gè)工具做驗(yàn)證一個(gè)是W3C的Feed驗(yàn)證服務(wù)另一個(gè)是本地命令行功能。curl -s http://127.0.0.1:8000/feeds/rss/ | head -80看輸出的XML是否包含合法的rss version2.0和item條目確認(rèn)編碼是否為UTF-8。然后檢查某個(gè)guid是不是永久鏈接pubDate格式是否形如Thu, 14 Nov 2024 06:24:38 0000。如果你有Python環(huán)境可以直接用標(biāo)準(zhǔn)庫解析import xml.etree.ElementTree as ET import urllib.request xml_data urllib.request.urlopen(http://127.0.0.1:8000/feeds/rss/).read() root ET.fromstring(xml_data) for item in root.iter(item): title item.find(title).text print(title)這能快速發(fā)現(xiàn)XML是否損壞。很多訂閱器對XML解析非常嚴(yán)格如果某個(gè)字段里包含了未轉(zhuǎn)義的字符往往整個(gè)Feed就無法更新。4. 線上排查實(shí)錄與避坑經(jīng)驗(yàn)4.1 中文亂碼或部分訂閱器顯示亂碼這個(gè)問題一般出在HTTP響應(yīng)頭沒有聲明正確的編碼。Django框架生成的Feed默認(rèn)返回text/xml; charsetutf-8理論上沒問題。但如果你用自建視圖或手動拼接XML字符串很容易忘記設(shè)置消息頭。此外有的老訂閱器對Content-Type里的charset參數(shù)比較敏感如果只有text/xml沒有charsetutf-8它們會按照默認(rèn)的sales-8859-1解析中文就變成了亂碼。我遇到過具體場景是本地開發(fā)一切都正常部署到生產(chǎn)環(huán)境后某些在線訂閱器抓取得到的標(biāo)題變成了類似a€?...的亂碼。排查下來發(fā)現(xiàn)是因?yàn)椴渴瓠h(huán)境里的Nginx把上游Django返回的Content-Type給重寫了覆蓋成text/xml而丟失了charsetutf-8。修復(fù)方式是在Django視圖里顯式設(shè)置響應(yīng)頭def get_feed(self, obj, request): response super().get_feed(obj, request) response[Content-Type] application/rssxml; charsetutf-8 return response順便說一句RSS標(biāo)準(zhǔn)建議的MIME類型是application/rssxml但許多瀏覽器確實(shí)支持application/xml。我傾向于直接使用框架默認(rèn)值但會確保帶上charset參數(shù)。4.2 發(fā)布時(shí)間時(shí)區(qū)錯(cuò)亂或“更新日期”缺失Django默認(rèn)時(shí)區(qū)是UTC但國內(nèi)很多站點(diǎn)可能會把settings.TIME_ZONE改成Asia/Shanghai。如果你使用django.utils.timezone.now()生成文章發(fā)布時(shí)間數(shù)據(jù)庫存的是UTC時(shí)間輸出時(shí)框架會以settings.USE_TZ的配置格式化。有時(shí)部署環(huán)境里USE_TZFalse會導(dǎo)致published_at里的naive datetime被當(dāng)成當(dāng)前系統(tǒng)時(shí)區(qū)輸出不同客戶端看到的時(shí)間就會不一致。最簡單的處理方式是堅(jiān)持使用帶時(shí)區(qū)的DateTimeField并在item_pubdate里確保返回的是aware datetime。可以用timezone.localtime(value)把時(shí)間轉(zhuǎn)換到站點(diǎn)時(shí)區(qū)再輸出。另外Atom格式要求updated字段必須有值如果你沒實(shí)現(xiàn)item_updateddate方法框架會回退到item_pubdate這會丟失“內(nèi)容后來被修改”的信息。我一般會同時(shí)實(shí)現(xiàn)這兩個(gè)方法保證Atom用戶能看到準(zhǔn)確的更新狀態(tài)。4.3 訂閱器里鏈接指向了localhost或內(nèi)部域名這是新手最容易踩的坑。當(dāng)你用runserver測試時(shí)Feed里所有鏈接都是http://127.0.0.1:8000。一旦把代碼部署到線上如果請求頭里的Host字段沒有被正確傳遞或者你的反代配置有問題訂閱器抓到的仍是內(nèi)網(wǎng)地址。Django框架生成絕對URL時(shí)用的是request.build_absolute_uri它會基于request.get_host()判斷域名。因此排查思路是先用curl -I查看響應(yīng)的link標(biāo)簽看域名是否正常。如果是內(nèi)網(wǎng)地址說明部署環(huán)境沒有把正確的Host頭轉(zhuǎn)發(fā)給你檢查Nginx里的proxy_set_header Host $host;。另外如果站點(diǎn)本身配置了多個(gè)域名比如example.com和www.example.com建議在Feed的link屬性里明確指定固定域名避免不同入口抓到的內(nèi)容不一致。我在線上項(xiàng)目中是這樣處理的class BaseArticleFeed(Feed): def get_feed(self, obj, request): self._absolute_uri request.build_absolute_uri(/)[:-1] return super().get_feed(obj, request) def item_link(self, item): return self._absolute_uri item.get_absolute_url()這樣能確保無論通過哪個(gè)域名訪問Feed里的鏈接始終基于當(dāng)前請求域名。如果你希望更穩(wěn)定可以單獨(dú)配置一個(gè)settings.SITE_DOMAIN常量在item_link里拼固定域名。4.4 訂閱器不更新或拒絕解析訂閱器不自動更新常見原因有三個(gè)。第一Feed URL返回了HTTP 200但沒有輸出新內(nèi)容因?yàn)榫彺娌呗蕴みM(jìn)。很多閱讀器會按照Last-Modified或ETag來決定是否拉取新內(nèi)容。如果你在入口寫了全局緩存中間件卻沒有正確設(shè)置新鮮度信息可能導(dǎo)致訂閱器長期拿到舊數(shù)據(jù)。解決方案是在Feed響應(yīng)里添加合理的緩存頭response[Cache-Control] max-age3600 response[Last-Modified] last_modified_time.strftime(%a, %d %b %Y %H:%M:%S GMT)第二XML解析失敗但肉眼看不出來。比如你的文章正文里有一個(gè)單獨(dú)的框架默認(rèn)轉(zhuǎn)義后應(yīng)該輸出amp;如果你在item_description里用了mark_safe卻沒有做轉(zhuǎn)義就會生成非法XML。遇到訂閱器報(bào)“解析錯(cuò)誤”時(shí)先用標(biāo)準(zhǔn)XML解析器校驗(yàn)一下這一步能快速定位到具體是哪一篇文章或哪個(gè)字段出了問題。第三guid重復(fù)。RSS規(guī)范建議guid永久唯一。如果你把文章ID當(dāng)作guid刪除重建文章后ID可能會復(fù)用導(dǎo)致訂閱器認(rèn)定“這條更新過”但內(nèi)容沒變。我習(xí)慣使用鏈接本身作為guid因?yàn)槲恼骆溄油ǔ２粫貜?fù)。Django框架默認(rèn)使用item_link作為guid這個(gè)行為已經(jīng)比較安全不需要額外改動。4.5 性能問題一次抓取觸發(fā)了過量數(shù)據(jù)庫查詢Feed通常被訂閱器每小時(shí)甚至每十分鐘抓取一次如果站點(diǎn)文章量大不做優(yōu)化的話數(shù)據(jù)庫壓力會很大。我的優(yōu)化策略分三層第一層在items方法里用select_related和prefetch_related預(yù)取關(guān)聯(lián)數(shù)據(jù)避免item_categories這類鉤子觸發(fā)N1查詢。def items(self): return (Article.objects.filter(is_publicTrue) .select_related(author) .prefetch_related(categories) .only(id, title, slug, summary, content, published_at, updated_at, author_name) [:50])第二層把items()返回的QuerySet結(jié)果序列化成基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)加一個(gè)短時(shí)緩存。比如用cache.set(feed_items_50, items_data, 300)。這樣兩三百秒內(nèi)多次抓取都不會打數(shù)據(jù)庫。第三層如果站點(diǎn)內(nèi)容更新不頻繁可以讓get_feed方法直接拼接緩存好的XML字節(jié)串返回效果最明顯。但使用字節(jié)緩存前要留意響應(yīng)頭里Content-Type和Last-Modified也要一并緩存。有一個(gè)小坑你直接緩存QuerySet對象可能報(bào)QuerySet is not picklable因?yàn)槠渲邪四Ｐ蛯?shí)例的狀態(tài)。我的做法是只緩存list(item_dict)然后items()方法返回cached_list框架對普通列表也能迭代處理。這樣緩存結(jié)構(gòu)簡單也不會觸碰深拷貝模型實(shí)例的坑。5. 輸出效果的對比測試很多同學(xué)實(shí)現(xiàn)完Feed就收工了我建議多做一步用同一個(gè)數(shù)據(jù)源輸出RSS和Atom兩個(gè)格式然后跑一下簡短的對比測試看看兩個(gè)格式在主流閱讀器里的呈現(xiàn)差異。我的測試結(jié)果供你參考。用一個(gè)包含標(biāo)題、摘要、正文、兩個(gè)分類、更新時(shí)間不同的文章列表分別請求RSS和Atom輸出對比兩邊的關(guān)鍵字段。檢查點(diǎn)RSS 2.0輸出Atom 1.0輸出根節(jié)點(diǎn)rss version2.0feed xmlnshttp://www.w3.org/2005/Atom時(shí)間格式Sun, 18 Nov 2024 11:23:05 08002024-11-18T11:23:0508:00正文位置description里的是摘要content typehtml里的是全文作者放在channel下每條entry內(nèi)都有author分類category可選category可重復(fù)這段測試之后我意識到RSS閱讀器通常看重“標(biāo)題摘要”的清爽感Atom客戶端卻更傾向于把全文當(dāng)作content解析。如果你的站點(diǎn)內(nèi)容以長文為主建議默認(rèn)輸出Atom如果你的目標(biāo)用戶習(xí)慣使用收件箱式的摘要閱讀器RSS就足夠了。大多數(shù)場景下兩者一起輸出并不帶來額外維護(hù)負(fù)擔(dān)反而是最穩(wěn)妥的選擇。6. 想清楚這些之后我的維護(hù)心得最后說一個(gè)我在實(shí)際運(yùn)營中體會很深的角度。很多人把Feed當(dāng)作“一個(gè)靜態(tài)文件”看待寫好后就不再接維護(hù)。但其實(shí)Feed也是站點(diǎn)的一部分它和頁面URL一樣需要保持穩(wěn)定、可緩存、可監(jiān)測。你要把/feeds/rss/和/feeds/atom/當(dāng)作兩個(gè)獨(dú)立頁面來看待納入監(jiān)控系統(tǒng)檢查它們是否返回200、XML是否合法、內(nèi)容是否更新。我在自己的項(xiàng)目里給Feed增加了更新檢測邏輯每次文章發(fā)布時(shí)主動清理Feed緩存并且觸發(fā)一次curl拉取確保輸出XML里新文章排在第一位。這樣能在用戶發(fā)現(xiàn)訂閱源“壞掉”之前及時(shí)暴露問題。畢竟一個(gè)內(nèi)容站的生命力就在于“更新被看見”而Feed正是讓更新被看見的通道之一。如果你要在這個(gè)基礎(chǔ)上繼續(xù)擴(kuò)展可以考慮幾個(gè)方向按分類輸出不同的Feed、給Feed條目添加enclosure支持播客音頻、給不同內(nèi)容類型打不同標(biāo)簽。Django的Feed框架留有足夠的擴(kuò)展接口以上這些都能在保持代碼結(jié)構(gòu)清晰的前提下完成。希望這篇文章里的概念拆解和彎路預(yù)警能幫你省下幾個(gè)排查的夜晚。