發(fā)者指南:X API 抓取、原則蒸餾與自動(dòng)更新流水線完整解析)
【免費(fèi)下載鏈接】revenue-centric-designProduct-design, conversion behavioral-science principles for SaaS項(xiàng)目地址https://gitcode.com/gh_mirrors/re/revenue-centric-design點(diǎn)擊查看免費(fèi)下載revenue-centric-design把 101 條 SaaS 產(chǎn)品設(shè)計(jì)與增長(zhǎng)原則轉(zhuǎn)化落地頁(yè)、Onboarding 激活、流失挽回、定價(jià)心理學(xué)等打包成了一個(gè) Agent Skill。它的背后是一條用 Python 搭建的可復(fù)現(xiàn)流水線通過(guò)X API 抓取作者推文、用 LLM 做原則蒸餾、再由refresh_meta.py自動(dòng)更新README/SKILL 元數(shù)據(jù)。本文將帶你逐文件拆解這條自動(dòng)更新流水線的實(shí)現(xiàn)原理。項(xiàng)目概覽一條流水線如何養(yǎng)大一個(gè) SkillSkill 的入口是 SKILL.mdAgent 只讀它、references/ 和 assets/。真正的生產(chǎn)線藏在 updater/它不屬于安裝的 Skill純粹是維護(hù)者工具。整體更新循環(huán)是一條清晰的流水線discover_new.py → 人工篩選 → new_posts.txt → update.py → 蒸餾 REVIEW → 粘貼進(jìn) references/ → refresh_meta.py → commit (可選:找新帖) (增量拉取暫存) (LLM 蒸餾,人工把關(guān)) (合并入冊(cè)) (同步數(shù)字)對(duì)應(yīng) 5 個(gè)核心腳本完整清單見(jiàn) updater/README.md文件職責(zé)依賴updater/skill_lib.pySnowflake 日期解碼、已收錄 ID、主題/覆蓋率/計(jì)數(shù)助手純標(biāo)準(zhǔn)庫(kù)updater/fetch_posts.pyX API v2 抓取器原文 引用帖 媒體識(shí)別 X ArticleBearer Tokenupdater/update.py增量差集檢測(cè) 拉取新帖 生成蒸餾暫存包Bearer Tokenupdater/distill.py可選Claude API 自動(dòng)起草原則條目anthropic API keyupdater/refresh_meta.py重算并回寫 README/SKILL 的計(jì)數(shù)與覆蓋日期純標(biāo)準(zhǔn)庫(kù)updater/prompts/distill.md蒸餾規(guī)范全流水線唯一的真理源—核心機(jī)制技能即清單零 API 調(diào)用算覆蓋率這條流水線最巧妙的設(shè)計(jì)寫在 updater/skill_lib.py 的注釋里不存在獨(dú)立的已收錄清單。已覆蓋的推文集合是從references/*.md中每條原則末尾的richardrx · …Source 鏈接反向解析出來(lái)的正則匹配作者 status 鏈接里的數(shù)字 ID而每條推文的發(fā)布日期則直接從推文 ID 本身解碼——Twitter Snowflake ID 的高位就是毫秒時(shí)間戳紀(jì)元1288834974657右移 22 位再加紀(jì)元即得創(chuàng)建時(shí)間見(jiàn) updater/skill_lib.py 的snowflake_date()。帶來(lái)兩個(gè)直接好處覆蓋率與計(jì)數(shù)零 API 調(diào)用coverage()掃一遍本地 Markdown 就能算出最早/最晚日期與去重后帖子數(shù)永遠(yuǎn)不會(huì)與實(shí)際內(nèi)容漂移增量更新天然安全new_posts.txt里留舊 URL 也沒(méi)關(guān)系update.py會(huì)先算差集已收錄的直接跳過(guò)。增量更新update.py 的三步拉取 暫存人工把值得收錄的推文 URL一行一個(gè)寫進(jìn) updater/new_posts.txt 后運(yùn)行python update.pyupdater/update.py 做三件事算差集讀取候選 URL用skill_lib.included_ids()過(guò)濾掉已在references/中的 ID只拉真正的新帖抓取復(fù)用 updater/fetch_posts.py 的 API 邏輯媒體下載被重定向到staging/media/暫存stage每條新帖生成三樣?xùn)|西——staging/posts/id.md規(guī)范化文本、staging/media/id__*.jpg原圖、以及staging/prompts/id.md把蒸餾規(guī)范 updater/prompts/distill.md 該帖文本 圖片路徑預(yù)先拼好的提示詞文件。也就是說(shuō)update.py結(jié)束時(shí)LLM 蒸餾所需的一切已經(jīng)打包就緒下一步只剩翻譯 提煉。X API v2 抓取原理批量、展開(kāi)與限流處理updater/fetch_posts.py 是唯一的網(wǎng)絡(luò)出口幾個(gè)實(shí)現(xiàn)細(xì)節(jié)值得新手學(xué)習(xí)批量接口走h(yuǎn)ttps://api.x.com/2/tweets?ids…最多 100 條 ID 一次請(qǐng)求chunked(ids, 100)91 條的完整重建只需一次調(diào)用一次拿全expansions參數(shù)展開(kāi)attachments.media_keys、referenced_tweets.id引用帖與作者tweet.fields額外請(qǐng)求note_tweet長(zhǎng)文和articleX Articles字段見(jiàn) updater/fetch_posts.py兩輪抓取Pass A/B第一輪拉目標(biāo)帖子被引用quote的推文在第一輪里媒體經(jīng)常不完整腳本收集這些 ID 再發(fā)第二輪按主帖身份重取保證引用帖的媒體與作者信息完整解析見(jiàn) updater/fetch_posts.py媒體取原圖照片直接拼接nameorig拿原始分辨率視頻則選bit_rate最高的 mp4 變體best_media_url文本擇優(yōu)長(zhǎng)文note_tweet X Article 正文 短推textfull_text并保留原始 JSON 到data/raw/id.json以便日后重放健壯性429 限流時(shí)讀取x-rate-limit-reset響應(yīng)頭自動(dòng)等待重試401/403 直接給出檢查 Bearer Token的明確報(bào)錯(cuò)網(wǎng)絡(luò)錯(cuò)誤最多重試 5 次YAML frontmatter每篇輸出都帶source url、點(diǎn)贊/轉(zhuǎn)發(fā)數(shù)、is_article、long_form等字段其中themes與use_in_skill兩個(gè)開(kāi)關(guān)是留給人工策展編輯的。輸出匯總在data/index.json逐條記錄抓取狀態(tài)整批可審計(jì)。原則蒸餾把一條推文變成一條原則蒸餾的作業(yè)要求只有一份updater/prompts/distill.md。它要求把推文忠實(shí)譯成英文并壓縮成一條 60–110 詞的固定格式條目## 祈使句標(biāo)題 **Principle.** 1–3 句核心啟發(fā)式 **Apply when.** 觸發(fā)場(chǎng)景 **The move.** 具體動(dòng)作必須保留命名機(jī)制decoy effect、GBB、Swiss Knife Index… **Evidence.** 僅當(dāng)原文引用研究/數(shù)據(jù)/案例 **Visual.** 信息型圖片說(shuō)明 — ../assets/filename **Voice.** 原文金句翻譯后保留作者口吻 **Source.** richardrx · YYYY-MM-DD兩條鐵律只留原則不做全文翻譯保留有名字的機(jī)制——認(rèn)知偏見(jiàn)的命名本身就是價(jià)值誘餌效應(yīng)、損失厭惡、峰值終末定律……。執(zhí)行蒸餾有兩條路updater/README.md輔助式推薦把staging/prompts/id.md交給 Claude Code 等 Agent它能查看圖片來(lái)判斷哪些圖承載信息、從而寫出**Visual.**行自動(dòng)式python distill.pyupdater/distill.py把每條暫存提示連同圖片base64 編碼發(fā)給 Claude用 pydantic 結(jié)構(gòu)化輸出解析出{theme_slug, entry_markdown}草稿寫入staging/drafts/id.md。無(wú)論哪條路人工必須逐條審閱——規(guī)范再嚴(yán)格品味與準(zhǔn)確性把關(guān)在人。審閱通過(guò)后原則按新帖在前的順序粘貼進(jìn)對(duì)應(yīng)的 references/ 主題文件保留的圖片從staging/media/拷入 assets/。合并階段還有兩條原則性規(guī)則updater/README.md默認(rèn)只增不改已有條目與各自的 Source 帖、日期綁定任何更新都不會(huì)重寫歷史作者修訂框架時(shí)如 RCD 原則從 10 條早期稿變?yōu)?9 條正典新條目入庫(kù)、舊條目標(biāo)注 (earlier version) … superseded by …這是人工決策流水線永不自動(dòng)改寫策展文本邊界隨內(nèi)容攜帶updater/prompts/distill.md 明確禁止產(chǎn)出涉賭/博彩/賭場(chǎng)類原則——這是作者授權(quán)復(fù)用時(shí)的硬性前提。元數(shù)據(jù)同步與成本refresh_meta.py 收尾最后一步python refresh_meta.pyupdater/refresh_meta.py讓文檔數(shù)字自動(dòng)對(duì)齊內(nèi)容它從references/*.md重算原則總數(shù)、主題數(shù)、每主題表格計(jì)數(shù)與覆蓋日期區(qū)間再用正則替換補(bǔ)丁回寫 README.md 和 SKILL.md含 shields.io 徽章。用法上有三層--check先干跑預(yù)覽也是冪等性自檢不帶參數(shù)則只應(yīng)用確定性修復(fù)加--updated YYYY-MM-DD才動(dòng)Last updated日期避免無(wú)意義的日期跳動(dòng)。成本幾乎可忽略X API 按量計(jì)費(fèi)$0.005/條帖讀取同一資源在 24 小時(shí) UTC 窗口內(nèi)去重計(jì)費(fèi)——一次典型更新幾條新帖 引用帖 時(shí)間線掃描只花幾分錢而refresh_meta.py與差集檢測(cè)完全離線。另有兩個(gè)收尾細(xì)節(jié)posts.txt是全量重建清單配合 updater/fetch_posts.py 可干凈重建data/新增 URL 記得手工追加——但活的真理源永遠(yuǎn)是references/密鑰updater/.env、data/、staging/均被 gitignore腳本與文檔入庫(kù)保證流程可復(fù)現(xiàn)、可審計(jì)??偨Y(jié)技能即清單已收錄集合從references/的 Source 鏈接反推日期從 Snowflake ID 解碼覆蓋率統(tǒng)計(jì)零 API 調(diào)用、永不漂移拉取可重放fetch_posts.py批量 兩輪展開(kāi) 原圖下載raw JSON 與 index 全量留檔蒸餾有規(guī)范、有人工閘口一份 updater/prompts/distill.md 定義輸出形狀人審閱后才入references/元數(shù)據(jù)自動(dòng)對(duì)齊refresh_meta.py保證 README/SKILL 的數(shù)字永遠(yuǎn)由內(nèi)容算出而不是手填。整條流水線只用 Python 標(biāo)準(zhǔn)庫(kù)唯一的可選依賴是anthropic循環(huán)是discover → curate → update → distill → merge → refresh任何一步都可以重跑而不會(huì)破壞既有內(nèi)容。贊分享【免費(fèi)下載鏈接】revenue-centric-designProduct-design, conversion behavioral-science principles for SaaS項(xiàng)目地址https://gitcode.com/gh_mirrors/re/revenue-centric-design點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何快速搞懂收入中心設(shè)計(jì)RCDrevenue-centric-design九大核心原則完整解讀如何快速搞懂收入中心設(shè)計(jì)RCDrevenue centric design九大核心原則完整解讀 如果你正做一個(gè)流量不少、收入不多的 SaaS 或創(chuàng)業(yè)產(chǎn)品revenue-centric-design怎么用10大主題參考庫(kù)與原則卡片機(jī)制的Agent使用指南revenue centric design怎么用10大主題參考庫(kù)與原則卡片機(jī)制的Agent使用指南 revenue centric design 是一個(gè)面向Onboarding九種模式怎么選revenue-centric-design新手引導(dǎo)模式選擇與TTV優(yōu)化指南Onboarding九種模式怎么選revenue centric design新手引導(dǎo)模式選擇與TTV優(yōu)化指南 做 SaaS 產(chǎn)品新手引導(dǎo)Onboardi上一篇AI視頻切片工具AutoClip插件化擴(kuò)展空間前瞻5個(gè)開(kāi)放API與插件系統(tǒng)設(shè)計(jì)思路下一篇WeChatMsg免費(fèi)離線微信聊天記錄導(dǎo)出與年度報(bào)告工具創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考