用）)
把免費 LLM API 用到極致awesome-free-llm-apis 高級技巧清單模型回退、路由與批量調(diào)用【免費下載鏈接】awesome-free-llm-apisList of Permanent Free LLM API (API Keys)項目地址: https://gitcode.com/gh_mirrors/aw/awesome-free-llm-apisawesome-free-llm-apis 是一份永久免費、無需信用卡的免費 LLM API 清單收錄了 19 家大模型推理服務商的免費額度RPM/RPD/TPD 限額一目了然。本文面向新手講透模型回退、模型路由、批量調(diào)用三大高級技巧教你把每一分免費 LLM API 額度都用到極致。先看懂免費 LLM API 資源表項目把所有服務商分為兩類全部收錄在 README.md 中并同步到機器可讀的 data.jsonProvider APIs原廠 API由訓練模型的公司直接運營如 Google Gemini、Mistral AI、Cohere、Zhipu AI 等見 free-llm-apis/references/provider-apis.md。Inference Providers第三方推理平臺托管開源權重的開放模型如 Groq、Cerebras、Cloudflare Workers AI、OpenRouter 等見 free-llm-apis/references/inference-providers.md。 除特別注明外所有端點都兼容 OpenAI SDK——這意味著你只換base_url和api_key代碼一行不用改。幾個新手必須記住的限額術語README 末尾有完整詞表縮寫含義RPM每分鐘請求數(shù)Requests Per MinuteRPD每天請求數(shù)Requests Per DayTPM / TPD每分鐘 / 每天 Token 數(shù)快速上手克隆倉庫并測通第一把免費 API Key只需三步即可跑通git clone https://gitcode.com/gh_mirrors/aw/awesome-free-llm-apis挑服務商按你的優(yōu)先級選擇速查表見下文路由章節(jié)。領 KeyREADME 中每家服務商的鏈接都直達其API Key 申請頁照 free-llm-apis/SKILL.md 的工作流走即可。驗證連通SKILL.md 內(nèi)置了一個快速測試模板——用 OpenAI SDK 指向?qū)猙ase_url發(fā)一句Say hello in one sentence.能收到回復就說明 Key 可用。?? 安全提示SKILL.md 原文強調(diào)不要把 API Key 硬編碼進代碼請使用環(huán)境變量或密鑰管理器。高級技巧一模型回退 —— 429 與超量時自動重試單個免費服務商隨時可能觸發(fā) 429限流或每日額度耗盡。**模型回退Fallback**就是把請求按優(yōu)先級串成一條接力鏈一家掛了自動切下一家Groq llama-3.3-70b-versatile → Cerebras gpt-oss-120b → OpenRouter openrouter/free 首選最快 第二備選超高并發(fā) 兜底免費模型自動輪換實踐建議回退順序按額度剩余排每天額度少的如 Cerebras 8K 上下文上限優(yōu)先用額度大的如 Mistral AI 每月約 1B tokens放后面兜底。平臺原生能力優(yōu)先OpenRouter 的免費模型支持按優(yōu)先級鏈式回退并內(nèi)置openrouter/free免費路由器Kilo Code 的kilo-auto/free會自動按 80%/20% 比例把流量分給 minimax-m2.5:free 和 step-3.5-flash:free——零代碼即得回退能力詳見 data.json 腳注 4、5。退避重試遇到 429/5xx 先等待再重試2s → 8s → 30s這正是項目校驗腳本 scripts/verify-providers.js 使用的重試策略。高級技巧二路由 —— 把合適的任務分給合適的服務商路由不是玄學而是按任務特征匹配服務商限額。SKILL.md 里有一張優(yōu)先級對照表濃縮如下你最看重首選免費 LLM API理由最高并發(fā)RPMGroq / Cerebras均為 30 RPM模型數(shù)量最多Cloudflare Workers AI50、OpenRouter免費模型陣容最豪華最強閉源模型Google Gemini、GitHub ModelsGemini 3.5 Flash、GPT-4o最快推理速度Groq / CerebrasCerebras 可達約 2,600 tok/s最大 Token 預算Mistral AI約 1B tokens/月、500K TPM免注冊零門檻LLM7.io基礎層、OVHcloud前者無需 Token 即可用后者匿名 2 RPM 免 Key路由的三條經(jīng)驗法則短任務走高速道一句話摘要、分類打標簽 → Groq/Cerebras30 RPM 隨便燒。長文檔走大額度超長上下文1M 上下文的 Gemini Flash、OpenRouter 上的 1M 模型留給 Mistral 或 OpenRouter 的免費模型。敏感任務避坑Gemini、Mistral 的部分免費額度可能將 Prompt 用于訓練涉密內(nèi)容優(yōu)先選標注清晰的渠道。高級技巧三批量調(diào)用 —— 拼額度把吞吐量拉滿批量處理數(shù)據(jù)清洗、批量打標、文檔切片總結時單家服務商的日額度遠遠不夠正確姿勢是多 Provider 拼車橫向擴容Groq 1,000 RPD Cerebras 14,400 RPD Mistral 500K TPM組合后日吞吐量輕松破萬請求全程 0 元。錯峰消耗RPD 類額度按天重置把大任務切成每日小批避免單日撞墻。并發(fā)守底線Z AI 免費模型限 1 并發(fā)、OVHcloud 匿名限 2 RPM——批量循環(huán)里記得加節(jié)流否則會批量 429。額度即配置把各家的rateLimit字段data.json 中每個模型都有做成調(diào)度配置按限額分配并發(fā)比拍腦袋高效得多。 小算賬假設要處理 1 萬條短文本走 Groq1,000 RPD單家需 10 天Groq Cerebras Mistral 三家并行1 天即可清零。讓免費 LLM API 清單保持最新data.json 是唯一數(shù)據(jù)源含lastUpdated時間戳scripts/generate-readme.js 可據(jù)此重新生成 README 表格。scripts/verify-providers.js 是每日校驗工具遍歷 data.json 里每個模型真實發(fā)起請求把錯誤分類為 AUTH / RATE_LIMIT / BILLING / NOT_FOUND并輸出 PASS/FAIL 報告——想確認某個模型還活著跑它最穩(wěn)。發(fā)現(xiàn)缺失的免費層按 contributing.md 的規(guī)范提 PR只收永久免費層不收試用積分與限時促銷且必須有真實 REST API。常見坑與安全清單 ?地區(qū)限制Google Gemini 免費層在歐盟/英國/瑞士不可用。上下文陷阱Cerebras 免費層上下文被壓到 8K長文檔前先截斷。協(xié)議差異Ollama Cloud 不兼容 OpenAI SDK走 Ollama API集成時要單獨處理。商用紅線Cohere 免費 Key 僅限非商業(yè)用途SambaNova 的 $5 是 30 天試用金別和永久免費層混淆。密鑰安全全部 Key 走環(huán)境變量絕不進代碼倉庫。一句話總結把 README.md 當額度地圖用路由選對服務商用回退吃掉 429用批量拼額度把免費 LLM API 的吞吐量拉滿——0 成本也能跑起可靠的大模型服務 【免費下載鏈接】awesome-free-llm-apisList of Permanent Free LLM API (API Keys)項目地址: https://gitcode.com/gh_mirrors/aw/awesome-free-llm-apis創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 把免費 LLM API 用到極致：awesome-free-llm-apis 高級技巧清單（模型回退、路由與批量調(diào)用）
把免費 LLM API 用到極致awesome-free-llm-apis 高級技巧清單模型回退、路由與批量調(diào)用【免費下載鏈接】awesome-free-llm-apisList of Permanent Free LLM API (API Keys)項目地址: https://gitcode.com/gh_mirrors/aw/awesome-free-llm-apisawesome-free-llm-apis 是一份永久免費、無需信用卡的免費 LLM API 清單收錄了 19 家大模型推理服務商的免費額度RPM/RPD/TPD 限額一目了然。本文面向新手講透模型回退、模型路由、批量調(diào)用三大高級技巧教你把每一分免費 LLM API 額度都用到極致。先看懂免費 LLM API 資源表項目把所有服務商分為兩類全部收錄在 README.md 中并同步到機器可讀的 data.jsonProvider APIs原廠 API由訓練模型的公司直接運營如 Google Gemini、Mistral AI、Cohere、Zhipu AI 等見 free-llm-apis/references/provider-apis.md。Inference Providers第三方推理平臺托管開源權重的開放模型如 Groq、Cerebras、Cloudflare Workers AI、OpenRouter 等見 free-llm-apis/references/inference-providers.md。 除特別注明外所有端點都兼容 OpenAI SDK——這意味著你只換base_url和api_key代碼一行不用改。幾個新手必須記住的限額術語README 末尾有完整詞表縮寫含義RPM每分鐘請求數(shù)Requests Per MinuteRPD每天請求數(shù)Requests Per DayTPM / TPD每分鐘 / 每天 Token 數(shù)快速上手克隆倉庫并測通第一把免費 API Key只需三步即可跑通git clone https://gitcode.com/gh_mirrors/aw/awesome-free-llm-apis挑服務商按你的優(yōu)先級選擇速查表見下文路由章節(jié)。領 KeyREADME 中每家服務商的鏈接都直達其API Key 申請頁照 free-llm-apis/SKILL.md 的工作流走即可。驗證連通SKILL.md 內(nèi)置了一個快速測試模板——用 OpenAI SDK 指向?qū)猙ase_url發(fā)一句Say hello in one sentence.能收到回復就說明 Key 可用。?? 安全提示SKILL.md 原文強調(diào)不要把 API Key 硬編碼進代碼請使用環(huán)境變量或密鑰管理器。高級技巧一模型回退 —— 429 與超量時自動重試單個免費服務商隨時可能觸發(fā) 429限流或每日額度耗盡。**模型回退Fallback**就是把請求按優(yōu)先級串成一條接力鏈一家掛了自動切下一家Groq llama-3.3-70b-versatile → Cerebras gpt-oss-120b → OpenRouter openrouter/free 首選最快 第二備選超高并發(fā) 兜底免費模型自動輪換實踐建議回退順序按額度剩余排每天額度少的如 Cerebras 8K 上下文上限優(yōu)先用額度大的如 Mistral AI 每月約 1B tokens放后面兜底。平臺原生能力優(yōu)先OpenRouter 的免費模型支持按優(yōu)先級鏈式回退并內(nèi)置openrouter/free免費路由器Kilo Code 的kilo-auto/free會自動按 80%/20% 比例把流量分給 minimax-m2.5:free 和 step-3.5-flash:free——零代碼即得回退能力詳見 data.json 腳注 4、5。退避重試遇到 429/5xx 先等待再重試2s → 8s → 30s這正是項目校驗腳本 scripts/verify-providers.js 使用的重試策略。高級技巧二路由 —— 把合適的任務分給合適的服務商路由不是玄學而是按任務特征匹配服務商限額。SKILL.md 里有一張優(yōu)先級對照表濃縮如下你最看重首選免費 LLM API理由最高并發(fā)RPMGroq / Cerebras均為 30 RPM模型數(shù)量最多Cloudflare Workers AI50、OpenRouter免費模型陣容最豪華最強閉源模型Google Gemini、GitHub ModelsGemini 3.5 Flash、GPT-4o最快推理速度Groq / CerebrasCerebras 可達約 2,600 tok/s最大 Token 預算Mistral AI約 1B tokens/月、500K TPM免注冊零門檻LLM7.io基礎層、OVHcloud前者無需 Token 即可用后者匿名 2 RPM 免 Key路由的三條經(jīng)驗法則短任務走高速道一句話摘要、分類打標簽 → Groq/Cerebras30 RPM 隨便燒。長文檔走大額度超長上下文1M 上下文的 Gemini Flash、OpenRouter 上的 1M 模型留給 Mistral 或 OpenRouter 的免費模型。敏感任務避坑Gemini、Mistral 的部分免費額度可能將 Prompt 用于訓練涉密內(nèi)容優(yōu)先選標注清晰的渠道。高級技巧三批量調(diào)用 —— 拼額度把吞吐量拉滿批量處理數(shù)據(jù)清洗、批量打標、文檔切片總結時單家服務商的日額度遠遠不夠正確姿勢是多 Provider 拼車橫向擴容Groq 1,000 RPD Cerebras 14,400 RPD Mistral 500K TPM組合后日吞吐量輕松破萬請求全程 0 元。錯峰消耗RPD 類額度按天重置把大任務切成每日小批避免單日撞墻。并發(fā)守底線Z AI 免費模型限 1 并發(fā)、OVHcloud 匿名限 2 RPM——批量循環(huán)里記得加節(jié)流否則會批量 429。額度即配置把各家的rateLimit字段data.json 中每個模型都有做成調(diào)度配置按限額分配并發(fā)比拍腦袋高效得多。 小算賬假設要處理 1 萬條短文本走 Groq1,000 RPD單家需 10 天Groq Cerebras Mistral 三家并行1 天即可清零。讓免費 LLM API 清單保持最新data.json 是唯一數(shù)據(jù)源含lastUpdated時間戳scripts/generate-readme.js 可據(jù)此重新生成 README 表格。scripts/verify-providers.js 是每日校驗工具遍歷 data.json 里每個模型真實發(fā)起請求把錯誤分類為 AUTH / RATE_LIMIT / BILLING / NOT_FOUND并輸出 PASS/FAIL 報告——想確認某個模型還活著跑它最穩(wěn)。發(fā)現(xiàn)缺失的免費層按 contributing.md 的規(guī)范提 PR只收永久免費層不收試用積分與限時促銷且必須有真實 REST API。常見坑與安全清單 ?地區(qū)限制Google Gemini 免費層在歐盟/英國/瑞士不可用。上下文陷阱Cerebras 免費層上下文被壓到 8K長文檔前先截斷。協(xié)議差異Ollama Cloud 不兼容 OpenAI SDK走 Ollama API集成時要單獨處理。商用紅線Cohere 免費 Key 僅限非商業(yè)用途SambaNova 的 $5 是 30 天試用金別和永久免費層混淆。密鑰安全全部 Key 走環(huán)境變量絕不進代碼倉庫。一句話總結把 README.md 當額度地圖用路由選對服務商用回退吃掉 429用批量拼額度把免費 LLM API 的吞吐量拉滿——0 成本也能跑起可靠的大模型服務 【免費下載鏈接】awesome-free-llm-apisList of Permanent Free LLM API (API Keys)項目地址: https://gitcode.com/gh_mirrors/aw/awesome-free-llm-apis創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考