大模型API聚合到自建輕量網(wǎng)關(guān)實(shí)踐)
最近在 GitHub 上翻 AI 開(kāi)源項(xiàng)目時(shí)頻繁看到freellmapi這個(gè)關(guān)鍵詞。很多開(kāi)發(fā)者把它當(dāng)成“免費(fèi)的 LLM API 入口”來(lái)搜索也有人誤以為它是一個(gè)可以直接拿到 Key 的網(wǎng)站。我把相關(guān)項(xiàng)目資料、熱詞討論和開(kāi)源倉(cāng)庫(kù)的常見(jiàn)組織方式梳理了一遍并結(jié)合實(shí)際開(kāi)發(fā)經(jīng)驗(yàn)整理成一篇偏向項(xiàng)目閱讀與自建實(shí)踐的教程。本文會(huì)先講清楚freellmapi這類(lèi)項(xiàng)目到底是什么為什么會(huì)出現(xiàn)再給出一套安全、完整、可落地的自建輕量 LLM API 網(wǎng)關(guān)方案包含環(huán)境準(zhǔn)備、FastAPI 代碼、OpenAI 兼容協(xié)議解析、運(yùn)行驗(yàn)證和常見(jiàn)排錯(cuò)。適合正在做 AI 應(yīng)用 Demo、想統(tǒng)一管理多模型接口、或者準(zhǔn)備入門(mén)大模型 API 開(kāi)發(fā)的讀者。1. freellmapi 是什么1.1 名稱(chēng)拆解freellmapi不是一個(gè)官方技術(shù)名詞它是由三個(gè)英文單詞組合而來(lái)的搜索熱詞free免費(fèi)、開(kāi)源、可白嫖。LLMLarge Language Model大語(yǔ)言模型。APIApplication Programming Interface應(yīng)用編程接口。把它們組合在一起含義就很直白收錄免費(fèi)大語(yǔ)言模型 API 的項(xiàng)目。在 GitHub 上這類(lèi)項(xiàng)目通常以倉(cāng)庫(kù)形式存在項(xiàng)目作者把網(wǎng)上可訪問(wèn)的、提供免費(fèi)額度的模型接口或者開(kāi)源模型的公共訪問(wèn)地址統(tǒng)一收集到一張列表里。除了單純的匯總部分項(xiàng)目還提供了統(tǒng)一封裝代碼、代理轉(zhuǎn)發(fā)服務(wù)、模型路由邏輯讓使用者可以通過(guò)一個(gè)入口調(diào)用多個(gè)免費(fèi)模型。1.2 它解決什么問(wèn)題實(shí)際的 AI 應(yīng)用開(kāi)發(fā)中很多團(tuán)隊(duì)會(huì)遇到下面這些情況你準(zhǔn)備開(kāi)發(fā)一個(gè) AI 聊天機(jī)器人但剛開(kāi)始階段不想付費(fèi)開(kāi)通模型服務(wù)。你需要對(duì)比多家模型在同一個(gè)問(wèn)題上的回答效果但每個(gè)服務(wù)商的 API 格式都不一樣。你只想做產(chǎn)品原型驗(yàn)證不想為了一兩個(gè) Demo 功能專(zhuān)門(mén)申請(qǐng)企業(yè)認(rèn)證。你希望所有模型走同一個(gè)Base URL切換模型時(shí)只需要改model參數(shù)。freellmapi這類(lèi)項(xiàng)目本質(zhì)上就是圍繞“免費(fèi)”和“統(tǒng)一接入”這兩個(gè)訴求做文章。它把各家免費(fèi)模型的接入地址、認(rèn)證方式、模型 ID、調(diào)用示例整理成文檔有的項(xiàng)目還會(huì)提供一個(gè)輕量中轉(zhuǎn)服務(wù)讓所有請(qǐng)求先打到自己的服務(wù)上再由中轉(zhuǎn)服務(wù)轉(zhuǎn)發(fā)給真實(shí)模型接口。1.3 常見(jiàn)應(yīng)用場(chǎng)景結(jié)合社區(qū)里開(kāi)發(fā)者分享的使用經(jīng)驗(yàn)這類(lèi)項(xiàng)目的主要使用場(chǎng)景包括場(chǎng)景說(shuō)明個(gè)人學(xué)習(xí) Demo快速接入一個(gè)免費(fèi)模型跑通聊天問(wèn)答多模型效果對(duì)比統(tǒng)一格式調(diào)用多個(gè)模型批量對(duì)比輸出質(zhì)量?jī)?nèi)部工具開(kāi)發(fā)給團(tuán)隊(duì)內(nèi)部的小工具提供基礎(chǔ)的文本生成能力教學(xué)示例在課程中演示 API 調(diào)用流程避免學(xué)生付費(fèi)網(wǎng)關(guān)原型設(shè)計(jì)用免費(fèi)模型先行設(shè)計(jì)代理層、限流層、日志層1.4 需要注意的邊界這里必須說(shuō)清楚一點(diǎn)freellmapi不是某個(gè)固定的商業(yè)產(chǎn)品。網(wǎng)絡(luò)上搜到的“官網(wǎng)”“入口”往往指向 GitHub 倉(cāng)庫(kù)或第三方鏡像站點(diǎn)項(xiàng)目本身的維護(hù)情況、接口穩(wěn)定性、免費(fèi)額度隨時(shí)可能變化。使用前一定要閱讀對(duì)應(yīng)項(xiàng)目的 README確認(rèn)它提供的是“文檔匯總”還是“轉(zhuǎn)發(fā)服務(wù)”并評(píng)估安全風(fēng)險(xiǎn)。2. 為什么 freellmapi 這類(lèi)項(xiàng)目會(huì)流行2.1 大模型 API 接入成本仍然存在雖然開(kāi)源大模型越來(lái)越多但普通開(kāi)發(fā)者在本地跑一個(gè)可用的大模型仍然需要一定的顯卡資源。對(duì)大多數(shù)做上層應(yīng)用開(kāi)發(fā)的程序員來(lái)說(shuō)更高效的方式是直接調(diào)用線上 API。線上 API 的接入成本包括注冊(cè)開(kāi)發(fā)者賬號(hào)部分平臺(tái)需要企業(yè)認(rèn)證。下載多套 SDK學(xué)習(xí)不同的鑒權(quán)方式。閱讀和項(xiàng)目無(wú)關(guān)的大量接口文檔。為流量和 Token 付費(fèi)。當(dāng)這些成本疊加在一起開(kāi)發(fā)者自然會(huì)去尋找一個(gè)更輕量、更標(biāo)準(zhǔn)的入口。freellmapi類(lèi)項(xiàng)目把“接入體驗(yàn)”簡(jiǎn)化成了“復(fù)制 Key 改 Base URL”這種模式天然具備傳播力。2.2 免費(fèi)額度政策讓聚合類(lèi)項(xiàng)目有了生存空間國(guó)內(nèi)外不少大模型服務(wù)商都提供新用戶(hù)免費(fèi)體驗(yàn)額度或者在限時(shí)活動(dòng)期間開(kāi)放免費(fèi)調(diào)用。這些額度通常足夠支撐學(xué)習(xí)和小規(guī)模測(cè)試。但免費(fèi)額度有幾個(gè)特點(diǎn)有時(shí)間限制過(guò)了活動(dòng)期就失效。模型 ID 可能不定期調(diào)整。接口限制嚴(yán)格并發(fā)并發(fā)數(shù)比較低。不同平臺(tái)的免費(fèi)策略差異很大。聚合類(lèi)項(xiàng)目正好承擔(dān)了“信息整理”和“策略適配”的角色。有人把各家免費(fèi)額度的申請(qǐng)頁(yè)面、模型 ID、限流規(guī)則集中維護(hù)后來(lái)者就不用一個(gè)個(gè)去翻文檔了。2.3 開(kāi)發(fā)者的“統(tǒng)一接入”需求被放大如果你對(duì)接過(guò)兩個(gè)以上的模型服務(wù)商就會(huì)明顯感覺(jué)到不同平臺(tái)之間 API 風(fēng)格差異很大。有的使用 HTTP Header 鑒權(quán)有的使用 Query 參數(shù)有的需要先獲取臨時(shí) Token。為了讓上層業(yè)務(wù)代碼不被某個(gè)具體廠商綁定團(tuán)隊(duì)通常會(huì)自己封裝一層“模型網(wǎng)關(guān)”。freellmapi類(lèi)項(xiàng)目可能是這個(gè)需求的雛形先收集免費(fèi)接口再用統(tǒng)一格式轉(zhuǎn)發(fā)。這也是很多開(kāi)發(fā)者愿意關(guān)注這類(lèi)項(xiàng)目的原因——他們不只是想白嫖 API更想?yún)⒖柬?xiàng)目中的網(wǎng)關(guān)設(shè)計(jì)思路。3. 如何正確閱讀 freellmapi 類(lèi) GitHub 項(xiàng)目如果你在 GitHub 上搜索freellmapi可能會(huì)看到多個(gè)同名或相似命名的倉(cāng)庫(kù)。不要看到一個(gè)倉(cāng)庫(kù)就直接復(fù)制 Key 使用建議按照下面的順序閱讀。3.1 先看 README 的定位說(shuō)明一個(gè)合格的聚合項(xiàng)目README 開(kāi)頭會(huì)明確說(shuō)明自己是“純文檔”還是“可部署服務(wù)”。如果 README 里出現(xiàn)以下關(guān)鍵詞基本可以判斷項(xiàng)目性質(zhì)README 表述項(xiàng)目性質(zhì)free API list/awesome collection文檔匯總型只提供信息proxy server/gateway/relay轉(zhuǎn)發(fā)服務(wù)型可以部署simple client/python sdk客戶(hù)端封裝型只負(fù)責(zé)調(diào)用如果是文檔匯總型你要做的是按說(shuō)明去官方渠道申請(qǐng)自己的 Key不要直接把公共 Key 用于生產(chǎn)環(huán)境。3.2 檢查支持的模型與服務(wù)商項(xiàng)目 README 通常會(huì)用表格列出支持的服務(wù)商、模型名稱(chēng)、基礎(chǔ)路徑、認(rèn)證方式等信息。比較完整的表格至少包含服務(wù)商名稱(chēng)。模型 ID。免費(fèi)額度說(shuō)明。是否需要申請(qǐng) Key。官方文檔地址。要注意這類(lèi)表格很可能有滯后性。模型 ID 升級(jí)、接口停用、免費(fèi)政策變化都會(huì)讓表格內(nèi)容失去準(zhǔn)確性。最穩(wěn)妥的做法是以表格為線索去官方文檔二次確認(rèn)。3.3 查看示例代碼與調(diào)用格式大部分項(xiàng)目會(huì)提供 Python、JavaScript 或 curl 示例。重點(diǎn)關(guān)注以下信息Base URL是什么。請(qǐng)求頭如何設(shè)置。請(qǐng)求體格式是 OpenAI 風(fēng)格還是服務(wù)商自定義風(fēng)格。響應(yīng)結(jié)果是否能直接解析。下面是一個(gè)常見(jiàn)的 OpenAI 兼容格式調(diào)用示例適合用來(lái)理解聚合項(xiàng)目的接入方式curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer YOUR_API_KEY \ -d { model: your-free-model-id, messages: [ {role: user, content: Hello} ] }如果你發(fā)現(xiàn)項(xiàng)目中的示例請(qǐng)求體同時(shí)包含prompt、inputs、messages等不同字段說(shuō)明它內(nèi)部做了一層協(xié)議轉(zhuǎn)換不再是單純的文檔匯總而是一個(gè)有代碼邏輯的中轉(zhuǎn)服務(wù)。3.4 檢查許可證與免責(zé)條款開(kāi)源項(xiàng)目不等于可以隨意使用。使用freellmapi類(lèi)項(xiàng)目前重點(diǎn)關(guān)注倉(cāng)庫(kù)是什么開(kāi)源許可證MIT、Apache-2.0、GPL 等。是否聲明了“不保證接口長(zhǎng)期可用”。是否要求你自行申請(qǐng) Key。是否包含第三方服務(wù)的品牌標(biāo)識(shí)。如果項(xiàng)目規(guī)則不清晰或者要求你把第三方賬號(hào)密碼提交到它的服務(wù)端務(wù)必停止使用。4. 環(huán)境準(zhǔn)備與示例項(xiàng)目結(jié)構(gòu)下面我們進(jìn)入實(shí)操部分。為了讓你更清楚freellmapi類(lèi)項(xiàng)目的內(nèi)部工作方式我會(huì)帶你寫(xiě)一個(gè)輕量級(jí)多模型 API 網(wǎng)關(guān)。這個(gè)網(wǎng)關(guān)不依賴(lài)任何付費(fèi)服務(wù)也不收集公共 Key。它的目標(biāo)很純粹接收客戶(hù)端發(fā)來(lái)的 OpenAI 兼容請(qǐng)求。根據(jù)model參數(shù)把請(qǐng)求轉(zhuǎn)發(fā)到不同后端模型服務(wù)商。把響應(yīng)統(tǒng)一轉(zhuǎn)換為 OpenAI 兼容格式返回。這么做之后你的上層代碼只需要維護(hù)一套調(diào)用方式切換模型時(shí)只改model字段即可。4.1 環(huán)境說(shuō)明本文示例使用 Python 實(shí)現(xiàn)所需環(huán)境如下操作系統(tǒng)Windows / macOS / Linux 均可本文以 macOS Linux 命令為例。Python 版本3.10 或更高。包管理工具pip 或 poetry。HTTP 服務(wù)框架FastAPI。HTTP 客戶(hù)端httpx。接口測(cè)試工具curl 或 Postman。注意FastAPI 和 httpx 的版本更新比較快。下面的requirements.txt只給出核心依賴(lài)沒(méi)有寫(xiě)固定版本實(shí)際創(chuàng)建虛擬環(huán)境后需要安裝最新穩(wěn)定版fastapi uvicorn[standard] httpx pydantic python-dotenv使用下面命令安裝依賴(lài)mkdir freellm-gateway cd freellm-gateway python3 -m venv venv source venv/bin/activate pip install -r requirements.txt4.2 項(xiàng)目結(jié)構(gòu)為了便于閱讀我們把代碼拆分成四個(gè)文件職責(zé)區(qū)分清楚freellm-gateway/ ├── requirements.txt ├── .env.example ├── main.py ├── router.py ├── service.py └── config.pyconfig.py讀取環(huán)境變量。service.py封裝調(diào)用后端模型的邏輯。router.py定義 HTTP API 路由。main.py創(chuàng)建 FastAPI 應(yīng)用。5. 核心配置與代碼實(shí)現(xiàn)5.1 配置管理 config.py網(wǎng)關(guān)需要支持多個(gè)后端模型服務(wù)我們應(yīng)該把每個(gè)服務(wù)商的Base URL、API Key、默認(rèn)模型 ID 放到環(huán)境變量中避免寫(xiě)死在代碼里。創(chuàng)建.env.example# 服務(wù)商 A 的配置 PROVIDER_A_API_KEYyour_key_here PROVIDER_A_BASE_URLhttps://api.example-a.com/v1 PROVIDER_A_MODELfree-chat-model # 服務(wù)商 B 的配置 PROVIDER_B_API_KEYyour_key_here PROVIDER_B_BASE_URLhttps://api.example-b.com/v1 PROVIDER_B_MODELfree-chat-model復(fù)制為.env并填入真實(shí) Key 后config.py負(fù)責(zé)加載它們# 文件路徑config.py import os from dotenv import load_dotenv load_dotenv() class ProviderConfig: 單個(gè)模型服務(wù)商的配置信息 def __init__(self, name: str, api_key: str, base_url: str, model: str): self.name name self.api_key api_key self.base_url base_url.rstrip(/) self.model model def load_provider_configs() - dict[str, ProviderConfig]: 從環(huán)境變量中加載所有服務(wù)商配置 providers {} # 注意實(shí)際項(xiàng)目中建議設(shè)計(jì)成循環(huán)讀取 PROVIDER_1..N # 這里為了演示只讀取兩個(gè)固定的服務(wù)商 if os.getenv(PROVIDER_A_API_KEY): providers[service-a] ProviderConfig( nameservice-a, api_keyos.getenv(PROVIDER_A_API_KEY, ), base_urlos.getenv(PROVIDER_A_BASE_URL, https://api.example-a.com/v1), modelos.getenv(PROVIDER_A_MODEL, free-chat-model), ) if os.getenv(PROVIDER_B_API_KEY): providers[service-b] ProviderConfig( nameservice-b, api_keyos.getenv(PROVIDER_B_API_KEY, ), base_urlos.getenv(PROVIDER_B_BASE_URL, https://api.example-b.com/v1), modelos.getenv(PROVIDER_B_MODEL, free-chat-model), ) return providers這里的關(guān)鍵點(diǎn)在于真實(shí)項(xiàng)目中不要只寫(xiě)兩個(gè)固定的 if 分支。更好的做法是讀取PROVIDER_COUNT環(huán)境變量通過(guò)循環(huán)構(gòu)造配置列表。上面代碼保持簡(jiǎn)單是為了讓你聚焦理解數(shù)據(jù)結(jié)構(gòu)。5.2 對(duì)接服務(wù)商service.py各服務(wù)商的鑒權(quán)方式并不完全相同但在“OpenAI 兼容協(xié)議”下絕大多數(shù)服務(wù)商都接受Authorization: Bearer key的請(qǐng)求頭。service.py的核心職責(zé)有兩個(gè)把客戶(hù)端請(qǐng)求轉(zhuǎn)換成目標(biāo)服務(wù)商需要的格式。調(diào)用目標(biāo)服務(wù)商接口并把響應(yīng)轉(zhuǎn)換成統(tǒng)一格式。# 文件路徑service.py import httpx from config import ProviderConfig DEFAULT_TIMEOUT 60.0 class LLMServiceError(Exception): 調(diào)用上游模型服務(wù)失敗時(shí)拋出 async def chat_completion( provider: ProviderConfig, messages: list[dict], temperature: float 0.7, ) - dict: 調(diào)用指定服務(wù)商的 chat/completions 接口。 這里假設(shè)目標(biāo)服務(wù)商兼容 OpenAI 的 /v1/chat/completions 協(xié)議。 不同服務(wù)商的路徑可能不同可以在 ProviderConfig 中增加 path 字段擴(kuò)展。 url f{provider.base_url}/chat/completions headers { Authorization: fBearer {provider.api_key}, Content-Type: application/json, } payload { model: provider.model, messages: messages, temperature: temperature, } async with httpx.AsyncClient(timeoutDEFAULT_TIMEOUT) as client: resp await client.post(url, headersheaders, jsonpayload) if resp.status_code ! 200: raise LLMServiceError( fprovider {provider.name} returned status {resp.status_code}: {resp.text} ) return resp.json()上面的代碼有幾個(gè)可以擴(kuò)展的點(diǎn)如果服務(wù)商 A 需要把messages轉(zhuǎn)換成prompt你可以在ProviderConfig中增加request_transform回調(diào)。如果服務(wù)商 B 使用自定義簽名鑒權(quán)可以在service.py中為它單獨(dú)寫(xiě)一個(gè)_build_headers函數(shù)。如果希望支持流式輸出需要把stream參數(shù)加入payload并使用httpx.AsyncClient.stream讀取 SSE 數(shù)據(jù)。5.3 定義 HTTP 路由router.py在 FastAPI 中我們把客戶(hù)端請(qǐng)求接收到/v1/chat/completions并根據(jù)model參數(shù)選擇對(duì)應(yīng)的服務(wù)商。# 文件路徑router.py from fastapi import APIRouter, HTTPException from pydantic import BaseModel, Field import service from config import load_provider_configs router APIRouter(prefix/v1) class ChatMessage(BaseModel): role: str content: str class ChatCompletionRequest(BaseModel): model: str Field(..., description模型 ID用于選擇服務(wù)商) messages: list[ChatMessage] temperature: float 0.7 router.post(/chat/completions) async def chat_completions(request: ChatCompletionRequest): providers load_provider_configs() # 簡(jiǎn)單映射model 字段中包含服務(wù)商名稱(chēng)前綴 # 例如 modelservice-a:free-chat-model if : in request.model: provider_name, _ request.model.split(:, 1) else: provider_name request.model provider providers.get(provider_name) if provider is None: raise HTTPException(status_code404, detailfunknown provider: {provider_name}) messages [msg.model_dump() for msg in request.messages] try: result await service.chat_completion( providerprovider, messagesmessages, temperaturerequest.temperature, ) except service.LLMServiceError as exc: raise HTTPException(status_code502, detailstr(exc)) from exc return result路由層的設(shè)計(jì)思路是model參數(shù)格式設(shè)計(jì)為服務(wù)商名:真實(shí)模型ID。比如service-a:free-chat-model。先通過(guò)前綴找到服務(wù)商配置。再把messages透?jìng)鹘oservice.chat_completion。如果上游服務(wù)失敗HTTP 狀態(tài)碼返回 502。這里有一點(diǎn)要注意pydantic 的model_dump()方法在 v2 中可用v1 中應(yīng)該使用.dict()。如果你的環(huán)境還是 FastAPI 依賴(lài) pydantic v1需要根據(jù)版本調(diào)整。5.4 啟動(dòng)入口main.py最后是 FastAPI 應(yīng)用入口。# 文件路徑main.py from fastapi import FastAPI from router import router app FastAPI( titleFree LLM Gateway, description統(tǒng)一接入多個(gè)大模型 API 的輕量網(wǎng)關(guān)示例, version0.1.0, ) app.include_router(router) app.get(/health) async def health_check(): return {status: ok}啟動(dòng)服務(wù)uvicorn main:app --reload --port 8000正常情況下終端會(huì)輸出INFO: Uvicorn running on http://127.0.0.1:8000 INFO: Application startup complete.6. 運(yùn)行與驗(yàn)證6.1 健康檢查打開(kāi)新終端執(zhí)行curl http://127.0.0.1:8000/health預(yù)期返回{status:ok}6.2 調(diào)用聊天接口假設(shè)你在.env中配置了PROVIDER_A_API_KEY并且服務(wù)商 A 是一個(gè) OpenAI 兼容接口。執(zhí)行curl http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: service-a:free-chat-model, messages: [ {role: user, content: 請(qǐng)用一句話介紹大模型 API} ], temperature: 0.7 }請(qǐng)求到達(dá)網(wǎng)關(guān)后的流轉(zhuǎn)過(guò)程如下FastAPI 接收請(qǐng)求并驗(yàn)證ChatCompletionRequest格式。路由從model參數(shù)中解析出provider_name。網(wǎng)關(guān)讀取配置找到服務(wù)商 A 的base_url、api_key、model。httpx向服務(wù)商 A 發(fā)起真實(shí)請(qǐng)求。服務(wù)商返回 JSON 后網(wǎng)關(guān)把響應(yīng)原樣返回給客戶(hù)端。如果一切正常你會(huì)收到和直接調(diào)用服務(wù)商 A 時(shí)幾乎一樣的 JSON 結(jié)構(gòu)。6.3 驗(yàn)證未知服務(wù)商請(qǐng)求一個(gè)不存在的服務(wù)商curl -i http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: fake-provider:test, messages: [{role: user, content: hello}] }預(yù)期狀態(tài)碼是404響應(yīng)體類(lèi)似于{detail: unknown provider: fake-provider}到這里你已經(jīng)搭建了一個(gè)最小可運(yùn)行的多模型網(wǎng)關(guān)。freellmapi倉(cāng)庫(kù)中許多轉(zhuǎn)發(fā)類(lèi)項(xiàng)目核心邏輯與上面的代碼是相似的差別只在于配置的服務(wù)商數(shù)量更多、協(xié)議轉(zhuǎn)換更復(fù)雜、增加了數(shù)據(jù)庫(kù)中轉(zhuǎn)計(jì)費(fèi)等功能。7. 常見(jiàn)問(wèn)題與排查思路在自建或使用freellmapi類(lèi)項(xiàng)目時(shí)比較常見(jiàn)的問(wèn)題集中在依賴(lài)版本、請(qǐng)求格式、上游權(quán)限三個(gè)方面。我把高頻問(wèn)題整理如下。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路啟動(dòng)報(bào)ModuleNotFoundError未安裝依賴(lài)或虛擬環(huán)境未激活檢查pip install -r requirements.txt激活虛擬環(huán)境請(qǐng)求返回 404model參數(shù)中的服務(wù)商前綴未匹配確認(rèn)服務(wù)商已在配置中注冊(cè)檢查拼接規(guī)則返回 401 UnauthorizedAPI Key 錯(cuò)誤、過(guò)期或被上游拒絕核對(duì).env中的 Key直接 curl 上游接口確認(rèn)返回 400 Bad Request請(qǐng)求體字段不兼容服務(wù)商要求不同字段打開(kāi)上游接口文檔對(duì)照payload字段處理返回 502 Bad Gateway上游服務(wù)異常、超時(shí)或網(wǎng)絡(luò)波動(dòng)查看網(wǎng)關(guān)日志確認(rèn)上游接口地址是否可達(dá)返回結(jié)果缺少choices字段上游響應(yīng)格式不是 OpenAI 兼容格式增加協(xié)議轉(zhuǎn)換邏輯從上游響應(yīng)中提取文本中文亂碼或 Unicode 錯(cuò)誤編碼處理不統(tǒng)一在請(qǐng)求和響應(yīng)中顯式使用 UTF-8流式輸出無(wú)法工作stream參數(shù)或 SSE 解析未實(shí)現(xiàn)使用 httpx 流式讀取按data:行解析事件7.1 排查思路建議遇到問(wèn)題不要急著改代碼建議按下面的順序排查。首先看網(wǎng)絡(luò)層。直接使用 curl 調(diào)用上游服務(wù)商接口確認(rèn)你的網(wǎng)絡(luò)環(huán)境、Key 有效性以及上游接口本身是否正常。然后看協(xié)議層。把客戶(hù)端發(fā)給網(wǎng)關(guān)的請(qǐng)求體抓下來(lái)對(duì)照上游服務(wù)商的文檔檢查model、messages、temperature字段。很多免費(fèi)接口要求某些參數(shù)必須為整數(shù)或者限制了max_tokens的默認(rèn)值。最后看應(yīng)用層。確認(rèn)網(wǎng)關(guān)日志里打印的最終請(qǐng)求 URL、請(qǐng)求頭和請(qǐng)求體是否和預(yù)期一致。如果使用 FastAPI可以在service.py中臨時(shí)增加print日志print(f[DEBUG] url{url}) print(f[DEBUG] headers{headers}) print(f[DEBUG] payload{payload})這樣可以快速定位是網(wǎng)關(guān)轉(zhuǎn)換問(wèn)題還是上游服務(wù)問(wèn)題。8. 最佳實(shí)踐與工程建議8.1 不要把 Key 寫(xiě)進(jìn)代碼無(wú)論你使用的是freellmapi中的公共接口還是自己申請(qǐng)的服務(wù)商 Key都必須通過(guò)環(huán)境變量或密鑰管理服務(wù)注入。建議的配置管理方式本地開(kāi)發(fā)使用.env且把.env加入.gitignore。服務(wù)器部署使用 Docker 環(huán)境變量或 K8s Secret。團(tuán)隊(duì)協(xié)作使用 Vault、AWS Secrets Manager 等密鑰管理工具。8.2 為每個(gè)服務(wù)商設(shè)置獨(dú)立超時(shí)與重試免費(fèi)接口往往伴隨較高的延遲波動(dòng)。統(tǒng)一使用 60 秒超時(shí)可能導(dǎo)致某些請(qǐng)求長(zhǎng)時(shí)間掛起。建議在ProviderConfig中增加timeout: float 60.0 max_retries: int 1重試時(shí)注意只有冪等請(qǐng)求才適合自動(dòng)重試。如果請(qǐng)求已經(jīng)在上游產(chǎn)生計(jì)費(fèi) Token重試可能造成重復(fù)扣費(fèi)或重復(fù)輸出。8.3 統(tǒng)一響應(yīng)結(jié)構(gòu)不同服務(wù)商返回的響應(yīng)結(jié)構(gòu)差異很大有的返回choices有的返回response有的返回outputs。為了讓上層業(yè)務(wù)代碼不感知這些差異網(wǎng)關(guān)層應(yīng)該做一次標(biāo)準(zhǔn)化。建議的最小統(tǒng)一響應(yīng)結(jié)構(gòu){ id: chatcmpl-xxx, object: chat.completion, created: 1710000000, model: actual-model-id, choices: [ { index: 0, message: { role: assistant, content: 模型生成的文本 }, finish_reason: stop } ], usage: { prompt_tokens: 10, completion_tokens: 20, total_tokens: 30 } }如果上游沒(méi)有返回usage網(wǎng)關(guān)可以結(jié)合字符數(shù)做粗略估算也可以把 usage 設(shè)為null。8.4 接入限流與熔斷自由使用免費(fèi)接口時(shí)過(guò)高的并發(fā)可能觸發(fā)上游封禁。網(wǎng)關(guān)層至少要支持全局限流所有請(qǐng)求每秒最大數(shù)量。服務(wù)商獨(dú)立限流某個(gè)服務(wù)商每秒最大數(shù)量。熔斷開(kāi)關(guān)當(dāng)某個(gè)服務(wù)商連續(xù)失敗超過(guò)閾值時(shí)直接返回快速失敗。實(shí)現(xiàn)方式可以使用 FastAPI 依賴(lài)注入配合 Redis 計(jì)數(shù)器。如果只是小型內(nèi)部項(xiàng)目也可以用內(nèi)存版令牌桶但要注意進(jìn)程重啟后狀態(tài)會(huì)丟失。8.5 記錄結(jié)構(gòu)化日志錯(cuò)誤排查過(guò)程中日志是最重要的信息來(lái)源。建議記錄以下信息請(qǐng)求 ID。上游服務(wù)商。模型 ID。Token 消耗。響應(yīng)耗時(shí)。狀態(tài)碼。錯(cuò)誤摘要。日志中不要記錄完整的 API Key 和完整請(qǐng)求內(nèi)容防止敏感信息泄漏。8.6 遵守服務(wù)商使用條款免費(fèi)額度通常帶有明確的使用限制例如只用于學(xué)習(xí)產(chǎn)品原型禁止商用。單日調(diào)用次數(shù)上限。禁止批量注冊(cè)刷接口。禁止通過(guò)代理二次分發(fā)。使用freellmapi類(lèi)項(xiàng)目時(shí)不要因?yàn)榻涌谑敲赓M(fèi)的就把網(wǎng)關(guān)部署到公網(wǎng)大規(guī)模提供轉(zhuǎn)發(fā)服務(wù)。這類(lèi)行為不僅違反服務(wù)商條款也可能給項(xiàng)目作者和接口維護(hù)方帶來(lái)風(fēng)險(xiǎn)。合規(guī)使用才能讓免費(fèi)生態(tài)持續(xù)下去。9. 總結(jié)與下一步學(xué)習(xí)方向通過(guò)這篇教程你經(jīng)歷了三個(gè)層次的提升。第一理解了freellmapi類(lèi)項(xiàng)目的本質(zhì)。它不是單一產(chǎn)品而是一類(lèi)“免費(fèi)大模型 API 聚合與轉(zhuǎn)發(fā)”的開(kāi)源解決方案。入口通常是 GitHub 倉(cāng)庫(kù)內(nèi)容可能是文檔匯總、客戶(hù)端封裝也可能是可部署的代理服務(wù)。第二學(xué)會(huì)了閱讀聚合項(xiàng)目的關(guān)鍵方法。先確認(rèn)項(xiàng)目性質(zhì)再檢查服務(wù)商列表和調(diào)用格式然后驗(yàn)證許可證與免責(zé)條款最后在測(cè)試環(huán)境中運(yùn)行。第三實(shí)現(xiàn)了一個(gè)最小可運(yùn)行的 OpenAI 兼容多模型網(wǎng)關(guān)。代碼中包含配置管理、路由選擇、上游調(diào)用、異常處理是理解更大規(guī)模 AI 網(wǎng)關(guān)項(xiàng)目的基線。如果你希望繼續(xù)深入下面的方向可以按興趣選擇學(xué)習(xí) SSE 協(xié)議為網(wǎng)關(guān)增加流式輸出能力。研究令牌桶限流算法保護(hù)免費(fèi)接口不被過(guò)量請(qǐng)求打爆。云廠商的免費(fèi)額度文檔擴(kuò)展自己的服務(wù)商配置。嘗試把網(wǎng)關(guān)部署到 Docker加入監(jiān)控和告警能力。最后留下一個(gè)動(dòng)手練習(xí)把service.py中的請(qǐng)求轉(zhuǎn)換邏輯抽象成自定義函數(shù)讓服務(wù)商 A 使用messages格式服務(wù)商 B 使用prompt格式然后分別驗(yàn)證兩者能否在同一個(gè)路由下正常工作。完成這個(gè)練習(xí)后你對(duì)網(wǎng)關(guān)協(xié)議轉(zhuǎn)換的理解會(huì)比現(xiàn)在更深一層。 freellmapi揭秘：從免費(fèi)大模型API聚合到自建輕量網(wǎng)關(guān)實(shí)踐
最近在 GitHub 上翻 AI 開(kāi)源項(xiàng)目時(shí)頻繁看到freellmapi這個(gè)關(guān)鍵詞。很多開(kāi)發(fā)者把它當(dāng)成“免費(fèi)的 LLM API 入口”來(lái)搜索也有人誤以為它是一個(gè)可以直接拿到 Key 的網(wǎng)站。我把相關(guān)項(xiàng)目資料、熱詞討論和開(kāi)源倉(cāng)庫(kù)的常見(jiàn)組織方式梳理了一遍并結(jié)合實(shí)際開(kāi)發(fā)經(jīng)驗(yàn)整理成一篇偏向項(xiàng)目閱讀與自建實(shí)踐的教程。本文會(huì)先講清楚freellmapi這類(lèi)項(xiàng)目到底是什么為什么會(huì)出現(xiàn)再給出一套安全、完整、可落地的自建輕量 LLM API 網(wǎng)關(guān)方案包含環(huán)境準(zhǔn)備、FastAPI 代碼、OpenAI 兼容協(xié)議解析、運(yùn)行驗(yàn)證和常見(jiàn)排錯(cuò)。適合正在做 AI 應(yīng)用 Demo、想統(tǒng)一管理多模型接口、或者準(zhǔn)備入門(mén)大模型 API 開(kāi)發(fā)的讀者。1. freellmapi 是什么1.1 名稱(chēng)拆解freellmapi不是一個(gè)官方技術(shù)名詞它是由三個(gè)英文單詞組合而來(lái)的搜索熱詞free免費(fèi)、開(kāi)源、可白嫖。LLMLarge Language Model大語(yǔ)言模型。APIApplication Programming Interface應(yīng)用編程接口。把它們組合在一起含義就很直白收錄免費(fèi)大語(yǔ)言模型 API 的項(xiàng)目。在 GitHub 上這類(lèi)項(xiàng)目通常以倉(cāng)庫(kù)形式存在項(xiàng)目作者把網(wǎng)上可訪問(wèn)的、提供免費(fèi)額度的模型接口或者開(kāi)源模型的公共訪問(wèn)地址統(tǒng)一收集到一張列表里。除了單純的匯總部分項(xiàng)目還提供了統(tǒng)一封裝代碼、代理轉(zhuǎn)發(fā)服務(wù)、模型路由邏輯讓使用者可以通過(guò)一個(gè)入口調(diào)用多個(gè)免費(fèi)模型。1.2 它解決什么問(wèn)題實(shí)際的 AI 應(yīng)用開(kāi)發(fā)中很多團(tuán)隊(duì)會(huì)遇到下面這些情況你準(zhǔn)備開(kāi)發(fā)一個(gè) AI 聊天機(jī)器人但剛開(kāi)始階段不想付費(fèi)開(kāi)通模型服務(wù)。你需要對(duì)比多家模型在同一個(gè)問(wèn)題上的回答效果但每個(gè)服務(wù)商的 API 格式都不一樣。你只想做產(chǎn)品原型驗(yàn)證不想為了一兩個(gè) Demo 功能專(zhuān)門(mén)申請(qǐng)企業(yè)認(rèn)證。你希望所有模型走同一個(gè)Base URL切換模型時(shí)只需要改model參數(shù)。freellmapi這類(lèi)項(xiàng)目本質(zhì)上就是圍繞“免費(fèi)”和“統(tǒng)一接入”這兩個(gè)訴求做文章。它把各家免費(fèi)模型的接入地址、認(rèn)證方式、模型 ID、調(diào)用示例整理成文檔有的項(xiàng)目還會(huì)提供一個(gè)輕量中轉(zhuǎn)服務(wù)讓所有請(qǐng)求先打到自己的服務(wù)上再由中轉(zhuǎn)服務(wù)轉(zhuǎn)發(fā)給真實(shí)模型接口。1.3 常見(jiàn)應(yīng)用場(chǎng)景結(jié)合社區(qū)里開(kāi)發(fā)者分享的使用經(jīng)驗(yàn)這類(lèi)項(xiàng)目的主要使用場(chǎng)景包括場(chǎng)景說(shuō)明個(gè)人學(xué)習(xí) Demo快速接入一個(gè)免費(fèi)模型跑通聊天問(wèn)答多模型效果對(duì)比統(tǒng)一格式調(diào)用多個(gè)模型批量對(duì)比輸出質(zhì)量?jī)?nèi)部工具開(kāi)發(fā)給團(tuán)隊(duì)內(nèi)部的小工具提供基礎(chǔ)的文本生成能力教學(xué)示例在課程中演示 API 調(diào)用流程避免學(xué)生付費(fèi)網(wǎng)關(guān)原型設(shè)計(jì)用免費(fèi)模型先行設(shè)計(jì)代理層、限流層、日志層1.4 需要注意的邊界這里必須說(shuō)清楚一點(diǎn)freellmapi不是某個(gè)固定的商業(yè)產(chǎn)品。網(wǎng)絡(luò)上搜到的“官網(wǎng)”“入口”往往指向 GitHub 倉(cāng)庫(kù)或第三方鏡像站點(diǎn)項(xiàng)目本身的維護(hù)情況、接口穩(wěn)定性、免費(fèi)額度隨時(shí)可能變化。使用前一定要閱讀對(duì)應(yīng)項(xiàng)目的 README確認(rèn)它提供的是“文檔匯總”還是“轉(zhuǎn)發(fā)服務(wù)”并評(píng)估安全風(fēng)險(xiǎn)。2. 為什么 freellmapi 這類(lèi)項(xiàng)目會(huì)流行2.1 大模型 API 接入成本仍然存在雖然開(kāi)源大模型越來(lái)越多但普通開(kāi)發(fā)者在本地跑一個(gè)可用的大模型仍然需要一定的顯卡資源。對(duì)大多數(shù)做上層應(yīng)用開(kāi)發(fā)的程序員來(lái)說(shuō)更高效的方式是直接調(diào)用線上 API。線上 API 的接入成本包括注冊(cè)開(kāi)發(fā)者賬號(hào)部分平臺(tái)需要企業(yè)認(rèn)證。下載多套 SDK學(xué)習(xí)不同的鑒權(quán)方式。閱讀和項(xiàng)目無(wú)關(guān)的大量接口文檔。為流量和 Token 付費(fèi)。當(dāng)這些成本疊加在一起開(kāi)發(fā)者自然會(huì)去尋找一個(gè)更輕量、更標(biāo)準(zhǔn)的入口。freellmapi類(lèi)項(xiàng)目把“接入體驗(yàn)”簡(jiǎn)化成了“復(fù)制 Key 改 Base URL”這種模式天然具備傳播力。2.2 免費(fèi)額度政策讓聚合類(lèi)項(xiàng)目有了生存空間國(guó)內(nèi)外不少大模型服務(wù)商都提供新用戶(hù)免費(fèi)體驗(yàn)額度或者在限時(shí)活動(dòng)期間開(kāi)放免費(fèi)調(diào)用。這些額度通常足夠支撐學(xué)習(xí)和小規(guī)模測(cè)試。但免費(fèi)額度有幾個(gè)特點(diǎn)有時(shí)間限制過(guò)了活動(dòng)期就失效。模型 ID 可能不定期調(diào)整。接口限制嚴(yán)格并發(fā)并發(fā)數(shù)比較低。不同平臺(tái)的免費(fèi)策略差異很大。聚合類(lèi)項(xiàng)目正好承擔(dān)了“信息整理”和“策略適配”的角色。有人把各家免費(fèi)額度的申請(qǐng)頁(yè)面、模型 ID、限流規(guī)則集中維護(hù)后來(lái)者就不用一個(gè)個(gè)去翻文檔了。2.3 開(kāi)發(fā)者的“統(tǒng)一接入”需求被放大如果你對(duì)接過(guò)兩個(gè)以上的模型服務(wù)商就會(huì)明顯感覺(jué)到不同平臺(tái)之間 API 風(fēng)格差異很大。有的使用 HTTP Header 鑒權(quán)有的使用 Query 參數(shù)有的需要先獲取臨時(shí) Token。為了讓上層業(yè)務(wù)代碼不被某個(gè)具體廠商綁定團(tuán)隊(duì)通常會(huì)自己封裝一層“模型網(wǎng)關(guān)”。freellmapi類(lèi)項(xiàng)目可能是這個(gè)需求的雛形先收集免費(fèi)接口再用統(tǒng)一格式轉(zhuǎn)發(fā)。這也是很多開(kāi)發(fā)者愿意關(guān)注這類(lèi)項(xiàng)目的原因——他們不只是想白嫖 API更想?yún)⒖柬?xiàng)目中的網(wǎng)關(guān)設(shè)計(jì)思路。3. 如何正確閱讀 freellmapi 類(lèi) GitHub 項(xiàng)目如果你在 GitHub 上搜索freellmapi可能會(huì)看到多個(gè)同名或相似命名的倉(cāng)庫(kù)。不要看到一個(gè)倉(cāng)庫(kù)就直接復(fù)制 Key 使用建議按照下面的順序閱讀。3.1 先看 README 的定位說(shuō)明一個(gè)合格的聚合項(xiàng)目README 開(kāi)頭會(huì)明確說(shuō)明自己是“純文檔”還是“可部署服務(wù)”。如果 README 里出現(xiàn)以下關(guān)鍵詞基本可以判斷項(xiàng)目性質(zhì)README 表述項(xiàng)目性質(zhì)free API list/awesome collection文檔匯總型只提供信息proxy server/gateway/relay轉(zhuǎn)發(fā)服務(wù)型可以部署simple client/python sdk客戶(hù)端封裝型只負(fù)責(zé)調(diào)用如果是文檔匯總型你要做的是按說(shuō)明去官方渠道申請(qǐng)自己的 Key不要直接把公共 Key 用于生產(chǎn)環(huán)境。3.2 檢查支持的模型與服務(wù)商項(xiàng)目 README 通常會(huì)用表格列出支持的服務(wù)商、模型名稱(chēng)、基礎(chǔ)路徑、認(rèn)證方式等信息。比較完整的表格至少包含服務(wù)商名稱(chēng)。模型 ID。免費(fèi)額度說(shuō)明。是否需要申請(qǐng) Key。官方文檔地址。要注意這類(lèi)表格很可能有滯后性。模型 ID 升級(jí)、接口停用、免費(fèi)政策變化都會(huì)讓表格內(nèi)容失去準(zhǔn)確性。最穩(wěn)妥的做法是以表格為線索去官方文檔二次確認(rèn)。3.3 查看示例代碼與調(diào)用格式大部分項(xiàng)目會(huì)提供 Python、JavaScript 或 curl 示例。重點(diǎn)關(guān)注以下信息Base URL是什么。請(qǐng)求頭如何設(shè)置。請(qǐng)求體格式是 OpenAI 風(fēng)格還是服務(wù)商自定義風(fēng)格。響應(yīng)結(jié)果是否能直接解析。下面是一個(gè)常見(jiàn)的 OpenAI 兼容格式調(diào)用示例適合用來(lái)理解聚合項(xiàng)目的接入方式curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer YOUR_API_KEY \ -d { model: your-free-model-id, messages: [ {role: user, content: Hello} ] }如果你發(fā)現(xiàn)項(xiàng)目中的示例請(qǐng)求體同時(shí)包含prompt、inputs、messages等不同字段說(shuō)明它內(nèi)部做了一層協(xié)議轉(zhuǎn)換不再是單純的文檔匯總而是一個(gè)有代碼邏輯的中轉(zhuǎn)服務(wù)。3.4 檢查許可證與免責(zé)條款開(kāi)源項(xiàng)目不等于可以隨意使用。使用freellmapi類(lèi)項(xiàng)目前重點(diǎn)關(guān)注倉(cāng)庫(kù)是什么開(kāi)源許可證MIT、Apache-2.0、GPL 等。是否聲明了“不保證接口長(zhǎng)期可用”。是否要求你自行申請(qǐng) Key。是否包含第三方服務(wù)的品牌標(biāo)識(shí)。如果項(xiàng)目規(guī)則不清晰或者要求你把第三方賬號(hào)密碼提交到它的服務(wù)端務(wù)必停止使用。4. 環(huán)境準(zhǔn)備與示例項(xiàng)目結(jié)構(gòu)下面我們進(jìn)入實(shí)操部分。為了讓你更清楚freellmapi類(lèi)項(xiàng)目的內(nèi)部工作方式我會(huì)帶你寫(xiě)一個(gè)輕量級(jí)多模型 API 網(wǎng)關(guān)。這個(gè)網(wǎng)關(guān)不依賴(lài)任何付費(fèi)服務(wù)也不收集公共 Key。它的目標(biāo)很純粹接收客戶(hù)端發(fā)來(lái)的 OpenAI 兼容請(qǐng)求。根據(jù)model參數(shù)把請(qǐng)求轉(zhuǎn)發(fā)到不同后端模型服務(wù)商。把響應(yīng)統(tǒng)一轉(zhuǎn)換為 OpenAI 兼容格式返回。這么做之后你的上層代碼只需要維護(hù)一套調(diào)用方式切換模型時(shí)只改model字段即可。4.1 環(huán)境說(shuō)明本文示例使用 Python 實(shí)現(xiàn)所需環(huán)境如下操作系統(tǒng)Windows / macOS / Linux 均可本文以 macOS Linux 命令為例。Python 版本3.10 或更高。包管理工具pip 或 poetry。HTTP 服務(wù)框架FastAPI。HTTP 客戶(hù)端httpx。接口測(cè)試工具curl 或 Postman。注意FastAPI 和 httpx 的版本更新比較快。下面的requirements.txt只給出核心依賴(lài)沒(méi)有寫(xiě)固定版本實(shí)際創(chuàng)建虛擬環(huán)境后需要安裝最新穩(wěn)定版fastapi uvicorn[standard] httpx pydantic python-dotenv使用下面命令安裝依賴(lài)mkdir freellm-gateway cd freellm-gateway python3 -m venv venv source venv/bin/activate pip install -r requirements.txt4.2 項(xiàng)目結(jié)構(gòu)為了便于閱讀我們把代碼拆分成四個(gè)文件職責(zé)區(qū)分清楚freellm-gateway/ ├── requirements.txt ├── .env.example ├── main.py ├── router.py ├── service.py └── config.pyconfig.py讀取環(huán)境變量。service.py封裝調(diào)用后端模型的邏輯。router.py定義 HTTP API 路由。main.py創(chuàng)建 FastAPI 應(yīng)用。5. 核心配置與代碼實(shí)現(xiàn)5.1 配置管理 config.py網(wǎng)關(guān)需要支持多個(gè)后端模型服務(wù)我們應(yīng)該把每個(gè)服務(wù)商的Base URL、API Key、默認(rèn)模型 ID 放到環(huán)境變量中避免寫(xiě)死在代碼里。創(chuàng)建.env.example# 服務(wù)商 A 的配置 PROVIDER_A_API_KEYyour_key_here PROVIDER_A_BASE_URLhttps://api.example-a.com/v1 PROVIDER_A_MODELfree-chat-model # 服務(wù)商 B 的配置 PROVIDER_B_API_KEYyour_key_here PROVIDER_B_BASE_URLhttps://api.example-b.com/v1 PROVIDER_B_MODELfree-chat-model復(fù)制為.env并填入真實(shí) Key 后config.py負(fù)責(zé)加載它們# 文件路徑config.py import os from dotenv import load_dotenv load_dotenv() class ProviderConfig: 單個(gè)模型服務(wù)商的配置信息 def __init__(self, name: str, api_key: str, base_url: str, model: str): self.name name self.api_key api_key self.base_url base_url.rstrip(/) self.model model def load_provider_configs() - dict[str, ProviderConfig]: 從環(huán)境變量中加載所有服務(wù)商配置 providers {} # 注意實(shí)際項(xiàng)目中建議設(shè)計(jì)成循環(huán)讀取 PROVIDER_1..N # 這里為了演示只讀取兩個(gè)固定的服務(wù)商 if os.getenv(PROVIDER_A_API_KEY): providers[service-a] ProviderConfig( nameservice-a, api_keyos.getenv(PROVIDER_A_API_KEY, ), base_urlos.getenv(PROVIDER_A_BASE_URL, https://api.example-a.com/v1), modelos.getenv(PROVIDER_A_MODEL, free-chat-model), ) if os.getenv(PROVIDER_B_API_KEY): providers[service-b] ProviderConfig( nameservice-b, api_keyos.getenv(PROVIDER_B_API_KEY, ), base_urlos.getenv(PROVIDER_B_BASE_URL, https://api.example-b.com/v1), modelos.getenv(PROVIDER_B_MODEL, free-chat-model), ) return providers這里的關(guān)鍵點(diǎn)在于真實(shí)項(xiàng)目中不要只寫(xiě)兩個(gè)固定的 if 分支。更好的做法是讀取PROVIDER_COUNT環(huán)境變量通過(guò)循環(huán)構(gòu)造配置列表。上面代碼保持簡(jiǎn)單是為了讓你聚焦理解數(shù)據(jù)結(jié)構(gòu)。5.2 對(duì)接服務(wù)商service.py各服務(wù)商的鑒權(quán)方式并不完全相同但在“OpenAI 兼容協(xié)議”下絕大多數(shù)服務(wù)商都接受Authorization: Bearer key的請(qǐng)求頭。service.py的核心職責(zé)有兩個(gè)把客戶(hù)端請(qǐng)求轉(zhuǎn)換成目標(biāo)服務(wù)商需要的格式。調(diào)用目標(biāo)服務(wù)商接口并把響應(yīng)轉(zhuǎn)換成統(tǒng)一格式。# 文件路徑service.py import httpx from config import ProviderConfig DEFAULT_TIMEOUT 60.0 class LLMServiceError(Exception): 調(diào)用上游模型服務(wù)失敗時(shí)拋出 async def chat_completion( provider: ProviderConfig, messages: list[dict], temperature: float 0.7, ) - dict: 調(diào)用指定服務(wù)商的 chat/completions 接口。 這里假設(shè)目標(biāo)服務(wù)商兼容 OpenAI 的 /v1/chat/completions 協(xié)議。 不同服務(wù)商的路徑可能不同可以在 ProviderConfig 中增加 path 字段擴(kuò)展。 url f{provider.base_url}/chat/completions headers { Authorization: fBearer {provider.api_key}, Content-Type: application/json, } payload { model: provider.model, messages: messages, temperature: temperature, } async with httpx.AsyncClient(timeoutDEFAULT_TIMEOUT) as client: resp await client.post(url, headersheaders, jsonpayload) if resp.status_code ! 200: raise LLMServiceError( fprovider {provider.name} returned status {resp.status_code}: {resp.text} ) return resp.json()上面的代碼有幾個(gè)可以擴(kuò)展的點(diǎn)如果服務(wù)商 A 需要把messages轉(zhuǎn)換成prompt你可以在ProviderConfig中增加request_transform回調(diào)。如果服務(wù)商 B 使用自定義簽名鑒權(quán)可以在service.py中為它單獨(dú)寫(xiě)一個(gè)_build_headers函數(shù)。如果希望支持流式輸出需要把stream參數(shù)加入payload并使用httpx.AsyncClient.stream讀取 SSE 數(shù)據(jù)。5.3 定義 HTTP 路由router.py在 FastAPI 中我們把客戶(hù)端請(qǐng)求接收到/v1/chat/completions并根據(jù)model參數(shù)選擇對(duì)應(yīng)的服務(wù)商。# 文件路徑router.py from fastapi import APIRouter, HTTPException from pydantic import BaseModel, Field import service from config import load_provider_configs router APIRouter(prefix/v1) class ChatMessage(BaseModel): role: str content: str class ChatCompletionRequest(BaseModel): model: str Field(..., description模型 ID用于選擇服務(wù)商) messages: list[ChatMessage] temperature: float 0.7 router.post(/chat/completions) async def chat_completions(request: ChatCompletionRequest): providers load_provider_configs() # 簡(jiǎn)單映射model 字段中包含服務(wù)商名稱(chēng)前綴 # 例如 modelservice-a:free-chat-model if : in request.model: provider_name, _ request.model.split(:, 1) else: provider_name request.model provider providers.get(provider_name) if provider is None: raise HTTPException(status_code404, detailfunknown provider: {provider_name}) messages [msg.model_dump() for msg in request.messages] try: result await service.chat_completion( providerprovider, messagesmessages, temperaturerequest.temperature, ) except service.LLMServiceError as exc: raise HTTPException(status_code502, detailstr(exc)) from exc return result路由層的設(shè)計(jì)思路是model參數(shù)格式設(shè)計(jì)為服務(wù)商名:真實(shí)模型ID。比如service-a:free-chat-model。先通過(guò)前綴找到服務(wù)商配置。再把messages透?jìng)鹘oservice.chat_completion。如果上游服務(wù)失敗HTTP 狀態(tài)碼返回 502。這里有一點(diǎn)要注意pydantic 的model_dump()方法在 v2 中可用v1 中應(yīng)該使用.dict()。如果你的環(huán)境還是 FastAPI 依賴(lài) pydantic v1需要根據(jù)版本調(diào)整。5.4 啟動(dòng)入口main.py最后是 FastAPI 應(yīng)用入口。# 文件路徑main.py from fastapi import FastAPI from router import router app FastAPI( titleFree LLM Gateway, description統(tǒng)一接入多個(gè)大模型 API 的輕量網(wǎng)關(guān)示例, version0.1.0, ) app.include_router(router) app.get(/health) async def health_check(): return {status: ok}啟動(dòng)服務(wù)uvicorn main:app --reload --port 8000正常情況下終端會(huì)輸出INFO: Uvicorn running on http://127.0.0.1:8000 INFO: Application startup complete.6. 運(yùn)行與驗(yàn)證6.1 健康檢查打開(kāi)新終端執(zhí)行curl http://127.0.0.1:8000/health預(yù)期返回{status:ok}6.2 調(diào)用聊天接口假設(shè)你在.env中配置了PROVIDER_A_API_KEY并且服務(wù)商 A 是一個(gè) OpenAI 兼容接口。執(zhí)行curl http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: service-a:free-chat-model, messages: [ {role: user, content: 請(qǐng)用一句話介紹大模型 API} ], temperature: 0.7 }請(qǐng)求到達(dá)網(wǎng)關(guān)后的流轉(zhuǎn)過(guò)程如下FastAPI 接收請(qǐng)求并驗(yàn)證ChatCompletionRequest格式。路由從model參數(shù)中解析出provider_name。網(wǎng)關(guān)讀取配置找到服務(wù)商 A 的base_url、api_key、model。httpx向服務(wù)商 A 發(fā)起真實(shí)請(qǐng)求。服務(wù)商返回 JSON 后網(wǎng)關(guān)把響應(yīng)原樣返回給客戶(hù)端。如果一切正常你會(huì)收到和直接調(diào)用服務(wù)商 A 時(shí)幾乎一樣的 JSON 結(jié)構(gòu)。6.3 驗(yàn)證未知服務(wù)商請(qǐng)求一個(gè)不存在的服務(wù)商curl -i http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: fake-provider:test, messages: [{role: user, content: hello}] }預(yù)期狀態(tài)碼是404響應(yīng)體類(lèi)似于{detail: unknown provider: fake-provider}到這里你已經(jīng)搭建了一個(gè)最小可運(yùn)行的多模型網(wǎng)關(guān)。freellmapi倉(cāng)庫(kù)中許多轉(zhuǎn)發(fā)類(lèi)項(xiàng)目核心邏輯與上面的代碼是相似的差別只在于配置的服務(wù)商數(shù)量更多、協(xié)議轉(zhuǎn)換更復(fù)雜、增加了數(shù)據(jù)庫(kù)中轉(zhuǎn)計(jì)費(fèi)等功能。7. 常見(jiàn)問(wèn)題與排查思路在自建或使用freellmapi類(lèi)項(xiàng)目時(shí)比較常見(jiàn)的問(wèn)題集中在依賴(lài)版本、請(qǐng)求格式、上游權(quán)限三個(gè)方面。我把高頻問(wèn)題整理如下。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路啟動(dòng)報(bào)ModuleNotFoundError未安裝依賴(lài)或虛擬環(huán)境未激活檢查pip install -r requirements.txt激活虛擬環(huán)境請(qǐng)求返回 404model參數(shù)中的服務(wù)商前綴未匹配確認(rèn)服務(wù)商已在配置中注冊(cè)檢查拼接規(guī)則返回 401 UnauthorizedAPI Key 錯(cuò)誤、過(guò)期或被上游拒絕核對(duì).env中的 Key直接 curl 上游接口確認(rèn)返回 400 Bad Request請(qǐng)求體字段不兼容服務(wù)商要求不同字段打開(kāi)上游接口文檔對(duì)照payload字段處理返回 502 Bad Gateway上游服務(wù)異常、超時(shí)或網(wǎng)絡(luò)波動(dòng)查看網(wǎng)關(guān)日志確認(rèn)上游接口地址是否可達(dá)返回結(jié)果缺少choices字段上游響應(yīng)格式不是 OpenAI 兼容格式增加協(xié)議轉(zhuǎn)換邏輯從上游響應(yīng)中提取文本中文亂碼或 Unicode 錯(cuò)誤編碼處理不統(tǒng)一在請(qǐng)求和響應(yīng)中顯式使用 UTF-8流式輸出無(wú)法工作stream參數(shù)或 SSE 解析未實(shí)現(xiàn)使用 httpx 流式讀取按data:行解析事件7.1 排查思路建議遇到問(wèn)題不要急著改代碼建議按下面的順序排查。首先看網(wǎng)絡(luò)層。直接使用 curl 調(diào)用上游服務(wù)商接口確認(rèn)你的網(wǎng)絡(luò)環(huán)境、Key 有效性以及上游接口本身是否正常。然后看協(xié)議層。把客戶(hù)端發(fā)給網(wǎng)關(guān)的請(qǐng)求體抓下來(lái)對(duì)照上游服務(wù)商的文檔檢查model、messages、temperature字段。很多免費(fèi)接口要求某些參數(shù)必須為整數(shù)或者限制了max_tokens的默認(rèn)值。最后看應(yīng)用層。確認(rèn)網(wǎng)關(guān)日志里打印的最終請(qǐng)求 URL、請(qǐng)求頭和請(qǐng)求體是否和預(yù)期一致。如果使用 FastAPI可以在service.py中臨時(shí)增加print日志print(f[DEBUG] url{url}) print(f[DEBUG] headers{headers}) print(f[DEBUG] payload{payload})這樣可以快速定位是網(wǎng)關(guān)轉(zhuǎn)換問(wèn)題還是上游服務(wù)問(wèn)題。8. 最佳實(shí)踐與工程建議8.1 不要把 Key 寫(xiě)進(jìn)代碼無(wú)論你使用的是freellmapi中的公共接口還是自己申請(qǐng)的服務(wù)商 Key都必須通過(guò)環(huán)境變量或密鑰管理服務(wù)注入。建議的配置管理方式本地開(kāi)發(fā)使用.env且把.env加入.gitignore。服務(wù)器部署使用 Docker 環(huán)境變量或 K8s Secret。團(tuán)隊(duì)協(xié)作使用 Vault、AWS Secrets Manager 等密鑰管理工具。8.2 為每個(gè)服務(wù)商設(shè)置獨(dú)立超時(shí)與重試免費(fèi)接口往往伴隨較高的延遲波動(dòng)。統(tǒng)一使用 60 秒超時(shí)可能導(dǎo)致某些請(qǐng)求長(zhǎng)時(shí)間掛起。建議在ProviderConfig中增加timeout: float 60.0 max_retries: int 1重試時(shí)注意只有冪等請(qǐng)求才適合自動(dòng)重試。如果請(qǐng)求已經(jīng)在上游產(chǎn)生計(jì)費(fèi) Token重試可能造成重復(fù)扣費(fèi)或重復(fù)輸出。8.3 統(tǒng)一響應(yīng)結(jié)構(gòu)不同服務(wù)商返回的響應(yīng)結(jié)構(gòu)差異很大有的返回choices有的返回response有的返回outputs。為了讓上層業(yè)務(wù)代碼不感知這些差異網(wǎng)關(guān)層應(yīng)該做一次標(biāo)準(zhǔn)化。建議的最小統(tǒng)一響應(yīng)結(jié)構(gòu){ id: chatcmpl-xxx, object: chat.completion, created: 1710000000, model: actual-model-id, choices: [ { index: 0, message: { role: assistant, content: 模型生成的文本 }, finish_reason: stop } ], usage: { prompt_tokens: 10, completion_tokens: 20, total_tokens: 30 } }如果上游沒(méi)有返回usage網(wǎng)關(guān)可以結(jié)合字符數(shù)做粗略估算也可以把 usage 設(shè)為null。8.4 接入限流與熔斷自由使用免費(fèi)接口時(shí)過(guò)高的并發(fā)可能觸發(fā)上游封禁。網(wǎng)關(guān)層至少要支持全局限流所有請(qǐng)求每秒最大數(shù)量。服務(wù)商獨(dú)立限流某個(gè)服務(wù)商每秒最大數(shù)量。熔斷開(kāi)關(guān)當(dāng)某個(gè)服務(wù)商連續(xù)失敗超過(guò)閾值時(shí)直接返回快速失敗。實(shí)現(xiàn)方式可以使用 FastAPI 依賴(lài)注入配合 Redis 計(jì)數(shù)器。如果只是小型內(nèi)部項(xiàng)目也可以用內(nèi)存版令牌桶但要注意進(jìn)程重啟后狀態(tài)會(huì)丟失。8.5 記錄結(jié)構(gòu)化日志錯(cuò)誤排查過(guò)程中日志是最重要的信息來(lái)源。建議記錄以下信息請(qǐng)求 ID。上游服務(wù)商。模型 ID。Token 消耗。響應(yīng)耗時(shí)。狀態(tài)碼。錯(cuò)誤摘要。日志中不要記錄完整的 API Key 和完整請(qǐng)求內(nèi)容防止敏感信息泄漏。8.6 遵守服務(wù)商使用條款免費(fèi)額度通常帶有明確的使用限制例如只用于學(xué)習(xí)產(chǎn)品原型禁止商用。單日調(diào)用次數(shù)上限。禁止批量注冊(cè)刷接口。禁止通過(guò)代理二次分發(fā)。使用freellmapi類(lèi)項(xiàng)目時(shí)不要因?yàn)榻涌谑敲赓M(fèi)的就把網(wǎng)關(guān)部署到公網(wǎng)大規(guī)模提供轉(zhuǎn)發(fā)服務(wù)。這類(lèi)行為不僅違反服務(wù)商條款也可能給項(xiàng)目作者和接口維護(hù)方帶來(lái)風(fēng)險(xiǎn)。合規(guī)使用才能讓免費(fèi)生態(tài)持續(xù)下去。9. 總結(jié)與下一步學(xué)習(xí)方向通過(guò)這篇教程你經(jīng)歷了三個(gè)層次的提升。第一理解了freellmapi類(lèi)項(xiàng)目的本質(zhì)。它不是單一產(chǎn)品而是一類(lèi)“免費(fèi)大模型 API 聚合與轉(zhuǎn)發(fā)”的開(kāi)源解決方案。入口通常是 GitHub 倉(cāng)庫(kù)內(nèi)容可能是文檔匯總、客戶(hù)端封裝也可能是可部署的代理服務(wù)。第二學(xué)會(huì)了閱讀聚合項(xiàng)目的關(guān)鍵方法。先確認(rèn)項(xiàng)目性質(zhì)再檢查服務(wù)商列表和調(diào)用格式然后驗(yàn)證許可證與免責(zé)條款最后在測(cè)試環(huán)境中運(yùn)行。第三實(shí)現(xiàn)了一個(gè)最小可運(yùn)行的 OpenAI 兼容多模型網(wǎng)關(guān)。代碼中包含配置管理、路由選擇、上游調(diào)用、異常處理是理解更大規(guī)模 AI 網(wǎng)關(guān)項(xiàng)目的基線。如果你希望繼續(xù)深入下面的方向可以按興趣選擇學(xué)習(xí) SSE 協(xié)議為網(wǎng)關(guān)增加流式輸出能力。研究令牌桶限流算法保護(hù)免費(fèi)接口不被過(guò)量請(qǐng)求打爆。云廠商的免費(fèi)額度文檔擴(kuò)展自己的服務(wù)商配置。嘗試把網(wǎng)關(guān)部署到 Docker加入監(jiān)控和告警能力。最后留下一個(gè)動(dòng)手練習(xí)把service.py中的請(qǐng)求轉(zhuǎn)換邏輯抽象成自定義函數(shù)讓服務(wù)商 A 使用messages格式服務(wù)商 B 使用prompt格式然后分別驗(yàn)證兩者能否在同一個(gè)路由下正常工作。完成這個(gè)練習(xí)后你對(duì)網(wǎng)關(guān)協(xié)議轉(zhuǎn)換的理解會(huì)比現(xiàn)在更深一層。