：把含 PII 的請求智能路由到本地 Ollama/vLLM)
【免費下載鏈接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.項目地址https://gitcode.com/gh_mirrors/pa/pasteguard點擊查看免費下載PasteGuard 是一個 local-first 的 AI 隱私代理它可以在請求到達云端模型之前自動檢測并處理 PII個人身份信息和密鑰泄露。而在兩種隱私模式中Route 模式最受數(shù)據(jù)合規(guī)團隊歡迎含 PII 的請求被自動路由到本地的 Ollama 或 vLLM不含敏感數(shù)據(jù)的請求繼續(xù)走 OpenAI / Anthropic 等云端服務(wù)——敏感數(shù)據(jù)不出內(nèi)網(wǎng)普通請求不損失模型能力。Route 模式是什么一次請求兩條路徑 ?傳統(tǒng)做法是一刀切要么所有請求都走云端隱私風(fēng)險要么全部走本地模型效果受限。PasteGuard 的 Route 模式按內(nèi)容動態(tài)分流請求內(nèi)容路由目標(biāo)說明檢測到 PII / 密鑰本地 LLMOllama、vLLM、llama.cppPII 始終留在你的網(wǎng)絡(luò)內(nèi)未檢測到敏感數(shù)據(jù)OpenAI 或 Anthropic享受云端大模型的完整能力PasteGuard 的核心保護效果如下圖所示左側(cè)是原始請求中的姓名、郵箱和 API Key經(jīng)過 PasteGuard 處理后云端模型只能看到占位符而本地和最終用戶保留真實內(nèi)容。路由判定邏輯位于 src/routes/openai.ts檢測到 PII或按策略路由的密鑰時調(diào)用本地轉(zhuǎn)發(fā)函數(shù)否則走云端上游。本地轉(zhuǎn)發(fā)的完整實現(xiàn)見 src/providers/local.ts它會把模型名替換為你配置的本地模型并支持流式響應(yīng)。最快上手3 步開啟 Route 模式Ollama 版第 1 步啟動 PasteGuard一條 Docker 命令即可代理與 PII 檢測器打包在同一個鏡像里docker run --rm -p 3000:3000 ghcr.io/sgasser/pasteguard:latest第 2 步配置 Route 模式復(fù)制 config.example.yaml 為config.yaml并掛載進容器關(guān)鍵只改三處# 隱私模式mask 或 route mode: route # 本地 LLM僅 route 模式使用 local: type: ollama base_url: http://localhost:11434 model: llama3.2providers.openai.base_url保持不變指向你要用的云端服務(wù)即可。第 3 步把應(yīng)用指向 PasteGuard只需改一個 base URL其余 SDK 代碼零改動from openai import OpenAI client OpenAI(base_urlhttp://localhost:3000/openai/v1)之后所有請求都會先經(jīng)過 PII 檢測再由 PasteGuard 決定發(fā)往本地還是云端。?本地 LLM 怎么配Ollama / vLLM / llama.cpp 對照表 ??local段支持兩類接入方式覆蓋絕大多數(shù)自托管推理框架詳見 docs/configuration/providers.mdx框架typebase_urlmodel示例Ollamaollamahttp://localhost:11434llama3.2vLLMopenaihttp://localhost:8000/v1meta-llama/Llama-2-7b-chat-hfllama.cppopenaihttp://localhost:8080/v1localLocalAIopenaihttp://localhost:8080/v1你的模型名 注意走 Anthropic 協(xié)議/anthropic端點時本地 LLM 必須兼容 Anthropic Messages API例如開啟了兼容層的 Ollama。路由決策背后檢測器怎么判斷含 PII Route 模式的分流質(zhì)量取決于 PII 檢測能力。PasteGuard 的檢測器采用雙層架構(gòu)詳見 docs/concepts/pii-detection.mdx確定性層郵箱、電話、信用卡、IBAN、IP 等結(jié)構(gòu)化數(shù)據(jù)用正則 校驗和驗證命中即 1.0 分不靠猜語義層姓名、地點用 GLiNER 語義模型識別跨語言通用——德文信件里混著意大利人名和城名也能找到。檢測閾值通過pii_detection.score_threshold默認(rèn) 0.7調(diào)節(jié)。此外密鑰檢測的策略也能聯(lián)動路由在 config.example.yaml 中將secrets_detection.action設(shè)為route_local命中 API Key、私鑰、JWT 等密鑰的請求同樣會改道本地。整條密鑰處理 → PII 檢測 → 路由/脫敏流水線的核心實現(xiàn)在 src/privacy/pipeline.ts。如何驗證路由生效響應(yīng)頭 Dashboard 雙重確認(rèn) 發(fā)一條包含真實人名的測試請求用curl -i觀察響應(yīng)頭curl -i http://localhost:3000/openai/v1/chat/completions \ -H Authorization: Bearer $OPENAI_API_KEY \ -H Content-Type: application/json \ -d {model: gpt-5.2, messages: [{role: user, content: 寫一封跟進郵件給 Dr. Sarah Chen (sarah.chenhospital.org)}]}PasteGuard 會在響應(yīng)中附帶這三個頭路由結(jié)果一目了然X-PasteGuard-Mode: route X-PasteGuard-Provider: local # 或 openai / anthropic X-PasteGuard-PII-Detected: true打開瀏覽器訪問http://localhost:3000Dashboard 會記錄每一次請求命中的實體類型PERSON、EMAIL_ADDRESS…、掃描耗時、發(fā)送出去的是原文還是脫敏內(nèi)容全部可追溯。常見問題 ??Route 模式和 Mask 模式怎么選Mask 模式對所有人打碼放行適合允許數(shù)據(jù)上云但要隱去明文值的場景Route 模式要求敏感請求 100% 不出內(nèi)網(wǎng)適合合規(guī)要求嚴(yán)格的團隊。兩者都依賴同一套檢測器切換只需改一行mode。本地模型效果不如云端怎么辦這正是 Route 模式的權(quán)衡把高敏感的請求交給本地模型低敏感的請求交給云端?？梢园磾?shù)據(jù)敏感度調(diào)整score_threshold或為本地端點配置更強的模型。第一次啟動很慢首次啟動需要加載 GLiNER 檢測模型代理和檢測器都就緒后/health才會返回正常耐心等待即可。更多細節(jié)可閱讀 docs/concepts/route-mode.mdx 和 docs/installation.mdx。讓 AI 獲得上下文而不是你的隱私數(shù)據(jù)。贊分享【免費下載鏈接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.項目地址https://gitcode.com/gh_mirrors/pa/pasteguard點擊查看免費下載相關(guān)推薦LocalAI 請求中間件實戰(zhàn)指南基于 NER 的 PII 過濾與智能模型路由LocalAI 請求中間件實戰(zhàn)指南基于 NER 的 PII 過濾與智能模型路由 LocalAI 在 HTTP API 與后端調(diào)度器之間內(nèi)置了一層 請求中間件人工智能大模型模型推理服務(wù)本地部署AI AgentRAGLLM 網(wǎng)關(guān)多模態(tài)語音/音頻媒體生成MCP 服務(wù)Lemonade Router 策略路由實戰(zhàn)用 collection.router 把請求精準(zhǔn)分流到本地與云端模型Lemonade Router 策略路由實戰(zhàn)用 collection.router 把請求精準(zhǔn)分流到本地與云端模型 Lemonade 的路由引擎Router大模型本地部署模型推理服務(wù)人工智能AI 應(yīng)用后端多模態(tài)Electron 如何用 localAIHandler 把網(wǎng)頁 Prompt API 請求路由到本地 LLM 實現(xiàn)Electron 如何用 localAIHandler 把網(wǎng)頁 Prompt API 請求路由到本地 LLM 實現(xiàn) Electron 的 localAIHan桌面應(yīng)用跨平臺創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PasteGuard Route 模式實戰(zhàn)：把含 PII 的請求智能路由到本地 Ollama/vLLM
【免費下載鏈接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.項目地址https://gitcode.com/gh_mirrors/pa/pasteguard點擊查看免費下載PasteGuard 是一個 local-first 的 AI 隱私代理它可以在請求到達云端模型之前自動檢測并處理 PII個人身份信息和密鑰泄露。而在兩種隱私模式中Route 模式最受數(shù)據(jù)合規(guī)團隊歡迎含 PII 的請求被自動路由到本地的 Ollama 或 vLLM不含敏感數(shù)據(jù)的請求繼續(xù)走 OpenAI / Anthropic 等云端服務(wù)——敏感數(shù)據(jù)不出內(nèi)網(wǎng)普通請求不損失模型能力。Route 模式是什么一次請求兩條路徑 ?傳統(tǒng)做法是一刀切要么所有請求都走云端隱私風(fēng)險要么全部走本地模型效果受限。PasteGuard 的 Route 模式按內(nèi)容動態(tài)分流請求內(nèi)容路由目標(biāo)說明檢測到 PII / 密鑰本地 LLMOllama、vLLM、llama.cppPII 始終留在你的網(wǎng)絡(luò)內(nèi)未檢測到敏感數(shù)據(jù)OpenAI 或 Anthropic享受云端大模型的完整能力PasteGuard 的核心保護效果如下圖所示左側(cè)是原始請求中的姓名、郵箱和 API Key經(jīng)過 PasteGuard 處理后云端模型只能看到占位符而本地和最終用戶保留真實內(nèi)容。路由判定邏輯位于 src/routes/openai.ts檢測到 PII或按策略路由的密鑰時調(diào)用本地轉(zhuǎn)發(fā)函數(shù)否則走云端上游。本地轉(zhuǎn)發(fā)的完整實現(xiàn)見 src/providers/local.ts它會把模型名替換為你配置的本地模型并支持流式響應(yīng)。最快上手3 步開啟 Route 模式Ollama 版第 1 步啟動 PasteGuard一條 Docker 命令即可代理與 PII 檢測器打包在同一個鏡像里docker run --rm -p 3000:3000 ghcr.io/sgasser/pasteguard:latest第 2 步配置 Route 模式復(fù)制 config.example.yaml 為config.yaml并掛載進容器關(guān)鍵只改三處# 隱私模式mask 或 route mode: route # 本地 LLM僅 route 模式使用 local: type: ollama base_url: http://localhost:11434 model: llama3.2providers.openai.base_url保持不變指向你要用的云端服務(wù)即可。第 3 步把應(yīng)用指向 PasteGuard只需改一個 base URL其余 SDK 代碼零改動from openai import OpenAI client OpenAI(base_urlhttp://localhost:3000/openai/v1)之后所有請求都會先經(jīng)過 PII 檢測再由 PasteGuard 決定發(fā)往本地還是云端。?本地 LLM 怎么配Ollama / vLLM / llama.cpp 對照表 ??local段支持兩類接入方式覆蓋絕大多數(shù)自托管推理框架詳見 docs/configuration/providers.mdx框架typebase_urlmodel示例Ollamaollamahttp://localhost:11434llama3.2vLLMopenaihttp://localhost:8000/v1meta-llama/Llama-2-7b-chat-hfllama.cppopenaihttp://localhost:8080/v1localLocalAIopenaihttp://localhost:8080/v1你的模型名 注意走 Anthropic 協(xié)議/anthropic端點時本地 LLM 必須兼容 Anthropic Messages API例如開啟了兼容層的 Ollama。路由決策背后檢測器怎么判斷含 PII Route 模式的分流質(zhì)量取決于 PII 檢測能力。PasteGuard 的檢測器采用雙層架構(gòu)詳見 docs/concepts/pii-detection.mdx確定性層郵箱、電話、信用卡、IBAN、IP 等結(jié)構(gòu)化數(shù)據(jù)用正則 校驗和驗證命中即 1.0 分不靠猜語義層姓名、地點用 GLiNER 語義模型識別跨語言通用——德文信件里混著意大利人名和城名也能找到。檢測閾值通過pii_detection.score_threshold默認(rèn) 0.7調(diào)節(jié)。此外密鑰檢測的策略也能聯(lián)動路由在 config.example.yaml 中將secrets_detection.action設(shè)為route_local命中 API Key、私鑰、JWT 等密鑰的請求同樣會改道本地。整條密鑰處理 → PII 檢測 → 路由/脫敏流水線的核心實現(xiàn)在 src/privacy/pipeline.ts。如何驗證路由生效響應(yīng)頭 Dashboard 雙重確認(rèn) 發(fā)一條包含真實人名的測試請求用curl -i觀察響應(yīng)頭curl -i http://localhost:3000/openai/v1/chat/completions \ -H Authorization: Bearer $OPENAI_API_KEY \ -H Content-Type: application/json \ -d {model: gpt-5.2, messages: [{role: user, content: 寫一封跟進郵件給 Dr. Sarah Chen (sarah.chenhospital.org)}]}PasteGuard 會在響應(yīng)中附帶這三個頭路由結(jié)果一目了然X-PasteGuard-Mode: route X-PasteGuard-Provider: local # 或 openai / anthropic X-PasteGuard-PII-Detected: true打開瀏覽器訪問http://localhost:3000Dashboard 會記錄每一次請求命中的實體類型PERSON、EMAIL_ADDRESS…、掃描耗時、發(fā)送出去的是原文還是脫敏內(nèi)容全部可追溯。常見問題 ??Route 模式和 Mask 模式怎么選Mask 模式對所有人打碼放行適合允許數(shù)據(jù)上云但要隱去明文值的場景Route 模式要求敏感請求 100% 不出內(nèi)網(wǎng)適合合規(guī)要求嚴(yán)格的團隊。兩者都依賴同一套檢測器切換只需改一行mode。本地模型效果不如云端怎么辦這正是 Route 模式的權(quán)衡把高敏感的請求交給本地模型低敏感的請求交給云端?？梢园磾?shù)據(jù)敏感度調(diào)整score_threshold或為本地端點配置更強的模型。第一次啟動很慢首次啟動需要加載 GLiNER 檢測模型代理和檢測器都就緒后/health才會返回正常耐心等待即可。更多細節(jié)可閱讀 docs/concepts/route-mode.mdx 和 docs/installation.mdx。讓 AI 獲得上下文而不是你的隱私數(shù)據(jù)。贊分享【免費下載鏈接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.項目地址https://gitcode.com/gh_mirrors/pa/pasteguard點擊查看免費下載相關(guān)推薦LocalAI 請求中間件實戰(zhàn)指南基于 NER 的 PII 過濾與智能模型路由LocalAI 請求中間件實戰(zhàn)指南基于 NER 的 PII 過濾與智能模型路由 LocalAI 在 HTTP API 與后端調(diào)度器之間內(nèi)置了一層 請求中間件人工智能大模型模型推理服務(wù)本地部署AI AgentRAGLLM 網(wǎng)關(guān)多模態(tài)語音/音頻媒體生成MCP 服務(wù)Lemonade Router 策略路由實戰(zhàn)用 collection.router 把請求精準(zhǔn)分流到本地與云端模型Lemonade Router 策略路由實戰(zhàn)用 collection.router 把請求精準(zhǔn)分流到本地與云端模型 Lemonade 的路由引擎Router大模型本地部署模型推理服務(wù)人工智能AI 應(yīng)用后端多模態(tài)Electron 如何用 localAIHandler 把網(wǎng)頁 Prompt API 請求路由到本地 LLM 實現(xiàn)Electron 如何用 localAIHandler 把網(wǎng)頁 Prompt API 請求路由到本地 LLM 實現(xiàn) Electron 的 localAIHan桌面應(yīng)用跨平臺創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考