比，別再kubectl logs抓瞎了)
上一篇【第75篇】PrometheusGrafana——K8s監(jiān)控體系搭建完全指南讓集群“看得見(jiàn)“下一篇【第77篇】Istio——服務(wù)網(wǎng)格的入門與實(shí)踐摘要上篇講了監(jiān)控看指標(biāo)。但排障時(shí)指標(biāo)告訴你出問(wèn)題了日志告訴你為什么。kubectl logs只能看單個(gè)Pod而且Pod一刪、節(jié)點(diǎn)一飄日志就沒(méi)了——生產(chǎn)環(huán)境必須集中收集。日志收集有兩大主流方案EFKFilebeat→Elasticsearch→Kibana老牌強(qiáng)者功能全但吃內(nèi)存和PLGPromtail→Loki→Grafana后起之秀輕量省錢按標(biāo)簽索引。這篇文章講清日志收集的三種部署模式對(duì)比兩套方案幫你選型。一、為什么不能只靠kubectl logs1.1 痛點(diǎn)【kubectl logs 的局限】 ? 只能看當(dāng)前還在跑的Pod的日志 ? Pod被刪/重建 → 舊日志沒(méi)了 ? 跨多個(gè)Pod查日志? 得一個(gè)個(gè)logs(累死) ? 節(jié)點(diǎn)漂移 → 日志跟著Pod走追不上 ? 不能全文檢索、不能聚合分析 → 生產(chǎn)需要: 集中存儲(chǔ) 全文檢索 長(zhǎng)期保留要點(diǎn)日志和指標(biāo)上篇并稱可觀測(cè)性雙璧——指標(biāo)看趨勢(shì)和告警日志看細(xì)節(jié)和根因。集中日志系統(tǒng)的價(jià)值所有Pod的日志匯聚一處、可全文搜索、跨Pod關(guān)聯(lián)、長(zhǎng)期留存Pod沒(méi)了日志還在。二、日志收集的部署模式2.1 三種模式【K8s 日志收集三種模式】 模式1: DaemonSet (最常用) ┌─────────────────────────────────┐ │ Node1: [日志Agent Pod] │ ← 每個(gè)Node一個(gè)Agent │ 讀取 /var/log/containers/*.log │ 讀節(jié)點(diǎn)上所有容器日志 │ Node2: [日志Agent Pod] │ └─────────────────────────────────┘ 優(yōu)點(diǎn): 資源省(每節(jié)點(diǎn)1個(gè))、無(wú)侵入 缺點(diǎn): 只能讀標(biāo)準(zhǔn)輸出(落盤的讀不到) 模式2: Sidecar (每個(gè)Pod帶日志容器) ┌─────────────────────────────────┐ │ Pod: [app] [log-agent-sidecar] │ ← 每個(gè)Pod一個(gè) └─────────────────────────────────┘ 優(yōu)點(diǎn): 能讀任意日志文件(包括落盤) 缺點(diǎn): 資源翻倍(每個(gè)Pod多一個(gè)容器) 模式3: 直寫(xiě) (應(yīng)用直接發(fā)到遠(yuǎn)端) ┌─────────────────────────────────┐ │ App 代碼里直接調(diào)日志API發(fā)ES/Loki │ └─────────────────────────────────┘ 優(yōu)點(diǎn): 最靈活 缺點(diǎn): 侵入應(yīng)用代碼、耦合模式資源侵入能讀落盤日志推薦DaemonSet低無(wú)? 僅stdout? 首選Sidecar高有?特殊需求直寫(xiě)中強(qiáng)耦合?不推薦三、EFK方案3.1 架構(gòu)【EFK: Filebeat → Elasticsearch → Kibana】 容器標(biāo)準(zhǔn)輸出 │ (DaemonSet的Filebeat讀取) ▼ ┌──────────────────────────────────┐ │ Elasticsearch │ │ ? 全文檢索引擎(倒排索引) │ │ ? 存所有日志(索引按時(shí)間分片) │ │ ? 功能極強(qiáng)但吃內(nèi)存(堆內(nèi)存大戶) │ └──────────────────────────────────┘ │ 查詢 ▼ ┌──────────────────────────────────┐ │ Kibana │ │ ? 日志搜索/可視化界面 │ │ ? 強(qiáng)大的聚合分析、儀表盤 │ └──────────────────────────────────┘ Filebeat: 輕量采集器(現(xiàn)在多用Fluent Bit替代Filebeat)# Fluent Bit 配置(DaemonSet模式, 讀容器日志)input:-name:tailpath:/var/log/containers/*.logparser:dockeroutput:-name:eshost:elasticsearch:9200index:k8s-logs四、PLG方案4.1 架構(gòu)【PLG: Promtail → Loki → Grafana】 容器標(biāo)準(zhǔn)輸出 │ (Promtail DaemonSet讀取) ▼ ┌──────────────────────────────────┐ │ Loki │ │ ? 只索引標(biāo)簽(namespace/pod名) │ │ ? 日志原文壓縮存儲(chǔ)(不建全文索引) │ │ ? 超省資源! 比ES便宜一個(gè)量級(jí) │ └──────────────────────────────────┘ │ 查詢(用和Prometheus一樣的Label語(yǔ)法) ▼ ┌──────────────────────────────────┐ │ Grafana │ │ ? 和Prometheus共用一套界面 │ │ ? 指標(biāo)日志一個(gè)面板看(關(guān)聯(lián)強(qiáng)) │ └──────────────────────────────────┘要點(diǎn)PLG/Loki的核心創(chuàng)新是**“只索引標(biāo)簽、不索引全文”**。Elasticsearch對(duì)每個(gè)日志字段建倒排索引強(qiáng)大但巨費(fèi)資源Loki只給日志打標(biāo)簽namespace/pod/container原文壓縮存對(duì)象存儲(chǔ)。查的時(shí)候先用標(biāo)簽縮小范圍再在結(jié)果里grep。這讓它成本極低常說(shuō)Loki是Elasticsearch的1/10成本而且和Prometheus/Grafana天然一體——指標(biāo)和日志在同一面板關(guān)聯(lián)排障體驗(yàn)極佳。五、EFK vs PLG 對(duì)比5.1 怎么選維度EFK (Elasticsearch)PLG (Loki)索引方式全文倒排索引僅標(biāo)簽索引資源消耗高(堆內(nèi)存大戶)低(壓縮存儲(chǔ))全文搜索? 極強(qiáng)?? 標(biāo)簽內(nèi)grep成本高低(約1/10)查詢語(yǔ)言KQL/DSLLogQL(類PromQL)與監(jiān)控集成弱(獨(dú)立Kibana)強(qiáng)(同Grafana)適合需要復(fù)雜日志分析/審計(jì)大多數(shù)K8s日志場(chǎng)景【選型口訣】 已經(jīng)在用Elasticsearch生態(tài) / 需要復(fù)雜日志分析審計(jì)? → EFK 要省錢 / 已經(jīng)在用PrometheusGrafana / 日志主要用來(lái)排障? → PLG (Loki) ← 大多數(shù)K8s場(chǎng)景的推薦5.2 一條LogQL示例# 查prod命名空間里error日志{namespaceprod}|error# 查nginx pod里5xx響應(yīng){namespaceprod,containernginx}| 500 # 統(tǒng)計(jì)某接口QPSsum(count_over_time({appmy-app}|GET /api[1m]))本篇小結(jié)日志是排障的顯微鏡集中收集才能跨Pod關(guān)聯(lián)、長(zhǎng)期留存。三種部署模式DaemonSet每節(jié)點(diǎn)一個(gè)Agent無(wú)侵入首選、Sidecar能讀落盤但資源翻倍、直寫(xiě)強(qiáng)耦合應(yīng)用不推薦。EFKFilebeat/Fluent Bit→Elasticsearch→Kibana功能強(qiáng)、全文搜索無(wú)敵但Elasticsearch是內(nèi)存大戶、成本高。PLGPromtail→Loki→Grafana只索引標(biāo)簽不索引全文成本約ES的1/10且和Prometheus共用Grafana指標(biāo)日志關(guān)聯(lián)強(qiáng)——適合絕大多數(shù)K8s場(chǎng)景。選型要復(fù)雜分析用EFK要省錢省心用PLG。下篇講服務(wù)網(wǎng)格——Istio。上一篇【第75篇】PrometheusGrafana——K8s監(jiān)控體系搭建完全指南讓集群“看得見(jiàn)“下一篇【第77篇】Istio——服務(wù)網(wǎng)格的入門與實(shí)踐 【Kubernetes從入門到精通】第76篇：EFK/PLG——K8s日志收集方案全對(duì)比，別再kubectl logs抓瞎了
上一篇【第75篇】PrometheusGrafana——K8s監(jiān)控體系搭建完全指南讓集群“看得見(jiàn)“下一篇【第77篇】Istio——服務(wù)網(wǎng)格的入門與實(shí)踐摘要上篇講了監(jiān)控看指標(biāo)。但排障時(shí)指標(biāo)告訴你出問(wèn)題了日志告訴你為什么。kubectl logs只能看單個(gè)Pod而且Pod一刪、節(jié)點(diǎn)一飄日志就沒(méi)了——生產(chǎn)環(huán)境必須集中收集。日志收集有兩大主流方案EFKFilebeat→Elasticsearch→Kibana老牌強(qiáng)者功能全但吃內(nèi)存和PLGPromtail→Loki→Grafana后起之秀輕量省錢按標(biāo)簽索引。這篇文章講清日志收集的三種部署模式對(duì)比兩套方案幫你選型。一、為什么不能只靠kubectl logs1.1 痛點(diǎn)【kubectl logs 的局限】 ? 只能看當(dāng)前還在跑的Pod的日志 ? Pod被刪/重建 → 舊日志沒(méi)了 ? 跨多個(gè)Pod查日志? 得一個(gè)個(gè)logs(累死) ? 節(jié)點(diǎn)漂移 → 日志跟著Pod走追不上 ? 不能全文檢索、不能聚合分析 → 生產(chǎn)需要: 集中存儲(chǔ) 全文檢索 長(zhǎng)期保留要點(diǎn)日志和指標(biāo)上篇并稱可觀測(cè)性雙璧——指標(biāo)看趨勢(shì)和告警日志看細(xì)節(jié)和根因。集中日志系統(tǒng)的價(jià)值所有Pod的日志匯聚一處、可全文搜索、跨Pod關(guān)聯(lián)、長(zhǎng)期留存Pod沒(méi)了日志還在。二、日志收集的部署模式2.1 三種模式【K8s 日志收集三種模式】 模式1: DaemonSet (最常用) ┌─────────────────────────────────┐ │ Node1: [日志Agent Pod] │ ← 每個(gè)Node一個(gè)Agent │ 讀取 /var/log/containers/*.log │ 讀節(jié)點(diǎn)上所有容器日志 │ Node2: [日志Agent Pod] │ └─────────────────────────────────┘ 優(yōu)點(diǎn): 資源省(每節(jié)點(diǎn)1個(gè))、無(wú)侵入 缺點(diǎn): 只能讀標(biāo)準(zhǔn)輸出(落盤的讀不到) 模式2: Sidecar (每個(gè)Pod帶日志容器) ┌─────────────────────────────────┐ │ Pod: [app] [log-agent-sidecar] │ ← 每個(gè)Pod一個(gè) └─────────────────────────────────┘ 優(yōu)點(diǎn): 能讀任意日志文件(包括落盤) 缺點(diǎn): 資源翻倍(每個(gè)Pod多一個(gè)容器) 模式3: 直寫(xiě) (應(yīng)用直接發(fā)到遠(yuǎn)端) ┌─────────────────────────────────┐ │ App 代碼里直接調(diào)日志API發(fā)ES/Loki │ └─────────────────────────────────┘ 優(yōu)點(diǎn): 最靈活 缺點(diǎn): 侵入應(yīng)用代碼、耦合模式資源侵入能讀落盤日志推薦DaemonSet低無(wú)? 僅stdout? 首選Sidecar高有?特殊需求直寫(xiě)中強(qiáng)耦合?不推薦三、EFK方案3.1 架構(gòu)【EFK: Filebeat → Elasticsearch → Kibana】 容器標(biāo)準(zhǔn)輸出 │ (DaemonSet的Filebeat讀取) ▼ ┌──────────────────────────────────┐ │ Elasticsearch │ │ ? 全文檢索引擎(倒排索引) │ │ ? 存所有日志(索引按時(shí)間分片) │ │ ? 功能極強(qiáng)但吃內(nèi)存(堆內(nèi)存大戶) │ └──────────────────────────────────┘ │ 查詢 ▼ ┌──────────────────────────────────┐ │ Kibana │ │ ? 日志搜索/可視化界面 │ │ ? 強(qiáng)大的聚合分析、儀表盤 │ └──────────────────────────────────┘ Filebeat: 輕量采集器(現(xiàn)在多用Fluent Bit替代Filebeat)# Fluent Bit 配置(DaemonSet模式, 讀容器日志)input:-name:tailpath:/var/log/containers/*.logparser:dockeroutput:-name:eshost:elasticsearch:9200index:k8s-logs四、PLG方案4.1 架構(gòu)【PLG: Promtail → Loki → Grafana】 容器標(biāo)準(zhǔn)輸出 │ (Promtail DaemonSet讀取) ▼ ┌──────────────────────────────────┐ │ Loki │ │ ? 只索引標(biāo)簽(namespace/pod名) │ │ ? 日志原文壓縮存儲(chǔ)(不建全文索引) │ │ ? 超省資源! 比ES便宜一個(gè)量級(jí) │ └──────────────────────────────────┘ │ 查詢(用和Prometheus一樣的Label語(yǔ)法) ▼ ┌──────────────────────────────────┐ │ Grafana │ │ ? 和Prometheus共用一套界面 │ │ ? 指標(biāo)日志一個(gè)面板看(關(guān)聯(lián)強(qiáng)) │ └──────────────────────────────────┘要點(diǎn)PLG/Loki的核心創(chuàng)新是**“只索引標(biāo)簽、不索引全文”**。Elasticsearch對(duì)每個(gè)日志字段建倒排索引強(qiáng)大但巨費(fèi)資源Loki只給日志打標(biāo)簽namespace/pod/container原文壓縮存對(duì)象存儲(chǔ)。查的時(shí)候先用標(biāo)簽縮小范圍再在結(jié)果里grep。這讓它成本極低常說(shuō)Loki是Elasticsearch的1/10成本而且和Prometheus/Grafana天然一體——指標(biāo)和日志在同一面板關(guān)聯(lián)排障體驗(yàn)極佳。五、EFK vs PLG 對(duì)比5.1 怎么選維度EFK (Elasticsearch)PLG (Loki)索引方式全文倒排索引僅標(biāo)簽索引資源消耗高(堆內(nèi)存大戶)低(壓縮存儲(chǔ))全文搜索? 極強(qiáng)?? 標(biāo)簽內(nèi)grep成本高低(約1/10)查詢語(yǔ)言KQL/DSLLogQL(類PromQL)與監(jiān)控集成弱(獨(dú)立Kibana)強(qiáng)(同Grafana)適合需要復(fù)雜日志分析/審計(jì)大多數(shù)K8s日志場(chǎng)景【選型口訣】 已經(jīng)在用Elasticsearch生態(tài) / 需要復(fù)雜日志分析審計(jì)? → EFK 要省錢 / 已經(jīng)在用PrometheusGrafana / 日志主要用來(lái)排障? → PLG (Loki) ← 大多數(shù)K8s場(chǎng)景的推薦5.2 一條LogQL示例# 查prod命名空間里error日志{namespaceprod}|error# 查nginx pod里5xx響應(yīng){namespaceprod,containernginx}| 500 # 統(tǒng)計(jì)某接口QPSsum(count_over_time({appmy-app}|GET /api[1m]))本篇小結(jié)日志是排障的顯微鏡集中收集才能跨Pod關(guān)聯(lián)、長(zhǎng)期留存。三種部署模式DaemonSet每節(jié)點(diǎn)一個(gè)Agent無(wú)侵入首選、Sidecar能讀落盤但資源翻倍、直寫(xiě)強(qiáng)耦合應(yīng)用不推薦。EFKFilebeat/Fluent Bit→Elasticsearch→Kibana功能強(qiáng)、全文搜索無(wú)敵但Elasticsearch是內(nèi)存大戶、成本高。PLGPromtail→Loki→Grafana只索引標(biāo)簽不索引全文成本約ES的1/10且和Prometheus共用Grafana指標(biāo)日志關(guān)聯(lián)強(qiáng)——適合絕大多數(shù)K8s場(chǎng)景。選型要復(fù)雜分析用EFK要省錢省心用PLG。下篇講服務(wù)網(wǎng)格——Istio。上一篇【第75篇】PrometheusGrafana——K8s監(jiān)控體系搭建完全指南讓集群“看得見(jiàn)“下一篇【第77篇】Istio——服務(wù)網(wǎng)格的入門與實(shí)踐