干安防集成這行多年從 H.264 熬到 AV1 大規(guī)模落地親眼見過每一代編碼標(biāo)準(zhǔn)出來時(shí)的行業(yè)熱鬧也踩過不少 “追新翻車” 的坑。今年 5 月 28 日 AOMedia 把 AV2 v1.0.0 規(guī)范正式定稿6 月初官方官宣之后同行群和朋友圈直接炸了好多開發(fā)商、集成商上來就問碼率省 30%是不是下個(gè)月就能把項(xiàng)目全換成 AV2 降成本說實(shí)話我第一反應(yīng)不是興奮是心里咯噔一下 —— 得又得挨個(gè)跟客戶解釋 “為啥不能明天就全量切換” 了。先給大伙交個(gè)底AOMedia 官方的說法是同畫質(zhì)下 AV2 比 AV1 省約 30% 的碼率屏幕內(nèi)容、HDR、8K 這類特定場(chǎng)景能接近 40%Netflix 的工程師 Norkin 放出的實(shí)測(cè)數(shù)據(jù)PSNR-YUV 下 BD-rate 改善約 28.7%VMAF 下約 32.6%和官方口徑基本對(duì)得上。但公道話得說在前頭獨(dú)立第三方的全場(chǎng)景驗(yàn)證還在推進(jìn)真實(shí)業(yè)務(wù)里的收益會(huì)跟著畫面場(chǎng)景浮動(dòng)別被廠商宣傳里的 “暴降 30%” 帶跑了節(jié)奏。今天就跟同行說點(diǎn)實(shí)在的這 30% 到底是從流水線哪一環(huán)摳出來的落到咱們做 AIoT、做智慧安防的項(xiàng)目里到底是紅利還是坑架構(gòu)上該怎么準(zhǔn)備。盡量說人話不繞沒用的術(shù)語。先掰扯最容易被炒歪的一點(diǎn)AV2 不是 “AI 編碼器”這兩天刷到不少自媒體喊 “AV2 用上 AI 編碼了”—— 別鬧真不是這么回事。AV2 v1.0 的底層仍然是傳統(tǒng)混合塊編碼的老路子畫面切塊、預(yù)測(cè)、變換、量化、熵編碼、環(huán)路濾波和三十多年來所有主流編解碼器的核心框架沒區(qū)別。規(guī)范本身沒有把 AI/機(jī)器學(xué)習(xí)放進(jìn)核心編碼流程里核心目的就是保證解碼器足夠輕普通消費(fèi)級(jí)芯片就能跑不用額外搭 NPU。它所謂的 “數(shù)據(jù)驅(qū)動(dòng)”是離線用機(jī)器學(xué)習(xí)訓(xùn)練出變換核、預(yù)測(cè)矩陣這些參數(shù)把訓(xùn)練好的固定結(jié)果固化到標(biāo)準(zhǔn)里。解碼的時(shí)候跑的還是經(jīng)典流水線不會(huì)實(shí)時(shí)跑神經(jīng)網(wǎng)絡(luò)。說白了是用 AI 輔助制定標(biāo)準(zhǔn)不是讓設(shè)備跑 AI 編碼這倆完全是兩碼事。當(dāng)然它也適合和外部 AI 模塊搭配比如在編碼器前面掛個(gè) AI 降噪、超分的預(yù)處理層喂給 AV2 更干凈的源畫面整體壓縮效果還能再往上提一截。但這是兩套獨(dú)立的東西別混為一談。先潑完冷水再講更現(xiàn)實(shí)的代價(jià)按照 VideoLAN 負(fù)責(zé)人 Jean-Baptiste Kempf 對(duì)參考軟件的實(shí)測(cè)AV2 軟件解碼的復(fù)雜度大概是 AV1 的 5 倍編碼器復(fù)雜度只會(huì)更高。眼下沒有任何量產(chǎn)芯片帶 AV2 硬件解碼能力行業(yè)普遍預(yù)期硬件解碼器要到 2027-2028 年才會(huì)出現(xiàn)在商用芯片里真正大規(guī)模普及得等到 2028 年之后。也就是說未來三五年里AV1 和 AV2 一定是長(zhǎng)期共存的狀態(tài)這點(diǎn)做技術(shù)選型的心里得先有數(shù)。30% 的碼率節(jié)省到底是怎么摳出來的很多人只記住了 30% 這個(gè)數(shù)字不知道收益是散在整條編碼流水線的每一個(gè)環(huán)節(jié)里每一處改動(dòng)都帶著明確的取舍。挨個(gè)拆開說都是做工程的看懂了底層邏輯才好算自己項(xiàng)目里的真實(shí)收益。塊劃分超級(jí)塊翻一倍大塊省比特、小塊保細(xì)節(jié)AV1 的最大超級(jí)塊是 128×128AV2 直接拉到了 256×256。做安防的都懂監(jiān)控畫面里大半是天空、墻面、停車場(chǎng)這種大面積平滑區(qū)域用小塊切的話塊邊界多、額外開銷大換成 256×256 的大塊一整塊平滑區(qū)域可能就一個(gè)劃分開銷直接降下來。遇到文字、人臉、移動(dòng)物體這種細(xì)節(jié)密集的地方再逐級(jí)往下拆成小塊。光做大塊還不行容易把解碼端的帶寬和算力拉爆。所以 AV2 加了個(gè)半解耦劃分SDP搭配好幾種非對(duì)稱劃分模式大尺寸塊里亮度和色度共享劃分策略省掉重復(fù)計(jì)算到 64×64 及以下的小塊又允許各自獨(dú)立劃分保住細(xì)節(jié)。做過邊緣設(shè)備優(yōu)化的都懂這種 “編碼端使勁卷、解碼端能省則省” 的設(shè)計(jì)有多重要 —— 直接關(guān)系到邊緣網(wǎng)關(guān)的硬件成本不是紙面參數(shù)那么簡(jiǎn)單。預(yù)測(cè)參考幀變多預(yù)測(cè)越準(zhǔn)殘差越小壓縮的核心邏輯就是預(yù)測(cè)當(dāng)前這塊畫面能不能用旁邊的塊、或者前面幾幀的畫面拼出來。拼得越準(zhǔn)剩下的殘差就越小要編碼的數(shù)據(jù)就越少。幀內(nèi)預(yù)測(cè)這邊AV2 用了數(shù)據(jù)驅(qū)動(dòng)幀內(nèi)預(yù)測(cè)DIP不是老一套的幾何角度插值而是用海量真實(shí)畫面離線訓(xùn)練出投影矩陣面對(duì)墻面、純色背景這種重復(fù)單調(diào)的紋理預(yù)測(cè)精度提升很明顯。CfL 亮度推導(dǎo)色度也做了優(yōu)化夜視低照度的 HDR 畫面適配性更好。幀間預(yù)測(cè)的改動(dòng)更實(shí)在參考幀上限從 AV1 的 2 幀拉到了最多 7 幀還加了時(shí)間插值、光流運(yùn)動(dòng)微調(diào)、簡(jiǎn)化多參考幀這些工具。像慢云臺(tái)、移動(dòng)車輛這類畫面運(yùn)動(dòng)補(bǔ)償能貼得更準(zhǔn)殘差進(jìn)一步收縮。還有幀內(nèi)塊拷貝IBC的優(yōu)化對(duì)監(jiān)控里反復(fù)出現(xiàn)的標(biāo)牌、圍擋這類靜態(tài)圖案壓縮效率提升很直觀。當(dāng)然代價(jià)也有編碼器的搜索空間變大了復(fù)雜度又漲了一截。但解碼端只是按語法解析不用做復(fù)雜搜索咱們做平臺(tái)、做終端的解碼側(cè)壓力不會(huì)因?yàn)轭A(yù)測(cè)工具變多就暴漲這點(diǎn)還算厚道。變換數(shù)據(jù)驅(qū)動(dòng)變換是這代最核心的改動(dòng)這塊我得多說兩句個(gè)人覺得這是 AV2 和以往所有編碼標(biāo)準(zhǔn)最不一樣的地方。傳統(tǒng)編碼用的 DCT 離散余弦變換變換核是固定的數(shù)學(xué)公式。AV2 引入了 DDT 數(shù)據(jù)驅(qū)動(dòng)變換 —— 提前用 KLT 算法拿海量真實(shí)視頻的殘差數(shù)據(jù)離線訓(xùn)練出多套變換核直接固化到標(biāo)準(zhǔn)里。說人話就是這個(gè)變換核是 “從真實(shí)視頻里學(xué)出來的”不是憑空推導(dǎo)的數(shù)學(xué)公式所以對(duì)真實(shí)場(chǎng)景殘差的能量集中能力比 DCT 強(qiáng)得多。同樣一塊殘差過一遍 DDT大部分能量都會(huì)塌縮到少數(shù)幾個(gè)低頻系數(shù)上后面量化的時(shí)候就能放心扔掉更多高頻細(xì)節(jié)又不怎么影響主觀畫質(zhì)。配合 DDT 的還有兩個(gè)輔助工具IST 二次變換給低頻系數(shù)再做一次降維進(jìn)一步擠掉無效信息CCTX 跨色度分量變換利用色度之間的相關(guān)性做聯(lián)合編碼。三者搭配下來殘差能量的集中程度比 AV1 高一大截這也是 30% 總收益里貢獻(xiàn)最大的單項(xiàng)技術(shù)之一。順帶提一句AV2 還把原生 64 點(diǎn) DCT 給砍了換成 32 點(diǎn)逆變換加殘差上采樣?？粗袷?“減配”實(shí)際上 256×256 大塊普及之后大尺寸變換的需求本身就在減少用極小的畫質(zhì)損失換來了硬件實(shí)現(xiàn)難度的大幅下降 —— 標(biāo)準(zhǔn)制定的人是真懂芯片設(shè)計(jì)的難處。量化扔掉查找表用網(wǎng)格找最優(yōu)解AV1 的量化靠好幾張查找表映射步長(zhǎng)維護(hù)起來繁瑣。AV2 直接換成統(tǒng)一的指數(shù)公式做步長(zhǎng)映射邏輯干凈了很多。真正的升級(jí)是 TCQ 網(wǎng)格編碼量化。它搞了 Q0、Q1 兩個(gè)子量化器重建電平錯(cuò)開半個(gè)步長(zhǎng)。編碼器用 Viterbi 動(dòng)態(tài)規(guī)劃在 8 個(gè)狀態(tài)的網(wǎng)格里找率失真最優(yōu)的路徑 —— 說白了就是把 “每個(gè)系數(shù)量化用 Q0 還是 Q1” 變成了一個(gè)最短路徑問題找全局最優(yōu)解而不是逐系數(shù)單獨(dú)決策。單個(gè)系數(shù)看差別不大整幀算下來碼率和失真的平衡能做得更精細(xì)。同樣復(fù)雜度漲在編碼端解碼端只需要按語法查表重建感知不到 TCQ 的存在。熵編碼三個(gè)毫米級(jí)優(yōu)化積少成多熵編碼是壓縮的最后一公里單個(gè)工具提升幅度都不大但幾個(gè)小優(yōu)化疊起來對(duì)總收益的貢獻(xiàn)不容小覷。AV2 底層還是沿用 MS-AC 多符號(hào)算術(shù)編碼器沒換引擎只在 “怎么把數(shù)據(jù)喂給編碼器” 上做了三處微調(diào)。PARA 概率自適應(yīng)率調(diào)整通過偏移參數(shù)動(dòng)態(tài)調(diào)節(jié) CDF 概率表的收斂速度監(jiān)控畫面經(jīng)常有場(chǎng)景突變、光線切換這個(gè)工具能讓概率模型更快貼合一新畫面的符號(hào)分布少浪費(fèi)比特。FSC 前向跳過編碼專門針對(duì)屏幕內(nèi)容。電腦屏幕、工控界面這類有大量銳利文字邊緣的畫面走頻域變換反而會(huì)打散能量AV2 干脆跳過變換直接對(duì)空間殘差做旁路編碼 —— 這也是 AV2 在屏幕內(nèi)容場(chǎng)景能省近 40% 碼率的核心原因做指揮大廳大屏、工業(yè) HMI 的同行可以重點(diǎn)關(guān)注。還有個(gè)很巧的 PH 奇偶校驗(yàn)隱藏當(dāng) AC 系數(shù)不少于 4 個(gè)時(shí)編碼器微調(diào)這些系數(shù)的奇偶性讓它們和 DC 系數(shù)的符號(hào)位保持一致。解碼端只要算一下 AC 系數(shù)的奇偶就能隱式推出 DC 的屬性直接省掉一個(gè)比特的顯式信令。這三項(xiàng)單個(gè)可能也就貢獻(xiàn) 0.5%-1% 的收益但架不住多。干過編解碼優(yōu)化的都懂到了 AV1 這個(gè)成熟度再想摳 30% 不可能靠某一項(xiàng)黑科技全是幾百個(gè) 0.1% 的優(yōu)化堆出來的AV2 干的就是這個(gè)笨功夫。環(huán)路濾波統(tǒng)一鏈路給解碼端減負(fù)AV1 的環(huán)路濾波是多級(jí)串聯(lián)去塊、CDEF、環(huán)路恢復(fù)一路算下來模塊多邏輯雜。AV2 換成了統(tǒng)一的通用去塊濾波器新增 GDF 導(dǎo)向細(xì)節(jié)濾波器和 CCSO 跨分量采樣偏移。CCSO 用亮度信息校正色度誤差對(duì)安防常用的 4:2:0 采樣格式特別友好夜視畫面的色度噪聲能壓得更干凈。整體思路和塊劃分的設(shè)計(jì)一脈相承編碼端可以使勁堆復(fù)雜度解碼端能省就省盡量控制硬件實(shí)現(xiàn)的門檻。落到安防場(chǎng)景紅利和坑各占一半講完技術(shù)原理還是得落回咱們的老本行。AV2 對(duì)智慧社區(qū)、園區(qū)安防、高空拋物這類項(xiàng)目的影響得拆開四個(gè)維度看不能只盯著碼率下降瞎樂。帶寬側(cè)的利好最直觀。比如 4K 高空拋物攝像頭單路上行碼率原本 4-8Mbps幾十路同時(shí)回傳的話公網(wǎng)帶寬是一筆不小的固定開銷。同畫質(zhì)下碼率約降 30%跨公網(wǎng)的帶寬成本、4G/5G 的流量成本都能明顯壓縮。但要注意這是理想場(chǎng)景的均值夜間低照度、車流密集的路口這類畫面實(shí)際節(jié)省會(huì)打折扣做預(yù)算別直接按 0.7 倍硬套。存儲(chǔ)側(cè)的收益也很實(shí)在。邊緣 NVR、云端冷存儲(chǔ)、取證片段歸檔的占用量都會(huì)同步收縮同樣的硬盤容量錄像留存周期能拉長(zhǎng)一截。對(duì)有明確合規(guī)留存要求的項(xiàng)目成本壓力會(huì)小很多。但同樣別直接拿 30% 去做存儲(chǔ)規(guī)劃拿自己項(xiàng)目的真實(shí)樣本跑一遍實(shí)測(cè)最穩(wěn)妥。最容易踩坑的是邊緣側(cè)甚至有點(diǎn)反直覺碼率是降了但智能分析網(wǎng)關(guān)的整體算力壓力反而可能漲。原因很簡(jiǎn)單 —— 現(xiàn)在沒有硬件解碼全靠 CPU 軟解復(fù)雜度是 AV1 的 5 倍。如果網(wǎng)關(guān)既要做 AV2 解碼又要并行跑高空拋物軌跡識(shí)別、周界入侵檢測(cè)這類 AI 推理很容易出現(xiàn)解碼把 CPU 占滿AI 推理算力不夠、延遲飆升的情況。我當(dāng)年 H.265 剛普及的時(shí)候就踩過類似的坑軟解吃滿處理器智能分析直接卡成 PPT。所以智能分析網(wǎng)關(guān)的硬件選型必須重新評(píng)估算力余量不能看見 “碼率降 30%” 就盲目樂觀。平臺(tái)側(cè)的改動(dòng)相對(duì)可控。GB28181、RTSP 這些傳輸協(xié)議本身不用變但 AIoT 平臺(tái)的多媒體接入層、轉(zhuǎn)碼流水線、解碼庫都要做升級(jí)必須支持 AV1/AV2 雙棧兼容向下還要兼容 HEVC。畢竟未來三五年新老設(shè)備混裝是常態(tài)不可能一刀切全換成 AV2。物聯(lián)底座的價(jià)值把編碼迭代的成本收到底層編碼標(biāo)準(zhǔn)是隔幾年就迭代一次的東西如果每個(gè)項(xiàng)目、每代標(biāo)準(zhǔn)都從零重寫解析、轉(zhuǎn)碼、調(diào)度邏輯時(shí)間長(zhǎng)了全是技術(shù)債。成熟的做法是把多媒體底層能力做抽象讓業(yè)務(wù)層專心做告警、做流程、做 AI 應(yīng)用不用跟著編碼標(biāo)準(zhǔn)反復(fù)改底層。像美暢智能物聯(lián)中臺(tái)UCC核心定位就是設(shè)備層和業(yè)務(wù)層之間的抽象層。向下把不同廠商的設(shè)備協(xié)議做歸一把 AV1、AV2、HEVC 多格式解析、轉(zhuǎn)碼調(diào)度都封裝到底層向上輸出標(biāo)準(zhǔn)化的事件和媒體接口還能給分布式的智能分析網(wǎng)關(guān)統(tǒng)一調(diào)度媒體處理任務(wù)。開發(fā)團(tuán)隊(duì)不用每一代編碼都重做一遍底層適配能省不少重復(fù)勞動(dòng)。但邊界也得說清楚這類中臺(tái)能解決軟件層面的格式適配、調(diào)度管理問題解決不了芯片沒有硬解單元的硬件短板。軟解帶來的高算力消耗平臺(tái)再優(yōu)化也繞不開最終還是得等芯片廠商的硬件生態(tài)跟上來。別指望買一套中臺(tái)就能抹平硬件代差那不現(xiàn)實(shí)。給集成商的話Codec 升級(jí)避坑指南踩了這么多代編碼的坑總結(jié)幾條落地建議都是實(shí)打?qū)嵉慕?jīng)驗(yàn)大伙當(dāng)個(gè)參考。第一雙棧兼容漸進(jìn)遷移別搞一刀切。未來 3-5 年 AV1 和 AV2 必然共存架構(gòu)上一定要做 Codec 抽象層把編解碼模塊和業(yè)務(wù)邏輯解耦。后續(xù)不管是 AV2 迭代還是再出更新的標(biāo)準(zhǔn)改動(dòng)都收攏在底層不用動(dòng)業(yè)務(wù)代碼。邊緣設(shè)備的固件也要支持動(dòng)態(tài)加載雙解碼庫根據(jù)碼流自動(dòng)切換。第二邊緣算力賬要重新算別想當(dāng)然。AV2 軟解復(fù)雜度是 AV1 的 5 倍邊緣網(wǎng)關(guān)如果既要解碼又要跑 AI 推理算力配比要重新評(píng)估。個(gè)人建議實(shí)時(shí)分析類的邊緣節(jié)點(diǎn)等 2027-2028 年硬件解碼器普及了再規(guī)?；?AV2現(xiàn)階段用 AV1 過渡最穩(wěn)妥。第三純存儲(chǔ)、純轉(zhuǎn)發(fā)的場(chǎng)景可以先吃紅利。比如云端冷存儲(chǔ)、跨機(jī)房備份這類不需要實(shí)時(shí)解碼的場(chǎng)景AV2 的壓縮收益可以直接兌現(xiàn)風(fēng)險(xiǎn)也低。這類后端存儲(chǔ)環(huán)節(jié)可以先遷前端實(shí)時(shí)分析環(huán)節(jié)暫緩分階段來最穩(wěn)。第四別信 “AV2 立即可用” 的宣傳。規(guī)范發(fā)布不等于設(shè)備就緒不等于生態(tài)成熟。官方自己都承認(rèn)第三方驗(yàn)證還在進(jìn)行中。咱們做落地的把它當(dāng)成 2-3 年后的技術(shù)儲(chǔ)備就行先做 POC 驗(yàn)證別急著上生產(chǎn)。第五做屏幕內(nèi)容、工業(yè) HMI 的團(tuán)隊(duì)可以提前布局。FSC 工具對(duì)屏幕類畫面的優(yōu)化是實(shí)打?qū)嵉慕咏?40% 的碼率節(jié)省不是虛的這類場(chǎng)景可以早做 POC收益會(huì)比普通監(jiān)控場(chǎng)景更明顯。寫在最后干了這么多年 codec越來越覺得每一代編碼標(biāo)準(zhǔn)的迭代從來不是什么顛覆性革命都是工程上一點(diǎn)點(diǎn)摳出來的進(jìn)步。AV2 這 30% 的增益是 256×256 大塊打底DDT 主攻殘差壓縮TCQ 優(yōu)化量化PARA/FSC/PH 在熵編碼里摳每一個(gè)比特再加上環(huán)路濾波給解碼端減負(fù)幾百個(gè)小優(yōu)化堆出來的結(jié)果。它的長(zhǎng)期潛力毋庸置疑免專利費(fèi)的特性也讓它對(duì)商用項(xiàng)目很友好。但落地這件事從來不是紙面參數(shù)說了算得看芯片、固件、終端、平臺(tái)整條鏈的成熟度。對(duì)咱們做 B 端項(xiàng)目的人來說最理性的做法就是架構(gòu)上提前留好 AV2 的位置現(xiàn)階段用 AV1 扛住業(yè)務(wù)等硬件解碼成熟了再逐步切換。技術(shù)是用來解決問題的不是用來追新的。真正的工程智慧從來不是選最新的標(biāo)準(zhǔn)是選最合適的標(biāo)準(zhǔn)。AV2 是未來但未來還沒到。咱們做落地的總得在前沿和務(wù)實(shí)之間給自己留一條穩(wěn)妥的路。