引子以前在蘋果生態(tài)里搞 AI有點(diǎn)像去五星級(jí)酒店點(diǎn)外賣你想吃火鍋前臺(tái)微笑著說(shuō)「先生我們這里只提供酒店特供套餐?！笷oundation Models 很香隱私也漂亮但菜單是蘋果定的。第三方大模型抱歉請(qǐng)去云端排隊(duì)或者自己用 Metal 手搓推理引擎——后者相當(dāng)于自帶鍋、自帶火、自帶廚師還得保證不被 jetsam 一腳踹出房間。WWDC26 之后情況變了。CoreAI 登場(chǎng)。蘋果不再只給你「自家菜」而是遞過(guò)來(lái)一套廚房你可以把 PyTorch 模型端上來(lái)切好、燉好、裝進(jìn).aimodel然后在 iPhone / Mac 上本地端著碗吃。今天這篇就從「這到底是什么」講到「第三方 Qwen 怎么真在本機(jī)流式吐字」——有背景、有邏輯、有能跑通的代碼味道。讀完你未必馬上能上架但至少不會(huì)再把 CoreAI 當(dāng)成「又一個(gè)神秘 Framework」。無(wú)需等待讓我們馬上開(kāi)始 CoreAI 大冒險(xiǎn)吧一、WWDC26 的背景蘋果為什么要推 CoreAI先把時(shí)間線捋直不然后面代碼會(huì)像無(wú)根之木。過(guò)去幾年蘋果的端側(cè) AI 路線大致是Core ML偏傳統(tǒng)機(jī)器學(xué)習(xí) / 視覺(jué)音頻擅長(zhǎng)「看圖說(shuō)話」不太擅長(zhǎng)「邊想邊聊」。Apple Intelligence Foundation Models系統(tǒng)級(jí)大模型能力隱私優(yōu)先但模型選擇權(quán)在蘋果手里。開(kāi)發(fā)者的真實(shí)痛點(diǎn)我想跑 Qwen、Llama、自家微調(diào)模型——既要 GPU/ANE 性能又要 Swift 友好 API還想少寫(xiě)一點(diǎn) KV Cache 手活。WWDC26 給出的答案叫CoreAI面向Apple silicon的新一代本地推理框架配套工具鏈coreai-torch導(dǎo)出→ coreai-build編譯→ CoreAI runtime運(yùn)行官方參考倉(cāng)apple/coreai-models既有導(dǎo)出配方也有 Swift 側(cè) LLM 引擎、采樣、KV Cache 等運(yùn)行時(shí)工具系統(tǒng)門檻很硬核macOS / iOS 27.0Xcode 27.0——不是「舊系統(tǒng)裝個(gè) SDK 就能用」那種溫柔。一句話概括CoreAI 不是「又一個(gè)聊天 SDK」而是「把任意合適結(jié)構(gòu)的模型變成蘋果芯片上的一等公民」的整條產(chǎn)線。Foundation Models 像「蘋果官方外賣」CoreAI 像「你自帶食材廚房和灶臺(tái)歸蘋果管」。二、先建立心智模型CoreAI 在干什么別一上來(lái)就背 API。先記住這條流水線AUTHOR可選 按平臺(tái)重寫(xiě)模型結(jié)構(gòu)靜態(tài) shape、ANE/GPU 友好 ↓ COMPRESS可選 量化 / 調(diào)色盤壓縮換體積與精度 ↓ EXPORT PyTorch → AIProgramcoreai-torch / TorchConverter ↓ COMPILE可選 AOT 編譯到目標(biāo)平臺(tái)coreai-build ↓ RUN 設(shè)備上加載 .aimodelSwift / Python 推理對(duì)應(yīng)用開(kāi)發(fā)者來(lái)說(shuō)日常最常碰到的是最后一步RUN。而對(duì)「第三方大模型適配」來(lái)說(shuō)你會(huì)拿到的是別人已經(jīng)導(dǎo)好的LanguageBundle——目錄里通常長(zhǎng)這樣some_model_bundle/ xxx.aimodel/ ← 真正的模型資產(chǎn)含 main.mlirb 等 metadata.json tokenizer/.aimodel不是「把權(quán)重 zip 一下改個(gè)后綴」。它是經(jīng)過(guò)導(dǎo)出、優(yōu)化、面向 Apple 運(yùn)行時(shí)的模型資產(chǎn)LLM 場(chǎng)景下外面還會(huì)包一層LanguageBundle把 tokenizer、上下文長(zhǎng)度、function map 這些聊天相關(guān)的元數(shù)據(jù)綁在一起。淺層理解CoreAI 本地跑模型的「操作系統(tǒng)級(jí)廚房」。深層理解你寫(xiě)的不是「HTTP 請(qǐng)求 OpenAI」而是「加載 bundle → 創(chuàng)建推理引擎 → token 級(jí) generate 流」。三、最簡(jiǎn) Runtime先看「一張圖」怎么跑在聊 LLM 之前先看官方風(fēng)格的最小推理——這能幫你分清兩層 API底層AIModelInferenceFunctionNDArray通用張量推理上層LanguageBundleEngineFactoryInferenceEngine給 LLM 準(zhǔn)備好的引擎底層大概長(zhǎng)這樣importCoreAIletmodeltryawaitAIModel(contentsOf:modelURL)guardletfntrymodel.loadFunction(named:main)else{return}varinputNDArray(shape:[1,3,224,224],scalarType:.float32)varviewinput.mutableView(as:Float32.self)// 填入圖像數(shù)據(jù)...varoutputstryawaitfn.run(inputs:[image:input])letresultoutputs.remove(logits)?.ndArray導(dǎo)出側(cè)對(duì)應(yīng)的是 Pythonfromcoreai_torchimportTorchConverter,get_decomp_tableimporttorch eptorch.export.export(model,args(torch.randn(1,3,224,224),))epep.run_decompositions(get_decomp_table())program(TorchConverter().add_exported_program(ep,input_names[image],output_names[logits]).to_coreai())program.optimize()program.save_asset(model.aimodel)看到?jīng)]蘋果這次把「訓(xùn)練框架 → 設(shè)備資產(chǎn) → App 調(diào)用」串成了閉環(huán)。LLM 只是在這條環(huán)上多疊了一層語(yǔ)言引擎。四、進(jìn)入正題第三方 LLM 怎么接進(jìn) CoreAI下面以社區(qū)已轉(zhuǎn)換好的Qwen3.5-2B CoreAI LanguageBundle為例Hugging Face 上已有現(xiàn)成資產(chǎn)。思路適用于同類 pipelined LLM。1加載不是open(file)是「建一座小發(fā)電廠」importCoreAISharedimportCoreAILanguageModelsimportTokenizers// 某些 pipelined decode 圖是 static [1,1]需要在創(chuàng)建引擎前設(shè)置ifgetenv(COREAI_CHUNK_THRESHOLD)nil{setenv(COREAI_CHUNK_THRESHOLD,1,1)}letbundletryLanguageBundle(at:bundleDirectory)letconfigModelConfig(name:bundle.name,tokenizer:bundle.tokenizer,vocabSize:bundle.vocabSize,maxContextLength:bundle.maxContextLength,serializedModel:[bundle.modelAssetPath],function:bundle.language.functionMap?.name(for:main)??main)letenginetryawaitEngineFactory.createEngine(config:tryJSONEncoder().encode(config),modelURL:trybundle.requireModelURL(for:ModelBundle.ComponentKey.main),options:EngineOptions(variant:coreai-pipelined))lettokenizertryawaitbundle.loadTokenizer()這里有幾個(gè)「看起來(lái)像咒語(yǔ)、其實(shí)很關(guān)鍵」的點(diǎn)點(diǎn)為什么重要LanguageBundle一次讀齊模型路徑、詞表、上下文長(zhǎng)度、tokenizerEngineFactory.createEngine真正把.aimodel特化成可推理引擎variant: coreai-pipelined告訴運(yùn)行時(shí)這是流水線式 decode 圖不是普通前饋COREAI_CHUNK_THRESHOLD1適配 static[1,1]decode設(shè)錯(cuò)了可能加載成功、生成翻車第一次加載往往會(huì)觸發(fā)specialization特化系統(tǒng)按當(dāng)前設(shè)備把計(jì)算圖「烤」成更合適的執(zhí)行形態(tài)。冷啟動(dòng)可能幾十秒還可能吃掉數(shù) GB 磁盤緩存——所以產(chǎn)品上千萬(wàn)別讓用戶盯著轉(zhuǎn)圈圈傻等得有「首次準(zhǔn)備模型」的心智。2Prompt別直接encode(用戶原話)很多模型吃的是chat template不是裸字符串。正確姿勢(shì)是先組 messages再套模板letmessages:[[String:String]][[role:system,content:你是一個(gè)直接回答問(wèn)題的助手。優(yōu)先使用中文回答簡(jiǎn)潔清楚。],[role:user,content:prompt]]letinputIdstrytokenizer.applyChatTemplate(messages:messages).map{Int32($0)}guardinputIds.countmaxContextLength-1else{throwMyError.promptTooLong}對(duì) Qwen 這類帶/think、/no_think的模型還可以在應(yīng)用層做三種模式高效系統(tǒng)提示 /no_think盡量直接給答案推理追加/think允許展開(kāi)思考跟隨輸入尊重用戶自己寫(xiě)的控制指令這不是 CoreAI 的硬性要求卻是「第三方模型適配」里最容易被忽略的產(chǎn)品細(xì)節(jié)——引擎只會(huì)吐 token不會(huì)替你懂產(chǎn)品語(yǔ)義。3生成AsyncSequence 式地「一個(gè)字一個(gè)字?jǐn)D牙膏」tryawaitengine.reset()letstreamtryengine.generate(with:inputIds,samplingConfiguration:SamplingConfiguration(temperature:0.7,topK:20,topP:0.8,minP:nil).normalized(),inferenceOptions:InferenceOptions(maxTokens:maxTokens))varanswerfortryawaitstepinstream{tryTask.checkCancellation()lettokenIdInt(step.tokenId)// 解碼、過(guò)濾 stop sequence、think 塊等letchunkdecodeAndFilter(tokenId)if!chunk.isEmpty{answerchunk// 推到 SwiftUI}}這就是本地 LLM 的「靈魂回路」prompt → chat template → token ids → engine.generate 流 → 逐 token 解碼 → 停詞 / 過(guò)濾 / UI 追加采樣參數(shù)Temperature / Top-K / Top-P / Min-P和云 API 概念一致差別在于一切發(fā)生在進(jìn)程內(nèi)隱私不錯(cuò)內(nèi)存賬單很真實(shí)。五、再深一層適配第三方模型時(shí)你會(huì)撞上的「人情世故」代碼能跑不等于產(chǎn)品能用。真實(shí)適配里常見(jiàn)坑如下——每條都來(lái)自「本機(jī)真跑過(guò)」的經(jīng)驗(yàn)不是 PPT。1模型別塞進(jìn).app2B 級(jí)量化包常常~3GB。打進(jìn) App 包審核會(huì)皺眉用戶下載會(huì)罵娘。正確姿勢(shì)是首次啟動(dòng)后下載 / 本地導(dǎo)入先落到 staging校驗(yàn)齊全再原子替換到正式目錄至少確認(rèn).aimodel、main.mlirb、metadata.json、tokenizer/齊全且大文件不是 Git LFS 指針冒充2Think 塊會(huì)「偷吃」你的可見(jiàn)輸出模型可能先吐think...。如果你在「高效模式」還直接把原文糊到 UI用戶會(huì)以為 App 壞了。應(yīng)用層需要過(guò)濾完整think.../think未閉合時(shí)先別展示后面內(nèi)容必要時(shí)用更強(qiáng)硬的 system prompt 重試一次CoreAI 負(fù)責(zé)「算」你負(fù)責(zé)「做人話」。3Stop sequence 與「假結(jié)束」命中 EOS 不一定等于「答完了」。高效模式下偶發(fā)短句提前結(jié)束、沒(méi)有句末標(biāo)點(diǎn)——這時(shí)可以識(shí)別為 incomplete EOS再補(bǔ)一句「只從截?cái)嗵幚^續(xù)」。長(zhǎng)回答撞到 token 上限則做續(xù)寫(xiě)把已有答案塞回 prompt要求「不要重復(fù)從中斷處自然接著寫(xiě)」。4內(nèi)存與 entitlement 是物理定律Mac 上建議給系統(tǒng)和別的進(jìn)程留足余量官方指導(dǎo)常見(jiàn)說(shuō)法是留出數(shù) GB headroomiPhone 上大模型可能需要更高內(nèi)存限額相關(guān) entitlement否則冷 specialization 直接bad_alloc用進(jìn)程 footprint 觀察「加載前后漲了多少」比憑感覺(jué)喊「好卡」有用得多5平臺(tái)策略不同蘋果自己的指導(dǎo)也很直白iOS偏能效靜態(tài) shape、更激進(jìn)壓縮模型盡量別太大macOS可更吃規(guī)模動(dòng)態(tài) shape / 控制流更寬松同一套「第三方模型適配」在 iPhone 和 Mac 上可能要選不同壓縮配方——這不是口味問(wèn)題是物理與系統(tǒng)策略問(wèn)題。六、把整條鏈路壓成一張圖┌──────────────────────────────┐ │ 已轉(zhuǎn)換的 LanguageBundle │ │ (.aimodel tokenizer md) │ └───────────────┬──────────────┘ │ LanguageBundle(at:) ▼ ┌──────────────────────────────┐ │ ModelConfig EngineFactory │ │ variant: coreai-pipelined │ └───────────────┬──────────────┘ │ loadTokenizer() ▼ ┌──────────────────────────────┐ │ chat template → input ids │ └───────────────┬──────────────┘ │ engine.generate(...) ▼ ┌──────────────────────────────┐ │ Async token stream │ │ → 過(guò)濾 / 停詞 / UI 流式刷新 │ └──────────────────────────────┘如果你只會(huì)畫(huà) HTTP 時(shí)序圖現(xiàn)在可以在旁邊再貼一張這個(gè)——云端是請(qǐng)求-響應(yīng)CoreAI 是加載-特化-流式解碼。七、一句中式總結(jié)CoreAI 的出現(xiàn)意味著蘋果終于承認(rèn)一件事「端側(cè)智能」不能只靠皇家廚師也得允許民間大廚進(jìn)廚房——但刀具、灶臺(tái)、排煙系統(tǒng)還得按蘋果標(biāo)準(zhǔn)來(lái)。對(duì)開(kāi)發(fā)者而言淺本地加載.aimodelSwift 里流式生成中LanguageBundle EngineFactory chat template 采樣深導(dǎo)出、量化、靜態(tài) shape、specialization、內(nèi)存與平臺(tái)策略Foundation Models 解決「大多數(shù) App 的官方智能」CoreAI 解決「我就要跑自己的 / 社區(qū)的模型而且要跑在蘋果芯上」。兩條腿才算站穩(wěn)。尾聲今天我們順著「第三方大模型怎么在 CoreAI 里被叫起來(lái)」走完了調(diào)用側(cè)bundle、引擎、模板、流式、坑點(diǎn)。你手里已經(jīng)有一張能照著做的地圖——從「聽(tīng)說(shuō) WWDC26 出了 CoreAI」走到了「真的能在本機(jī)看 Qwen 一個(gè) token 一個(gè) token 往外蹦」。故事到這里就告一段落了感謝寶子們的觀賞。我是大熊貓侯佩再會(huì)啦