Nova-Quantum 是一個很有意思的項目一個約 41 MB 的 ISO 鏡像啟動后不進(jìn)入 Linux、不加載 Windows而是直接進(jìn)入一個自定義內(nèi)核由這個內(nèi)核自己完成大語言模型的加載和推理。項目副標(biāo)題里的 Bootet Ohne OS 是德語意思就是“在沒有操作系統(tǒng)的狀態(tài)下啟動”。換句話說從 BIOS 或 UEFI 固件交棒之后頁表、內(nèi)存管理、串口輸出、模型文件解析、tokenizer、transformer 前向計算、采樣輸出全部由項目自己的代碼接管。這種形態(tài)不是常見的“嵌入式 Linux 推理框架”而是把 Linux 內(nèi)核、用戶態(tài)、驅(qū)動、Python、PyTorch 這一整條棧全部去掉只保留真正做推理的那部分。它的價值不在性能多強而在于把“從按下電源鍵到生成第一個 token”之間的每一層細(xì)節(jié)都暴露出來。對想理解引導(dǎo)過程、想在受限硬件上跑 LLM、或者想從零看一遍 transformer 前向計算的開發(fā)者來說這是一個可學(xué)習(xí)、可復(fù)現(xiàn)、可排查的切入點。這篇文章會圍繞 Nova-Quantum 的工程形態(tài)說明 bare-metal LLM kernel 的啟動鏈路、ISO 結(jié)構(gòu)、內(nèi)核骨架、模型加載與推理實現(xiàn)以及最常見的踩坑點和排查順序。1. Bare-Metal LLM Kernel 是什么和常規(guī)推理棧有什么本質(zhì)區(qū)別1.1 一句話解釋內(nèi)核自己就是“操作系統(tǒng)”常規(guī)的 LLM 部署鏈路通常很長。操作系統(tǒng)負(fù)責(zé)內(nèi)存管理、設(shè)備驅(qū)動、進(jìn)程調(diào)度Python 運行時負(fù)責(zé)解釋代碼PyTorch 負(fù)責(zé)算子調(diào)度最終才會落到矩陣乘法上。每一步都有成熟工具但每一步也都有抽象屏蔽。Nova-Quantum 走的是另一條路線它自己實現(xiàn)一個極小的內(nèi)核這個內(nèi)核只做兩件事先初始化最基本的硬件環(huán)境再加載模型權(quán)重并執(zhí)行 LLM 前向計算。沒有 shell沒有文件系統(tǒng)驅(qū)動沒有進(jìn)程模型沒有虛擬內(nèi)存保護(hù)除了最基礎(chǔ)的頁表。啟動之后直接進(jìn)入推理狀態(tài)。這種設(shè)計的前提是推理本身不需要操作系統(tǒng)的大部分能力。LLM 推理本質(zhì)上是幾百次矩陣乘法和內(nèi)存搬家需要的只是“一塊能讀寫的內(nèi)存”和“一個能做乘加的 CPU”。把這些能力直接暴露給推理代碼反而省去了中間所有轉(zhuǎn)換和調(diào)度的開銷。1.2 與常規(guī)部署方式的對比對比項Linux Python PyTorch嵌入式 Linux C 推理引擎Nova-Quantum 這類 Bare-Metal 內(nèi)核啟動過程BIOS/UEFI - 內(nèi)核 - init - Python 進(jìn)程BIOS/UEFI - 內(nèi)核 - 應(yīng)用進(jìn)程BIOS/UEFI - GRUB - LLM 內(nèi)核內(nèi)存管理內(nèi)核負(fù)責(zé)用戶態(tài)通過系統(tǒng)調(diào)用內(nèi)核負(fù)責(zé)應(yīng)用通過 malloc內(nèi)核自己管理簡單堆區(qū)設(shè)備驅(qū)動完整驅(qū)動棧按需裁剪只做串口、內(nèi)存、可能加上定時器模型加載文件系統(tǒng) 系統(tǒng)調(diào)用文件系統(tǒng)或裸分區(qū)GRUB module 直接放進(jìn)內(nèi)存體積數(shù) GB數(shù)百 MB約 41 MB ISO調(diào)試難度日志、gdb、perf 齊全有基礎(chǔ)調(diào)試手段主要靠 QEMU 和串口日志學(xué)習(xí)價值被抽象隔離部分暴露全鏈路暴露表格里的“約 41 MB”是 Nova-Quantum ISO 的總大小不是內(nèi)核大小。這個數(shù)字決定了它在學(xué)習(xí)環(huán)境里很容易被分享和下載也決定了模型必須經(jīng)過量化否則根本放不進(jìn)去。1.3 41 MB 這個體積意味著什么一個 41 MB 的 ISO并不是全部空間都裝模型。用 grub-mkrescue 生成的鏡像會包含 GRUB 的 BIOS 引導(dǎo)代碼和 UEFI 運行時通常要占 3 MB 到 6 MB內(nèi)核 ELF 包含啟動匯編、驅(qū)動和推理邏輯1 MB 到 2 MB 很常見剩下大約 33 MB 到 36 MB 才是模型權(quán)重區(qū)域。按 4 位塊量化每參數(shù)約 4.5 比特計算33 MB 大約能容納 5000 萬到 6000 萬參數(shù)的小模型。這個規(guī)模放在大模型領(lǐng)域很小但放在“一個 ISO 直接啟動”的場景里是合理的。它可以完成簡單的文本補全、關(guān)鍵詞生成、表達(dá)式計算也可以作為教學(xué)模型演示完整的 transformer 前向過程。易誤解的地方是不要指望這個體積的模型具備 ChatGPT 級別的能力。Bare-Metal LLM kernel 的目標(biāo)是“能用極簡棧跑通 LLM”而不是“用極小模型打敗大模型”。理解了這一點后續(xù)學(xué)習(xí)方向才不會跑偏。2. 先理解從 ISO 到模型推理的整條啟動鏈路2.1 固件、GRUB、multiboot2 三者如何交接Nova-Quantum 并不是從零寫引導(dǎo)器而是使用 GRUB2 加載自己的內(nèi)核。這樣做是合理的GRUB 已經(jīng)處理好了 BIOS 和 UEFI 兩類固件的差異包括文件系統(tǒng)讀取、內(nèi)存探測、圖形模式初始化。內(nèi)核只需要遵循 multiboot2 協(xié)議把自己聲明成 GRUB 可以識別的 ELF 文件即可。整條鏈路如下機器上電固件初始化硬件。固件找到啟動介質(zhì)進(jìn)入 GRUB。GRUB 讀取 ISO 里的grub.cfg顯示菜單。用戶選擇 Nova-QuantumGRUB 用 multiboot2 協(xié)議加載內(nèi)核 ELF。GRUB 同時加載module2指定的模型文件到內(nèi)存。CPU 跳轉(zhuǎn)到內(nèi)核入口_start內(nèi)核從此完全接管。Linux 啟動時經(jīng)常出現(xiàn)Decompressing Linux... Parsing ELF... done. Booting the kernel.這類日志Nova-Quantum 沒有解壓環(huán)節(jié)GRUB 直接按 ELF 的 program headers 把段加載到指定地址然后跳轉(zhuǎn)入口。這也是裸內(nèi)核比常規(guī)系統(tǒng)啟動更快的原因之一。2.2 模型文件通過 GRUB module 機制加載Bare-Metal 環(huán)境沒有文件系統(tǒng)驅(qū)動內(nèi)核自己讀 ISO 里的文件非常麻煩。Nova-Quantum 這類項目通常采用 multiboot2 的 module 機制在grub.cfg里用module2聲明一個文件GRUB 會在加載內(nèi)核后把該文件讀入內(nèi)存并把它的起始地址和結(jié)束地址寫進(jìn) multiboot2 信息結(jié)構(gòu)里內(nèi)核通過解析這個結(jié)構(gòu)就能拿到模型數(shù)據(jù)。set timeout3 set default0 menuentry Nova-Quantum (Bare-Metal LLM Kernel) { multiboot2 /boot/nova-quantum.elf module2 /boot/model.bin }這個設(shè)計的精妙之處在于GRUB 已經(jīng)解決了文件系統(tǒng)解析問題內(nèi)核不需要再實現(xiàn) ISO9660 驅(qū)動。代價是模型文件必須能整體放進(jìn)內(nèi)存且內(nèi)存映射不能和內(nèi)核自身代碼沖突。對 33 MB 的模型來說這個約束完全可接受。2.3 內(nèi)核態(tài)跑推理的運行時約束內(nèi)核態(tài)推理和用戶態(tài)推理有幾個關(guān)鍵差異直接影響代碼組織方式?jīng)]有標(biāo)準(zhǔn)庫可用printf、malloc、memcpy要么自己實現(xiàn)要么使用 freestanding 編譯器提供的-ffreestanding模式。沒有系統(tǒng)調(diào)用內(nèi)存只能自管。內(nèi)核啟動后要自己把可用內(nèi)存劃分成代碼區(qū)、堆區(qū)、模型區(qū)和 KV cache 區(qū)。沒有異常處理機制兜底。用戶態(tài)程序段錯誤會終止進(jìn)程內(nèi)核里訪問非法地址就是 page fault處理不好就是 triple faultQEMU 直接重啟。沒有調(diào)度器。推理循環(huán)是獨占 CPU 的一次 token 生成期間不能被打斷。這些約束不是缺點而是理解 OS 內(nèi)核工作原理的入口。Nova-Quantum 正好把這些約束都壓縮在一個最小項目里。3. 構(gòu)建環(huán)境工具鏈、依賴和目錄結(jié)構(gòu)3.1 工具鏈清單本地構(gòu)建 Nova-Quantum 至少需要四類工具匯編器、交叉編譯器、鏈接器以及生成 ISO 的 GRUB 工具。推薦環(huán)境是 LinuxWindows 下建議用 WSL 或虛擬機避免工具鏈路徑問題。sudo apt update sudo apt install build-essential nasm xorriso grub-pc-bin grub-common mtools qemu-system-x86各工具作用如下工具作用說明nasm匯編啟動代碼負(fù)責(zé) multiboot2 頭和 long mode 切換x86_64-elf-gcc編譯 C 內(nèi)核代碼需要 freestanding 模式x86_64-elf-ld鏈接內(nèi)核 ELF配合自定義鏈接腳本xorriso生成 ISOgrub-mkrescue 依賴它grub-pc-binGRUB 二進(jìn)制模塊提供 BIOS 引導(dǎo)所需文件mtools操作 FAT 鏡像grub-mkrescue 的間接依賴qemu-system-x86本地驗證不需要真機也能跑完整流程交叉編譯工具鏈如果沒有安裝可以下載 x86_64-elf 版本的 GCC 工具鏈也可以先確認(rèn)系統(tǒng)自帶 gcc 是否支持-ffreestanding -mcmodelkernel。學(xué)習(xí)階段兩者都行但建議從一開始就使用交叉編譯器減少內(nèi)核對宿主環(huán)境的隱式依賴。3.2 工程目錄結(jié)構(gòu)一個可維護(hù)的 Bare-Metal LLM 內(nèi)核工程建議這樣組織nova-quantum/ ├── Makefile ├── boot.S # multiboot2 頭、棧、long mode 切換 ├── kernel.c # 內(nèi)核入口、串口、模型解析、推理循環(huán) ├── linker.ld # 內(nèi)核內(nèi)存布局 ├── grub.cfg # GRUB 啟動菜單 ├── src/ │ ├── serial.c # 串口驅(qū)動 │ ├── vga.c # 屏幕輸出 │ ├── model.c # 模型文件解析 │ ├── tokenizer.c # 字節(jié)級 BPE tokenizer │ └── transformer.c # attention、ffn、采樣 ├── tools/ │ └── export_model.py # 把 PyTorch 權(quán)重導(dǎo)出為裸二進(jìn)制格式 └── iso_root/ └── boot/ ├── grub/grub.cfg ├── nova-quantum.elf └── model.bin這里model.bin是模型權(quán)重的裸二進(jìn)制文件不是 PyTorch 的safetensors也不是 GGUF。裸二進(jìn)制的目的是讓內(nèi)核代碼零依賴讀取文件頭自己定義結(jié)構(gòu)。3.3 構(gòu)建前檢查清單在寫第一行代碼之前先做這幾項檢查能省掉后面很多排查時間確認(rèn)nasm -v、x86_64-elf-gcc -v、grub-mkrescue --version都能正常輸出版本號。確認(rèn) QEMU 可用運行qemu-system-x86_64 --version。確認(rèn)grub-pc-bin已安裝否則 grub-mkrescue 會提示缺少 BIOS 支持文件。確認(rèn)model.bin文件頭魔數(shù)和內(nèi)核代碼里定義的 magic 一致。確認(rèn)目標(biāo)內(nèi)存模式內(nèi)核代碼只放在 1 MB 以上模型模塊加載地址由 GRUB 決定需要在內(nèi)核里打印出來確認(rèn)。4. 編寫最小 Bare-Metal 內(nèi)核骨架4.1 引導(dǎo)匯編multiboot2 頭與 long mode 切換內(nèi)核第一個文件是boot.S。它做三件事聲明 multiboot2 頭、初始化棧、從 32 位保護(hù)模式切換到 64 位 long mode。multiboot2 頭的結(jié)構(gòu)是固定的magic 值0xe85250d6、架構(gòu)字段、長度字段、校驗和以及若干 tag。GRUB 通過掃描 ELF 前 8 KB 來尋找這個頭如果校驗和錯誤會出現(xiàn)error: no multiboot header found。section .multiboot align 8 multiboot_start: dd 0xe85250d6 dd 0 dd multiboot_end - multiboot_start dd -(0xe85250d6 0 (multiboot_end - multiboot_start)) ; end tag dw 0 dw 0 dd 8 multiboot_end: section .bss align 16 stack_bottom: resb 16384 stack_top: section .text global _start _start: cli mov esp, stack_top call init_long_mode lgdt [gdt64] jmp 0x08:long_mode_entry這里注意兩點。第一.multiboot段必須放在鏈接腳本最前面保證 GRUB 能在映像開頭找到。第二進(jìn)入 C 代碼前必須先建立自己的棧因為在 long mode 切換之后call kernel_main需要rsp指向合法內(nèi)存。long mode 切換的完整代碼比較長核心步驟如下init_long_mode: ; 關(guān)閉分頁 mov eax, cr0 and eax, 0x7fffffff mov cr0, eax ; 設(shè)置 PML4 - PDPT - PD先建立臨時頁表 mov eax, pml4 or eax, 0x3 mov cr3, eax ; 開啟 PAE mov eax, cr4 or eax, 0x20 mov cr4, eax ; 設(shè)置 EFER.LME mov ecx, 0xC0000080 rdmsr or eax, 0x100 wrmsr ; 開啟分頁和保護(hù)模式 mov eax, cr0 or eax, 0x80000001 mov cr0, eax ret頁表使用 2 MB 大頁可以簡化時間。常見做法是用 NASM 宏展開 512 項把物理地址 0 到 1 GB 區(qū)間的每個 2 MB 頁都映射一遍。這段匯編里最容易出錯的地方是CR0.PG開啟的時機以及GDT是否已經(jīng)加載。順序錯了就會觸發(fā) triple faultQEMU 表現(xiàn)為主機直接重啟。4.2 鏈接腳本把內(nèi)核放到固定虛擬地址鏈接腳本決定內(nèi)核段在 ELF 文件里的地址布局。Bare-Metal 內(nèi)核通常從1M地址開始因為低 1 MB 區(qū)域被 BIOS、VGA 顯存和固件占用。ENTRY(_start) SECTIONS { . 1M; .multiboot : ALIGN(8) { *(.multiboot) } .text : ALIGN(8) { *(.text*) } .rodata : ALIGN(8) { *(.rodata*) } .data : ALIGN(8) { *(.data*) } .bss : ALIGN(8) { *(COMMON) *(.bss*) } }這里的關(guān)鍵點是.multiboot必須放在最前面。鏈接完成后用objdump -h nova-quantum.elf檢查.multiboot段的地址如果它沒有出現(xiàn)在文件開頭或者地址超過 4 MB都需要回頭檢查鏈接腳本。4.3 C 入口串口初始化和內(nèi)存信息打印kernel.c的第一個任務(wù)是讓內(nèi)核“說話”。在 bare-metal 環(huán)境里串口是最可靠的調(diào)試輸出通道。QEMU 里用-serial stdio可以把串口輸出直接顯示在終端。void serial_init(void) { outb(0x3F8 1, 0x00); // 關(guān)閉中斷 outb(0x3F8 3, 0x80); // 設(shè)置 DLAB outb(0x3F8 0, 0x03); // 波特率 38400 outb(0x3F8 1, 0x00); outb(0x3F8 3, 0x03); // 8 位數(shù)據(jù)無校驗 outb(0x3F8 2, 0xC7); // 開啟 FIFO } void kernel_main(void* mb_info) { serial_init(); printk(Nova-Quantum: bare-metal LLM kernel\n); printk(booted without OS (Bootet Ohne OS)\n); printk(multiboot2 info 0x%x\n, (uint64_t)mb_info); for (;;) { asm volatile(hlt); } }outb是端口 I/O 指令需要內(nèi)聯(lián)匯編實現(xiàn)。printk是自己寫的極簡格式化輸出函數(shù)只支持%s、%x、%u。不要在這里引入標(biāo)準(zhǔn)庫的printf它依賴大量用戶態(tài)環(huán)境。4.4 用 GRUB 打包可啟動 ISO內(nèi)核編譯出 ELF 后利用 GRUB 的grub-mkrescue生成 ISO。Makefile 至少包含編譯匯編、編譯 C、鏈接、打包四個目標(biāo)。AS nasm CC x86_64-elf-gcc LD x86_64-elf-ld CFLAGS -ffreestanding -fno-pic -fno-stack-protector -mno-red-zone -O2 LDFLAGS -n -T linker.ld all: nova-quantum.iso boot.o: boot.S $(AS) -f elf64 boot.S -o boot.o kernel.o: kernel.c $(CC) $(CFLAGS) -c kernel.c -o kernel.o nova-quantum.elf: boot.o kernel.o $(LD) $(LDFLAGS) boot.o kernel.o -o nova-quantum.elf nova-quantum.iso: nova-quantum.elf model.bin grub.cfg rm -rf iso_root mkdir -p iso_root/boot/grub cp nova-quantum.elf iso_root/boot/ cp model.bin iso_root/boot/ cp grub.cfg iso_root/boot/grub/ grub-mkrescue -o nova-qu