99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RISC-V自定義擴(kuò)展工具鏈適配實(shí)戰(zhàn):從匯編器到模擬器全流程

RISC-V自定義擴(kuò)展工具鏈適配實(shí)戰(zhàn):從匯編器到模擬器全流程 做RISC-V自定義擴(kuò)展最難的不是寫那條指令的邏輯而是把工具鏈打通。我說(shuō)的是這個(gè)場(chǎng)景你在FPGA上寫好了一個(gè)自定義加速指令邏輯仿真全都通過(guò)了結(jié)果回過(guò)來(lái)想在軟件側(cè)驗(yàn)證匯編器報(bào)不認(rèn)識(shí)、反匯編器顯示亂碼、GCC壓根不讓你從C代碼里調(diào)它。沒(méi)錯(cuò)新指令真正跑起來(lái)的完整流程RISC-V工具鏈適配是繞不過(guò)去的一關(guān)。這篇內(nèi)容就是我完整走通這條鏈路后的實(shí)戰(zhàn)記錄從指令編碼設(shè)計(jì)、binutils改造、GCC內(nèi)置函數(shù)接入到Spike和QEMU模擬器驗(yàn)證一條龍拆開(kāi)講清楚附上可以直接復(fù)現(xiàn)的操作步驟適合正在搞RISC-V自定義擴(kuò)展但卡在工具鏈上的工程師也適合剛接觸RISC-V指令集、想搞懂工具鏈內(nèi)部是怎么工作的同學(xué)。1. 為什么要把一條新指令塞進(jìn)RISC-V工具鏈1.1 自定義指令到底能解決什么實(shí)際問(wèn)題先別急著改代碼想清楚你要不要做這件事。RISC-V之所以在定制化場(chǎng)景里這么受歡迎就是因?yàn)樗o了你一個(gè)開(kāi)口讓你能在指令集層面上為特定負(fù)載加速。最常見(jiàn)的幾個(gè)場(chǎng)景算法里的熱點(diǎn)計(jì)算比如矩陣乘加、卷積、FFT中的蝶形運(yùn)算用一條指令替代好幾條。AI推理中的量化運(yùn)算典型的如乘加飽和、移位取整組合硬件一條指令干完軟件少寫十幾條。加解密里的位變換操作比如國(guó)密算法中大量用到的循環(huán)移位、字節(jié)置換。網(wǎng)絡(luò)包處理里的位域提取、校驗(yàn)和計(jì)算。我這次拿來(lái)做例子的是一條自定義乘加指令運(yùn)算語(yǔ)義是rd rs1 * rs2 rd。選它是因?yàn)榻Y(jié)構(gòu)足夠簡(jiǎn)單R型和乘加運(yùn)算大家都熟不至于把精力浪費(fèi)在理解算法上能集中精力看工具鏈適配本身。但這里有個(gè)必須提前說(shuō)的判斷如果你的指令功能用兩三行普通指令就能表達(dá)或者編譯器優(yōu)化本身就能生成差不多的序列那自定義指令帶來(lái)的收益可能還不如它帶來(lái)的工程成本大。工具鏈適配、模擬器維護(hù)、軟件生態(tài)兼容這些事都是要還的。一般來(lái)說(shuō)只有當(dāng)這個(gè)操作在一個(gè)算法里出現(xiàn)頻率極高、且普通指令序列加上數(shù)據(jù)搬移的開(kāi)銷確實(shí)很大時(shí)自定義指令才劃算。1.2 先分清路線非標(biāo)準(zhǔn)擴(kuò)展與標(biāo)準(zhǔn)擴(kuò)展RISC-V的擴(kuò)展有兩條路。一條是走標(biāo)準(zhǔn)擴(kuò)展流程比如B擴(kuò)展位操作、P擴(kuò)展DSP你設(shè)計(jì)一套指令寫提案走社區(qū)評(píng)審進(jìn)規(guī)范和工具鏈這個(gè)過(guò)程以年為單位適合要大規(guī)模商用、要生態(tài)兼容的團(tuán)隊(duì)。另一條就是非標(biāo)準(zhǔn)擴(kuò)展也叫自定義擴(kuò)展直接使用指令集規(guī)范里預(yù)留的custom opcode空間自己定義編碼自己改工具鏈今天設(shè)計(jì)明天就能跑代價(jià)是代碼沒(méi)法直接跑到別的RISC-V核上除非對(duì)方也支持你這套擴(kuò)展。我走的是非標(biāo)準(zhǔn)擴(kuò)展這條路這也是絕大多數(shù)做定制芯片、加速器團(tuán)隊(duì)的實(shí)際選擇。RISC-V規(guī)范在opcode map里預(yù)留了四個(gè)custom空間對(duì)應(yīng)opcode字段的四個(gè)編碼值。這些編碼的標(biāo)準(zhǔn)指令集部分沒(méi)有分配任何官方指令就是專門留給用戶做擴(kuò)展的。我在例子里用的是CUSTOM-0這個(gè)空間opcode是7位二進(jìn)制0001011十六進(jìn)制0x0b。這個(gè)空間夠不夠用后面接著說(shuō)。1.3 一條新指令跑起來(lái)要打通哪幾道關(guān)把這條路走通你會(huì)發(fā)現(xiàn)工具鏈不是一個(gè)軟件是一串環(huán)環(huán)相扣的組件。簡(jiǎn)單列一下你寫的這條指令從匯編代碼到CPU執(zhí)行中間都要經(jīng)過(guò)誰(shuí)binutils里的gas匯編器把cma這個(gè)助記符和寄存器操作數(shù)編碼成二進(jìn)制指令。binutils里的objdump反匯編器把二進(jìn)制指令反向翻譯回可讀的匯編文本沒(méi)有它你調(diào)試時(shí)會(huì)非常痛苦。GCC編譯器讓你能在C代碼層面直接寫__builtin_riscv_cma(...)生成這條指令或者起碼別在編譯到內(nèi)聯(lián)匯編時(shí)出岔子。鏈接器嚴(yán)格說(shuō)鏈接器不太需要改但如果你要給新指令單獨(dú)安排一個(gè)擴(kuò)展名讓GCC識(shí)別鏈接時(shí)多多少少要確認(rèn)相關(guān)選項(xiàng)傳對(duì)了。模擬器Spike或QEMU。你要在指令集模擬器上執(zhí)行到這條指令的時(shí)候它得知道這條二進(jìn)制該干什么否則直接報(bào)非法指令。硬件或FPGA模擬器過(guò)了之后最后要落到RTL里去執(zhí)行這條指令。這里面每一環(huán)都有自己的一套登記機(jī)制。我的經(jīng)驗(yàn)是先在做任何修改之前把這條鏈路的順序理清楚因?yàn)楹笠画h(huán)節(jié)的報(bào)錯(cuò)原因經(jīng)常在前一環(huán)節(jié)改錯(cuò)地方是新手最容易踩的坑。2. 動(dòng)手前設(shè)計(jì)指令編碼與工具鏈環(huán)境準(zhǔn)備2.1 先設(shè)計(jì)指令編碼位域怎么分配工具鏈適配之前第一步一定是把指令編碼定死。編碼沒(méi)定后面所有地方的MATCH、MASK你都沒(méi)法填。RISC-V的R型指令格式固定是7位funct7、5位rs2、5位rs1、3位funct3、5位rd、7位opcode總共32位。我的自定義乘加指令cma rd, rs1, rs2用R型安排在CUSTOM-0空間里字段分配如下字段位數(shù)本例取值含義funct770000000功能碼高位rs25由匯編器填充源寄存器2rs15由匯編器填充源寄存器1funct33000功能碼低位rd5由匯編器填充目的寄存器同時(shí)也是累加器opcode70001011 (0x0b)CUSTOM-0在這個(gè)編碼里funct7和funct3都是0所以這條指令作為32位整數(shù)的匹配值MATCH_CMA就是0x0000000b。映射表里還有一個(gè)MASK_CMA表示哪些位是固定不變的。它的作用是一條32位指令跟MASK_CMA做按位與之后如果結(jié)果等于MATCH_CMA就說(shuō)明這條指令屬于cma。rs1、rs2、rd是寄存器變量這些位要清零所以#define MATCH_CMA 0x0000000b #define MASK_CMA 0xfe00707fMASK怎么來(lái)的funct7這7位掩碼左移到25位是0xfe000000funct3這3位掩碼左移到12位是0x00007000opcode這7位掩碼是0x0000007f三者相或就是0xfe00707f。一個(gè)很容易忽略但特別重要的問(wèn)題4個(gè)custom空間雖然大但你得規(guī)劃空間。CUSTOM-0這個(gè)opcode下面funct7有128種組合funct3有8種組合理論上還能塞進(jìn)去1024條R型指令。但實(shí)際使用時(shí)要記得給每條指令留出清晰的funct7/funct3分配表不然第幾十條擴(kuò)展指令往下加的時(shí)候編碼表會(huì)亂成一鍋粥。2.2 工具鏈組件與代碼倉(cāng)庫(kù)選擇接下來(lái)說(shuō)工具鏈。做RISC-V工具鏈適配主流有兩個(gè)起點(diǎn)一個(gè)是riscv-gnu-toolchain這個(gè)官方倉(cāng)庫(kù)里面用子模塊方式把binutils、gcc、newlib和glibc組織在一起另一個(gè)是riscv-collab的riscv-binutils-gdb、riscv-gcc倉(cāng)庫(kù)適合你只需要單獨(dú)改某一環(huán)的場(chǎng)景。我的建議是第一遍做適配用riscv-gnu-toolchain原因是它幫你把版本對(duì)齊了幾個(gè)子模塊的版本是互相測(cè)試過(guò)的不會(huì)出現(xiàn)你改了binutils但GCC版本不兼容這種問(wèn)題。后面熟練了再拆開(kāi)單獨(dú)維護(hù)。版本上的經(jīng)驗(yàn)binutils建議2.40以上GCC建議12以上。這兩個(gè)版本開(kāi)始RISC-V后端對(duì)非標(biāo)準(zhǔn)擴(kuò)展的命名和子集管理機(jī)制相對(duì)穩(wěn)定網(wǎng)上能查到的資料也對(duì)得上。太老的版本riscv_multi_subset_supports這類接口的位置和實(shí)現(xiàn)都不一樣照著新代碼改到老版本上會(huì)踩坑。2.3 搭建編譯環(huán)境與最小驗(yàn)證工程環(huán)境上我最推薦的就是Linux x86_64機(jī)器裝好必要依賴后拉代碼編譯。編譯配置大概是這樣git clone --recursive https://github.com/riscv-collab/riscv-gnu-toolchain cd riscv-gnu-toolchain mkdir build cd build ../configure --prefix/opt/riscv --with-archrv64gc make -j$(nproc) linux這里--with-archrv64gc是默認(rèn)架構(gòu)參數(shù)我們用自己的擴(kuò)展名字之后GCC的-march參數(shù)可以覆蓋這個(gè)默認(rèn)值。同時(shí)我建議先建一個(gè)最小驗(yàn)證工程目錄里放一個(gè)測(cè)試匯編文件和一個(gè)Makefile。后面每改一個(gè)組件就跑一遍這個(gè)測(cè)試能第一時(shí)間定位問(wèn)題在哪一環(huán)。我的測(cè)試文件和Makefile大概是這樣的# test.S .text .globl _start _start: li a0, 3 li a1, 4 li a2, 5 cma a0, a1, a2 # a0 3 4 * 5 23 li a7, 93 ecall # 退出Linux下CROSS ? riscv64-unknown-linux-gnu- all: test.bin test.o: test.S $(CROSS)gcc -c -o $ $ test.elf: test.o $(CROSS)gcc -static -o $ $ test.bin: test.elf $(CROSS)objcopy -O binary $ $ dump: test.elf $(CROSS)objdump -d $注意這一步先不要加cma因?yàn)榇藭r(shí)匯編器還不認(rèn)識(shí)它。編譯能過(guò)、objdump能出正常的反匯編說(shuō)明環(huán)境本身沒(méi)問(wèn)題接下來(lái)改工具鏈才有意義。3. binutils適配先讓匯編器和反匯編器認(rèn)指令3.1 指令表修改riscv-opc.h與riscv-opc.cbinutils對(duì)RISC-V指令的登記核心在兩個(gè)文件里。第一個(gè)是include/opcode/riscv-opc.h里面用DECLARE_INSN宏聲明指令第二個(gè)是opcodes/riscv-opc.c里面有一個(gè)riscv_opcodes[]數(shù)組數(shù)組里每一項(xiàng)描述一條指令的助記符、參數(shù)格式、匹配值、掩碼、所屬擴(kuò)展類別。我們先改riscv-opc.h在文件里加上一行聲明DECLARE_INSN(cma, MATCH_CMA, MASK_CMA)這行宏展開(kāi)之后會(huì)聲明一個(gè)外部對(duì)象對(duì)應(yīng)這條指令的匹配信息。然后在riscv-opc.c的riscv_opcodes[]數(shù)組里加一條記錄。數(shù)組里每一條的字段結(jié)構(gòu)大致是助記符、所屬子集、操作數(shù)格式、match、mask、匹配函數(shù)、指令類別。加在我們的指令后面{cma, xcustom, d,s,t, MATCH_CMA, MASK_CMA, match_opcode, INSN_CLASS_XCUSTOM },這里重點(diǎn)解釋兩個(gè)東西。第一個(gè)是操作數(shù)格式d,s,t。在binutils的RISC-V后端里d表示rd目的寄存器s和t表示rs1、rs2源寄存器。助記符后面的字符串決定了匯編器怎么解析這條指令的操作數(shù)。有些指令是立即數(shù)操作數(shù)會(huì)用I表示12位立即數(shù)有些是u、j這種跳轉(zhuǎn)偏移。如果你自定義指令里有立即數(shù)要先搞清楚自己想用的格式有沒(méi)有現(xiàn)成的字母沒(méi)有的話還得在gas/config/tc-riscv.c里擴(kuò)展操作數(shù)解析邏輯。這一步很容易被低估實(shí)際改起來(lái)比R型指令麻煩得多。第二個(gè)是INSN_CLASS_XCUSTOM這個(gè)類別。binutils的RISC-V后端用riscv_insn_class枚舉來(lái)管理指令屬于哪一類I類、M類、A類這些都是預(yù)設(shè)的。xcustom這種非標(biāo)準(zhǔn)擴(kuò)展需要你在對(duì)應(yīng)的枚舉里自己加一個(gè)類別然后在gas的subset支持判斷里給它放行。3.2 匯編器gas側(cè)把新擴(kuò)展注冊(cè)進(jìn)子集在include/opcode/riscv.h里的riscv_insn_class枚舉中加上一個(gè)成員enum riscv_insn_class { INSN_CLASS_I, INSN_CLASS_M, INSN_CLASS_A, ... INSN_CLASS_XCUSTOM, ... };然后改gas/config/tc-riscv.c里的riscv_multi_subset_supports函數(shù)。這個(gè)函數(shù)的職責(zé)就是回答一個(gè)問(wèn)題某條指令屬于某個(gè)指令類別當(dāng)前匯編時(shí)啟用的ISA擴(kuò)展是否包含該類別。不在這里放行匯編器看到cma會(huì)直接報(bào)錯(cuò)。switch (insn_class) { case INSN_CLASS_XCUSTOM: return riscv_subset_supports(xcustom); ... }還要在riscv_subset_supports相關(guān)的解析里讓xcustom這個(gè)字符串能被識(shí)別為合法擴(kuò)展名。RISC-V規(guī)范規(guī)定的擴(kuò)展名規(guī)則里以x開(kāi)頭的是非標(biāo)準(zhǔn)擴(kuò)展binutils在這方面是支持解析的但不同版本對(duì)這個(gè)子集的字符串解析位置略有差異。新一點(diǎn)的版本還會(huì)檢查子集的依賴性有些后端會(huì)要求x擴(kuò)展必須掛在某個(gè)基礎(chǔ)ISA之上比如rv64gc_xcustom這種寫法。我建議在測(cè)試匯編文件里用-marchrv64gc_xcustom的方式來(lái)指定架構(gòu)。改了之后重編binutils再用交叉編譯工具試一下riscv64-unknown-linux-gnu-as -marchrv64gc_xcustom -o test.o test.S如果這條命令能過(guò)說(shuō)明匯編器已經(jīng)認(rèn)了你的新指令。這一步走通了后面的東西就有了地基。3.3 反匯編器讓objdump看懂你的指令很多人在這一步會(huì)有個(gè)誤解以為反匯編器是另一套表。實(shí)際上binutils里反匯編和匯編用的是同一張riscv_opcodes[]表你給匯編器加的cma記錄objdump天然就能用了。它按match和mask去匹配指令的二進(jìn)制編碼匹配上之后把d,s,t格式翻譯回寄存器和助記符。所以這一步基本不用額外改代碼你要做的是編譯完整的binutils之后用objdump -d驗(yàn)證剛才編譯出來(lái)的目標(biāo)文件riscv64-unknown-linux-gnu-objdump -d test.o正常情況下應(yīng)該看到0000000000000000 _start: 0: 000b05b3 cma a0,a1,a2能看到cma a0,a1,a2這一行說(shuō)明反匯編方向也通了。需要注意如果你看到的是.word 0x000b05b3而不是助記符先檢查MASK_CMA和MATCH_CMA這兩個(gè)宏對(duì)不對(duì)尤其是MASK。我見(jiàn)過(guò)有人把MASK當(dāng)成0xffffffff來(lái)寫這會(huì)導(dǎo)致rs1、rs2、rd字段也被當(dāng)作固定匹配位結(jié)果只有特定寄存器組合的指令才能被反匯編出來(lái)這是最常見(jiàn)的大坑。這個(gè)階段的經(jīng)驗(yàn)是匯編器和反匯編器是改起來(lái)最直觀的因?yàn)樗鼈冎恍枰次黄ヅ洳挥美斫庵噶畹恼Z(yǔ)義。你在這里花了工夫把表和掩碼搞對(duì)后面GCC接入時(shí)會(huì)輕松很多因?yàn)镚CC最終生成的匯編文本還是要經(jīng)過(guò)gas這一層。4. GCC適配讓C代碼能直接調(diào)新指令4.1 機(jī)器描述文件在riscv.md里描述指令語(yǔ)義匯編器能用只說(shuō)明程序員可以在匯編層寫這條指令但對(duì)絕大多數(shù)使用者來(lái)說(shuō)更希望直接在C代碼里調(diào)用。這時(shí)候就得改GCC RISC-V后端。GCC后端和binutils最大的區(qū)別是GCC要理解這條指令的語(yǔ)義才能參與優(yōu)化、寄存器分配、指令調(diào)度。你告訴它的方式就是機(jī)器描述文件gcc/config/riscv/riscv.md用RTL寄存器傳輸語(yǔ)言來(lái)描述指令做什么。我在這個(gè)文件里加的模式定義是這樣的用的是語(yǔ)義化描述乘法加加法而不是不可理解的unspec;; 自定義cma指令rd rs1 * rs2 rd (SI即32位) (define_insn cma_si3 [(set (match_operand:SI 0 register_operand r) (plus:SI (mult:SI (match_operand:SI 1 register_operand r) (match_operand:SI 2 register_operand r)) (match_operand:SI 3 register_operand 0)))] TARGET_XCUSTOM cma\t%0,%1,%2)這里有幾個(gè)點(diǎn)必須解釋。第一第3個(gè)操作數(shù)match_operand:SI 3對(duì)應(yīng)的約束是0意思是操作數(shù)0和操作數(shù)3必須分配到同一個(gè)寄存器這就是我們這條指令rd同時(shí)是累加器和目的寄存器的硬件約束。GCC在看到這個(gè)約束后會(huì)在寄存器分配時(shí)強(qiáng)制讓兩個(gè)操作數(shù)共用一個(gè)寄存器如果做不到它會(huì)自動(dòng)插入mov指令來(lái)滿足約束。第二我用了真正的語(yǔ)義mult plus而不是unspec。這兩條路各有取舍。用unspec對(duì)GCC來(lái)說(shuō)是一條黑盒指令它不知道你在算什么不會(huì)瞎優(yōu)化但也沒(méi)法利用這條指令的代數(shù)性質(zhì)。用語(yǔ)義模式GCC就清楚這是乘加它可能會(huì)把別的乘加表達(dá)式也匹配到這個(gè)模式上優(yōu)化機(jī)會(huì)更多但風(fēng)險(xiǎn)是萬(wàn)一你的硬件實(shí)現(xiàn)和標(biāo)準(zhǔn)乘法加法語(yǔ)義有細(xì)微差異比如溢出行為不同、飽和處理不同編譯器會(huì)認(rèn)為它和普通乘加等價(jià)從而在你不知情的地方做了不正確的變換。自定義指令如果語(yǔ)義和標(biāo)準(zhǔn)運(yùn)算不完全一致建議保守一點(diǎn)用unspec加UNSPEC常量如果語(yǔ)義就是標(biāo)準(zhǔn)乘加用語(yǔ)義模式更好。我這里的cma語(yǔ)義就是標(biāo)準(zhǔn)乘加所以用語(yǔ)義描述。第三TARGET_XCUSTOM是個(gè)宏在riscv.h里定義表示當(dāng)前編譯選項(xiàng)里啟用了xcustom擴(kuò)展。這塊要和下一條說(shuō)GCC的-march解析掛上鉤。4.2 內(nèi)置函數(shù)從C代碼到新指令的橋梁機(jī)器描述文件定義了GCC內(nèi)部怎么看待這條指令但用戶沒(méi)法直接用。要提供C語(yǔ)言的可調(diào)用接口就得加內(nèi)置函數(shù)builtin function。GCC RISC-V后端的內(nèi)置函數(shù)注冊(cè)在gcc/config/riscv/riscv-builtins.cc里。新版本GCC定義內(nèi)置函數(shù)有兩種機(jī)制。一種是用__builtin_riscv_cma這種顯式內(nèi)置函數(shù)你在builtins文件里注冊(cè)函數(shù)原型和參數(shù)類型提供一個(gè)riscv_expand_builtin的擴(kuò)展邏輯讓它把函數(shù)調(diào)用展開(kāi)成我們定義的cma_si3模式。簡(jiǎn)化后的注冊(cè)邏輯大概是/* riscv-builtins.cc 中注冊(cè)cma內(nèi)置函數(shù) */ static void riscv_init_builtins_1 (void) { tree ftype build_function_type_list (void_type_node, intSI_type_node, intSI_type_node, intSI_type_node, NULL_TREE); add_builtin_function (__builtin_riscv_cma, ftype, RISCV_BUILTIN_CMA, BUILT_IN_MISC, NULL, NULL); }然后做函數(shù)展開(kāi)把內(nèi)置函數(shù)的三個(gè)參數(shù)取出來(lái)轉(zhuǎn)成rtx再emit到cma_si3模式/* 展開(kāi)邏輯 */ static rtx riscv_expand_cma_builtin (tree exp) { rtx dst gen_reg_rtx (SImode); rtx src1 expand_normal (CALL_EXPR_ARG (exp, 0)); rtx src2 expand_normal (CALL_EXPR_ARG (exp, 1)); rtx acc expand_normal (CALL_EXPR_ARG (exp, 2)); emit_insn (gen_cma_si3 (dst, src1, src2, acc)); return dst; }另一方面是直接讓GCC自動(dòng)猜算RISC-V后端在較新的版本里提供了一種叫自定義擴(kuò)展內(nèi)建函數(shù)的機(jī)制能根據(jù)一條匯編模板自動(dòng)生成對(duì)應(yīng)builtin。具體來(lái)說(shuō)你不需要手寫展開(kāi)邏輯只要在riscv-c.cc里把自定義指令的助記符聲明成可調(diào)用的內(nèi)建函數(shù)就行。但由于各個(gè)GCC版本的API差異比較大我這里不展開(kāi)具體代碼更推薦的方式是先在匯編層把指令驗(yàn)證通過(guò)然后用內(nèi)聯(lián)匯編做C語(yǔ)言層封裝最后如果你確認(rèn)這條指令在項(xiàng)目里會(huì)被高頻使用再花時(shí)間去做正式的builtin接入。4.3 什么時(shí)候用內(nèi)聯(lián)匯編什么時(shí)候用內(nèi)置函數(shù)這一步的取舍是很多團(tuán)隊(duì)工具鏈適配早期特別糾結(jié)的問(wèn)題。我直接說(shuō)結(jié)論原型驗(yàn)證階段用內(nèi)聯(lián)匯編最劃算產(chǎn)品化階段內(nèi)置函數(shù)是正路。內(nèi)聯(lián)匯編的寫法非常簡(jiǎn)單static inline int32_t cma_asm(int32_t a, int32_t b, int32_t acc) { asm volatile(cma %0, %1, %2 : r(acc) : r(a), r(b)); return acc; }你只要匯編器已經(jīng)支持這條指令這段代碼就能用。它的好處是零GCC后端改動(dòng)壞處是GCC把a(bǔ)sm volatile當(dāng)一堵墻它不知道你這段匯編做了乘加運(yùn)算沒(méi)法參與優(yōu)化而且不可避免會(huì)帶來(lái)寄存器壓力、指令調(diào)度變差這些損耗。內(nèi)置函數(shù)則讓編譯器完全理解語(yǔ)義可以進(jìn)行常量折疊、公共子表達(dá)式消除這些優(yōu)化。代價(jià)就是得維護(hù)GCC后端的修改后期還要跟隨GCC版本升級(jí)重新移植。對(duì)芯片公司來(lái)說(shuō)這個(gè)是產(chǎn)品化的必經(jīng)之路但對(duì)一個(gè)剛開(kāi)始研究RISC-V自定義擴(kuò)展的團(tuán)隊(duì)來(lái)說(shuō)我建議分兩步走別一上來(lái)就啃GCC后端。另外提醒一個(gè)很多人不知道的點(diǎn)__builtin_riscv_*這類內(nèi)置函數(shù)是否能被識(shí)別還取決于GCC編譯時(shí)的-march參數(shù)。GCC里ISA開(kāi)關(guān)的控制有兩層一層是riscv.opt里定義的各種-misa-spec、-march之類的選項(xiàng)解析另一層是riscv.cc里的riscv_parse_arch_string函數(shù)解析的擴(kuò)展名列表。如果你的xcustom擴(kuò)展沒(méi)有在這個(gè)解析列表里你傳-marchrv64gc_xcustom的時(shí)候GCC會(huì)直接報(bào)unknown extension。5. Spike與QEMU模擬器驗(yàn)證讓新指令真正跑起來(lái)5.1 Spike適配從編碼表到執(zhí)行函數(shù)軟件工具鏈這邊全部改完之后該跑真實(shí)執(zhí)行了。最合適的驗(yàn)證起點(diǎn)是Spike它是RISC-V官方的指令集模擬器結(jié)構(gòu)很簡(jiǎn)單適合做ISA層面的驗(yàn)證。Spike適配需要改三個(gè)地方。第一步在riscv/encoding.h里加上指令的匹配宏和聲明#define MATCH_CMA 0x0b #define MASK_CMA 0xfe00707f DECLARE_INSN(cma, MATCH_CMA, MASK_CMA)第二步在riscv/insns/目錄下新建一個(gè)cma.h文件實(shí)現(xiàn)指令的具體模擬行為/* riscv/insns/cma.h */ { reg_t old_rd x(insn.rd()); WRITE_RD(RS1 * RS2 old_rd); }Spike的機(jī)制很直觀每個(gè)支持執(zhí)行的指令對(duì)應(yīng)一個(gè)insns/指令名.h文件文件里的代碼會(huì)被展開(kāi)成一個(gè)接收當(dāng)前指令信息、讀寫寄存器堆的執(zhí)行函數(shù)。RS1、RS2分別代表rs1、rs2寄存器的當(dāng)前值WRITE_RD負(fù)責(zé)把結(jié)果寫回目標(biāo)寄存器。注意我們的指令rd既是源又是目的所以先x(insn.rd())把累加器的舊值讀出來(lái)再做乘加這個(gè)順序邏輯上要特別小心。如果你的自定義指令有訪存行為這一步還要考慮尾聲裝置tail處理不能只在寄存器里算完就完事。第三步在riscv/insn_list.h不同版本可能叫別的名字里聲明這條指令DECLARE_INSN(cma, MATCH_CMA, MASK_CMA)這個(gè)列表會(huì)被Spike的decode表生成邏輯掃一遍把每條指令的match/mask綁定到對(duì)應(yīng)的執(zhí)行函數(shù)上。改完重新編譯Spike用Spike跑我們之前的test.elfspike --isarv64gc_xcustom pk test.elf如果程序能正常跑完并退出碼正確那說(shuō)明這一條指令從符號(hào)到執(zhí)行全部通了。在動(dòng)手之前可以用echo $?看看退出碼是不是和預(yù)期一致。5.2 QEMU適配decode文件與trans函數(shù)QEMU的RISC-V后端適配方式完全不同原因是它用TCG做動(dòng)態(tài)翻譯先把目標(biāo)指令翻譯成TCG中間指令再翻譯成宿主機(jī)代碼。QEMU的好處是性能比解釋型模擬器高很多跑完整軟件棧更現(xiàn)實(shí)。QEMU的RISC-V解碼機(jī)制在target/riscv/insn32.decode文件里。這是一個(gè)類Decodetree的格式描述文件我需要給cma指令加一行編碼模板# target/riscv/insn32.decode cma 0000000 ..... ..... 000 ..... 0001011 r這行格式的意思很直白前7位funct7固定0000000中間三個(gè)寄存器字段用.....表示任意5位funct3固定000最后一個(gè)7位opcode固定0001011整體是R型格式r。Decodetree生成工具會(huì)自動(dòng)生成這條指令的解碼函數(shù)把指令的rs1、rs2、rd字段提取出來(lái)放進(jìn)arg_cma結(jié)構(gòu)體里。然后實(shí)現(xiàn)翻譯函數(shù)。我新建了一個(gè)trans_cma函數(shù)放在target/riscv/insn_trans/trans_rvi.c.inc如果你有獨(dú)立的custom擴(kuò)展文件也可以單獨(dú)建一個(gè)inc文件static bool trans_cma(DisasContext *ctx, arg_cma *a) { TCGv t0 tcg_temp_new(); TCGv t1 tcg_temp_new(); tcg_gen_mul_tl(t0, cpu_gpr[a-rs1], cpu_gpr[a-rs2]); tcg_gen_add_tl(t1, cpu_gpr[a-rd], t0); tcg_gen_mov_tl(cpu_gpr[a-rd], t1); tcg_temp_free(t0); tcg_temp_free(t1); return true; }這段TCG代碼的邏輯就是t0 rs1 * rs2t1 rd t0再把結(jié)果寫回rd。TCG的臨時(shí)變量要記得釋放不然一個(gè)復(fù)雜的基本塊翻譯下來(lái)臨時(shí)變量會(huì)堆積。QEMU這邊比較容易踩坑的點(diǎn)是decodetree模板的位數(shù)和字段順序必須和編碼精確一致尤其是寄存器字段的下劃線數(shù)量。.....差一個(gè)點(diǎn)生成的解碼函數(shù)就完全不是你想要的樣子。另外QEMU對(duì)非標(biāo)準(zhǔn)擴(kuò)展的支持在不同版本里變動(dòng)很大新版QEMU8.0以上還引入了riscv,isa字符串解析、多擴(kuò)展配置這些機(jī)制如果你只在老的insn32.decode里加了一個(gè)模板有可能因?yàn)镮SA字符串里沒(méi)有激活這個(gè)擴(kuò)展而拒絕解碼。這塊要看你用的具體版本老版本直接加就行新版本需要同步在riscv_isa_ext相關(guān)的表里注冊(cè)擴(kuò)展。5.3 FPGA與真機(jī)驗(yàn)證簡(jiǎn)述模擬器跑通之后最后一步是硬件驗(yàn)證。這部分工作量和RTL實(shí)現(xiàn)強(qiáng)相關(guān)我只從工具鏈配合角度說(shuō)幾個(gè)要點(diǎn)。在FPGA上你的自定義指令一般以兩種方式存在一是直接改RTL的譯碼和執(zhí)行流水二是用一個(gè)協(xié)處理器接口掛接。無(wú)論是哪種驗(yàn)證時(shí)你都需要把軟件生成的二進(jìn)制喂給CPU核。這時(shí)候前面做的工具鏈工作就開(kāi)始體現(xiàn)價(jià)值了你可以用GCC編出一段真實(shí)的業(yè)務(wù)代碼里面混著大量cma指令直接燒到FPGA上和模擬器的行為做對(duì)拍。硬件驗(yàn)證階段特別建議做一件事在RTL里加一個(gè)指令統(tǒng)計(jì)計(jì)數(shù)器對(duì)碰cma這條指令被執(zhí)行的次數(shù)和Spike或QEMU側(cè)用調(diào)試器或trace工具統(tǒng)計(jì)出來(lái)的執(zhí)行次數(shù)做比對(duì)。如果兩邊次數(shù)不一致說(shuō)明有分支預(yù)測(cè)或者異常路徑上的指令執(zhí)行行為沒(méi)對(duì)齊這種問(wèn)題在純軟件模擬階段根本發(fā)現(xiàn)不了。6. 常見(jiàn)問(wèn)題與排錯(cuò)實(shí)錄6.1 匯編器報(bào)錯(cuò)unrecognized opcode這是最靠前的報(bào)錯(cuò)說(shuō)明gas那條路還沒(méi)通。按順序排查第一riscv-opc.c里的數(shù)組記錄加了嗎格式對(duì)不對(duì)第二riscv-opc.h里的DECLARE_INSN有沒(méi)有第三匯編命令行里的-march有沒(méi)有帶上xcustom第四riscv_multi_subset_supports函數(shù)里有沒(méi)有對(duì)INSN_CLASS_XCUSTOM放行。我遇到過(guò)的真實(shí)情況是前三個(gè)都對(duì)但gas的ISA子集解析函數(shù)在解析xcustom時(shí)因?yàn)榇笮憜?wèn)題沒(méi)匹配上導(dǎo)致放行失敗。RISC-V擴(kuò)展名規(guī)范里非標(biāo)準(zhǔn)擴(kuò)展必須小寫x開(kāi)頭寫成XCUSTOM大概率會(huì)被拒。6.2 objdump反匯編顯示.word而不是助記符這個(gè)前面已經(jīng)提過(guò)優(yōu)先懷疑MASK寫得不對(duì)。把MASK_CMA誤設(shè)成0xffffffff是最經(jīng)典的問(wèn)題這樣只有rs1、rs2、rd恰好全是0的指令才能匹配成功。你有幾條測(cè)試指令要么湊巧能反匯編出來(lái)要么就全部顯示成.word。另外注意objdump匹配指令的順序是按riscv_opcodes[]數(shù)組的先后來(lái)的數(shù)組里的記錄如果和已有的標(biāo)準(zhǔn)指令撞了match/mask標(biāo)準(zhǔn)指令會(huì)優(yōu)先匹配上。所以自定義指令的match一定要檢查是否和現(xiàn)有表重復(fù)尤其是你用funct7、funct3全0這種寬松編碼的時(shí)候。判斷依據(jù)很簡(jiǎn)單match值相同且mask和已有指令有重疊就是沖突。6.3 GCC報(bào)unrecognizable insn這個(gè)報(bào)錯(cuò)發(fā)生在GCC后端意思是GCC生成了某個(gè)RTL模式但目標(biāo)機(jī)器描述文件里沒(méi)有能匹配的指令模板。多半是riscv.md里的模式約束寫錯(cuò)了。比如我在cma_si3模式里用了約束0讓第3個(gè)操作數(shù)和第0個(gè)操作數(shù)共用寄存器如果模式里的操作數(shù)下標(biāo)寫錯(cuò)GCC在寄存器分配階段生成不了合法的匯編就會(huì)在final階段報(bào)unrecognizable insn。排查方法是用-fdump-rtl-all把GCC的RTL中間結(jié)果打到文件里看最終那個(gè)無(wú)法識(shí)別的insn長(zhǎng)什么樣再對(duì)照機(jī)器描述的模式和約束找差異。6.4 Spike報(bào)Illegal InstructionSpike在encoding.h和insn_list.h里都聲明了指令但運(yùn)行時(shí)報(bào)非法指令一般是decode表沒(méi)有生成。Spike的decode表在processor.cc的初始化流程里會(huì)根據(jù)insn_list構(gòu)建一個(gè)按match分組的跳轉(zhuǎn)表如果你的DECLARE_INSN宏位置不對(duì)或者指令的match值被別的指令的mask覆蓋就會(huì)匹配不到。有個(gè)快速驗(yàn)證辦法在Spike的decode函數(shù)里臨時(shí)打印當(dāng)前pc附近的原始指令編碼手動(dòng)跟MATCH_CMA比對(duì)排除編碼問(wèn)題。6.5 問(wèn)題排查速查表現(xiàn)象優(yōu)先排查常犯錯(cuò)誤gas報(bào)unrecognized opcodeopcode表、subset支持march忘記帶xcustom或大小寫錯(cuò)誤objdump顯示.wordMATCH/MASK宏MASK誤設(shè)為全1match與已有指令沖突GCC報(bào)unrecognizable insnriscv.md模式、約束操作數(shù)下標(biāo)寫錯(cuò)約束字符串不對(duì)Spike非法指令encoding.h、insn_listDECLARE_INSN位置不對(duì)match重復(fù)QEMU不能解碼insn32.decode模板點(diǎn)位數(shù)量不對(duì)ISA擴(kuò)展未注冊(cè)6.6 兩個(gè)值得提前做的防坑措施最后分享兩個(gè)我個(gè)人的習(xí)慣。一是每次改動(dòng)工具鏈某個(gè)組件后都用最小測(cè)試工程跑一遍匯編、反匯編、編譯、執(zhí)行四步四步全過(guò)再進(jìn)下一步。這樣做的好處是問(wèn)題永遠(yuǎn)被限制在當(dāng)前改的組件里不至于改到后面還要回頭猜是哪一環(huán)壞了。二是給自己的每條自定義指令寫一張編碼定義表放在倉(cāng)庫(kù)里和RTL代碼、工具鏈代碼一起追版本。包括指令助記符、功能語(yǔ)義、位域分配、MATCH/MASK、寄存器和立即數(shù)格式??雌饋?lái)只是一張表但當(dāng)年你加到第20條、第50條自定義指令的時(shí)候會(huì)發(fā)現(xiàn)這張表是救命稻草它能幫你防止編碼沖突、幫助新同事快速上手也能在工具鏈和RTL對(duì)不上時(shí)快速定位分歧。我個(gè)人跑完這趟流程最大的體會(huì)是RISC-V自定義擴(kuò)展的核心工作量其實(shí)不在RTL實(shí)現(xiàn)而在軟件工具鏈的方方面面。每條指令都要過(guò)匯編、反匯編、編譯、模擬器、硬件驗(yàn)證五關(guān)每一關(guān)的報(bào)錯(cuò)方式都不同排錯(cuò)思路也完全不同。但一旦你用上面的流程把第一個(gè)簡(jiǎn)單指令跑通后面再加新指令就只是重復(fù)勞動(dòng)基本不會(huì)再卡殼了。如果你正準(zhǔn)備動(dòng)手我的建議是先挑一條最簡(jiǎn)單的R型算術(shù)指令用今天這套流程完整走一遍模擬器和FPGA上都跑通再去做那些帶立即數(shù)、帶訪存、帶條件執(zhí)行的復(fù)雜指令會(huì)順暢得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91九色欧美| 久久五月天综合| 亚洲人成网站999久久久综合| 九九热最新| 色丁香婷婷| 五月激情小说| 婷婷伊人綜合中文字幕| 五月婷婷色播| 日日夜夜久| 亚洲综合婷婷五月| 国产精自产拍久久久久久蜜 | 9久久狠狠的| Av九九| 婷婷综合五月| 99久久99视频只有精品| 久久精品熟女亚洲AV麻豆| 六月婷婷在线| 婷婷激情网五月天| 五月丁香婷婷99| 亚洲AV成人在线| 99 这里只有精品| 久久久亚洲成人无码A片| 开心五月婷婷在线视频免费观看| 亚洲综合九九| 天天干天天日蜜臀av| 五月天激情久色| 五月丁香婷婷色色| 99热亚洲精品| 婷婷色五月天在线观看| 婷婷色网| 色优久久| 99热精品在线| 亚洲无码色| 久久婷婷激情| 91avse| 五月婷婷影视| 囯产精品一品二区三区| 99亚洲无码| 欧美天天五月丁香免费观看| 人色五月天婷婷| 大香蕉久久草| 久久狼人天堂| 啪啪91| 日本韩国视频在线观看社区免费的9| 色色色色色色色色综合网| 五月情四婷婷| 亚洲操操| 日本一级特黄大片AAAAA级| www激情婷婷com| 五月婷婷激情69| 婷婷五月四狠狠| 99婷婷狠狠成为人免费视频| 91嫩草国产线观看亚洲一区二区| 欧美精品999| 久久人人九| 欧美丁香婷婷五月天| 俺也去综合| 久久九九网| 高清a片基地| 狠狠色无码| sS丁香五月婷婷| 激情av| 午夜九九九九九九九九九九九九九| 啪啪视频99| 思思热视频在线| 色5月婷婷| 任你爽视频| 欧美在线视频免费播放| 五月丁香影视| 久久久久久久久久8888| 久久精品夜色噜噜亚洲a∨| 99热12| 狠狠色噜噜色狠狠狠综合久久成人波| 天天干天天日天天操| 99高级会所久久| 天天成人综合| 99这里只有| 这里只有久久精99| 六月婷婷开心| 99综合网| 噜噜噜狠狠色综合| 影音先锋AV男人站| 91超碰九色| 99热91| 草综合网| 婷婷色色欧美| 激情五月天网站| 丰满少妇猛烈A片免费看观看 | av网站免费在线| 免费看欧美成人A片无码| 成人草榴视频| 日本久久精品| 丁香五月综合| 婷婷丁香综合成人| 26uuu欧美亚洲日韩| 丁香五月亭亭六月综合激情网| 久久99热 这里有精品| 久狠日av| www.色婷婷| 五月天sesese| 久操热线| 天天爱综合网| 草草女人亚洲| 黄色网址五月婷婷| 五月丁香色色| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 、激情六月天| 99精品在| http://www.lingjunshare.com/| 色播播五月天| 9l视频自拍9l九色成人| www.com色播五月天| 国产精产国品一二三在观看| 97干视频在线| WWW.五月天9999| 五月婷婷六月丁香色| 小视频久久久aaa| 狠狠干综合| 精品一二三区久久AAA片| 日韩天堂久久| 性天天中文网| 天天射影院| AV免费在线网站| 六月丁香激情最新更新| 成人无码髙潮喷水A片| 色九月婷婷丁香| 亚洲五月天第一综合干| 丁香婷婷激情| 热99免费在线| 性欧美日本| 久色大香蕉| 任我肏| 五月花成人网| 丁香婷婷基地| 久久婷网| 日韩九九| 91人妻人人操| 免费不卡狠操美女视频网| 欧美三级巜人妻互换| 丁香五月婷婷久久综合激情网 | 人人澡天天色天天做| 五月色情网| 丁香桃色网| WWW色色色COm| 久久婷婷六月综合| 久久婷婷综合网| www.9797国产| 五月丁香偷拍| 丁香婷婷色五月| 99久久婷婷国产综合精品电影| 99在线观看免费精品视频| 另类激情首页| 中文激情网| 91久久久久久久久18| 亚洲美女裸体被操在线观看| 激情综合网五月婷婷| A片试看120分钟做受视频红杏 | 激情久久肏屄视频| 五月六月丁香激情视频| 国产看真人毛片爱做A片| 九九九九九无码| 97色久| 婷婷丁香九月| 日韩在线视频中文字幕| 天天干夜夜操A片| 五月综合久久| 开心深爱激情网| 深夜婷婷 丁香| 婷婷亚洲日本| 99在线观看| 久久成人性爱| 日韩AV一区二区三区| 五月丁香人人婷婷在线观看| 色 五月 天 婷婷 丁香 九月| 碰97久久| 五月天激情国产综合AV| 婷婷天堂视频| 激情五月婷婷| 色五月色图| 九九热这里只有精品5| 91chinese在线| 综合色天天| 久久综合最新网址| 人人爱人人草| 久久美女五月天| 六月色婷婷综合影视| 综合激情在线视频| 九九伊人网| 99激情网| 五月丁香天天| 日韩啪| 欧美搡BBBBB摔BBBBB| 好激情在线综合网| 永久的网站AAAA| 久久婷婷亚洲| 91激情五月开心| 99热情这里只有精品在线播放| 成人国产欧美大片一区| 欧美成人A片AAA片在线播放 | 丁香六月婷婷久久高清| 人人操av| 4399在线日本A片| 99精品视频在线免费观看| 亚洲AV久久久久久久久久久久久久久久 | 亚洲愉拍99热成人精品| 99久久99九九99九九九| 婷婷五月天激情五月天网站| 久久ww| 99热 日韩| 色婷婷88| 婷婷激情丁香六月| 婷婷五月天777| 色五月婷婷AV| 婷婷久久婷婷色五月| 欧美婷婷| 26uuu日韩| 亚洲综合网激情五月天| 色婷久| 婷婷永久在线| 九九综合| 欧美狠狠色| 色婷五月| 日韩精品呦呦va| 91狠狠综合久久| 极品五月天| 99在线精品视频免费| 亚洲另类毛片| 九色地址91视频| 日韩九九| 97碰碰人人| 超碰在线综合| 中文字幕丰满人妻无码专区| 色色色热热热| 伊人五月天婷婷| 成人丁香色| 色婷婷五月天无码视频| 色在线免费观看| 国产偷人爽久久久久久老妇APP| 久久亚洲激情五码| 丁香六月婷婷久久综合| 天天草天天爽| 高清不卡一区| 六月丁香网| 9l视频自拍9l九色成人| 久久久噜噜噜久久人妻| 色九月婷婷丁香| www.日韩艹| pom538精品视频| 色婷婷精| 五月丁香九九| 琪琪狠狠干| 另类小说色婷婷| 日良久久| 婷婷五月色| 99热免费| 鲁鲁色五月| 少妇大叫太大太粗太爽了A片| 99自拍视频| 国产精品视频免费看| 天天影视天天爽天天草| 十月色综合| 成人欧美一区二区三区在线观看| 丁香婷婷色五月天| 五月天.com| 婷婷免费无视频| 热99国产精品| 欧美激情综合| 婷婷丁香基地在线| 天天弄天天操| 色色色免费视频| 亚洲婷婷五月天| 丁香五月婷婷激情尤物| 日本久久精品| 91中文在线| 玩熟女五十AV一二三区| 色色日本欧美| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲激情网| 五月婷在线| 五月天久久综合| 亚洲婷婷丁香| 成人.在线日韩| 丁香五月天堂网| 九九视频在线观看视频6| AV人人操| 亲子乱AV-区二区三区| www.五月天| 国产精品18久久久| 综合99久久天天综合| 婷婷丁香六月综合激情站| 婷婷99中文字幕| 夜夜躁狠狠 | 99热这只有| 只有精品视频在线观看| 欧洲激情五月天| 亚洲天码视频www蛋播视频| 九九在线精品| 色欲色香综合网| 久久激情视频| 69人人操人人爽| 色情五月综合婷婷| 国产精品香蕉| www.久久久.com| 色综合久久888| 三年高清大片免费观看国语| 久热人妻| 开心激情站| 最近中文字幕大全免费版在线| 亚洲乱码日产精品BD| 91日韩美女被插视频| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 五月色网| 婷婷综合激情五月综合| 婷婷色色婷婷| 人妻久久久久久久| 婷婷丁香中文字幕| 第二色AⅤ| 婷婷在线播放| 精品一二三区久久AAA片 | 成人日韩欧美| 五月丁香激情婷婷综合| 91色逼| 潘金莲AAAAAAAAAA| 99久.| 色婷婷五月天综合网| 婷婷午夜天| 国产人妻人伦精品一区二区| WWW,激情五月天,COM| www.五月天婷婷姐姐| 久久精典| 97干欧美| 婷婷激情社区| cao视频,现在观看| 综合激情五月天六月婷免费视频| 91紱請| 那里有AV网址| 婷婷五月激情小说| av九九| 色女人久久| 色婷婷亚洲综合网站| 丁香婷婷丁香五月欧美人| 婷婷亚洲色| 99国产精品久久久久久久久久久 | 思思热99热| 久久性刺激| 色爱五月天| 色色色com| 色呦呦美女| 丁香五月婷婷基地| 99九九精品视频推荐| 婷婷五月天色网久| 婷婷香五月天| 激情六月下句是什么| 激情六月天婷婷| 五月丁香啪啪啪| 天天se在线视频| 色播五月婷婷| 啪啪操网| 丁香五月开心亚洲| 国产精品久久..4399| 五月丁香AV在线| 99丁香婷婷综合网| 欧美α√| 天天色凹凸| 伊人五月成人| 色婷插| 天天爽综合| 激情五月天婷婷播播久久综合91| 欧美色骚婷婷五月天| 丰满老熟妇BBBBB搡BBB| 婷婷五月噜噜| 99九九视频| 天天色激情| 九伊人网| 欧洲色色| 婷婷永久在线| 五月丁香综合精品欧美| 夜夜操狠狠操| 亚洲成人AV在线| 成人网在线视频| 99re免费精品视频| 日韩av一区二区在线/日产精品久久久 | 丁香激情久久| 色婷婷中文在线| 五月婷婷第四色| 久久丁香综合香蕉| 思思热国产| 91热手机在线| 超碰在线免费9| 91九色视频在线观看| 中文字幕婷婷| 五月婷婷色情| 五月丁香狠狠爱婷婷综合| 99re思思热久久| 91超级碰在线视频| 久9视频| 欧美色婷婷| 欧美成人va| 丁香激激情网| 伊人五月人妻精品| 九九热99熟女| 五月亭亭直播| AAA久久久AAA久久久AAA| 久草五月天| 强奸幻女毛片| 五月丁香婷婷综合网| 久久机热这里只有精品| 五月丁香六月婷婷精品| 97超碰欧美中文字幕| 五月婷婷在线视频| 亚洲AAA| 久久久久久久久久婷婷| 欧美人与性动交CCOO| 99热只有| 激情99热| 伊九九三级区| 狠狠色婷婷7777久综合| 色五月网址| 久久久久人妻精选| 激情伍月 欧美| 九九99精品免费播放| 婷婷五月花丁香| 婷婷综合久久| 啪啪视频99| 七七九色| 99久久国产宗和精品1上映| 久久天堂婷婷五月| 国产精品大香蕉| 激情婷婷网| 婷色五月| 精品色色| 亚洲综合五月天婷婷| www.狠狠狠.com| 色黄啪啪| 伊人激情网| 亚洲蜜桃精久久久久久久久久久久| 色九月婷婷综合| 99成人小视频| 五月激情网络| 婷婷五月天人妻| 六月丁香婷婷色狠狠久久| 夜夜骑夜夜撸| 欧美激情综合| 色啪网| 色婷婷五月天综合网| 久1色色| 97日本在线| 成人在线视频网| 五月天婷婷影院| 色久丁香五| 操人妻视频91| 色综合色综合色综合色综合| 丰满熟女人妻一区二区三| 久久99这里只有精品视频| 大香蕉五月婷婷| 99热在线观看| 综合久久激情久久| 97伦乱| 超碰在线免费观看日韩| 丁香六月丁香婷婷激情| 午夜丁香婷婷| 黄色片久久| 久久性爱视频免费| 五月综合777| 婷婷伊人综合中文字幕| 激情文学久久| 久久性刺激| AV片在线观看| 成人午夜天| 色狠狠色噜噜AV天堂五区| 99这里有精品| 天堂成人A片永久免费网站| 大香蕉婷婷五月天| 婷婷五月成人| Www.sesese丁香| 色99色| 久久婷婷五月天激情四射| 思思精品热在线| 五月婷av| 无码激情| 黄网在线免费观| 1000部毛片A片免费观看| 天天色情站| 真实的国产乱XXXX在线91| 亚洲AV无码电影| AV片一区在线观看| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 国产一级片| 欧美六月| 99视频| 精品人妻久久久久久| 五月天天久久香| Www,五月天| 五月婷婷之激情五月| 色的色综合| 欧美大奶熟女噜噜噜噜| 99性爱视频网站| 日本系列_4页_777FP| 激情五月天色播| 五月天婷婷在线视频| 第五色婷婷| 丁香性爱在线视频| 五月婷婷黄色| 狠狠艹狠狠艹| 五月天成人网在线观看| 日本三级韩三级99久久| 丁香色影院| 夜夜骑操AV| 综合激情网| 五月婷婷之综合激情| 九色自拍| 人人操婷婷| 丁香五月亚洲激情婷婷射| 色播丁香婷婷五月激情| 丁香五月婷婷视频| 国精产品一区一区三区免费视频| AⅤ在线播放网| 99热精品在线| 5月婷婷六月丁香| 99愛国产| 婷婷中文字幕| 婷婷在线综合| 丁香五月婷婷激情蜜桃| 99精品成人无码A片观看金桔| 精品夜夜澡人妻无码AV| 91综合在线| 亚洲成人电影在线免费观看| 天堂成人久久| 成人精品亚洲性爱| www.99热国产| 久久这里只有精彩| 狠狠色丁香婷婷久久综合| 九九久久综合| 97资源碰碰在线| 日逼免费视频| 99re在线播放| 激情 五月 婷婷 丁香| 激情小说之五月| 九九这里有精品| 久久婷婷五月综合啪| 99爱视频精品在线观看| 深爱激情丁香五月| 五月香婷婷| 在线观看亚洲视频影院| 欧美狠狠色| 成人AV片播放| 丁香五月天啪啪激情综和网| 大香蕉久久| 九九综舍久久| 操逼六区| 91婷婷搞| 亚洲综合五月天婷婷丁香| 69超碰在线| 思思视频精品| 中字幕视频在线永久在线观看免费| 狠狠色婷婷色| 天天日天天爽夜夜爽| 日本三级第一页| 天天添天天摸天天天天做| 高清视频一区| 欧美一级色| 色99婷婷五月天| tingting五月天亚洲| 色综合激情| 久久人视频| 六月丁香婷婷亚洲中文玖玖| 精品国产乱码久久久久夜深人妻 | 色色99| 六月丁香啪啪| 亚洲综合在线视频| WWW久久久| 国产成人综合网| 久久伊人五月天| www久久久| 丁香五月婷婷五月| 色色激情五月| 日本老女人黄页在线播放| www.99热这里只有精品| 激情99| 五月天婷婷激情在线色图| 噼里啪啦完整版中文在线观看| ww久久| 五月色丁香| 黄色99网| www.AV在线| 五月婷婷99热| 亚洲五月天综合| 五月丁香成人网| 五月婷婷精品视频| AAA级久久久精品| 99爱在线视频观看| 丁香五月AV| 五月婷婷AV| 一根材五月婷成人| 国产第99页| 91久久1118| 成人必爱视| 天天日,天天射,天天舔| 九九热婷婷| www.激情五月| 久久色五月天激情小说| 黄色短视频在线观看| www.五月天色色.com| 丁香五月婷婷婷婷欧美综合| 一区操| 婷婷五月综合激情| 久久思思精品| 中文网AV| 69精品人妻不卡视频| 国产密乳av一区二区三区四区| 婷婷激情综合色五月久久91| AV操操操| 夜夜干天天干| 亚州激情在线视频| 日韩综合成人| 99久在线精品99re8| 婷婷五月天人妻| 综合激情在线| 99精品久久久久久| 亚洲另类电影| 色噜噜狠狠色综无码久久合欧美| 丁香五月综合在线| 9191avse| CHINESE熟女老女人HD视频| 激情五月婷婷丁香| 少妇口诉沐足视频播放器网址| 丁香五月激情网| 亚洲精品a成人在线播放| 色综合丁香| 色五月影视| 色噜噜狠狠色综合网| 欧美三级巜人妻互换| 久久久久9| 亚洲日日操| 琪琪理论片| 色婷婷偷拍| 五月激情婷婷六月丁香| 黄色av高清| 久久9精品视频| 丁香五月婷婷色播艳门照| 99精品热视频只有精品10| 亚洲成片在线观看| 草榴视频黄色网| 亚洲精品又粗又大又爽A片 | 色久女| 五月婷婷真爱激情网| 91色久| 极品另类| 日本V在线观看不卡视频网站| 久久久久人妻网址| 欧美五月丁香在线| 欧美亚洲成人在线| 99热在线观看| 99在线精品观看99| 婷婷激情六月综合| 六月色国内综合| 天天色五月| 怡春院久操| 99热在线观看| 久久9久| 91要啪| 91肏| 91性高潮久久久久久久久| 第四色五月婷婷| 亚洲激情五月丁香久久久久| 色情五月天首页| 色欲av伊人久久大香线蕉影院 | 五月婷婷开心亚州在线| 欧美天天五月丁香免费观看| 五月丁香婷婷无码中文| 婷婷五月综合婷婷| 日本婷婷网| 新99思思视频| 丁香色婷婷| 精品久久99码| 麻豆AV一区二区三区| 五月丁香六月玩女人| 色五月丁香婷婷| 丁香五月天av| 五月丁香婷婷三级| 性爱电影科技贸易有限公司| 五月噜噜| www.minyis.com【JT】实力收量可预付QQ2101460746 | 五月婷婷在线免费| 色婷婷88| 人妻中文在线| 色播婷婷五月天| 婷婷五月激情图片| 图片区 小说区 区 亚洲五月| 欧美性生交XXXXX无码小说| 色色网站毛片| 99人妻碰碰碰久久久久| 色射影院| 啊v视频在线观看| 欧美日本黄色| 开心亚洲久久开心| 久久婷婷五月草视频在线播放| 开心婷婷五月花| dingxiangtingtingliuyue| 颜射 精品性爱av| 无码G高清天| 五月天综合影院| 五月花综合视频| 91色涩| 中国丰满熟女A片免费观| 国产97在线日韩亚洲女人被黑人巨大| 啪啪操操| 无码G高清天| 婷婷综合激情| 思思99热| 久婷自拍视频| 婷婷丁香91| 久久九九中文字幕| 97av在线视频| 亚洲天天综合| 99热精品无码| 婷婷色综合av| 五月天社区| 99re在线免费视频| 成人中文字幕在线| 日韩按摩二区| 婷婷五月天堂| 五月丁香性爱| 伊人狼人干| 五月天婷婷xxx| 97丁香五月| 亚洲五月婷婷| 婷婷五月天网址| 婷婷精品视频| 丁香五月天啪啪| 色99在线| 激情五月天视频| 五月激情六月宗合| aa久久| 狠狠色中色| 天天综合色丁香| 激情网开心网| 9久久精品| 大香蕉视频99| 大香蕉五月丁香| 五月婷六月婷婷| 国产精品国产成人国产三级| 丁香花五月天激情| 五日激情综合| 五月丁香六月婷| 国产91视频| 伊人综合网4| 综合网天天| 综合久久高清| 99色热视频在线| 老司机视频lsj爱就色| 精品国产人人爱人人| 日本婷久久| 国产美女主播vip| 丁香五月在线观看完整版| 秋霞A V毛片| 狠狠色婷婷7777久综合| 久久色五月天激情小说| 99热九九热| 99久久天堂婷婷| 欧美va精品va老师va| YW无码| 久色五月婷婷综合| 亚洲乱码日产精品BD| 久操干| 激情五月色婷婷| 真实熟女-91九色| 婷婷综合五月色播| 九九色情网站| 婷婷五月天论坛| 精品久久艹| 碰碰碰91| 日本爆乳片手机在线播放| 天天草女人| 新五月天婷婷激情电影| 日韩无码AV电影网站| 九九亚洲小视频| 思思久久99热| 99色在线视频| 51成人| 色色性爱视频| 91人妻人人操| 久久婷婷成人综合色怡春院| 欧美操综合| 五月丁香六月综合激情网| 国产毛片精品一区二区色欲黄A片| 久久婷婷激情四射五月天| www婷婷| 婷婷免费无马| www.五月丁香| 九九碰九九爱97超碰| 79精品视频在线观看,| 久久精品五月| 丁香五月婷婷啪啪啪| 丁香五月激情综合婷综| 久久92| 五月婷婷六月丁香首页| 激情小说视频图片| 99久久婷婷国产综合亚洲| 激情综合网五月激情网| 久久密臀婷婷| 丁香九九九九| 99久热在线精品| 久久香蕉影院| 99热这里只有精品最新| 婷婷五月天综合亚洲| 久久只这里有精品| 日本全黄一级999| 亚洲区视频| 五月丁香激情四射综合| 午夜少妇在线观看视频| 色深爱五月| 色色五月丁香婷婷| 国产毛片精品一区二区色欲黄A片| 天天摸人人摸| 久久99精品九九久久久婷婷| 色亚洲婷婷| 在线观看免费观看在线9久| 99er免费在线观看| 五月丁香偷拍| 99这里只有精品| 久久五月天黄色五月天色网址| 久久久久视剧HD| 亚洲99热| 狠狠色噜噜色狠狠狠综合久久成人波 | 色五月大香蕉婷婷| 热久精品| 亚洲 日韩色色| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 婷婷六月综合基地| 91丨九色丨熟女丰满| 噼里啪啦在线观看免费完整版视频 | 丁香九月久久| 五月网激情| 人人草碰| 亚洲国产精品VA在线看黑人| 久久婷婷内射| 狠狠撸激情综合丁香五月天俺来啦| 麻豆忘忧草午夜| AV性爱网| 五月四色婷婷| jiqingtaose五月天| 亚洲成人AV电影网| 开心五月天激情网| 无码人妻一区二区三区免费九色| 日本三级色| 成人av中文字幕| 五月开心深深爱激情综合| 99激情网| 青青草99re| 爱久综合| 欧美五月婷婷| 99热最新地址在线| 九九综合网色全集| 久草婷婷| 色色五月婷婷| 天堂AV在线看| 五月丁香天天| 99热免费精品热久久66| 久草婷妨| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 国产麻豆视频| 亚洲综合五月天| 九九久久综合| 激情五月天色婷婷综合| 热99视频精品| 他改变了拜占庭| 五月婷亚洲精品AV天堂| 狠狠婷婷综合| 丰满少妇猛烈A片免费看观看| 婷婷开心激情| 人人干人人操人人摸| 激情五月亚洲| 丁香5月啪啪| 丁香婷婷少妇| 午夜美女人啪最红院| 九九人妻福利| 国产xxxxx在线观看| 成片免费观看大全| 丁香五月桃花在线激情综合| 爆乳熟妇一区二区三区四区| 欧美丰满熟妇BBB久久久| 99热官网| 久久99婷婷| 色欲天天综合| 激情综合网五月婷婷| 日本啪啪天堂| 亚洲精品成人| 久久99热这里只有精品| 色婷婷五月天视频网站| 色色日韩无码| 丁香婷婷色五月天| 玖玖资源站蜜臀| 五月丁香啪啪综合| 九九热精品视频| 婷婷五月色激情欧美激情| 五月婷婷啪啪| 亚洲啪啪网| 99re热在线视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 天堂网色婷婷| 婷婷最新地址| 日本婷婷色| 狠狠久综合| 99在线视频资源| 日韩欧美颜射| wWw色五月| 爱操人妻| 9l视频自拍九色9l视频在线观看| 色婷婷六月天| 婷婷综合另类小说| 色五月激情网| 色五月婷婷少妇人妻| 婷婷在线视频| 久久六月天| 国产成人在线不卡AV| 久热人妻| 丁香五月激情月| 香蕉久久国产AV一区二区| 激情深爱五月天| 人妻熟女一区二区AV| a网站免费观看| www.99热| 欧美三级A做爰在线观看| 婷婷99狠狠躁天天久久久九九九| 国产欧美大香蕉一区| 9999热在线免费观看| 婷婷色色五月天| 亚洲综合视频一下| 思思久久思思| 色婷婷五月天偷拍| 亚洲天天| 超碰人人草| 欧美精品狠狠色丁香婷婷| www.97干视频| 婷婷五月天激情电影小说| 丁香六月婷婷| 91久久久久久| 在线免费观看激情视频| 97人妻碰碰碰久| 狠狠搞五月天| eeuus五月婷| 婷婷五月丁香伊人| 99视频这里有精品| 色婷婷电影| 国产精品第一国产精品| 碰99在线| 超碰在线观看99| 激情婷婷丁香色五月| WWW,五月| 激情丁香九九五月综合网| 69精品人人人人| 九九精品丁香花| 欧美日韩99| 色五月激情五月丁香五月婷婷啪啪综合| 天天 日综合| 色婷婷丁香香香蕉视频| 欧美黄色AA片哗啦啦啦| 丁香婷婷婷婷十二月在线观看视频| 亚洲成片在线观看| 激情五月综合色婷婷| 五月天狠狠草| 婷婷射丁香| 中文字幕无码人妻少妇免费视频 | 爱狠射| 日本激情ⅩXX免费视频| 欧洲色色| 亚洲免费综合一区| 天天操夜夜爽天天操| 六月激情综合| 欧美色五月| 人碰人人人玩91| 婷婷丁香视频在线观看免费| 99热成人精品网站| 丁香深五月婷婷| 国产精品五月丁香| 色999亚洲人成色| 91中文狠狠综合| 五月天激情四射网站| 综合亚洲五月天| 色五月婷婷丁香五月| 久久久婷| 日本97在线观看| 在线99热| 俺也高清无码高清视频| 99精品久久| 色婷久九| 亚洲婷婷乱乱丁香| 亚洲久热| 最新日韩AV中文字幕| 五月丁香婷中文| 天天拍天天操| 婷婷偷拍网| 五月丁香婷婷基地| 久久丁香综合精品综合| 狠狠搞五月天| 丁香五月电影| 久久99婷婷| 五月丁香六月婷婷视频| 五月婷婷综合在线| 久久婷婷六月综合| 色播六月| 五月婷在线观看| 超碰在线免费| 丁香9月婷婷| 免费五月婷婷网| 天天插天天射| 亚洲性爱99| 婷婷射图| 97视频久久| 激情五月综合| 六月婷婷香蕉| 欧美VA在线观看| 五月天婷婷无码| 丁香五月亭亭六月综合激情网| 婷婷五月av| 一逼色综合| 另类小说五月天| 91人人操人人爱| 五月婷婷官网色| 亚洲AV无码一区二| 日本社区五月天激情| 久久女人九九| 91热网址| www久久久| 婷婷伊人| 天天色天天爱天天爽| 国产精品18久久久| 色婷婷色五月色丁香| www,99视频| 天天色天天| 国产在线黄色| 亚洲AV网站在线观看| 67194成I人在线观看线路1| 天天干天天色综合| 综合久久综合久久| 狠狠干婷婷| 五月婷婷狠狠干| 99视频在线啪| 色婷婷狠狠18禁| 深爱激情AV| 成人做爰高潮A片免费视频| 五月丁香 啪啪啪| 91久久九色| 婷婷五月综合亚洲| ww超碰在线| 久热91| 六月婷婷影院| 丁香五月综合激情性爱| 色色色999| 精品国产va久久久| 婷婷丁香六月天激情四射网| 九九热婷婷| 丁香五月手机在线| 九九热自拍| 五月婷伊人| 97很鲁在线视频| 丁香五月婷婷基地| 婷婷五月电影| 成人美女网| 五月开心网| 婷婷丁香午夜综合影视| 九八Av| 涩综合网| 99热最新地址在线| 成人无码精品1区2区3区免费看| 色五月婷婷很很操| 色情婷| 色五月激情综合网| 99思思热只有在这里看| 久久99视频| .肏屄视频一区二区| 天天色视频| 天天狠狠夜夜狠狠2023| 欧美大奶熟女噜噜噜噜| 黄网在线免费| 久热免费| 五月天亚洲图片婷婷| 久久五月天 91| 久大香蕉| 亚洲avjiujiur91| 草榴成人影片| 国产亚洲色婷婷久久99精品91| 99热在线精品观看| 精品一区二区三区四区五区六区介绍| 黑人巨粗进入警花疼哭A片| 任你爽精品免费视频6| 色狠狠激情五月| 久9免费视频| 99操网站| 亚洲色五月| 狠狠干天天日| 色久播播| 五月丁香亭亭A片| 9999久久久久| 91九色丨国产丨爆乳| 五月青青草综合| 色婷五月| www.久久综合| 99热精品网| 欧美在线干| 色婷婷婷婷| 色婷婷六月开心中文字| 在线观看五月婷婷网| 久久99久久99精品免观看粉| www.九九婷婷| 九月停停| 色色色色色色综合网| 激情六月天| 丁香六月激情| 精品无吗va视频免费观看| 色婷婷丁香五月天激情综合网| 五月丁香大相交| 另类国产区| 国产乱子轮XXX农村| 丁香五月天堂| 五月天色丁香| 另类小说五月天| 这里只有精品网站| 久久精品亚洲热| 深爱女色婷婷丁香五月亚洲图区| 狠爱婷色| 亚洲精品V天堂中文字幕| 超碰在线91| 伊人久久婷婷| 99色在线视频| 六月婷久久| 五月开行婷婷色五月| 五月天激情综合10p| 精品99网站| 日日鲁鲁夜夜爽爽| 激情五月综合ì香亚洲| 丁香五月第九色| 2015WWW永久免费观看播放| 日本人人草草| 人妻中文字幕网| 免费无码毛片一区二区A片 | 99ER热精品视频| 99热综合在线| 大香蕉精品视频| 天天在线XXX| 亚洲午夜电影| 99精品小视频| 饮料下药迷倒漂亮女同事强干| 在线观看玖玖资源免费观看| 激情五月综合色| 欧美日韩大黄| 五月丁香婷婷啪啪综合网| 第2色五月婷| 99综合视频| renrencaoni| 久久婷婷五月激情网站| 久热网站| 婷婷情色激情| 久久人妻情侣| 色色哒五月婷婷六月丁香| 美女激情婷婷| 五月丁激情| 在线1青婷| 人妻激情在线| 俺去也婷婷| 亚洲偷| 艳妇野外情欲放荡HD| 久久人妻精品| 国产成人精品亚洲线观看| 开心五月婷婷激情| 午夜天天精品视频| 色婷婷8| 99色日本| 性色欲情 网站| 丁香网五月网| 国产在线另类五月婷婷| 日日撸夜夜操| 久久综合婷婷五月| 人人摸人人干| 婷婷桃色网| 色综合9| 婷婷五月丁香六月| 久久婷婷五月综合| 性爱动图国产麻豆一区二区三区| 四色综合网| 五区毛片七区毛片| 97碰碰视频在线观看| 丁香色婷婷| 色婷婷基地| 欧美叉叉叉BBB网站| yiqicaoav| 久草a片| 色婷綜合网| 99这里有精品视频视频| 成人精品在线| 日日夜夜亚洲一区| 色九月婷婷| 思思国产99| 亚洲综合色网| 丁香天堂夜| 91超碰九色| 亚洲色五月天是什么| 色婷婷亚洲婷婷在线观看| 成人av在线网站| 五月婷视频| 性爱激情五月| 亚洲久热| 狠狠色噜噜狠狠狠狠综合| 欧美激情性做爰免费视频| 激情五月天色婷婷综合| 激情婷婷丁香色情五月天| AV在线观看网站| 激情五月天.色网| 欧美大香蕉视频| 丁香婷婷五月基地| 激情综合五月天| 成人无码精品1区2区3区免费看| 五月色亚洲| 久久五月视频| 14色综合婷婷| 成人做爰A片免费看视频| 久久九九99.www| 婷婷另类开心| 啪啪综合网| 99超碰欧美| 久久婷婷成人视频| 色综合久久综合中文综合网| 丁香五月婷婷激情蜜桃| 色五月丁香婷婷综合| 欧美色图天堂网| 婷婷色中文| 丁香五月第九色| 婷婷色色五月天| 国产avapp 网| 五月丁香六月在线| 婷婷五月性感| 激情五月综合六月丁香婷婷狠狠干| 日日爽日日| 亚洲av另类在线观看| 久久伊人婷婷| 激情五月天综合网| 日本 色综合| 99免费视频网| 精品视频二级九九| 激情五月婷婷啪啪| 亲子乱AV一区二区三区下载| 亚洲偷| 2w在线视频| 狠狠色噜噜狠| 天天综合天天玩夜夜玩天天玩夜夜玩 | 婷婷午夜精品久久久| 六月丁香激情婷婷| 九九九激情综合| 玖玖爱伊人| 九月激情网| 大香蕉五月天婷婷| 久色婷婷200| 在线成人国产| 日本色色色| 九九日伊人| 色婷婷香蕉丁丁网| 五月久久综合| www.激情五月天com| 婷婷综合九色伊人| 五月丁香AV在线| 国产操逼视频网站| 日本五月婷婷| 大香蕉伊人爱在线| 午夜成人AV在线| 五月丁香婷婷综合网色欲|