99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

xvisor時間虛擬化實戰(zhàn):從虛擬定時器設計到Guest時鐘校正

xvisor時間虛擬化實戰(zhàn):從虛擬定時器設計到Guest時鐘校正 1. 為什么專門聊xvisor的時間虛擬化1.1 從一次“Guest卡死”說起先講個我實際踩過的坑。前兩年在一款ARM嵌入式板卡上做多系統(tǒng)隔離方案選了xvisor作為Type-1 hypervisor跑一個輕量級Linux Guest。功能驗證基本通過但跑了一天后發(fā)現(xiàn)Guest的gettimeofday返回值跟墻鐘差了將近40秒再跑幾天直接差到幾分鐘。起初我以為只是NTP沒同步后來用串口抓日志發(fā)現(xiàn)vCPU在定時器中斷里反復進出Guest的時鐘中斷頻率明顯不對甚至出現(xiàn)連續(xù)drop tick的情況。這個問題帶我走進了xvisor的時間虛擬化實現(xiàn)。說實話虛擬化領域大家聊得最多的是CPU虛擬化、內存虛擬化、中斷虛擬化時間虛擬化經常被一筆帶過。但真正做過hypervisor的人都知道時間虛擬化是“看著不起眼、做起來頭疼”的模塊——它跟調度器、中斷控制器、物理定時器、Guest內部時鐘源全都有耦合。Guest卡死、時鐘漂移、性能抖動十有八九是時間虛擬化沒設計好。這篇文章就以xvisor為例掰開揉碎講清楚時間虛擬化是怎么設計的。適合三類人看一是做嵌入式虛擬化方案選型的技術負責人想評估xvisor能不能用二是自己寫或維護hypervisor的開發(fā)者想?yún)⒖家惶卓陕涞氐膖imer虛擬化設計三是正在被“Guest時鐘不準”“定時器中斷風暴”之類問題折磨的運維和驅動開發(fā)同學。1.2 xvisor是誰為什么拿它當例子xvisor是一個開源Type-1 hypervisor主打輕量、可移植官方支持ARM、x86、RISC-V等架構在嵌入式領域常被拿來跟KVM、Xen、Xenomai這類方案做對比。它的代碼量比Linux內核小好幾個數(shù)量級但虛擬化核心要素齊全CPU虛擬化、設備模型、中斷虛擬化、時間虛擬化都有完整實現(xiàn)。也正因為代碼規(guī)??煽胤浅_m合用來“解剖”虛擬化內部原理。選xvisor講時間虛擬化還有一個重要原因它的設計思路很“直給”。不像大型hypervisor那樣為了兼容各種硬件而堆滿條件分支xvisor在時間子系統(tǒng)的抽象上做得很精簡——核心對象少、依賴關系清晰、中斷流明確。讀懂它的時間虛擬化再回頭看KVM的kvm-clock、Xen的xen_timer會發(fā)現(xiàn)底層邏輯是相通的只是工程復雜度不同。這篇文章我不會只貼源碼也不會只講理論。我會從“Guest感知的時間到底是什么”這個根問題出發(fā)拆解xvisor的設計取舍然后給出我在實際編譯、配置、驗證過程中用到的操作步驟和調試命令最后把我踩過的坑整理成排查清單。保證你看完能對時間虛擬化有一個完整的、可復用的認知框架。2. 時間虛擬化的核心難點Guest眼中的“時間”從哪來2.1 三條時間線Guest同時在用三套時鐘要理解時間虛擬化先得搞清楚虛擬機里的“時間”不是一個東西。實際運行中一個Guest至少依賴三條時間線。第一是墻鐘時間wall clock也就是人類可讀的日期時間比如2025年幾月幾日幾點幾分。Guest里的用戶程序調用clock_gettime(CLOCK_REALTIME)拿到的基本是這條線。墻鐘時間通常是軟件維護的根節(jié)點是某個RTC芯片或網(wǎng)絡時間協(xié)議。第二是單調遞增時間monotonic time用來計算時間差、超時判斷比如clock_gettime(CLOCK_MONOTONIC)。這條線不能被用戶跳變只能單調往前走。內核里的jiffies、高精度定時器hrtimer都依賴它。第三是硬件定時器時間線。CPU或者SoC內部有周期性的硬件定時器——ARM的Generic Timer、x86的TSC/APIC timer、RISC-V的mtime等。操作系統(tǒng)用它來產生周期性tick中斷驅動調度器、時間輪、延遲執(zhí)行等機制。三條時間線各有各的虛擬化難點。墻鐘時間主要是“怎么把宿主機的當前時間安全地給Guest”單調時間主要涉及“offset和速率怎么折算”硬件定時器則是真正的硬骨頭——因為Guest要直接操作硬件定時器寄存器而hypervisor必須截獲這些訪問并進行模擬。2.2 直接透傳的致命問題Guest能碰到物理中斷有人可能會問既然ARM有Generic Timer這種虛擬化友好的硬件直接把定時器硬件給Guest用不就行了問題沒那么簡單。ARM Generic Timer確實提供了CNTVCT虛擬計數(shù)器、CNTVOFF虛擬偏移、CNTV_TVAL虛擬定時器這些機制硬件層面就已經支持時間虛擬化。但xvisor的目標是通過設備樹描述虛擬平臺要支持不同板卡、不同ARM實現(xiàn)不能默認所有平臺都帶完整的虛擬化定時器擴展。更重要的是即使硬件支持Guest對定時器的訪問仍然會產生虛擬中斷hypervisor必須參與中斷路由。直接透傳最典型的災難是Guest把定時器的觸發(fā)周期設置得極短比如每10微秒產生一次中斷而且沒有經過hypervisor的rate limiting物理CPU就被中斷風暴占滿其他vCPU完全餓死。又比如Guest在suspend時把定時器關閉但hypervisor不知道導致喚醒后時間完全錯亂。所以xvisor的總體思路很明確虛擬定時器必須由hypervisor統(tǒng)一管理Guest不能直接拿到物理定時器的全部控制權。2.3 時間虛擬化的三個基本操作Offset、Dilation、Injection拋開硬件細節(jié)時間虛擬化本質上就是對Guest可見的時間軸做三個操作。第一個是Offset偏移。虛擬機的啟動時間點通常不等于宿主機的時間零點而且多個虛擬機可能要求看到不同的“當前時間”。hypervisor維護一個基準時間點為每個Guest計算一個偏移量。Guest讀時間時hypervisor返回“物理時間 offset”。第二個是Dilation縮放。虛擬機的時鐘速率不一定跟物理時鐘1:1。調試場景里經常需要“放慢”Guest的時間比如把Guest的時鐘減速到0.5倍速這樣跑定時器相關的競態(tài)條件時更容易復現(xiàn)。反過來性能測試時又想讓Guest時間盡量貼近物理時間。實現(xiàn)縮放最簡單的方法是修改虛擬定時器的周期——物理定時器每10ms觸發(fā)一次但告訴Guest每次都過了20msGuest感知的時間就被拉伸了兩倍。第三個是Injection注入。虛擬定時器到期后hypervisor不能直接讓物理中斷打到Guest的向量表里而是需要構造一個虛擬中斷通過中斷控制器的虛擬化接口注入給指定的vCPU。注入的時機、優(yōu)先級、目標vCPU選擇都有講究做不好就會出現(xiàn)中斷丟失或者重復注入。xvisor的時間虛擬化本質就是一套把這三件事做扎實的框架。3. xvisor的時間虛擬化設計拆解3.1 兩層定時器Host Timer與Virtual Timer先區(qū)分兩個概念xvisor代碼里明確區(qū)分了“主機定時器”host timer和“虛擬定時器”virtual timer。這個概念如果不厘清代碼會越看越亂。Host Timer是物理定時器由xvisor自身使用用于產生hypervisor內部的心跳tick——調度器的時間片輪轉、延遲任務、超時檢查都靠它。xvisor把物理定時器配置成固定周期比如配置CONFIG_SCHED_PERIOD相關的值每次中斷到來時xvisor的時間子系統(tǒng)統(tǒng)一處理。Virtual Timer是給每個Guest vCPU仿真的定時器。每個vCPU維護自己的虛擬定時器狀態(tài)——什么時候到期、周期多少、中斷注入給誰。Guest在設備樹里看到的定時器節(jié)點就是xvisor為它創(chuàng)建的一個虛擬設備。這樣的兩層設計有一個明顯好處物理定時器只有一個中斷頻率可控可預測虛擬定時器數(shù)量可以任意多且互相隔離。Guest無論怎么折騰自己的定時器配置影響的只是它自己的虛擬定時器上下文物理中斷的穩(wěn)定節(jié)奏始終由hypervisor掌握。3.2 核心對象timer、timer_event、vcpu_timexvisor的時間虛擬化核心代碼在core/time.c和對應架構的arch/arm/time.cARM平臺。語言用的是C但我先不貼大段源碼而是把里面的關鍵對象捋清楚。第一個核心對象是struct timer代表一個“到點需要處理”的注冊項。它包含回調函數(shù)、參數(shù)、到期時間、周期標志等。xvisor的定時器管理類似內核的timer wheel但精簡得多基本是一個按到期時間排序的單向鏈表。注冊一個定時器意味著把回調掛到鏈表上時間一到回調執(zhí)行。第二個核心對象是struct timer_event這是虛擬定時器的事件描述。每個vCPU維護一個timer_event代表該vCPU當前正在等待的虛擬定時器到期點。Guest設置CNTP_TVAL或CNTV_TVAL時xvisor把它翻譯成一個絕對到期時間掛到timer_event上。第三個核心對象可以叫vcpu_time context它記錄了虛擬時間與物理時間的換算關系offset、dilation系數(shù)、上次同步點等。每次Guest讀取虛擬計數(shù)器時xvisor根據(jù)這個context計算出返回值。這三個對象的關系是物理tick到達 → host timer鏈表中找到最近的timer_event → 判斷哪個vCPU的虛擬定時器到期 → 更新vcpu_time context → 構造虛擬中斷注入給目標vCPU。3.3 虛擬中斷的流轉路徑從物理中斷到Guest中斷向量中斷路徑是時間虛擬化里最容易出bug的地方。我梳理一下xvisor在這條鏈路上做了什么。首先是物理中斷入口。ARM架構下定時器中斷是PPIPrivate Peripheral Interrupt每個CPU獨立。xvisor在啟動階段把物理定時器中斷注冊到自己的中斷處理框架里中斷到來先進入hypervisor的異常處理向量。然后是host timer處理。xvisor的時間子系統(tǒng)調用timer_expire之類邏輯遍歷定時器鏈表找出所有到期項。這里有一個實現(xiàn)細節(jié)鏈表項不是簡單地刪除而是會先判斷是單次定時器還是周期定時器。單次定時器直接摘除周期定時器則重新計算下一次到期時間并重新入鏈。接著是虛擬到期判定。每個timer_event到期并不意味著Guest一定需要中斷。xvisor會先比較虛擬定時器的到期時間和當前虛擬時間如果還沒有真正到期說明是host timer提前醒了的“偽喚醒”直接跳過。只有真正的到期才進入下一步。最后是虛擬中斷注入。xvisor調用中斷控制器的虛擬化接口把虛擬定時器中斷置為pending狀態(tài)。對于ARM GIC這通常涉及GICD_ISPENDR或者使用GIC的虛擬化擴展GICv2/v3的list register機制。注入的目標必須是定時器所屬vCPU當前正在運行的物理CPU否則還要考慮vCPU遷移帶來的中斷路由問題。這條路徑如果捋清楚了調試時間虛擬化就有抓手。每次“Guest時間不準”的問題本質上可以歸因到這條鏈路中的某一環(huán)offset計算錯、虛擬到期判定錯、中斷注入丟、物理中斷頻率抖動。3.4 設計取舍為什么這么精簡代價是什么xvisor的時間虛擬化設計主打精簡這是有代價的理解取舍比記代碼更有價值。第一個取舍是用鏈表而不是紅黑樹或時間輪管理定時器。xvisor面向嵌入式場景虛擬機的數(shù)量、定時器數(shù)量都不會特別大鏈表在幾十個節(jié)點規(guī)模下表現(xiàn)足夠而且實現(xiàn)簡單、便于驗證。代價是定時器數(shù)量多時插入復雜度為O(n)但實際場景中很少成為瓶頸。第二個取舍是把虛擬時間映射做成線性關系offset dilation而不是像KVM那樣做復雜的時鐘源切換。線性映射的優(yōu)點是計算開銷小、Guest看到的時間連續(xù)缺點是無法精確模擬“Guest暫停期間時間不走”這類的特殊語義只能靠offset調整來補償。第三個取舍是以tick為基本驅動而不是完全事件驅動。xvisor的host timer按固定周期走周期內所有虛擬定時器到期行為都會延遲到下一個tick統(tǒng)一處理。這樣會引入最多一個tick周期的延遲但對大多數(shù)嵌入式Guest來說完全可接受而換來的是實現(xiàn)簡單、不用頻繁配置物理定時器。這三個取舍合在一起就是xvisor時間虛擬化“小而美”的底層邏輯。你要真想給別人講清楚xvisor的時間虛擬化把這幾個取舍講明白比背代碼更有說服力。4. 實操從編譯配置到時間正確性驗證4.1 配置xvisor時間相關選項理論講完動手環(huán)節(jié)還是要走的。我在QEMU模擬的ARM平臺用virt機器上做過完整的xvisor Linux Guest驗證。第一步是編譯xvisor時間虛擬化主要關系到幾個配置宏。xvisor的配置在config/arm/下一般先復制默認配置再改。時間相關的關鍵項大致有CONFIG_SCHED_PERIOD物理調度周期也就是host timer的tick周期。默認值通常是1000000納秒1ms。這個值直接決定定時器中斷頻率影響虛擬定時器到期精度。CONFIG_TIMER_FREQ虛擬定時器頻率基準ARM平臺往往對應Generic Timer的頻率通常在設備樹里聲明。CONFIG_MAX_VCPUS_PER_GUEST單Guest的最大vCPU數(shù)會影響每vCPU定時器上下文的分配。我實測時把CONFIG_SCHED_PERIOD調成1000000Guest的dmesg里時鐘源是arch_sys_countertick穩(wěn)定在1000Hz左右。如果你想要更高精度的虛擬定時器可以把CONFIG_SCHED_PERIOD調小到100000100微秒但代價是hypervisor自身的中斷開銷會明顯變大跑高負載時會看到宿主機CPU占用上升。注意xvisor的配置項不是每個版本都一樣源碼版本不同宏名可能略有差異。建議先查config/arm/*.conf里的實際定義再對照include/下的頭文件確認宏作用別盲目照抄老文章的配置。編譯命令我用的經典三連cd xvisor make ARCHarm CROSS_COMPILEaarch64-linux-gnu- defconfig # 手動調整.config里時間相關項 make ARCHarm CROSS_COMPILEaarch64-linux-gnu- -j8編譯產物是xvisor二進制和xvisor.dtb。虛擬機鏡像和文件系統(tǒng)我是用buildroot現(xiàn)成做的這里就不展開了。4.2 設備樹里的定時器節(jié)點Guest看到的虛擬定時器xvisor通過設備樹向Guest描述虛擬硬件。在xvisor的dts/目錄下你可以找到arm虛擬平臺的設備樹模板定時器節(jié)點大概長這樣timer { compatible arm,armv8-timer; interrupts GIC_PPI 13 IRQ_TYPE_LEVEL_LOW, GIC_PPI 14 IRQ_TYPE_LEVEL_LOW, GIC_PPI 11 IRQ_TYPE_LEVEL_LOW, GIC_PPI 10 IRQ_TYPE_LEVEL_LOW; clock-frequency 62500000; };這個節(jié)點對Guest來說就是它的物理定時器但實際上xvisor會把clock-frequency聲明的頻率作為虛擬定時器的頻率而不是直接透傳真實頻率。這里有個容易踩的坑clock-frequency的值必須跟CONFIG_TIMER_FREQ配合好。如果設備樹里聲明的是62.5MHz而xvisor內部用的基準是50MHzGuest里的clock_gettime跑一段時間后就會出現(xiàn)整數(shù)倍的漂移。建議的做法是把設備樹里的clock-frequency跟實際板卡的真實timer頻率解耦單獨定義一個對齊xvisor內部頻率的值保證虛擬計數(shù)器換算關系閉合。Guest內核起來后可以通過以下命令確認它看到的定時器信息cat /sys/devices/system/clockevents/clockevent0/current_device cat /proc/interrupts | grep arch_timer cat /proc/timer_list | head -50正常情況下Guest應該能看到arch_timer事件設備并且中斷計數(shù)會隨時間穩(wěn)定增長。如果中斷計數(shù)不動說明虛擬定時器中斷沒有注入成功需要優(yōu)先檢查GIC的虛擬中斷配置。4.3 驗證時間正確性的三板斧配置好之后怎么判斷時間虛擬化是“對的”我總結了三板斧。第一板斧是單調性驗證。在Guest里寫一個簡單循環(huán)反復讀取CLOCK_MONOTONIC確認返回值嚴格遞增不倒退。時間虛擬化做得粗糙時最容易出現(xiàn)“時間倒流”——因為虛機在suspend時沒做好offset補償恢復瞬間Guest看到的時間比暫停前還要早。我用的一個極簡腳本思路大致是#!/bin/bash prev0 for i in $(seq 1 100000); do cur$(date %s%N) if [ $cur -lt $prev ]; then echo time go backwards: $prev - $cur break fi prev$cur done第二板斧是對比驗證。同時記錄宿主機和Guest的時間換算成同一個參考系打點對比。不是要求完全一致而是要求偏移量在一段時間內保持相對穩(wěn)定波動在可接受范圍。如果Guest時間線性偏離宿主機通常是dilation參數(shù)不對如果忽快忽慢通常是虛擬定時器到期處理不穩(wěn)定。第三板斧是壓力驗證。在Guest里跑周期性任務比如每10ms打印一個時間戳連續(xù)跑一小時。人為給宿主機加負載比如同時跑多個CPU密集型vCPU或實時任務觀察打印間隔是否穩(wěn)定。時間虛擬化最怕的就是“鄰居干擾”——別的vCPU忙的時候你的虛擬定時器到期被拖后造成Guest端的定時器延遲。xvisor在這塊的短板是它的調度器比較簡單虛擬定時器到期后如果目標vCPU不在運行中中斷注入后要等該vCPU被調度才能被處理延遲會疊加。實測中2個vCPU的Guest在高負載下定時器周期的抖動大概在幾個毫秒量級對于非實時場景能接受。4.4 用QEMU的虛擬時間做快速驗證如果手上沒有真實板卡QEMU是一個很趁手的驗證環(huán)境。QEMU自身支持時間虛擬化相關參數(shù)比如-rtc、-icount。在調試xvisor時間虛擬化時我通常用如下命令啟動qemu-system-aarch64 -machine virt -cpu cortex-a57 \ -kernel xvisor -dtb xvisor.dtb -m 1024 \ -nographic \ -append consolettyAMA0啟動后進入xvisor的shell再加載Guest鏡像。這種環(huán)境下驗證時間虛擬化的好處是QEMU的時鐘可控可以通過-icount控制虛擬CPU的指令執(zhí)行速度方便制造時間壓力場景。我曾在-icount 2大約每2條指令一個時鐘tick下跑Guest明顯看到Guest的定時器中斷被拉伸這正是驗證dilation語義的好場景。提示QEMU環(huán)境下時間虛擬化的表現(xiàn)跟真實硬件差異很大尤其是ARM Generic Timer的虛擬化擴展在QEMU里是模擬的性能不能代表真實板卡。它適合驗證邏輯正確性不適合做性能評估。5. 常見問題與排查實錄5.1 Guest系統(tǒng)時間漂移嚴重現(xiàn)象Guest里date顯示的時間比實際時間慢或快很多運行越久差得越多。排查步驟先區(qū)分是墻鐘時間漂移還是單調時鐘漂移。在Guest里分別執(zhí)行date和cat /proc/uptime對比兩者的增長速度。如果uptime正常而date偏慢問題在墻鐘時間同步——NTP或者RTC虛擬化沒做好如果兩者都偏問題更可能在虛擬計數(shù)器頻率配置不對。解決方案墻鐘問題優(yōu)先檢查xvisor的RTC虛擬化是否工作Guest里是否有/dev/rtc。頻率問題檢查設備樹的clock-frequency和xvisor的CONFIG_TIMER_FREQ是否對齊。我在板卡上遇到過一次典型問題設備樹時鐘頻率寫的是62.5MHz但xvisor內部CONFIG_TIMER_FREQ還是默認的50MHz導致Guest時間線性慢20%修改后恢復正常。5.2 vCPU卡死或中斷風暴現(xiàn)象Guest啟動后頻繁出現(xiàn)soft lockup/proc/interrupts里arch_timer中斷數(shù)增長異??靽乐貢r整個Guest無響應。排查步驟先用串口進xvisor shell查看vCPU狀態(tài)vcpu list觀察目標vCPU是否反復進出hypervisor。然后查host timer的實際觸發(fā)頻率確定是不是某個虛擬定時器被反復注冊成短周期。xvisor的timer命令通??梢詃ump當前的定時器鏈表timer如果發(fā)現(xiàn)大量到期時間相等的短周期定時器基本就是Guest的定時器配置被錯誤透傳或者虛擬中斷注入后Guest沒有正確應答導致中斷反復重注入。解決方案多數(shù)情況是虛擬中斷的清除語義沒做對。ARM Generic Timer的虛擬中斷是level-sensitive的Guest必須清除CNTV_CTL的enable位或重寫CNTV_TVAL才能拉低中斷線。如果xvisor在注入后沒有同步更新定時器狀態(tài)Guest清了中斷但hypervisor認為還沒清就會陷入注入-清除-再注入的循環(huán)。檢查arch/arm/time.c里的timer_event更新邏輯確保在注入虛擬中斷前已經把該定時器標記為“已到期并等待Guest處理”而不是“周期性重新觸發(fā)”。5.3 掛起/恢復后時間跳變現(xiàn)象Guest執(zhí)行suspend比如echo mem /sys/power/state到resume后系統(tǒng)時間要么跳到未來要么完全不動。排查步驟這個問題的本質是掛起期間物理定時器停了但虛擬時間還在按物理時間累加或者反過來。xvisor時間子系統(tǒng)需要感知Guest的電源狀態(tài)變化。解決方案在xvisor里增加一個電源狀態(tài)遷移時的“時間凍結”處理Guest進入suspend時記錄當前虛擬時間快照Guest resume時重新校準vcpu_time context的offset使Guest看到的單調時間在掛起期間保持不變或按預期補償。這部分的實現(xiàn)復雜度取決于虛擬平臺怎么建模電源管理。我的建議是優(yōu)先保證offset補償也就是suspend期間不走虛擬時間把這次掛起產生的物理時間差不做累加。5.4 和KVM、Xen的時間虛擬化對比聊完xvisor的排查實錄再橫向對比一下其他方案能更清楚xvisor的定位。對比維度xvisorKVMLinux內核Xen時鐘源虛擬化方式線性映射offsetdilationkvm-clock半虛擬化 TSC/ACPI虛擬化Xen共享信息頁 hypercall定時器中斷注入虛擬中斷直接注入vCPU通過KVM的irqchip vcpu定時器事件通道注入精度上限依賴host tick頻率約1ms量級可支持ns級精度kvm-clock亞毫秒級復雜度低便于閱讀和二次開發(fā)高功能全面但代碼龐大高分域模型復雜典型場景嵌入式、資源受限、需要高可控性的場景服務器、云主機、桌面虛擬化服務器虛擬化、云基礎設施這個對比不是要分高下而是說明xvisor在時間虛擬化上的設計目標是“夠用、可控、可移植”。如果你需要納秒級精度的時間虛擬化xvisor確實不是首選但你要是想在嵌入式場景里搞清楚時間虛擬化是怎么回事xvisor的代碼是很好的入門教材。5.5 那些“嵌套虛擬化”報錯其實也和時間相關熱搜詞里有一堆“vmware嵌套虛擬化失敗”“此平臺不支持虛擬化AMD-V”“模塊hv啟動失敗”之類的報錯很多人以為是CPU特性問題其實有一部分和時間虛擬化脫不了干系。舉個例子VMware Workstation啟用了嵌套虛擬化后如果虛擬機里的系統(tǒng)讀到的TSC頻率跟宿主機的實際TSC頻率不一致高精度定時器就會錯亂輕則報錯重則直接無法啟動。另一類“HV啟動失敗”的場景里時間同步驅動VMware Tools的time sync和hypervisor的時鐘源沖突也是常見原因。這類報錯給的提示往往只有一句話但排查思路是類似的先確認宿主機的虛擬化特性是否完整egrep -c (vmx|svm) /proc/cpuinfo再確認虛擬機內部的時間源、時鐘源信息是否正常最后檢查hypervisor的時間同步機制是否被安全軟件或系統(tǒng)策略關閉了。這些經驗跟xvisor的時間虛擬化本質上是相通的——時間源沖突、頻率不一致、中斷注入失敗是虛擬化領域共通的坑。6. 調試xvisor時間子系統(tǒng)的幾個技巧6.1 用日志定位時間問題xvisor自帶日志系統(tǒng)可以通過配置打開精細日志。排查時間虛擬化問題時我習慣先把這幾個日志開關打開# xvisor啟動參數(shù)或config里開啟 log-level debug重點關注兩類日志一類是定時器中斷處理路徑的日志能看到物理tick何時到、虛擬定時器何時到期另一類是虛擬中斷注入日志——每次給vCPU注入timer中斷時的目標vCPU和當前物理CPU。實際調試中我發(fā)現(xiàn)最有效的方法是在vcpu_time context的每次更新處加一條臨時打印記錄物理時間、虛擬時間、offset三個值。把一組數(shù)據(jù)抓下來數(shù)據(jù)之間的線性關系一目了然偏移量是常量還是變化量、速率是否偏差這些都能直接算出來。等到問題確認后再把打印關掉。6.2 構造最小復現(xiàn)場景時間虛擬化的問題往往要跑很久才暴露復現(xiàn)困難。我的經驗是把場景“時間壓縮”把虛擬定時器的周期調到極短把host tick調大人為放大時間偏差。比如正常場景虛擬定時器是10ms周期調試時改成1ms連續(xù)跑10秒相當于把問題放大了10倍。另外同時跑兩個周期相差很遠的Guest也是好辦法。一個Guest跑快速tick另一個Guest跑慢速tick兩者在同一個host timer上競爭很容易暴露出調度器和時間管理器之間的優(yōu)先級問題。6.3 如果我要二次開發(fā)從哪入手如果你讀完這篇文章想在xvisor基礎上改時間虛擬化我建議按這個順序入手第一步先熟悉vcpu_time context的維護邏輯動手改offset和dilation的換算跑Guest觀察時間變化。這個改動最小、驗證最快能建立直觀感覺。第二步改虛擬定時器的到期處理比如把單次觸發(fā)改成周期觸發(fā)或者加入“定時器追趕”邏輯。這一步能讓你理解物理tick到虛擬中斷的完整路徑。第三步再動中斷注入的細節(jié)比如調整虛擬中斷的優(yōu)先級、目標vCPU選擇策略。這一步最容易引入回歸務必配合第4節(jié)的驗證三板斧做充分測試??偟膩碚fxvisor的時間虛擬化雖然精簡但五臟俱全。它的設計沒有太多花活卻把時間虛擬化的核心問題——時間線管理、硬件定時器抽象、虛擬中斷注入——都表達清楚了。讀它的代碼比讀大型hypervisor里動輒上萬行的時鐘框架要友好得多。如果你打算深入研究虛擬化從xvisor的時間子系統(tǒng)入手再對照KVM的實現(xiàn)去看會有事半功倍的效果。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月丁香激情色情| 思思99久久| 国产女生爱爱AA| 人人干99| 激情文学五月丁香六月婷婷| 五月婷婷伊人网| 国产综合丁香五月天| 久久综合中文| 日本爆乳片手机在线播放| 五月开心婷婷中文字幕| 99色精品| 91九色无码内射| 五月丁香啪| 婷婷丁香五月在线播放| 色色网站免费观看| 五月婷深深爱激情网| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 国产AV不卡福利| 777影视理论片大全在线观看| 国产精品爽爽久久久久久| 夜夜天天久久婷婷| 婷婷综合五月激情| 色97综合婷婷天天色| 91婷婷色五月| 亚洲愉拍99热成人精品| 在线视频另类| 久久五月视频| 久久精品爱爱| www色婷婷久久综合久色| 91精品91久久久中77777久久玖玖九九| 欧洲MV日韩MV国产| 久久久久9久无码视频| 99色最新在线视频网站| 任你草| 亚洲欧美999| 色五月丁香总合网| 在线综合婷婷| 天天综合永久| 激情丁香五月天图片| 五月天性色| 深情六月婷婷综合久久| 天天操天天操| 天天高潮夜夜爽| 六月婷婷日| 99在线精品视频| 99超级碰免费视频| 99免费在线视频| 九九热欧美| 五月丁香五月综合欧美| 国产熟女一区二区三区五月婷| 人人草人| 色婷婷久久综合| 久久婷婷啪啪视频| 欧美在线视频99| 色999五月色| 噜噜五月天综合| 综合色播| 日韩二区搞逼插逼毛片| 久久精品天| 综合九九久久| 丁香五月天欧美成人| 色综合久久久久| 91丨九色丨国产打屁股| 激情五月综亚网| 狠狠婷婷爱| 日日色五月天| 丁香婷婷五月| 人人操AV| 1769在线观看欧美国产| 五月丁香色色网| 精品久久99| 综合激情五月天| 国产亚洲精品AAAAAAA片| 中国女人做爰A片| 四川BBB搡BBB搡多人乱亂| 99热在线观看| 五月丁香花视频| 大香蕉精品视频| 99碰碰| 久热这里只有精品性色AV| 成人超碰AV| 岛国av网| 美欧日韩国产成人在战| 国产69久久久欧美黑人A片| 熟女人妻一区二区三区免费看| 亚洲综合五月天婷婷| 久久久久久18| 六月婷伊人| 婷婷va| 色色色欧美| 99综合网| 五月丁香花视频| 色婷婷基地在线| 日日夜夜综合| 丁香六月婷婷久久综合| 激情亚洲婷婷| 五月开心色| www.久久99| 热久久成人| 99精品免费欧美小视频 | 色色射| 性无码专区无码| 丁香社92视频| 五月婷免费视频久久久| 色色色色色色网站| 五月综合丁香婷婷| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 五月天激情小说网| 亚洲六月色| 久久总和99| 婷婷色香六月综合激情| 亚洲婷婷五月天| 久久五月婷婷视频| 人妻精品一区二区三区| 日本韩国视频在线观看社区免费的9| 五月丁香六月婷婷成人| 99这里有精品| 色综合狠狠色| 亚洲欧美丁香五月天亚洲欧美| 激情五月天丁香| 九九av在线| 思思久热6| 91丨九色丨大屁股| 91精品久久久久久久| 丁香五月丁香伊人| 久久综合99综合| 色玖玖爱| 久久性操| 色99在线视频| 超碰亚洲天堂| 97综合在线| 中文字幕婷婷在线| 婷婷丁香五月在线播放| 久热视频97AV在线观看| 亚洲天天综合| 久久五月天激情婷婷| 26UUU欧美激情一区二区| 九九色热| 久热这里这里有精品| 欧洲亚洲午夜| 亚洲黄色影视| 可以免费观看的AV| 亚洲亚洲激情| 久久婷婷青青草| 激情婷婷五六月天| 婷婷色影音天| 五月丁香六月婷婷网站| 色yeye欧美| 天天搞天天色综合| 99热一本久道| 91九色国产在线| 色哟哟性爱av| 深爱激情六月天| 4399亚洲视频| 天天做天天爱天天爽| 久久精品性爱视频,| 99re在线观看| 大香蕉AV在线| 色婷婷先锋| 国产偷人爽久久久久久老妇APP| 丁香五月婷婷亚洲色图| 99ri网站在线观看| 九九成人| 九九综合视频在线观看| 五月色亭丁香| 激情综合啪啪| 精品99网站| 天天狠狠综合精区| 色色国产| 99激| 综合网网欲色| 激情五月天影院| 欧美日韩AAAAA| AA片在线观看视频在线播放| 九九婷婷网五月天| 狠狠五月激情在线| 亚洲区1| 六月婷婷中文字幕| 欧美亚洲999| http:色情日本com| 久久电影4399| 人妻肉射免费观看| 欧美日韩国产一区| 婷婷丁香五月天综合在线日韩| 五月深情久久| 婷婷成人五月天| 天天摸日日舔狠狠添婷婷婷| 一本久道综合99| av色色国产| 狠狠狠五月婷婷六月丁香| 日韩婷久| 成人国产欧美大片一区| 99热99精品| 小视频在线亚洲| 丁香五月激情五月| 五月婷婷影院| 激情五月色婷婷| 激情99热| 色久影院| 97日本在线播放| 亚洲无线视频| ss视频xx91| 性韩日色婷婷五月天激情啪啪XXX| 精品少妇人妻AV无码专区偷人| 欧美人妻一区二区| 深爱激情网噜噜色| 日韩五月婷婷| 国产操B视频| 欧亚成人A片一区二区| 五月花在线观看视频| 色五月大香蕉| 99久久五月丁香野外| 久久机热/这里只有精品| 99热这里只有精品2016| 九九热视频网站| 色色色97| 97国产精品女人碰碰| 思思热在线| 天天做天天爱天天爽综合网| 婷婷五月丁香六月天亚洲综合| 九色视频91| 狠狠色色色| 91碰| 色婷婷88| 六月丁香啪啪啪| 开心日韩丁香婷婷五月| 夜夜人妻五月天| 操人久久| 99啪99| 99久久超级| 日日夜夜天天| www.五月天婷婷| 色五月播五月| 色五月五月天色婷婷色五月| jizzdr| 天天干-天天日| 五月天激情黄色小说在线观看| 欧美碰碰| 91人碰| 91精品视频男人的天堂| 色吧99| 夜夜嗨一区二区三区直播内容| 91大神操美女| 激情综合五月| 五月婷婷成人网首页| 九九综舍久久| 97久久超碰| 丁香五月综合激情性爱| 97碰啪啪| 伊人婷婷青青cao| 97人妻碰碰碰久久香蕉| 99热爱爱干干日| 久久婷网| 久热视频A.| 亚洲成人综合在线| 久色成人| 丁香五月色欲| 人人综合久| 九九精品免费| 色婷婷久久综合| 久久综合首页| 精品人妻一区二区三区四区不卡在| 丁香婷婷91在线观看视频| 婷婷色五月在线视频| 色色网站免费| 人人操AV| 综合五月天| 黑人糟蹋人妻HD中文字幕| 久久98| 艳妇野外情欲放荡HD| 婷婷五月天av| 五月丁香人妻| 丁香五月六月久久综合| 色婷婷视频综合| 开心激情网五月| 婷婷五月天播播| 婷婷五月天视频| 五月 激情视频| 久久综合激情| 秋霞AV吧| 久久婷婷亚洲| 精品皮股午夜AV| 婷婷丁香人妻天天| 99精品在这里| 九九精品碰| 欧美日韩成人高清在线| 亚洲天堂亚洲色色色| 五月婷婷免费在线观看| 99re热在线视频观看| 日本久久精品| 亚洲中文字幕在线电影| 色色吧综合| 人人添人人| 六月丁香开心婷婷欧美| 五月婷婷激情四季| 五月丁香婷婷网在线在线| www色色com| 99久久99综合| 狠狠久久婷五月| 婷婷五月天Av| 91在线日| 涩丁香| 婷婷涩涩五月天| 久久亚洲色导航| 激情五月天在线视频| 97综合在线| 亚洲精品久久久无码| 日本少妇AA一级特黄大片| 六月99天天婷婷激情综合| 久久99成人性爱高清视频| 丁香婷婷91在线观看视频| 激情五月激情综合网| 婷婷色一二三区波多野结衣| 五月丁香六月婷婷综合网| 婷婷色五月在线视频| 色噜噜狠狠色综合日日| 亚洲熟女乱色综合亚洲网站| 色六月天| 色婷婷激情| 日韩肏屄网| 秋霞三级影视资源| 深爱激情六月天| www.久操| 狠狠色噜噜狠狠狠888了| 级情九色| 9精品在线| 婷婷五月深爱五月| 91蝌蚪窝视频在线| 五月熟妇婷婷久久| 日韩成人综合网| 日本99视频精品免费播放| 天天摸日日舔狠狠添婷婷婷| 99激情| 91碰视频| 亚洲最大在线| 久99久精品视频| 五月天深爱激情网| 色99综合色88| 99re这里有精品手机在线| 99热自拍| 99视频内射三四| 日日操天天操| 五月婷婷深深爱| 亚洲激情综合免费| 综合网色综合| www.五月天| 国产高潮白浆一区二区| 天天精品视频免费观看| 夜夜AVV| 亚洲丁香五月| 精品九九网| 五月丁香欧美在线| 97sese婷婷| wwwC0maV五月花| 国自产拍偷拍精品啪啪一区二区| 亚洲XX日本| 99热精品在线| 婷婷五月天论坛| 成 人片 黄 色 大 片| 色婷婷综合久色AV五色最新| 五月丁香六月激情| 日日噜狠狠色综合久久| 综合久久六月| 啪啪婷婷五月天激情| 五月天三级久久| www.色婷婷| 成人啪啪色婷婷久| 色婷婷操逼| 五月婷婷丁香综合| 99re6在线视频精品免费| 色八月婷婷| 777精品久无码人妻蜜桃| 亚洲婷婷丁香五月天激情小说| 五月天婷婷色| 亚洲第一精品网站| av色婷婷| 色情综合网| 森林影视大全,最好看的2019年视频| 青青草免费公开视频| 狠狠色丁香99| 中文网婷婷字幕婷| 五月婷婷久久久| 婷婷五月综合在线| 国产精品日本一区二区在线播放| 久久这里只| 婷婷五月丁香香蕉| 97啪啪| 99色1| 丁香花五月天社区| 久9视频| 五月婷色丁香| 五月天丁香婷| 卡视频1区2区| 婷婷99狠狠躁天天| 九九九九操逼| 超碰三级片| 五月丁香综合激情在线观看| 国产免费av网站| 99色视频| 婷婷丁香一月| 婷婷五月色影视先锋| www.狠狠操| 色5月婷婷| www.maotanji.com| 亚洲丁香五冃97色| 丁香六月五月天| 色五月成人在线| 超碰猛烈的性猛交| 婷婷5月久久综合网站| 亚洲激情综合| 六月丁香婷婷在线波多| 性色欲情 网站| 亚洲久艹| 丁香五月五月婷婷欧美大香蕉| 亚洲狠狠干| 伊人婷婷青青cao| 99久久超级| 97色婷| 免费五月婷婷网| 97色婷| www.玖玖婷婷在线| 少妇高潮呻吟A片免费看软件 | 丁香五月香蕉| 天天插轮理| 欧美色97| 激情综合色婷婷啪啪六月天| 亚洲夜五月| 亚洲第二AV| 国产69久久久欧美黑人A片| 大香蕉久久久| 色婷婷亚洲婷婷在线观看| 天天草天天爱| 日韩色色小视频| 色爽九九| 热久久色| 吾爱AV导航| 国产99久| 婷婷在线五月综合| 亚洲精品无人区| 婷婷丁香六月天| 天天综合五月天| 欧美综合五月丁香六月婷| 五月丁香狠狠爱| 大香蕉人人人| 丁香激情五月少妇| 婷婷久久婷婷色五月| 国产肥白大熟妇BBBB视频| 超碰99在线观看| 97超碰在线免费观看| 天天做天天爱天天综合| 99er热精品视频| 丁香五月激情视频在线| 9999热这里只有精品| 男人天堂伊人五月丁香| Se.婷婷五月天| 久久五月丁香| 丁香婷婷六月激情文学 | 色欲AVV| 欧美成人AAA片一区国产精品| 久久综合爱| 婷婷五月天Av| 色色综合网站| 伊人久久婷婷| 91 影音先锋| 欧美在线| 爱操天堂| www,超碰| 色婷婷欧美| 日本不卡中文字幕| 丁香六月色婷婷欧美| 人妻人人操| 91一起操| 狠狠五月丁香色婷| 丁香六月亚洲综合| 五月天成人在线视频网站| 99热这里全都是精品| 天天狠狠夜夜狠狠2023| 色情五月婷| 97干在线| 天天射天天插天天干| 666555。COm毛片| 亚洲狠狠丁香婷婷香蕉| 97人妻碰碰碰碰碰久久久久久| 欧美操我| 综合色99| 久久成人综合五月天| 日日操,夜夜撸| 五月丁香婷婷成人综合网| 五月天激情久久| 久婷婷婷| 亚洲情综合五月天| 99视频在线观看视频| 91人碰| 激情综合啪啪| 五月婷丁香亚洲| 深爱五月婷婷| 99色在线观看| 成人免费视频一区| 激情五月深爱五月| 五月 婷婷 成人| 九九热精品视频在线观看| 久久丁香五月婷婷| a性生活久久无| 99热碰碰热| 久久久免费精彩视频| 伊久大香蕉| 一级二级色大片| 五月激情五月丁香| www色五月| 5月丁香啪啪啪| 婷婷丁香五月天综合激情| 久久99精品久久久久久青青AR| 综合色图区| 婷婷五月天性| 亚洲天天操| 天堂va久久久噜噜噜久久Va| 激情五月天啪啪视频| 欧美丁香婷婷五月天| 天天日,天天插| 九九九九热99超碰| 色频玖玖五月天| 丁香色五月天| 成人 在线观看国产| 久久刺激网| 这里只有精品视频在线看| 婷婷五月激情网| 精品九九久久| 天天综合五月| 五月婷婷激情综合网| 丁香六月欧美| 婷婷丁香五月六月激情| 丁香五月天之婷婷影院| 色九月欧美| 亚洲性爱区无码区| A片试看50分钟做受视频| 色色色在线观看| 激情婷婷丁香色五月| 天天狠天天叉| 久久婷婷国产| 欧美影院| 五月花激情网| 婷婷五月丁香手机在线视频| 精品国产AV色一区二区深夜久久| 五月丁香六月久久| 久久婷婷色| 天堂中文国产| 人妖色AV色综合| www.五月激情红色| JAPANRCEP老熟妇乱子伦视频 | 午夜成人AV在线| 婷婷丁香成人五月天| 欧美叉叉叉BBB网站| 色婷婷亚洲婷婷| www.色婷婷| 熟女国产在线一区二区三区四区| 深爱激情av| 国产成人AV| 深情六月婷婷综合久久| 婷婷久草| 六月伊人婷婷| 草了bav视频在线观看| 丁香丁香激情网| 九九热视频这里只有精品| 99热国内精品| 大香蕉五月天婷婷| 亚洲综合在线视频| 日韩无码专区| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | www.99精品视频| 六月丁香VA| 亚洲最大视频网站| 99免费| 丁香五月最新网址| 97碰啪啪| 久久精品性爱视频,| 色色性爱视频| 色婷五月天亚洲| 精品人妻午夜一区二区三区四区| 五月色婷婷综合丁香精品无遮挡| 香蕉久日夜| 久久婷婷五月综合伊人| 人人操操| www.五月天婷婷| 夜夜骑操AV| 精品国产AV色一区二区深夜久久| 天天视频亚洲| 成人av观看| 丁香色五月 97干| www.婷婷网| 国产看真人毛片爱做A片| 9这里只有精品| 亚州第一A片| 99九无网码| 色色热99| 丁香五月天堂亚洲社区| 亚洲人人操| 99久久久久| 国产SUV精品一区二区6| 五月丁香六月婷婷在线| 五月丁香精品| 日本不卡高字幕在线2019| 色五月丁香六月欧美综合| 激情中文在线| 色婷婷在线视频| cc精品国产性传播| 五月停亭六月,六月停亭的英语| 婷婷伊人綜合中文字幕| 久久九九热视频| 97在线精品| 爆乳熟妇一区二区三区四区| 美欧成人视频| 激情五月丁香在线观看直播| 色五月激情综合| 九九热免费视频| 天天操综合网站| 日本三级韩三级99久久| 狠狠狠狠狠狠草| 五月天婷婷影院| 天天拍久久| www.婷婷.com| 99在线视频操999| 激情综合区| 五月久久亚洲| 掩去也综合五月视频| 丁香五月伊人| 九九無妻| 五月综合在线| 婷婷五月天99| aaa丁香五月天| 综合 蜜月 婷婷| 日本天天色| 这里只有精品久久| 伊人久久五月天| 97色色色色色色色| 五月激情婷婷综合| 91精品国产色猫| 亚洲亚洲人成综合网络| 丁香六月啪啪啪| 日日插日日干| 日本不卡高字幕在线2019| 国产午夜精品一区二区| 欧美色五月天| 精品色色网| 五月天丁香六月综合| 九九综合网色全集 | 色狠狠五月天| 久久综合影院| 国产小网站| 日本激情综合| 777精品久无码人妻蜜桃| 久热大香蕉| 99热在线观看| 天天插天天射| 五月天伊人网| 婷婷射丁香| 午夜电影网VA内射| 99热只有精品在线观看| 热久久99视频| 九九综合精品| .操區COm| 五月丁香啪啪啪免费看| 日木狠狠干| 久久曰曰| www.99热视频| 五月激情啪啪啪| 日本三级中国三级99| 亚洲视频国产一区| 六月丁香色色色| 丁香五月黄色| 色哟哟性爱av| 国产avapp 网| 久久综合性| 六月激情婷婷| 久久色在线视频| 激情美女五月天| 99热99热在线观看| 五月婷综合性中心| 色五月综合激情| 婷婷六月激情综合| 丁香五月天婷婷激情| 婷婷在线激情| 99综合| 五月天婷婷色五月天| 在线观看五月婷婷网| 乱女乱妇熟女熟妇综合网站| 激情五月天无码| 五月丁香婷婷综合网色欲| 可以直接看的AV网站| 丁香九月婷婷色| 丁香五月婷婷激情蜜桃| 丁香激情五月| 中文字幕成人| 天天射影院| av中文字幕免费观看| 丁香五月停停av| 97超级操操| 成人在线网| 五月情四婷婷| 五月伊人婷婷| 五月婷婷色影院| www.zbzhongsen.com| 91 影音先锋| 免费成片在线观看| 这里只有精品视频222| 婷婷开心青青草| 桃色激情网| 久月婷婷| 五月天大香蕉av| 五月丁香婷婷婷激情爱爱| 婷婷五月天激情小说| 色五月天综合| 亚洲综合五月天| 激情五月天社区| 婷婷久综合| 五月婷婷久久大香蕉| 久久久久婷婷五月热综合| www.亭亭五月天| 在线观看中文字幕亚洲| 97色婷婷| 香蕉操亚洲| 操逼福利视频| 97婷婷狠狠| 成人av在线网| 91九色首页| 五月天婷婷在线播放免费| 色五月首页| 五月丁香婷婷激情爱爱| 婷婷六月丁香在线| 99在线免费观看| 日本不卡一区二区三区| 99热老司机| 婷婷无码视频| 色区久久| 99re久热只有精品6在线直播.com| 欧美美女国产日韩一区二区久 | 26UUU欧美激情一区二区| 人人色AV| www.超碰| av最新在线| 亚洲色情一区二区三区四区| 婷婷五月激情网| 久久机热探花| 99惹精品视频| 日本三级大片| 九九九热精品| 六九色综合婷婷五月天| 婷婷的五月天另类视频| 综合五月草| 亚洲无码成人| 天堂综合久| 丁香五月六月激情久久| 五月婷婷六月丁香| 亚洲欧美成人在线| 97超碰在线免费观看| 日本偷拍九九九| 婷婷激情鹿城五月天| 亚洲色99| 久久五月婷| 狠狠爱激情网| 波多野结衣AV无码Porn| 五月花免费视频| 色婷婷五月天av在线| 婷婷五月天视| 天天干一干| 九月婷婷久久| 丁香五月六月久久综合 | 丁香六月综合激| 五月深爱激情网| 大香蕉色婷婷伊人在线| 五月综合六月丁| 中文字幕日产A片在线看| 五月天激情综合首页| 人妻操逼视频| 日本激情ⅩXX免费视频| 玖玖婷婷五月天| 婷婷丁香社区网| 九九视频这里只有精品| 6月丁香婷婷| 五月丁香五月婷婷| 秋霞三级色戒| 精品夜夜澡人妻无码AV| 天干天天干天天天天天| 欧美黑人巨大性生话| 激情五月丁香色婷婷| 国产精产国品一二三在观看| 婷婷五月天免费| 成人精品免费在线观看| 噜噜色婷婷| 色五月婷婷五月天激情综合| 91免费看片| 天天色图| 久久9视频| 成人色五月天| 免费视频1区| WWW,五月| 97精品在线| 精品久久99码| 久久婷婷色丁香| 成人精品免费在线观看| 婷婷丁香五月婷婷| www色色色com| 国产肥白大熟妇BBBB视频| 色五月综合婷婷| 天天透天天干| 草草视频91| 色婷婷伦理| 国产三级在线播放| 无码人妻电影| 亚洲狠狠婷婷综合久久久| 大香蕉视频99| 久九色| 五月婷婷伊人网| 丁香五月天激情四射网络不好| 五月综合丁香婷婷| www婷婷亚洲| 婷婷五月天国产| www久久99| 亚洲性爱AV在线| 噜噜狠狠色综合久| 妻久久久久| 久久丁香九| 婷婷午夜天| 思思久日精品视频| 在线观看的av| 婷婷香蕉精品| 日韩999| 久色网五月| 婷婷久久丁香五月| 国产一级视频a| 五月婷婷婷丁香播| 亚洲色婷婷激情| 色欲婷婷五月天丁香| 这里只有精品视频在线| 五月天成人综合| 日韩一66精品| 色久影院| 国产免费一区二区三州老师F1…… | 丁香婷婷午夜| 欧美色五月| 亚洲精品色| 26uuu激情五月天| 超碰成人av| 婷婷五月天VI| 国产成人亚洲综合A∨婷婷| 五月婷在线视频免费看| 五月丁香怕怕综合| 一区二区乱码视频| 久久视9精| 天天干天天爽| 97碰超级人人看| 婷婷欧美激情| 怡红院院久久| 99精品视频免费在线播放| 欧美日本高清视频99| 免费看欧美成人A片无码| 丁香六月啪啪啪| 国产婷婷五月在线视频| 日日操,日日爽| 色色婷婷五月天| 中文在线成人| 在线观看欧美3区| 色伦专区97中文字幕| 99热啪啪| 五月丁香成人| 成人va视频| 婷婷五月天激情五月天网站| 丁香香五月激情免费视频| 97碰在线| 9久热在线视频精品| 99久久高清视频| 大香蕉 婷婷| 少妇性BBB搡BBB爽爽爽视頻| AV性爱在线| 九九99精品视频在线观看| 成人在线观看一区| 色婷婷精品视频在线播放| 亚洲性爱AV在线| 成人无码髙潮喷水A片| 色色色无码| 99re久久| 久久伊人大香蕉| 97资源碰碰| 97操碰视频| 婷婷欧美综合| 大香蕉中文| 夜夜爱伊人| 久久丝袜婷婷| 超碰九九热| 欧美在线操| 五月丁香婷婷色色| 97自拍视频在线| 草草视频91| 婷婷五月天激情小说| 可以免费观看的AV| 婷婷久久综合| 99热这里有精品| 江苏少妇性BBB搡BBB爽爽爽 | 色99亚洲| 色婷婷五月丁香在线观看| 天天爽天天日人人爱| 激情五月天综合图片小说网站| 蜜乳.comcom| 夜夜夜叫天天天做| 开心五月深爱五月丁香五月激情五月| 夜夜骑天天玩天天日| 五月天狠狠网| 六月丁香综合| 色五月丁香婷婷| 免费看欧美成人A片无码| AA片在线观看视频在线播放| 色六月 婷婷| 97ai婷婷| 色丁香婷婷| 婷婷激情五月天网站| 六月五月久久丁香| www.五月瑟| 婷婷五月色激情欧美激情| 五月丁香色| 丁香五月久久| 日本色色视频| 婷婷五月天大香蕉| 五月色综合| 久久婷婷五月丁香| www.操.com| 久热成人| 国产精产国品一二三在观看| 中文字幕婷婷在线| 五月综合丁香婷婷| 日本久碰| 色情五月天丁香社区| 欧美日韩成人| 亚洲六月色| 丁香久月| 99热香港| 五月激情婷婷丁香| 天天干天天干天天干天天干天| 狠狠狠狠狠狠| 丁香五月色色婷| 另类在线| 天天干天天操| www.99视频| 3p九色在线| 97久久人人操| 婷婷五月天日本无码| 91精品久久久久久| 韩国不卡AC视频| 9久久久久久久久久久| 亚洲色域网| 99亚洲视频| 无码少妇高潮喷水A片免费| 97人妻碰碰碰久久| 一个色的综合| 久久资源网五月婷| 超碰妻人人| 《诡秘之主》在线观看| 五月婷婷六月丁香综合在线| 丁香激情五月| 大伊香蕉玖玖爱| 午夜不卡成人一区二区| 97碰碰视频在线观看| 精品视频二级九九| 久久综合丁香五月| 五月婷婷综合视频| 久久婷婷五月综合色区| 快乐激情五月色婷婷| 婷婷狠狠操| 国产精产国品一二三在观看| 97精品欧美91久久久久久久| 久热这里只有精品视频免费观看| 五月天激情小说网| 婷婷色在线视频| 六月色丁香中文字幕| 久热91| 亚洲无码成人| 亚洲成人婷婷| 国产婷婷婷| 九九热这里有精品视频| 色九亚洲| 五月天久久激情| 婷婷五月天成人综合网| 日本狠狠干| 九九色影院| 天天综合 99久久婷婷| 久在线综合69| 亚洲性图一区二区| 九九视频在线观看视频6 | 丝袜人妻| 激情五月色婷婷| 绿色小导航AV| 色婷婷色五月天| 婷婷97色| 婷婷中文字幕版| 激情六月婷婷| 69堂午夜视频最新地址| 可以看的av网站| 婷婷亚洲综合| 亚洲av网站| 日本婷久久| 色久综合| 九九综合网色全集| 51国精产品自偷自偷综合 | 九九色网| 丁香五月婷婷色播艳门照| 国外亚洲成AV人片在线观看| 99在线爽| 99爱精品| 色婷五月天亚洲| 99网| 好好干av| 99久操视频| 色99热| 在线超碰精品| 色五月综合在线| 欧美色色日韩| 99热亚洲| 色综合久久44| 婷婷伊人五月天| 六月丁香婷婷色狠狠久久| www.夜夜操| 欧洲亚洲免费视频区| 777精品久无码人妻蜜桃| 激情www.98com| 日韩在线视频9色| 淫水导航| 九九精品婷| 99视频激情四射| 九色PORNY自拍成人精彩视频| www.色五月.com| 久久综合婷婷| 国色天香成人网| 97超级碰人人| 久久五月天婷婷| 久久伊人9| 成人丁香| 五月丁香色婷婷基地| 日韩啪啪自拍| 9l视频自拍9l视频自拍九色学生| AV电影在线播放| 五月花婷婷| 五月丁香久久呀| 婷婷激情啪啪| 久/久精品99看9| 婷婷五月天直播| 九九色黄色| 亚洲在线综合| 亚洲AV激情五月综合网| 嫩草视频。| 99日本在线| 女人天堂av| 97人人操人| 99热91| 日本熟女一区二区| 超碰不卡在线| 99热思思| 99免费热视频在线| 99er这里只有精品视频| 五月婷婷亚洲天堂97色婷婷| 五月天婷婷丁香| 丁香婷婷久久| 婷婷五月天丁香综合网| 91久久1118| 色婷五月天网站| 激情四射婷婷| www.9操| 五月停停999| 国产六月婷婷| 丁香五月AV| 亚洲V国产V欧美V久久久久久| 亚洲热热视频| 5月丁香婷婷| 五月天婷婷情色| 中文字幕日本最新乱码视频 | 伊人在线另类| www,天天干| 激情综合丁香五月| 丁香五月在线伊人| 亚洲秘 无码一区二区三区妃光/1| 操碰91| 久久伦乱| 亚洲人人操BD| 久久色频| 超级碰碰碰97免费| www.99riav99| 色墦五月丁香| 日韩色久| 99热在线观看亚洲区| 五月丁香怕怕综合| 婷婷五月天激情电影| 色色五月天 亚洲| 久久女婷| 97超碰人人操| 五月婷婷免费在线视频| 九九视频精品在线免费| 色九网| 超级碰碰碰碰视频| 综合久久十| 欧美色综合天天久久综合精品| 伊人五月婷婷| 五月婷婷亚洲色视频| 五月天激情网页| 99高级会所久久| 亚洲永久四色| 天天肏天天肏天天肏| 亚洲色频| 激情人妻蜜夜系列区| 婷婷激情四射| 久久久久久久综合狠狠综合| 日本高清久| 天堂五月婷婷| 丁香伊人五月色婷婷五十路| 婷婷中合| 国产AV一区二区三区最新精品| 欧美婷婷五月丁香| 大香蕉网站,大香蕉综合| 亚洲第一综合| 俺也去在线视频| 视色综合| 狠狠狠狠操| 天天碰天天插天天操| 色人五月婷婷| 天天摸天天舔天天爽| 久久久思思热| www.99热日韩.com| 丁香综合婷婷开心激情网| 97操视频| 色播婷婷五月天| 97色片| 亚洲欧美婷婷五月色综合| 亚洲一级色电影| 91人妻人人操人人爽| 久久总和99| 97干免费视频| 九九色综合| 少妇丁香婷婷 | 丁香五月AV| 天天操夜夜操| 人人草人人舔| 五月婷在线| 97在线观视频免费观看| 成人在线观看国产| 九九成人电影婷婷| WWW.五月com| 综合精品99| 91色在线| 婷婷四色五月| 狠狠做六月爱婷婷综合aⅴ| 五月情丁香色| 99亚洲大片精品永久在线观看| 操一操插一插| 九九热最新地址| 五月婷婷深深爱| 久热9| 人妻丰满精品一区二区A片| 成人做爰高潮A片免费视频| 牛牛热这里只有jingpin| 狠狠色综合久久久久| 色色婷婷丁香五月天| 99色五月| 欧美噜噜久久久XXX| 亚洲婷婷六月天| 99热费观看| 国产avapp 网| 激情五月婷婷| 亚洲xx在线| 国产超碰人人| 婷婷亚洲天堂| 五月婷婷综合色啪首页| se99视频| 大香蕉五月丁香| 天天操夜夜操| 爱iii做iiii日| 密乳Va| 91精品电影18T| 婷婷丁香五月亚洲综合网在线视频观看| 婷婷综合激情| 色偷偷综合| 久久丁香综合精品综合| 久久机热这里只有精品免费视频| 国产亚洲精品久久久久久牛牛| 色五月婷婷在线观看第一页舔| 九九久久精品國產| 啪啪婷婷五月天激情| 久热婷婷| 69人人操人人爽| 色色五月天婷婷| 亚洲激情色色| 亚洲婷婷91丁香| 91|疯狂丨高潮丨对白| 婷婷欧美激情| 国产婷婷五月中文字幕高清| 色婷婷狠狠| 五月丁香啪啪啪| 婷婷六月久久| 蜜桃婷婷五月| 天天日本夜夜谢| 伊人久久婷婷| 《久久综合九色综合97婷婷| 久久99热免费| 99色精品| 香蕉久操| 九九精品热| 99久在线精品99re8| 另类少妇人与禽zOZZ0性伦| 亚洲秘 无码一区二区三区妃光/1| 丁香婷婷综合五月天| 丁香六月婷婷久久综合| 激情人妻蜜夜系列区| 亚洲欧美成人在线| 婷婷丁香小说| 99国产在线精品视频| 色欲丁香| 五月亭亭性| 久久精品一区二区三区四区| 五月婷婷黄色| 五月婷婷六月丁香综合在线| http:色情日本com| av九九| 五月婷婷在线观看黄| 六月色丁香婷婷| 丁香五月婷婷亚洲色图| 久久总和99| 天天综合色99| 色 五月婷婷基地| 超碰精品在线| 97碰久久| 激情婷婷六月天| 67194线路二在线观看| 无码网| 日日夜夜婷婷| 国产综合视频婷婷| 五月婷婷激情网| 97操女视频| 五月丁香色婷婷熟女| 内射人妻视频国内| 婷婷丁香六月综合激情站| 97人人操| 五月丁香婷婷成人版| 丁香五月婷中字幕| 女同在线9| 伊人狠狠综合| 99re6在线视频精品免费| 婷婷丁香五月天婷婷| 六月婷婷激情| 中文字幕,综合,91| 激情五月婷黄版| 丁香五月成人丝袜| 婷婷基地爱| 九九视频在线观看视频在线播放69| 婷婷丁香视频| 国产黄大片在线观看画质优化| 久热这里这里有精品| 五月婷婷影院| 丁香五月天激情婷婷丁香六月| 久久99综合| 九九成人精品免费视频| 婷婷伊人綜合中文字幕| 中文字幕在线免费观看视频| 九九综合色| 五月总合激情网| 很很干天天干| 久久永久网址| 五月天激情四射| 狠狠色五月激情| 婷婷97狠狠成人网站| 五月婷婷之六月丁香| 五月丁香色停停啪啪啪|