99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Ethernet幀完整性校驗:從FCS原理到CRC-32故障排查實戰(zhàn)

Ethernet幀完整性校驗:從FCS原理到CRC-32故障排查實戰(zhàn) 做網絡這一行“Ethernet幀完整性校驗”這串詞平時未必天天掛在嘴邊但真遇到網絡上莫名其妙的丟包、誤碼、延遲抖動繞來繞去最后總會撞到它身上。我第一次對它產生強烈印象是在一次聯(lián)調現(xiàn)場客戶反映兩套系統(tǒng)之間偶發(fā)通訊卡頓接口統(tǒng)計面板里某個計數(shù)在緩慢上漲業(yè)務卻感知不到太多異常。查了好幾天換線、換模塊、重啟設備都試過最后才有人點了一句“你怎么不去看看FCS錯誤率”。也正是從那一次開始我把幀完整性校驗的原理、計算方式、排查套路徹底過了一遍后面再遇到類似問題基本都能在半小時內找到方向。這篇文章里的內容我會從原理講到實操包括CRC-32到底怎么算、為什么抓包工具看不見幀尾的FCS、FCS異常增長時該怎么由表及里定位故障最后再總結一些我用過、踩過、后來養(yǎng)成的排查習慣。適合剛接觸網絡協(xié)議分析的開發(fā)者也適合在網絡一線做過一段時間、想系統(tǒng)梳理一下這類知識的朋友。1. 一次聯(lián)調里的意外發(fā)現(xiàn)抓包看不見幀尾FCS1.1 現(xiàn)場現(xiàn)象與第一反應那次聯(lián)調的環(huán)境并不復雜兩臺服務器通過交換機互通中間走了一段雙絞線再看一眼光模塊轉接。業(yè)務流量本身不大但每天總有那么幾個時段出現(xiàn)重傳。起初我沒太在意因為應用層有重試機制偶發(fā)重傳也正常。真正引起警覺的是某臺交換機端口統(tǒng)計里兩個字段在緩慢增長一個和CRC錯誤相關另一個和入方向丟棄相關。雖然增長幅度不大對業(yè)務暫時沒有明顯影響但這類計數(shù)一旦出現(xiàn)說明鏈路里一定在做“無用功”。我第一反應是懷疑線纜和光模塊。按照常規(guī)做法先換了一根跳線又把兩端的收發(fā)模塊重新插拔看是否能匹配成功。結果并不理想CRC錯誤計數(shù)并沒有停。后來又試著把兩條鏈路的速率協(xié)商狀態(tài)改為固定模式同樣沒有明顯改善。這時候我才意識到一個問題我一直在“猜”是物理鏈路的問題但我根本沒有真正搞清楚這個錯誤計數(shù)到底是在什么時候產生的。換句話說我該先弄懂“FCS”是什么它校驗的是什么才能知道該懷疑誰。1.2 以太網幀結構里FCS到底在哪里IEEE 802.3標準定義的基礎以太網幀結構從發(fā)送端的角度來看大致是這樣一個順序前導碼7字節(jié) 幀起始定界符SFD1字節(jié) 目的MAC地址6字節(jié) 源MAC地址6字節(jié) 長度/類型字段2字節(jié) 載荷46到1500字節(jié) 幀校驗序列FCS4字節(jié)前導碼和SFD是物理層同步用的接收端把它們識別出來之后就知道“幀數(shù)據(jù)從這兒開始了”。目的MAC、源MAC、長度/類型字段和載荷是真正被協(xié)議棧解析的內容。而FCS這4個字節(jié)就是我今天要重點聊的“Ethernet幀完整性校驗”機制的核心。FCS的校驗范圍是從目的MAC地址開始一直覆蓋到載荷結束不包含前導碼、SFD也不包含F(xiàn)CS本身。發(fā)送端對這一段數(shù)據(jù)算出一個32位的結果并按固定字節(jié)序填到幀尾。接收端收到整個幀之后用同樣的算法對同樣的范圍重新計算一次再把計算結果和收到的FCS做比較。如果一致就認為這一跳傳輸過程中數(shù)據(jù)沒有發(fā)生比特級的變化如果不一致接收端會把這個幀直接丟棄。有一點值得注意如果幀里帶了VLAN標簽802.1QFCS的校驗范圍會從目的MAC一直算到VLAN Tag和載荷結束這部分額外字段同樣受保護。無論是私有VLAN還是其他擴展標簽只要在幀頭里作為數(shù)據(jù)結構存在、接著載荷發(fā)送它們都會被納入CRC計算范圍。實踐中我見過不少人在用抓包工具查看帶VLAN幀時下意識只盯著源目MAC和IP完全沒意識到FCS覆蓋范圍已經發(fā)生了變化。1.3 為什么抓包工具“看不見”FCS很多第一次接觸抓包的朋友都會問同一個問題我抓出來的幀里明明能看到MAC頭能看到IP頭為什么找不到文檔里說的那4字節(jié)FCS答案和抓包工具的采集位置有關。抓包工具讀取的是主機協(xié)議棧里某個“鉤子”位置這個位置通常位于網卡驅動把報文上拋給系統(tǒng)網絡棧之后。而絕大多數(shù)網卡在硬件收幀時會先做一遍CRC校驗校驗不過的幀直接丟棄不往上拋校驗通過的幀再把尾部的4字節(jié)FCS剝離掉只把有效載荷部分交給驅動。所以應用層抓包工具拿到的幀天然就少了尾部這4個字節(jié)。這就帶來一個很重要的實操認知用抓包工具抓到的幀“看起來都是好的”并不能證明鏈路就是干凈的。因為真正帶FCS錯誤的幀在網卡硬件這一層就已經被處理掉了。你如果想驗證“這一跳有沒有出錯”不能只看抓包文件里的幀內容而是要看網卡驅動或者對端交換機的底層計數(shù)統(tǒng)計比如常見的rx_crc_errors、rx_fcs_errors這類字段。在不少網卡驅動里FCS錯誤是單獨計數(shù)的也有驅動把它并入CRC錯誤一類這取決于具體實現(xiàn)但整體思路一致它是物理層和MAC層之間的事件普通抓包工具默認是看不見的。當然也有例外。部分網卡驅動支持關閉CRC剝離功能或者抓包工具配置為“保留壞幀”模式這時你可能會在抓包里看到尾部帶FCS的完整幀甚至看到CRC校驗失敗的幀。但這種模式不是默認行為而且開啟之后抓包工具本身也容易把壞幀當作正常幀顯示反而誤導判斷。所以我個人并不建議在日常分析中開這種模式除非你明確知道自己想要抓壞幀做實驗。2. CRC-32幀完整性校驗的數(shù)學底子2.1 為什么以太網選擇CRC而不是簡單校驗和如果只是想讓接收端確認數(shù)據(jù)沒被改過最直覺的做法是“把所有字節(jié)加起來存一個和”。IP協(xié)議頭部的校驗和就是這么干的。但以太網這種鏈路層技術面對的是實實在在的物理信道電磁干擾、線纜衰減、連接器氧化、信號反射都會造成比特錯誤而且這些錯誤往往不是孤立的單個比特翻轉而是連續(xù)的突發(fā)錯誤。簡單求和這種方式對突發(fā)錯誤的識別能力很差。CRC循環(huán)冗余校驗的核心思想是把數(shù)據(jù)看成一個龐大的二進制數(shù)用這個數(shù)去除以一個固定的“生成多項式”得到的余數(shù)就是校驗值。接收端拿到數(shù)據(jù)和校驗值之后再做一次同樣的除法如果余數(shù)不為零就說明數(shù)據(jù)在這條鏈路上發(fā)生了改動。這個“除法求余”的過程聽起來復雜但在硬件上用移位寄存器實現(xiàn)非常順而且可以通過查表法提升速度這就是它在通信領域被廣泛采用的原因。IEEE 802.3選擇的CRC-32并不是隨便挑了個多項式。它背后對應了突發(fā)錯誤檢測能力的數(shù)學保證可以檢測出所有長度不超過32比特的突發(fā)錯誤可以檢測所有奇數(shù)個比特錯誤并且在數(shù)據(jù)長度足夠短的情況下雙比特錯誤的漏檢率也極低。對于一條物理鏈路上常見的噪聲擾動來說這套保證已經非常夠用。所以別看FCS只有4字節(jié)它在鏈路層協(xié)議里承擔的角色比很多剛入門的人想象中重要得多。2.2 IEEE 802.3 CRC-32的參數(shù)細節(jié)很多朋友試過自己實現(xiàn)CRC-32卻發(fā)現(xiàn)自己算出來的值和抓包工具或設備上的FCS對不上。真不是你代碼寫錯了而是CRC存在多種“變體”IEEE 802.3使用的CRC-32有自己特定的參數(shù)組合。我整理成一張速查表參數(shù)項IEEE 802.3 CRC-32取值生成多項式普通寫法0x04C11DB7生成多項式反射寫法0xEDB88320初始值0xFFFFFFFF輸入數(shù)據(jù)是否反射處理是輸出結果是否反射處理是最終異或值0xFFFFFFFF這里面的“反射”指的是對參與計算的每個字節(jié)先做位序反轉或者對整段數(shù)據(jù)處理時按位反序操作。用業(yè)界常見的話說802.3的CRC-32是“反射輸入、反射輸出、初值全1、結果異或全1”。如果你的CRC計算工具或者算法實現(xiàn)沒有配齊這套參數(shù)算出來的結果自然和真實FCS對不上。新手最容易栽的坑有三個一是多項式寫法搞混普通寫法和反射寫法之間的二進制位序正好相反二是忘記處理初始值不置為全1的話算出的結果只在空數(shù)據(jù)時恰好一致一旦有實際數(shù)據(jù)就會出現(xiàn)偏差三是漏掉最終異或導致差一個固定掩碼。還有一點FCS在網絡上的字節(jié)序也要注意常見網卡把CRC結果按小端序填到幀尾如果你按大端讀出來再比較一樣會不匹配。2.3 用生活化的例子理解“多項式除法”我知道“除以多項式”這個概念對非數(shù)學背景的讀者容易勸退。換個說法可以理解為你有一串特別長的數(shù)字然后有一個固定的“模子”發(fā)送端拿著這串數(shù)字去除以模子得到的余數(shù)就是蓋章。接收端收到數(shù)據(jù)之后也拿著同一個模子去除如果余數(shù)和發(fā)過來的章對不上說明數(shù)字在運輸途中被改過。為什么它能檢測出“改了哪個位”因為模子本身有精心設計的數(shù)學性質。任意一個比特錯誤等價于原數(shù)據(jù)加上了某個“誤差向量”。如果這個誤差向量恰好不是模子的倍數(shù)除法余數(shù)就會改變就會被識別出來。CRC能保證一定長度范圍內的所有突發(fā)錯誤都會被識別正是因為這個模子的數(shù)學設計讓這些誤差向量都不會“正好整除”。實際做鏈路分析時我不需要去手推多項式除法但理解這一層之后你會明白一個關鍵道理CRC不是加密不是哈希它不承諾防偽只承諾“傳輸過程有沒有擾動”。它也不會告訴你錯誤發(fā)生在哪個比特只會告訴你“這一幀壞掉了”。這一點在后面的故障排查里非常重要——FCS異常說明問題出在這條鏈路的某個環(huán)節(jié)但具體是哪一段還需要進一步定位。3. 手寫一個幀完整性校驗工具3.1 構造最小以太網幀并計算FCS要說對Ethernet幀完整性校驗的理解光看書肯定不夠。我當時為了讓自己徹底搞明白FCS的計算過程寫了一個很小的腳本去“造幀”自己拼一個最小以太網幀算出CRC-32再模擬接收方校驗一遍。整個過程不到幾十行代碼但對理解校驗邏輯非常有幫助。思路很簡單拼一個目的MAC是全FF廣播地址、源MAC是某個本地地址的幀EtherType字段填入0x0800載荷就放46個字節(jié)的測試數(shù)據(jù)。算一下FCSimport zlib import struct def build_frame(dst_mac, src_mac, ethertype, payload): frame dst_mac src_mac ethertype payload crc_val zlib.crc32(frame) 0xffffffff fcs struct.pack(I, crc_val) return frame fcs def verify_frame(frame): fcs frame[-4:] body frame[:-4] expected struct.pack(I, zlib.crc32(body) 0xffffffff) return fcs expected dst bytes.fromhex(ffffffffffff) src bytes.fromhex(001122334455) etype b\x08\x00 payload bytes(range(46)) full_frame build_frame(dst, src, etype, payload) print(frame length:, len(full_frame)) print(fcs bytes:, full_frame[-4:].hex()) print(verify result:, verify_frame(full_frame)) # 模擬傳輸過程中一個比特被翻轉 bad_frame bytearray(full_frame) bad_frame[20] ^ 0x01 print(verify result with flip:, verify_frame(bytes(bad_frame)))這里用到了Python內置的zlib.crc32它的底層實現(xiàn)恰好就是IEEE 802.3這套CRC-32參數(shù)多項式反射寫法是0xEDB88320初始值是全1輸入輸出都帶反射最后再做異或。所以不用自己寫查表邏輯。代碼里定義了兩個函數(shù)build_frame負責構造完整幀verify_frame負責把幀尾4字節(jié)當成FCS重新計算并比較。運行之后你會看到正常幀校驗返回True而把第20個字節(jié)翻轉一位后校驗立刻返回False。這個“翻轉一位就翻車”的效果正是CRC-32在鏈路層的務實價值它不保證你不被攻擊但能保證你不會把壞數(shù)據(jù)當成好數(shù)據(jù)繼續(xù)往上拋。3.2 離線驗證真實抓包數(shù)據(jù)自己造完幀之后我接下來做的一件事是拿一批真實的抓包文件做離線校驗。想直接從抓包文件里驗證FCS首先要面臨一個現(xiàn)實問題多數(shù)抓包文件保存的幀里根本沒有FCS字節(jié)。如果抓包時啟用了“完整幀保存”或者某些設備明確保留了幀尾FCS那么離線文件里的每一幀會包含完整4字節(jié)。需要逐幀解析pcap記錄pcap全局頭通常是24字節(jié)之后每一條記錄頭16字節(jié)記錄頭里的incl_len告訴你這條記錄實際捕獲了多少字節(jié)orig_len則告訴你網絡上的原始長度。如果incl_len比正常最小幀頭加最小載荷還要多出4字節(jié)或者和你已知的載荷長度對不上就值得去讀取最后4字節(jié)做校驗。import struct import zlib def parse_and_verify_pcap(file_path): with open(file_path, rb) as f: global_header f.read(24) while True: rec_header f.read(16) if len(rec_header) 16: break ts_sec, ts_usec, incl_len, orig_len struct.unpack(IIII, rec_header) packet_data f.read(incl_len) if incl_len 64 and orig_len 64: fcs packet_data[-4:] body packet_data[:-4] expected struct.pack(I, zlib.crc32(body) 0xffffffff) if fcs ! expected: print(ftimestamp {ts_sec}.{ts_usec:06d}: FCS mismatch)這段代碼只是示意不同鏈路類型比如帶VLAN Tag、帶元數(shù)據(jù)封裝會有差異但整體結構差不多。我實際跑批處理時發(fā)現(xiàn)一部分抓包確實能驗證通過另一部分文件里的幀尾4字節(jié)并不是有效FCS而是某些網卡驅動填充的占位數(shù)據(jù)這時候直接按FCS校驗就會出現(xiàn)大量“誤報”。所以離線校驗前最好先確認抓包工具到底有沒有存儲FCS別對著一堆占位數(shù)據(jù)空跑。3.3 單跳校驗通過之后的事從FCS角度看每經過一條鏈路、一臺交換機幀都會被重新計算一次FCS。也就是說端到端抓包時你看到的FCS已經是被中間設備“重新蓋過章”的版本而不是最初發(fā)送端蓋的章。這是理解幀校驗和上層校驗關系的關鍵。交換機從入端口收到一幀先校驗FCS通過之后再查轉發(fā)表修改某些字段比如TTL或MAC等涉及三層轉發(fā)的場景再重新計算一個新的FCS發(fā)出去。這個過程保證了“每一跳”的可靠性但每一跳都獨立完成上下游之間沒有狀態(tài)關聯(lián)。所以只靠鏈路層FCS沒辦法保證端到端的數(shù)據(jù)完整性應用層數(shù)據(jù)跨越多個網絡節(jié)點中間只要有一個節(jié)點軟件內部出問題就可能改掉數(shù)據(jù)后重新計算一個合法的FCS。這也是為什么TCP層還要有自己的校驗和到了更高層有些協(xié)議還會再做一次完整性摘要。鏈路層FCS是一道重要的防線但它只是縱深防御體系里的一道而不是唯一一道。實際排查問題的時候不要把“FCS校驗過了”當作“整條鏈路沒問題”的結論要理解每一層校驗各自保護的范圍。4. 從FCS異常反推鏈路故障4.1 CRC錯誤到底是在哪個環(huán)節(jié)產生的FCS異常的本質是“接收端算出來的校驗值和發(fā)送端寫的不一致”。那這個不一致通常在哪里被引入首當其沖是物理層雙絞線過長導致信號衰減、連接器氧化造成接觸電阻增大、網線內部線對絞距被破壞導致的串擾、電磁干擾源靠近線纜、光模塊老化導致光功率下降、光纖彎曲過大導致反射這些都會讓比特位在傳輸過程中“翻轉”。另一個常見來源是鏈路雙方的工作狀態(tài)不匹配。比如一端協(xié)商到了全雙工另一端卡在半雙工這種狀態(tài)在低速以太網上會出現(xiàn)大量沖突嚴重時幀會被截斷、撕裂接收端的FCS校驗自然過不了。尤其是強制雙工模式的時候風險更大因為雙方完全放棄了自動協(xié)商的握手確認過程。還有一個容易被忽視的環(huán)節(jié)網卡或交換芯片內部的處理邏輯。比如芯片收到一個長度異常的短幀Runt可能還沒來得及完整接收就已經把不完整的數(shù)據(jù)提交給上層模塊又比如交換機緩存不足時某個隊列被丟棄或部分丟棄也會表現(xiàn)為CRC錯誤或對齊錯誤。這類問題的物理鏈路本身可能是健康的。我自己的經驗是遇到FCS異常先不要急著懷疑線纜質量而是先看錯誤計數(shù)的分布特征。如果錯誤零散分布在多個端口那更像環(huán)境干擾或設備共有問題如果錯誤集中在一條鏈路的兩端那重點懷疑這條物理路徑如果只有一端報錯另一端完全干凈那可能是接收端硬件或驅動的問題。4.2 一套可以照抄的排查順序下面這套順序是我后來固定下來的排查流程不算特別復雜但每一步都有明確目的先收集兩側端口統(tǒng)計把CRC錯誤、FCS錯誤、對齊錯誤、短幀錯誤、丟包計數(shù)全部記下來。不要只看其中一個字段它們組合起來會給出更多線索。觀察錯誤增長速率和負載的關系。如果只在業(yè)務高峰時快速增長說明大概率是信號質量問題在高負載下被放大如果空載也在漲那問題可能很穩(wěn)定比如硬件損壞或接觸不良。做一次“物理層替換法”換線、換模塊、換端口。每換一個環(huán)節(jié)觀察一段時間計數(shù)。替換法最忌諱一次換好幾個東西那你就永遠不知道是哪個環(huán)節(jié)治好了問題。檢查協(xié)商狀態(tài)。確認兩端速率、雙工模式一致關閉強制的“非標準”配置再做對比。如果是在僅跑少量流量的測試環(huán)境可以嘗試顯式固定速率看錯誤是否消失。在鏈路兩端同時抓包并打時間戳比對兩端收到的幀數(shù)量和數(shù)據(jù)內容。如果入口流量正常、出口出現(xiàn)突發(fā)錯誤問題很可能在中間設備如果兩端都干凈但交換機計數(shù)在漲也可能是交換機內部統(tǒng)計口徑問題。如果錯誤只在某個特定網卡上出現(xiàn)更新驅動、固件并檢查網卡是否啟用了某些卸載特性比如接收側合并、Large Receive Offload這些特性在驅動實現(xiàn)有bug時會引發(fā)奇怪的數(shù)據(jù)異常。如果以上都做完了還沒找到原因再考慮設備硬件故障比如交換芯片的背板問題。這種情況通常需要換一臺設備或換一個板卡做隔離驗證。這套流程看起來基礎但能覆蓋絕大多數(shù)場景。尤其第3步的“每次只換一個環(huán)節(jié)”聽起來像廢話恰恰是無數(shù)現(xiàn)場工程師最容易因為急躁而犯的錯誤。4.3 故障速查表現(xiàn)象、原因與驗證手段為了隨時查閱我整理了一張速查表也算是對上面排查順序的一個濃縮現(xiàn)象可能原因先驗證什么可能的動作單端口CRC計數(shù)緩慢增長業(yè)務無明顯感知線纜老化、連接器接觸電阻、輕微電磁干擾端口協(xié)商狀態(tài)、線纜長度、兩端功率更換跳線、重新壓接水晶頭高負載下CRC計數(shù)快速上升信號衰減、光模塊劣化、雙工不匹配光功率、錯誤增長速率與負載關系更換光模塊、調整協(xié)商策略CRC錯誤伴隨對齊錯誤出現(xiàn)鏈路沖突、物理層幀截斷雙工狀態(tài)、線對序強制全雙工一致或更換線纜多端口同時出現(xiàn)CRC錯誤公共環(huán)境干擾、設備供電異常設備側電源、周邊大功率設備干擾整改布線路徑、調整電源更換模塊后計數(shù)短暫清零又復漲硬件插槽或背板鏈路問題換一個端口或設備對比進一步隔離硬件層級這里有一條通用原則CRC計數(shù)是一個“果”不是“因”。你從它著手去查問題沒錯但最終修復的一定是導致它的環(huán)境、物理鏈路、協(xié)商狀態(tài)或者硬件故障。神化統(tǒng)計字段容易把自己帶偏。5. 常見誤區(qū)和幾個實戰(zhàn)心得5.1 誤區(qū)一看到CRC上升就斷定是線纜質量差這類判斷太絕對了。很多情況下CRC錯誤來自驅動或設備內部的異常。我遇到過一次很典型的例子兩端口之間CRC計數(shù)持續(xù)上漲但把線纜、模塊全部換了一遍問題依舊。最后發(fā)現(xiàn)是某塊板卡內部背板鏈路的數(shù)據(jù)通路故障換了整塊線卡后才恢復。如果當時只盯著“換線”這一條思路根本走不到真正的根因。另一個容易被忽略的是虛擬化環(huán)境。虛擬交換機和虛擬網卡驅動在統(tǒng)計CRC時很多實現(xiàn)只是把宿主機物理網卡的統(tǒng)計原樣暴露出來并不代表虛擬鏈路上真的發(fā)生了比特錯誤。如果在虛擬化平臺上看到CRC上漲第一件事應該是確認這個計數(shù)到底來自物理網卡還是虛擬數(shù)據(jù)通路否則你容易把平臺自身的問題嫁禍給底層物理網絡。5.2 誤區(qū)二抓包工具顯示無錯鏈路就一定干凈這個誤區(qū)在上文已經提到過但它真的太常見了值得單獨拿出來再說一次。抓包工具默認拿到的幀是網卡剝離FCS之后的版本壞幀在進入?yún)f(xié)議棧之前就被丟棄了。所以抓包結果里每一條記錄都“光鮮亮麗”根本不能說明物理鏈路上沒有噪聲。想看鏈路健康度必須配合網卡底層計數(shù)否則你會被自己的抓包文件欺騙。反過來如果抓包工具里真的出現(xiàn)了CRC錯誤標記某些工具在捕獲引擎保留了壞幀時會有提示那說明這已經很嚴重了鏈路質量可能差到了一定程度。但普通場景下抓不到CRC錯誤反而是常態(tài)不要因為抓包結果好看就放松警惕。5.3 把CRC計數(shù)當作長期健康度指標排查完一個具體問題之后就可以建立一套自己的觀察習慣。我對接口統(tǒng)計的處理方式不是看某一個時間點上的絕對數(shù)值而是看趨勢。比如某端口的CRC錯誤計數(shù)今天比昨天多了300這個數(shù)量級在業(yè)務負載變化范圍內是否正常相比硬件報錯我更關心它是不是持續(xù)、單調地增長。持續(xù)增長意味著某個劣化過程正在發(fā)生可能是光模塊的激光器在緩慢衰老也可能是連接器在逐漸氧化。建議每隔一段時間把關鍵端口的統(tǒng)計拉出來存一份基線等變更發(fā)生后做對比。這個辦法成本極低但對解決問題幫助很大。真到問題爆發(fā)那一刻你能立刻判斷出“這個錯誤是什么時候開始變多的”“最近改了什么東西”遠比現(xiàn)場抓瞎要強。對于光口順帶關注光模塊的收發(fā)光功率變化趨勢光功率下降往往比CRC計數(shù)增長提前幾天就發(fā)出預警這算是我自己比較受用的一個小技巧。還有一個小習慣拿到一臺新設備或者新網卡先做一次短時間高負載收發(fā)測試把錯誤統(tǒng)計清零再觀察。每個硬件對誤碼的容忍度不一樣過早做基線反而容易在基線里埋入大量背景噪聲。等確認鏈路在干凈狀態(tài)下跑穩(wěn)了再開始記錄正?;€之后每一次統(tǒng)計異常都會很有參考價值。做鏈路分析做得時間長了我對“Ethernet幀完整性校驗”這串詞的感受已經從“一個CRC寄存器”變成了一整套觀察鏈路健康度的視角。自己動手寫校驗腳本、跑真實數(shù)據(jù)、被虛驚嚇過、也被真正的根因折磨過這些過程確實是把知識變成能力的最好方式。如果你下次再遇到CRC相關告警不妨先冷靜下來把統(tǒng)計字段、抓包位置、物理鏈路狀態(tài)這三樣東西擺到桌面上再決定要不要動手拆線纜。我個人的體會是絕大多數(shù)FCS異常都能通過一張清晰的排查順序表快速收斂真正難的從來不是修而是判斷該修哪里。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99久久偷拍视频| 超碰9在| 五月婷婷丁香狠狠撸久久| 996黄色片| 99热精品在线| 婷婷99中文字幕| 丁香激激情网| 丁香婷婷五月综合影院| 啪啪激情网站| 5月婷婷性视频| 91九九| 欧美婷婷九月| 五月丁香亚州综合网| 思思热这里只有精品| 天天色综网| 天天拍夜夜撸| 五月噜噜噜色综合| 国产精品久久99| 国产成人亚洲综合亚洲| 97操碰日本女人| 国产精产国品一二三在观看| 99精彩视频| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 少妇真实被内射视频三四区| 九九色色| 日本不卡高字幕在线2019| A1片久久久| 成人无码髙潮喷水A片| 丁香狠狠色婷婷久久无码视频| 777久久精品| 91精品婷婷国产综合| 91在线精品一区二区| 99视频内射三四| 婷婷五月av| 欧美婷婷五月天| 婷婷五月噜噜| 夜夜骑天天玩天天日| 开心五月激情| 丁香五月激情视频在线| 五月婷婷六月奇米网丁香| www.天天色综合| 婷婷丁香亚洲色综合91| 99热这里都是精品| 深爱五月激情网| 五月婷婷激情综合| 99惹| 天天日天天爱天天噪| 五月天黄色激情小说| 凹凸探花电影| 色五月婷婷五月丁香五月| 丁香五月成人论坛| 欧美性丁香色色五月天干干| 婷婷五月天堂| 校花娇喘呻吟校长陈若雪视频 | 丁香六月天婷婷开心综合| 激情综合色婷婷啪啪六月天| 亚洲日韩一页精品发布| 在线观看日韩12345区| 婷婷情色开心五月天99| 综合精品啪啪| 精品视频这里只有精品| 国精产品一区二区三区| 热99精品视频五月| 欧类av怡春院| 色色激情五月| 综合久久五月| 久热婷婷| 欧洲综合一区| 热99国产精品| 激情五月,激情综合网| 第四色五月天| 免费无码毛片一区二区A片| 在线不卡视频| 激情啪啪五月天| 五月天婷婷情色| 91精品综合久久久久久五月丁香| 五月婷婷我| 日日日天天干| 在线日韩视频| 人人插9| 久久五月视频| 91成人性爱视频| www.91.com黄| Av在线资源| 小色小蛇伊人婷婷色香五月| 五月丁香六月婷婷在线小说视频| 久青操| 99热91| 久久婷婷青青| 五月婷婷天天色| 国产五月天欧美色| 国产毛片精品一区二区色欲黄A片| 日韩有码一区| 日本无va视频| www.99热视频| 99综合一区| 五月丁香999| 丁香六月无码播放| 香蕉AV777XXX色综合一区| 99热久97| 开心色五月天久久久久久久| 国产肥白大熟妇BBBB视频| 婷婷欧美激情| 丁香六月亭亭久久综合| 97丨九色丨国产丨PORNY| 婷婷五月色花丁香社区| 丁香五月丁香伊人| 天堂成人A片永久免费网站| 91丨九色丨国产在线| 六月五月丁香五月欧美| 五月天激情四射| 超碰免费人人肏| 亚洲欧美成人在线| 六月婷婷激情图片| 色九亚洲| 五月丁香婷婷婷激情爱爱| 99色在线观看| 三区激情四射av| 久久人妻人人| 丁香五月停停基地| www.精品99| H亚洲| 五月色丁香综合| 九九热视频在线观看| 国产精产国品一二三在观看| 嫩草综合网| 久久综合九九| 777色婷婷爱五月| 超碰日日操| xxxx五月天色色| 五月天色婷婷小说| 妻久久久久| 婷婷五月丁香网| 风流少妇A片一区二区蜜桃| 欧洲综合视频| 婷婷五月激情丁香| 五月天无码视屏播放| 伊人五月婷婷| 日日噜人人人做人| 欧美黑人巨大性生话| 久久停停超碰| 日日杆天天| 婷婷九月激情| 熟女人妻一区二区三区免费看 | 怡红院精品视频久久久久久久久| 9久久狠狠的| 高清激情av在线观看| 五月色丁香| 天天五月丁香五月| 免费无码毛片一区二区A片| 九九热亚洲中文在线观看免费| 大香蕉久艹| 五月丁香久久综合色| www.99热视频| 综合亚洲色色| 天天色中文字幕女优AV| 能看的AV| Xx色综合| 丁香五月婷婷激情蜜桃| 人妻九九九九| 人人爱天天摸摸天天爱| 操草草草| 99A级片| 色色色热| 五月天婷婷综合久久| 一起草av| 色情五月天婷婷| 婷婷视频在线碰| 九九99一区| 四川操逼站| 国产成人亚洲综合A∨婷婷| 日韩在线观看亚洲| 男女啪啪做爰高潮无遮挡| 久久这里只有精品视频26| 婷婷99视频在线| 99热在线观看精品免费| 免费亚洲婷婷中文字幕| 天天干在线播放| 久久亚洲激情五码| 蜜臀A∨在线水帘洞| 青草视频在线观看视频| 99热网址| 免费播放99性爱视频| 伊人久久中文网| www.狠狠| av狠狠操| 五月丁香拍拍激情综合| 五月丁香色色| 午夜福利8055| 中文字幕有多少字| 91 九色 熟女| 丁香婷婷婷五月| 美女网黄| av一区二区电影免费在线观看| 久久婷婷五月综合激情国产| 天天开心AV色综合婷婷五月天| www.cao.com久久| 大香蕉九操| 五月婷在线| 婷婷丁香成人网址| 天天射影| 丁香五月情| 亚洲乱码日产精品BD| 天天插天天插| 天天摸天天日天天舔| 97久久精品| 国产毛多水多女人A片| 婷婷五月天天爽| 伊人日日干| 手机在线日韩视频中文字幕| 97日日碰碰| 91一起操| www.99热这里只有精品| 国産精品| 青青草轻轻操| 99无码视频| 激情五月图| 成人在线综合| 婷婷久久在线| 九九99九九精品视频| 婷婷五月天色播| 五月天婷婷激情综合| 久久99最新| 六月色播| 色综合久久99色| 91在线看片| 激情五月天色色| 播播网色播播| 美女五月狠狠| 99精品大片| 日逼免费视频 | 熟女色专区| 狠狠干在线| 婷婷丁香五月天激情四射| 日韩无码专区| 久久综合五月天| www.91久久| 色婷婷狠狠| 午夜婷婷五月天在线| 五月婷婷丁香深深爱| 久热人妻| 六月色日韩| 五月丁香色色网| 99爱99操| 操碰91| 九九综舍久久| 日韩成人av在线| 亚洲人妻Av| 玖玖午夜视频| 99re热精品在线视频| 久99视频在线观看| 亚洲五月天色| 白天AV月月| 婷婷丁香亚洲五月天| 五月婷婷和六月| 婷婷五月天成人动漫 | 九九草热在线观看| 丁香网五月网| 久久这里有精品| 十月色综合| 高清无码入口| 五月丁香激情综合| 久久人妻熟女一区二区| 亚洲综合碰| 亚洲蜜乳AV| 免费人人操| 五月天激情小说欧美激情| 久久A V无码视频| 狠狠久综合| 六月丁香婷婷在线波多 | 天天干,天天舔| 久久99热这里只有| 丁香综合网| 老司机伊人| 性爱视频99| 99在线精品视频| 五月天堂婷婷| www99精品日韩| 91色色色视频| 99惹在线精品免费观看| 91久久婷婷人人澡草| 天天干夜晚夜操| 色综合久久888| 色色五月婷婷| 六月激情网| 婷婷丁香花五月天| 天天拍久久| 激情五月色在线播放| 婷婷五月综合啪| 国产成人亚洲综合A∨婷婷| www久久久| 久热精品免费视频4| 婷婷va| 99热国品免费| 激情视频综合| 新激情婷婷| 久久女人天堂| 五月丁香在线综合| 成熟妇人A片免费看网站| www天堂99| www98日本小时间到了| 99热久只有精品首页| 99r这里| 超碰在线91| 清纯唯美 激情四射| 大香婷婷| 99热这里只有精品 搜| 色色99| 少妇性按摩无码中文A片 | A片试看120分钟做受图片| 岛国午夜视频| 婷婷基地五月色| 99精品在线观看视频| 五月天大香蕉av| 中文字幕,综合,91| 亚洲AV无码久久精品色欲| 激情五月婷婷在线观看| 99久久97| 日日婷婷不卡| 第五色婷婷| 色婷婷香蕉丁丁网| 天天天天天日| 狠狠一日| 欧美韩日AAA网站| 色情久久久| www.91AV.com| 亚洲综合在线丁香五月| 免费看欧美成人A片无码| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 五月天激情久久| 成人中文网| 丁香五月婷婷色| 99精品在线观看视频| 国内一级片| 久久这里只精品66| 五月丁香综合啪啪| 久久婷婷五月国产色综合激情| 开心五月深爱五月| ...婷婷五月综合不卡,国产在线手机| 久久性爱视频久久性爱视频| 成人五月丁香花| 色五月开心婷婷| 超碰在线人妻| 97碰| 亚洲六月色| 五月婷在线影院| 欧美丁香婷婷五月| 九色无码| 久大香蕉| 婷婷色五月丁香六月欧美啪| 婷婷99视频精品| 五月天停婷基地| 婷婷五月天激情基地| 丁香性爱在线视频| 思思热AV| 欧美操综合| AV人人操| 生活片五区| 伊人婷婷大香蕉| 六月丁香婷婷色狠狠久久| 婷婷五月天开心激情网| 五月亚洲| 最新日韩AV中文字幕| 有哪些A片网站| 婷婷五月激情黄色| 无码任你操| 久久99免费视频网站| 99热这里只有精品 搜| 无码人妻丰满熟妇奶水区码 | 人人摸人人摸| 日韩另类| 欧美婷婷色| 婷婷五月丁香久久| 久9精品| www.日韩国产| 天天更新天天亚洲| 欲色人妻| 五月激情六月综合| 99精品网站| 97超碰99热99| 人妻22p| Av狠狠色丁香婷| 少妇高潮A片无套内谢麻豆传| 色情一区二区播放| 99热热这里只精品996小说| 综合色图区| 亚洲激情免费久久| 婷五月天六| 婷婷久久久久| 99re这里只有精品首页| 久婷久婷激情肉| 丁香五月自拍| 99热日韩| 久久视这里只有精品| 先锋影音av色五月天资源站| 色噜噜五月天| 丁香五月成人论坛| 97人操人免费视频| 日本一级黄色片。| 国产免费AV网站| 婷婷丁香午夜综合影视| 亚洲操B视频| 欧美精品999| 丁香五月五婷| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 五月综合激情| 五月在线| 五月丁香六月婷婷a v| 日韩综合久| 五月天伊人| 第四色婷婷丁香五月| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 99久99久| 婷婷97狠狠成人网站| 久久久全国免费视频| 综合亚洲AV| 伊人五月天在线| 激情五月天小说视频| 色人久夂| 涩涩激情五月婷婷| 熟妇人妻中文字幕无码老熟妇| 久久久天天啊| 婷婷综合六月| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 日韩无码色色| www,色婷婷| 狠狠干狠狠干狠狠干狠狠干| 婷婷五月69| 99碰| 激情碰碰碰| 九九热在线精品| 五月天六月婷婷| 狠狠狠激情网| 99久久黄色顶级视频| 综合激情在线| 色情五月天。| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 伊人大香五月天| 亚洲天堂大香蕉| 五月婷无码| 亚洲国产精品SUV| 国产精品成人AV在线| 天天操屄网| 天天天天天色| 狠色狠色狠色狠色狠色网| 日夜操B| 婷婷成人AV| 亚洲无码九九九| 婷婷亚洲在线| 婷婷五月天综合久久日| 丁香婷婷久久五月天| 成人免费黄色短视频| 开心婷婷五月| 激情五月天网| 99久久国产宗和精品1上映| 思思热视频| 99久久网站| 91九色精品女同系列| 日韩久热| 超碰九色| 操大屄五月天视频| 变天就操逼婷婷五月| 亚洲AV无码电影| 丁香狠狠色婷婷久久无码视频| 超碰免费人| 亚洲免费综合一区| 五月天久草| 午夜丁香 婷婷| 亚洲天堂九九九| 超碰9在| 99九九视频| 美女黄频aⅴ视频| 超碰91在线| 激情深爱综合| 五月开心激情网| 久久五月天激情| 色综合伊人网| 丁香五月天电影| 国产人妻人伦精品一区二区| 婷婷最新地址| av最新在线| 婷婷五月色影视先锋| 妇激情基地| 广东99色在线| 日本va欧美va欧美精品88| 欧美α√| 99热精品无码| 伊人网色婷婷五月天| 日本人妻久久| 亚洲色色色色色色色色色| 丁香五月婷婷无码AV| 五月丁花色综合网| 女婷久久| 我淫我色婷婷五月天激情四射| 东京热人妻一区二区三区在线| 97操碰在线视频| 日本三级中国三级99人妇网站| 五月丁香WWW| 九九99一区| 丁香激情久久| 激情综合丁香| 五月天狠狠网站| 青青草婷婷综合五月| 激情五月天偷拍综合网| 被强行糟蹋的女人A片| 五月丁香婷婷99| 丁香五月婷婷深爱综合激情 | 五月天婷婷伊人| 欧美交换配乱吟粗大25P| 久久婷婷网址| 日韩抽插操逼| 丁香激情网| 国产在线网| 综合99久久天天综合| 五月婷婷色综图片| 久久综合干| 97超级碰| 月婷婷亚洲| 中文在线成人| 偷拍九九热| 超碰人人操人人干| 丁香五月天中文字幕| 丁香九月激情| 色99在线观看| 婷婷五月天激情免费在线观看| 99热免费精品| 91色吧网| 色色色色色色网| 99re6在线视频精品免费| 97色色综合| 色噜噜在线| 九九在线精品| 色99网| 天天狠天天叉| 婷婷五月天 丁香五月天 裸体| 99热网站| 伊人激情啪啪| 免费啪啪亚州视频| 婷婷五月天狠狠色| 亚洲色五月婷婷| 日日夜夜噜噜爽爽| 乱精品一区字幕二区| 性色欲情 网站| 久艹大香蕉| 激情性爱网站| 五月丁香六月婷婷无码| 最新婷婷五月丁香| 青青草原99热| 天天综合网~91| 五月丁花色综合网| 免费看欧美成人A片无码| 天天日天天添| 激情五月天婷婷| av网址在线| 色婷婷丁香五月| 五月色婷婷夜色| 激情网综合| 亚洲精品第一色色色色色色| 综合在线丁香五月| 亚洲在线免费成人| 五月色俺婷婷| 九九九AAA热视频| 丁香激情婷婷网| 五月天丁香久久综合| 欧美婷婷五月天综合| 超碰成人公开| 丁香五月网在线观看| 亚洲三A| 激情网开心网| 激情五月天情色| 激情深爱综合网| 久久码久久无清| 99综合网| 思思99热这里只有精品| 粉嫩AV久久一区二区三区| 五月天婷婷午夜丁香| 六月丁丁香| 天天爱天天做综合| 婷婷五月天av小说| 九九这里有精品| 猫咪伊人久久| 五月丁香啪| 色丁香在线视频| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 天插天啪天啪天啪| 久久久人人操A V| 免费看欧美成人A片无码 | 五月花婷婷最新| 欧美色必爱| 俺去也综合| 五月婷婷欧美| 99热 精品在线| 九九视频这里只有精品| 天堂资源欧日浪女在线播放| 欧美激情综合| 日本色色色| 丁香五月婷婷啪啪啪| 欧美丰满熟妇BBB久久久| 亚洲VA在线| 99九九在线视频| 天天操婷婷| 9这里只有精品| 人人插9| 在线另类| 99热只有| caopeng97日韩| 色五月婷婷五月天激情综合| 国自产拍偷拍精品啪啪一区二区| 色播五月婷婷五月| 99爽视频| 丁香五月天婷婷久久| 久久区区一二三av| 免费视频WWW在线观看网站| 欧美美美女性色视频| 综合久| 五月丁香久久激情综合| 日本狠狠色| 欧美25p| 丁香六月婷婷综合激情欧美 | 欧美天天草人人草| 九九九九九九九九九九九九九国产精品| 中文字幕人妻在线| 天天夜夜六月丁香五月婷婷老师| 久久激情综合| 婷婷激情四射五月天| www99热| 九九热精品在线| 手机AVAV天堂看网| 狠狠舔| 色99www.| 182tv992tv人之初午夜免费观看| 亚洲综合99| 五月婷婷激情网| 99.色| ww亚洲ww在线观看| 色婷婷五月在线| 婷婷99狠| 天天久综合网永久入口18| 久激情网| 99热精品免费| 日本熟女内射| 综合性视频99| 欧美综合婷婷欧美综| 九九re精品视频在线观看| 丁香色色五月| 亚洲精品白浆高清久久久久久 | 激情五月婷婷在线区| 99啪啪视频| 久久99三级在线视频| 久久婷婷综合五月| 99热在线观看| 中文字幕 中文字幕明步| 亚洲中文乱字字幕在线永久| 免费观看亚洲AV片| 五月停停999| 精品九九久久| 久久人妻视频| 欧洲第一无人区观看| 伊人五月综合网| 色综合久久888| 九月丁香亭亭| 激情丁香社区| 99自拍视频| 成人亚洲精品| 激情久久久| 亚洲激情综合| 日日撸夜夜操| 色综合色综合网| 久热只有精品| 五月激情小说| 色欧美色色色| 五月色婷丁香| 91视频人人做97| 99碰视频| 九九色逼| 99人这里只有精品| 日日操,天天操| 99色在线观看视频| 色欲一区二区三区精品A片| 色婷婷www| 亚洲综合另类| 一起草AV| 亚洲精品无人区| 99久操视频| 99热全是精品| 在线不卡视频| 人妻videos人妻高清| m色激情网| 丁香五月香蕉| 婷婷中文字幕| 国产日产亚系列精品版优势| 亚洲韩国日产综合AV| 9999热精品| 99欧州偷拍视频| 狠狠五月激情在线| 男女久久婷婷五月天| 99色在线视频| 天天色粽合合合合合合合| 国产午夜成人AV在线播放| 操97在线观看| 大香蕉啪啪| 三区激情四射av| 五月天影院| 色婷婷成人网| 成人.在线日韩| 激情av网| 丁香婷婷五月天色综合| 欧美美美女性色视频| 99久久99九九九99九他书对| 日本少妇裸体做爰高潮片| 91jiuseshunv| 激情六月丁香综合| 精品9久| 91超碰在线观看| 亚洲综合视频一下| 丁香狠狠色婷婷| 婷婷成人基地| 91超级碰在线视频| 人人操超踫| 久久综合性| 婷婷五月天 丁香五月天 裸体| 五月丁香婷婷激情影院欧美| 五月丁香999| 99热99极品观看| 婷婷在线网| 亚洲AV综合网| 岛国AV网站| 九九色逼| 国产三级片91| www夜夜操wwwcon| 337p大胆噜噜噜噜噜91Av| 激情人妻蜜夜系列区| 久久综合丁香| 日操夜撸| 中文字幕日产A片在线看| 色色色五月婷| 丁香婷婷色五月| 精品无码久久久久久久久| 国产免费av在线| 国产高清精品色| 五月综合激情网| 色噜噜狠狠色综合成人网| 五月天色婷婷成人| 国产精品18久久久| 久久九九网| 97碰人人操| 亚洲美女裸体被操在线观看| 99这里只有精品国产| 五月天综合久久| 久久狠婷婷| 丁香五月天天高清在线| http:色情日本com| 人人爱干人人爱草| 五月天色图| 狼人婷婷久久| 婷婷六月色开 | 亚洲热久| 五月丁香六月婷婷综合网站 | 午夜精品777| 国产精品色| 91日本在线| AV在线中文| 大香AV| 天干夜夜操| 五月丁香综缴情性爱| 五月激情婷婷色| 国内外色色色色色成人视频| 5月色婷婷| 天天爽天天爽| 丁香女人五月天| 色婷久久| 情五月亚洲婷婷| 天堂成人A片永久免费网站| 深爱五月月天| 九九热精品在线| 久久老码第一| 99在线精品免费视频| 五月丁香久久久日婷婷久久婷婷日| 91热爆在线| 五月天婷婷六月激情网| 天天干天天插| 影音先锋 婷婷| www.91热久久| 婷婷色五月天在线| 九九人人自拍| 婷婷开心激情| 丁六月激情| Aaa久久| 精品五月天| 综合色色综合| 婷婷综合激情| 爱爱色五月天| 激情综合网婷婷五夜| 另类激情网| 91视频久久久| 99热精品在线播放| 男人天堂亚洲综合| 淫视馆av三区| 天天日夜夜| 色五月婷婷婷婷婷婷婷婷婷婷| 开心激情站| 五月天夜夜爱夜夜操| yiqicaoav| 色五月综合激情| 国产裸舞福利资源在线视频| 五月婷婷碰碰| 色色色在线观看| site:hcxsz888.com| 国产熟妇的荡欲午夜视频| 五月天激情啪啪| 久久婷丁香五月| 免费看欧美成人A片无码 | 无码AV免费精品一区二区三区| 国产片色| 色婷婷9| 在线看的免费网站| 99激情视频| 无码一区二区日韩| 超级97碰碰| 99精品综合视频| www.99成人视频| 1024国产| 欧美日本国产| 思思re99视频在线观看| 五月天电影网| 亚洲综合婷婷| 五月天婷婷青青草| 丁香九月婷婷| 五月丁香黄色视频| 亚洲小视频免费观看| 亚洲美女裸体被操在线观看| 日韩欧洲亚洲| 丁香5月婷婷| 婷婷色网站| 久久XX日本综合| 亚洲五月花| www.狠狠艹| 99热这是里只有精品| 五月丁香久久丝袜啪啪| 国产成人精品123区免费视频| 激情五月综合| 激情纯色婷婷五月天在线不卡视频| 久久五月婷婷丁香| 欧美三级巜人妻互换| 99九色视频在线观看| 久久这里有精品在线观看| jiujiu热在线视频| 久久婷婷亚洲无码一起| 午夜亚洲AV日韩无码| 婷婷精品免费久久| 亚洲男女激情| 99爱精品视频| 婷婷五月天天| 亚洲色精彩| 激情五月丁香社区| 中文字幕黄色电影网址| 91干婷婷| 欧美成人AAA片一区国产精品| 欧美色图天堂网| 欧美激情VA永久在线播放| 天天干天天操天天上| 五月天婷婷一起草| 亚洲最大在线| 久久超视频| 91超级碰人人操| 91精品91久久久久77777| 99热在线观看| 99欧美| 久久精品9| 欧美Va婷色| 可以直接看的av| 久久久久人妻精选| 人人人va亚洲视频在线| 婷婷色五月色妇| 欧美色骚婷婷五月天 | 热99热9| 五月综合激情视频| 婷婷五月天99| 欧美成人网婷婷综合在线| 99精品色色| 日本熟女视频一区二区| 97人人干| 五月婷婷色播视频| 黄色大片又大粗又爽| 色情五月丁香| 五月丁香| 五月婷婷激情四季| 这里只精品| 再次出发二| 99热在线里有精品| 五月天婷婷丁香花| 六月婷婷狠狠做| 丁香五月六月激情| 亚洲色亚洲精品| 精品亚洲VA网站| 天天爽天天日| 激情综合99| 日韩亚洲视频| 色婷婷电影网| 国产欧美日韩综合精品一区二区| 无码免费人妻A片AAA毛片西瓜| 国产精品扒开腿做爽爽爽A片唱戏 青青草国产亚洲精品久久 | 九七色色六月丁香| 五月丁香六月停停停| 亚洲第二AV| 九月久久婷婷| 9999久久久久| 欧洲激情五月天婷婷| 丁香五月宝贝激情网| 久久96热| 久久色亭亭五月天| 九月丁香| 国产亚洲成AV人片在线观黄桃| 一区二区成人电影免费播放| 六月婷婷天堂| 九热久| 久久亚洲A| 天天日,夜夜爽| 婷婷五月天堂| 五月丁香婷婷综合网| 欧美性猛交99久久久久99按摩| 青青久久五月天丁香婷婷| 99热在线看| 日本精品在线噜噜噜| 影音先锋激情网| 天天插,天天射| 五月丁香婷婷色| 免费视频WWW在线观看网站| 操碰99在线视频观看| 九九亚洲综合| 米奇激情婷婷| 色色无码| 亚洲精品国产熟女久久久| www色哟哟| 成人在线日韩| 亚洲一区二区无码蜜乳av| 我去色色网五雨天| 97五月天| 久久丁香婷婷五月| 99热热九九| 丁香五月五月婷婷| 97色色网| 日本黄色在线观看| 狠狠色综合777| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 综合欧美五月婷婷| 婷婷五月综合社区| 精品色情一区二区三区四区| 夜夜撸日日骑| 五月婷婷六月丁香| 五月丁香婷婷老司机| 色色丁香| 五月丁香六月婷婷色日| 久热大香蕉| 久99久99精品免| 深爱婷婷色| 亚洲乱码在线观看| 91五月花丁香| 色五月激情问网站| 精品爆操| 超碰免费人人肏| 婷婷5月色| 婷婷成人AV| 1024欧美看片| 久久婷婷六月综合资源| 99在线热| www.久9| 婷婷激情综合网| 天天色亚洲| 六月婷婷九月丁香| 五月天黄色激情小说| 婷婷激情图片| 婷婷九月亚洲| 国产精品热搜丁香五月婷婷| 五月天婷婷久久| AV在线观看网站| 丁香综合婷婷五月天| 日韩成人无码| 亚洲精品网站色视频| 精品网站:999WWW| 超碰人人在线观看| 天天综合天天玩夜夜玩天天玩夜夜玩 | 久热无码| 丁香5月激情网| www.91九色| 美欧成人视频| 日韩色五月| 激情五月综合网丁| 色欲香综合网| 无码AV免费精品一区二区三区| 色九区| 香蕉综合在线| 久久久精品AV| 99riAv1国产在线观看| 婷婷五月综合啪| 综合五月天完整| 婷婷五月丁香四射| 嫩草AV久久伊人妇女超级a| 69精品人人人人| 婷五月天在线草| 激情99| 婷婷五月欧美综合| 五月婷婷色| 亚洲激情淫网| 99热这里有精品| 色天天久婷婷| 天天揷综合网| 婷婷综合六| 综合色图婷婷| 色情五月天A片| 91av视频| 在线观看中文字幕| www.精品久9| 久久久ww| 久er免费视频| 色噜噜狠狠色综无码久久合欧美| 妻久久久久| 久久久国产精品黄毛片| 丁香五月天五码婷婷| www九九免费视频| 亚洲五月色| 久久久久久久久久久月丁| 人人摸人人| 99热综合网| 另类激情综合| renrencaoav| 超级碰 久久9| 天天综合精品| 九月婷婷综合| 中文字幕丰满孑伦无码专区| 天天日天天做天天操| 毛片九九九九九九| 碰碰女| 久久婷婷成人视频| 极品少妇高潮啪啪AV无码| 色性日本| 激情久久 婷婷| 思思久久精品| 99色看| 婷婷综合在线播放| 五月丁香综合激情| 激情美女五月天激情在线| 久久精品五月| 五月综合视频| 婷婷六月花| 欧美天堂久久| 丁香网站| 久热免费| 日本激情ⅩXX免费视频| 色色五月天 亚洲| 亚洲成人中心| 夜夜天天久久婷婷| 久久天堂婷婷五月| 天天插天天日| 97色色色色色| 五月丁香网视频| 免费在线观看av网站| 欧美精品99| WWW.桔色成人.COM| 在线网黄| 五月天丁香婷婷视频网址 | 97久久超碰| 噜噜网免费视频| 性五月激情| 丁香五月婷婷高清| 亚洲精品成人| 久久性爱视频网站| 婷婷五月天777| 97超级操操| 亚洲A片成人无码久久精品青桔| 色五月激情网| 五月天婷婷激情干干| 婷婷内射视频在线| 色视频色综合91| 香蕉国产2013| 天天情色综合网| 婷婷五月天激情文学小说| 99资源在线| 中国丰满熟女A片免费观| 性天堂久久| 五月天婷婷黄色| 6月丁香婷婷| 亚洲一级AV在线免费播放| 成人视频网| 91久久久久久久久| 久久婷婷五月综合色和| 琪琪秋霞| 久久综合性| 五月丁香六月婷婷的女人| 97在线观视频免费观看| 另类图片天天影视在线观看| 丁香六月在线| 热热久久久久久久久| 天天搞夜夜爽夜夜爽| 久久久精品99| 成人国产网| 国产精品色情AAAAA片软件| 婷婷色色五月| 99热免费| 激情五月小说婷婷| 国产高清RV综合aVa| 六月婷婷六月天天在线免费| 丁香五月中文字幕| 色香久久| 五月婷综合激情| 色情网综合| 琪琪色网在线| 久久在线视频免费观看| 色五月婷婷网| 天天插天天插天天插天天插| www.99热在线| 99视频精品在线| 亚洲色亚洲精品| 呦呦视频无码播放| 欧美综合婷婷网| 欧美综合婷婷欧美综| 国庆精品久久| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 五月婷婷亚洲| 九九热精品6| 久久久久久丁香五月| 色婷婷五月婷婷五月婷婷五月| 亚洲婷婷丁香五月天激情小说 | 婷婷五月亚洲一本在线丁香| 五月六月激情| 丁香六月天堂| 色色 亚洲| 婷婷丁香色情| 久久五月综合| 99精品大片| 成人丁香五月天| 九九热在线精品视频| 婷婷色基地| 成年人最刺激的综合网| 狠狠色噜噜狠狠| 伊人网碰碰| 久久久.COM| 久操人妻| 亚洲综合色婷婷| 五月丁香婷婷综合| 国产成人精品123区免费视频| 国产日韩精品SUV| wwwav大香蕉| 九九在线91| 久久精彩视频99| 五月婷婷综合影院| 色婷婷综合久久久久| 九九热a| 五月婷婷久久综合| 精品51XX| 九九视屏| 高清无码视频网址| 99在线免费观看| 色色五月婷婷狠狠| 亚洲色图日韩网址| 婷婷五月天久久久| 2020久久婷婷五月| 思思热在线免费视频| 人妻久久久| 激情五月天社区| 99精品视频在线观看| 五月激情婷婷在线| 99在线热| 综合激情啪啪| 东北婷婷五月天| 丁香婷婷基地| www久| 国产精品久久久久久久久久免费 | 欧美久久久中文字幕| 97人人看一| 丁香五月天堂网| 先锋av性爱成人电影| 久久爱婷婷| 亚洲综合五月天| 在线播放 精品| 丁香婷婷五月天激情四射| 色天天久婷婷| 亚洲综合五月天婷婷| 一级黄色影片| 99网址在线观看| 五月婷婷激情久久| 狠狠干五月丁香| WWW.17C亚洲精品| 色婷婷五月综合| 99超碰在线免费| 激情综合网之激情五月| 亚洲热久久| 色五月婷婷基地| 国产精品黑丝| 五月天婷婷色| 天天搞天天色综合| 思思久久99| 97se在线视频| 丁香五月综合高清在线| 色丁香六月| 亚洲免费婷婷| 久久青青日本视频| 色播五月婷婷综合| 伊人色综合久久久| 日韩黄色中文字幕| 97久久人人| 亚洲第79页| 99无码视频| 人人操女人| 日日操,天天操| 五月天偷拍| 涩九九九九| av中文网站| www.99热| 婷婷色网站| 亚洲另类日本| 色色色色色色综合网| 性爱动图国产麻豆一区二区三区| 亚洲国产精品VA在线看黑人| 日本人妻伦在线中文字幕 | 天天檫天天爽| 青青草成人网| 丁香五月色五月| 六月丁香社区| 久热在线中文字幕色999舞 | 91超碰在线播放| 久久久久er热| 99热在线观看| 五月天激情综合首页| 国产激情在线| 狠狠色婷婷色| 天天天天天天天操| 久热无码| 操操操操操操婷婷五月天| 一级二级色大片| www.玖玖婷婷在线| 狠狠色婷婷六月激情网| 第九色区av天堂| 久久婷婷激情五月天一区二区| 久热中文字幕| 91色在线| 丁香五月婷婷大香蕉| 五月婷久草| 欧美日韩aaaa| 亚洲成人在线电影网站| 五月丁香好婷婷A片网| 激情五月婷| 这里只有视频精品| 亚洲最大视频| 六月丁香啪啪| 人妻熟妇国产精品| 久久多色| 久久9久| 99无码超碰| 91一起操| 久久五月婷| 综合婷婷久久| 色碰碰视频| 另类小说五月天| 亚洲激情AV| AA丁香综合激情| 一夜福利不卡| 日本欧美成人片AAAA| 色五月丁香激情| AAA级久久久精品| 五月丁香六月婷婷综合伊人| 色亭亭影园| 99这里只有精彩视频| 亚洲激情六月| 婷婷五月,偷窥偷拍网| 色婷婷成人网|