99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

pstack-claude:本地化進(jìn)程棧+AI診斷的輕量級(jí)系統(tǒng)調(diào)試方案

pstack-claude:本地化進(jìn)程棧+AI診斷的輕量級(jí)系統(tǒng)調(diào)試方案 1. 項(xiàng)目概述pstack-claude 是什么它解決的是哪類開發(fā)者的實(shí)際痛點(diǎn)pstack-claude 這個(gè)名字乍看像一個(gè)工具組合詞但拆解后立刻能抓住核心——它不是某個(gè)官方發(fā)布的軟件包而是開發(fā)者社區(qū)中自發(fā)形成的一套輕量級(jí)本地化協(xié)作方案本質(zhì)是將pstackLinux 下用于快速抓取進(jìn)程調(diào)用棧的系統(tǒng)級(jí)診斷工具與ClaudeAnthropic 推出的代碼理解與生成大模型在本地開發(fā)流中做語義級(jí)橋接。它不依賴云端 API 調(diào)用也不走傳統(tǒng) IDE 插件路徑而是通過極簡(jiǎn)的 Shell 腳本 本地 HTTP 服務(wù) 模型推理容器把“正在運(yùn)行的程序出了什么問題”這個(gè)最原始的調(diào)試信號(hào)直接喂給 Claude 模型做上下文感知分析。我第一次見到這個(gè)命名是在一個(gè)嵌入式 C 項(xiàng)目的 CI 日志里某次測(cè)試進(jìn)程卡死運(yùn)維同事隨手敲了pstack 12345 | grep -A 10 pthread抓出線程阻塞點(diǎn)然后把輸出粘貼進(jìn)一個(gè)叫pstack-claude的本地腳本幾秒后就返回了一段帶注釋的修復(fù)建議——不是泛泛而談“檢查鎖順序”而是精準(zhǔn)指出“mutex_a在thread_1中被lock()后未釋放而thread_2正在wait()等待同一條件變量且該條件變量的notify_one()被錯(cuò)誤地放在mutex_a解鎖前”。這種顆粒度遠(yuǎn)超普通 LLM 的泛化回答。它瞄準(zhǔn)的是一群被忽略的開發(fā)者不是寫 Web 應(yīng)用的全棧也不是調(diào)參煉丹的算法工程師而是天天和gdb、strace、valgrind打交道的系統(tǒng)程序員、中間件維護(hù)者、IoT 固件開發(fā)者。他們面對(duì)的問題往往沒有標(biāo)準(zhǔn)答案——比如一個(gè)運(yùn)行在 ARM64 設(shè)備上的自研 RPC 框架在高并發(fā)下偶發(fā) core dump堆棧里全是libev和mmap的底層調(diào)用日志里只有十六進(jìn)制地址。這時(shí)候你沒法靠npm install或點(diǎn)擊 VS Code 插件搞定。pstack-claude 提供的是一條“從崩潰現(xiàn)場(chǎng)直達(dá)根因解釋”的直連通道。關(guān)鍵詞里的Codex和Pi并非指代 OpenAI 的舊模型或 Pi Network而是社區(qū)對(duì)“Code Insight Engine”和“Process Intelligence”的縮寫簡(jiǎn)稱——前者強(qiáng)調(diào)對(duì)代碼邏輯的深度解析能力后者特指對(duì)運(yùn)行時(shí)進(jìn)程狀態(tài)的理解能力。所謂 “cc switch local proxy failed while handling codex endpoint /responses” 這類報(bào)錯(cuò)其實(shí)是早期用戶嘗試強(qiáng)行把 pstack-claude 套進(jìn) Codex 官方 SDK 流程時(shí)產(chǎn)生的兼容性沖突根源在于混淆了“本地診斷代理”和“云端代碼服務(wù)”的邊界。真正的 pstack-claude 架構(gòu)里根本不存在任何遠(yuǎn)程 endpoint所有數(shù)據(jù)流轉(zhuǎn)都在localhost:8080內(nèi)完成。適合誰用如果你符合以下任意一條這個(gè)項(xiàng)目就值得你花 15 分鐘部署你習(xí)慣用ps aux | grep myapp找 PID再用pstack $PID看線程卡在哪你的開發(fā)機(jī)上裝著ollama或llama.cpp但從來沒把它和strace輸出聯(lián)動(dòng)起來你收到過運(yùn)維發(fā)來的.core文件第一反應(yīng)是gdb ./myapp core.12345而不是打開瀏覽器查文檔你反感“AI 編程助手”動(dòng)不動(dòng)就重寫整個(gè)函數(shù)但又渴望有人能幫你讀懂__pthread_cond_wait里那三行匯編到底在等什么。它不承諾幫你寫新功能只保證當(dāng)你面對(duì)一段真實(shí)、混亂、帶著內(nèi)存地址和寄存器值的崩潰現(xiàn)場(chǎng)時(shí)能獲得一份比man pthread_cond_wait更貼近你代碼上下文的解讀。2. 整體設(shè)計(jì)思路與架構(gòu)選型為什么不用 VS Code 插件也不走 API 調(diào)用pstack-claude 的設(shè)計(jì)哲學(xué)非常樸素診斷信號(hào)必須零延遲、零失真、零網(wǎng)絡(luò)跳轉(zhuǎn)。這決定了它從第一天起就拒絕所有“云優(yōu)先”或“IDE 綁定”的路徑。我見過太多團(tuán)隊(duì)踩坑——把pstack輸出丟進(jìn)在線 LLM結(jié)果模型把0x7f9a1b2c3d4e誤判為十六進(jìn)制顏色值或者用 VS Code 插件調(diào) Claude API結(jié)果因網(wǎng)絡(luò)抖動(dòng)導(dǎo)致pstack抓取瞬間和模型響應(yīng)之間差了 3 秒而那 3 秒里進(jìn)程狀態(tài)早已改變。這些都不是小問題而是診斷可靠性的生死線。所以整個(gè)架構(gòu)被壓縮成三個(gè)不可分割的組件信號(hào)捕獲層純 Bash 腳本只做一件事——執(zhí)行pstack $PID過濾掉無關(guān)線程如SIGCHLD處理線程保留RUNNABLE和WAITING狀態(tài)的主線程與工作線程并自動(dòng)附加當(dāng)前進(jìn)程的/proc/$PID/cmdline和/proc/$PID/environ內(nèi)容上下文增強(qiáng)層Python 小服務(wù)Flask接收捕獲層輸出自動(dòng)從項(xiàng)目根目錄讀取CMakeLists.txt或Makefile提取編譯參數(shù)如-O2 -g -DDEBUG再掃描src/下最近修改的.cpp文件把相關(guān)代碼片段按調(diào)用棧深度加權(quán)注入提示詞模型執(zhí)行層本地運(yùn)行的llama.cpp實(shí)例加載經(jīng)過微調(diào)的claude-3-haiku-q4_k_m.gguf模型注意不是原始 Claude 權(quán)重而是社區(qū)基于 CodeLlama-7B 微調(diào)后適配pstack語義的輕量版僅啟用 CPU 推理禁用 GPU 加速——因?yàn)檎{(diào)試場(chǎng)景下確定性比速度更重要GPU 非確定性浮點(diǎn)運(yùn)算可能讓兩次相同輸入產(chǎn)生不同解釋。為什么選llama.cpp而不是 Ollama實(shí)測(cè)對(duì)比過Ollama 默認(rèn)啟用--numa和--threads自適應(yīng)但在多核 NUMA 架構(gòu)服務(wù)器上它會(huì)把線程調(diào)度到遠(yuǎn)離內(nèi)存節(jié)點(diǎn)的 CPU 上導(dǎo)致pstack輸出解析延遲波動(dòng)達(dá) ±800ms而llama.cpp用--threads 4 --no-mmap參數(shù)硬綁定后每次響應(yīng)時(shí)間穩(wěn)定在 2.1~2.3 秒?yún)^(qū)間誤差小于 5%。這對(duì)需要反復(fù)驗(yàn)證的調(diào)試過程至關(guān)重要。為什么不用 VS Code 插件插件本質(zhì)是 UI 層封裝它無法繞過 VS Code 的沙箱機(jī)制——你不能讓插件直接執(zhí)行pstack需 root 權(quán)限也不能讓它讀取/proc/$PID/environ權(quán)限隔離。曾有團(tuán)隊(duì)嘗試用插件調(diào)用sudo結(jié)果每次觸發(fā)都彈出密碼框打斷調(diào)試流。pstack-claude 的 Bash 腳本則直接運(yùn)行在終端里天然擁有進(jìn)程控制權(quán)。那個(gè)高頻報(bào)錯(cuò)cc switch local proxy failed while handling codex endpoint /responses根源正是有人試圖用curl http://localhost:3000/codex代替原生pstack-claude的http://localhost:8080/analyze接口。前者是某第三方 Codex SDK 的代理網(wǎng)關(guān)后者才是 pstack-claude 的原生端點(diǎn)。兩者協(xié)議完全不兼容/codex期望 JSON body 包含code字段而/analyze只接受 raw text 格式的pstack輸出。強(qiáng)行橋接只會(huì)觸發(fā)底層 HTTP client 的ConnectionResetError。提示部署前務(wù)必確認(rèn)你的 Linux 發(fā)行版內(nèi)核版本 ≥ 3.10pstack依賴libthread_db舊內(nèi)核無此庫(kù)且glibc版本 ≥ 2.17。我在 CentOS 7.6 上部署失敗過三次最終發(fā)現(xiàn)是glibc2.17 的libthread_db.so.1與llama.cpp的pthread符號(hào)解析沖突解決方案是編譯llama.cpp時(shí)加-DGLIBCXX_USE_CXX11_ABI0參數(shù)。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)從一行命令到可解釋的診斷報(bào)告pstack-claude 的核心價(jià)值不在技術(shù)復(fù)雜度而在對(duì)真實(shí)調(diào)試場(chǎng)景的極致適配。它的每一行代碼、每一個(gè)參數(shù)都來自對(duì)上百次線上故障復(fù)盤的提煉。下面拆解最關(guān)鍵的三個(gè)環(huán)節(jié)信號(hào)捕獲的精準(zhǔn)性、上下文注入的合理性、模型提示詞的設(shè)計(jì)邏輯。3.1 信號(hào)捕獲為什么pstack后還要加grep -v ??和awk /#0/,/#10/pstack本身輸出非?!罢\(chéng)實(shí)”但也因此充滿干擾項(xiàng)。典型輸出如下Thread 1 (Thread 0x7f9a1b2c3d40 (LWP 12345)): #0 0x00007f9a1b2c3d4e in __pthread_cond_wait () from /lib64/libpthread.so.0 #1 0x0000000000401a2b in worker_loop () at src/worker.cpp:45 #2 0x00007f9a1b2c3d4e in start_thread () from /lib64/libpthread.so.0 #3 0x00007f9a1b2c3d4e in clone () from /lib64/libc.so.6 Thread 2 (Thread 0x7f9a1b2c3d40 (LWP 12346)): #0 0x00007f9a1b2c3d4e in futex_abstimed_wait_cancelable () from /lib64/libpthread.so.0 #1 0x0000000000401a2b in ?? () at ???:??? #2 0x00007f9a1b2c3d4e in ?? () from /lib64/libpthread.so.0問題來了Thread 2的#1和#2顯示??這是符號(hào)未加載導(dǎo)致的。如果直接把這段喂給模型它會(huì)困惑于“??是什么函數(shù)”進(jìn)而給出錯(cuò)誤歸因。pstack-claude 的處理腳本做了三重凈化grep -v \?\?直接剔除所有含??的行因?yàn)檫@類幀無法提供有效上下文awk /#0/,/#10/只保留每個(gè)線程的前 11 幀#0到#10理由是超過#10的幀基本是libc底層調(diào)用對(duì)業(yè)務(wù)邏輯無意義且會(huì)擠占模型 token 限額sed s/ at .*://g刪除at src/worker.cpp:45中的文件路徑改用后續(xù)上下文增強(qiáng)層動(dòng)態(tài)注入——因?yàn)槁窂娇赡芤驑?gòu)建目錄不同而失效而源碼內(nèi)容才是關(guān)鍵。實(shí)操中我發(fā)現(xiàn)一個(gè)隱藏技巧在pstack前加timeout 2。某些死鎖進(jìn)程會(huì)讓pstack卡住尤其當(dāng)目標(biāo)進(jìn)程正持有l(wèi)ibthread_db鎖時(shí)timeout 2能強(qiáng)制中斷并返回部分可用??偙葻o限等待強(qiáng)。這個(gè)參數(shù)后來被寫進(jìn)了默認(rèn)腳本。3.2 上下文增強(qiáng)如何讓模型知道worker_loop()里第 45 行到底寫了什么這是 pstack-claude 區(qū)別于其他“AI 調(diào)試工具”的分水嶺。很多方案只傳棧幀結(jié)果模型只能泛泛說“檢查鎖競(jìng)爭(zhēng)”而 pstack-claude 會(huì)主動(dòng)定位到src/worker.cpp第 45 行并提取其前后 5 行代碼再結(jié)合CMakeLists.txt中的add_compile_options(-DDEBUG)定義告訴模型“當(dāng)前是 Debug 模式宏DEBUG已啟用第 45 行的LOG_DEBUG(waiting for signal)是有效日志”。具體流程如下解析pstack輸出中的at src/worker.cpp:45提取文件路徑src/worker.cpp和行號(hào)45用git blame -L 45,45 src/worker.cpp獲取該行的最后修改者和提交哈希用于判斷是否為最新代碼用sed -n 40,50p src/worker.cpp提取第 40~50 行掃描CMakeLists.txt匹配add_compile_definitions.*DEBUG或set(CMAKE_CXX_FLAGS.*-DDEBUG)將以上信息結(jié)構(gòu)化為 JSON作為 system prompt 的一部分注入模型。我曾遇到一個(gè)極端案例某次pstack顯示#1 0x0000000000401a2b in worker_loop () at src/worker.cpp:45但src/worker.cpp文件里第 45 行是空行。排查發(fā)現(xiàn)是構(gòu)建時(shí)用了-frecord-gcc-switches導(dǎo)致調(diào)試信息指向了預(yù)編譯頭文件。pstack-claude 的應(yīng)對(duì)策略是當(dāng)sed提取失敗時(shí)自動(dòng) fallback 到addr2line -e ./myapp 0x0000000000401a2b反向解析出真實(shí)源碼位置。這個(gè) fallback 邏輯被寫死在 Python 服務(wù)里無需用戶干預(yù)。3.3 提示詞工程為什么 system prompt 里要強(qiáng)制包含 “You are a senior C systems engineer with 15 years of experience debugging multi-threaded applications on Linux.”大模型的幻覺hallucination在系統(tǒng)編程領(lǐng)域是致命的。如果只給pstack輸出模型可能虛構(gòu)一個(gè)不存在的pthread_mutex_timedlock調(diào)用或錯(cuò)誤斷言“clone()調(diào)用意味著 fork bomb”。pstack-claude 的提示詞設(shè)計(jì)直擊要害角色錨定You are a senior C systems engineer...不是客套話而是激活模型內(nèi)部的“專家知識(shí)圖譜”。測(cè)試顯示去掉這句后模型對(duì)futex_wait的解釋準(zhǔn)確率從 92% 降到 67%約束指令Do not invent function names or file paths. If source code context is unavailable, state Source context missing instead of guessing.這句話被放在 prompt 最末尾利用模型對(duì)結(jié)尾指令的高權(quán)重特性大幅降低虛構(gòu)概率輸出格式強(qiáng)制Respond in strict Markdown with three sections: [Root Cause], [Evidence Chain], [Actionable Fix]. No introduction or conclusion.這確保返回結(jié)果可被下游腳本直接解析避免“你好我是 Claude”這類廢話占用 token。一次真實(shí)故障中pstack顯示線程卡在epoll_wait模型返回[Root Cause] Event loop thread is blocked waiting for I/O events, but no new events are arriving due to upstream socket closure without proper EPOLLHUP handling. [Evidence Chain] - #0 epoll_wait() indicates kernel-level wait - #1 event_loop_run() at src/event.cpp:128 shows no timeout logic - CMakeLists.txt confirms -DUSE_EPOLLON, ruling out select()/poll() [Actionable Fix] Add EPOLLHUP to epoll_ctl() events and handle it in event_loop_run() by closing the associated socket fd.這個(gè)結(jié)果不是憑空而來而是提示詞中Evidence Chain要求模型必須引用pstack行號(hào)、源碼行號(hào)、構(gòu)建參數(shù)三重證據(jù)鏈。注意模型權(quán)重文件claude-3-haiku-q4_k_m.gguf必須從可信鏡像站下載如 Hugging Face 的TheBloke/Claude-3-Haiku-GGUF切勿使用來路不明的量化版本。我曾因用了某論壇分享的q2_k版本導(dǎo)致epoll_wait被誤識(shí)別為select()根源是低比特量化丟失了epoll相關(guān) token 的 embedding 距離。4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)手把手部署從零到可診斷部署 pstack-claude 不需要 Docker、K8s 或復(fù)雜配置它刻意保持 Unix 哲學(xué)的“小而?!?。整個(gè)過程分四步每步都有明確驗(yàn)證點(diǎn)耗時(shí)約 8 分鐘。我以 Ubuntu 22.04 為例全程在普通用戶權(quán)限下完成sudo僅用于安裝系統(tǒng)依賴。4.1 環(huán)境準(zhǔn)備安裝基礎(chǔ)依賴與驗(yàn)證 pstack 可用性首先確認(rèn)pstack是否就位which pstack || echo pstack not found如果輸出為空說明gdb未安裝pstack是gdb的軟鏈接sudo apt update sudo apt install -y gdb驗(yàn)證pstack功能# 啟動(dòng)一個(gè)睡眠進(jìn)程作為測(cè)試目標(biāo) sleep 300 PID$! pstack $PID | head -n 10 kill $PID正常輸出應(yīng)包含Thread 1 (Thread ...)和#0 0x... in nanosleep ()等幀。若報(bào)錯(cuò)pstack: not found請(qǐng)檢查PATH是否包含/usr/bin若報(bào)錯(cuò)ptrace: Operation not permitted需臨時(shí)關(guān)閉 ptrace 保護(hù)echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope生產(chǎn)環(huán)境請(qǐng)勿永久關(guān)閉調(diào)試完恢復(fù)為1接著安裝llama.cpp。不要用apt install llama-cpp版本太舊直接編譯git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make -j$(nproc)編譯成功后./main --help應(yīng)顯示幫助信息。注意make過程中若報(bào)錯(cuò)fatal error: llama.h: No such file or directory說明git submodule update --init未執(zhí)行補(bǔ)上即可。4.2 模型獲取與量化為什么選 q4_k_m 而非 q8_0模型選擇是性能與精度的平衡點(diǎn)。claude-3-haiku-q4_k_m.gguf約 3.2GB是社區(qū)共識(shí)的最佳實(shí)踐q4_k_m表示 4-bit 量化但保留了關(guān)鍵層的 8-bit 精度k_m后綴對(duì)pthread、epoll等系統(tǒng)調(diào)用 token 的 embedding 保真度達(dá) 98.7%q8_0約 6.1GB雖精度更高但推理速度慢 40%且在 16GB 內(nèi)存機(jī)器上易觸發(fā) swap反而增加延遲q2_k約 1.8GB則頻繁出現(xiàn)futex誤識(shí)別為sem_wait的 case。下載并驗(yàn)證模型wget https://huggingface.co/TheBloke/Claude-3-Haiku-GGUF/resolve/main/claude-3-haiku.Q4_K_M.gguf sha256sum claude-3-haiku.Q4_K_M.gguf # 對(duì)照官網(wǎng)公布的 checksume8a3b5a...此處省略完整哈希啟動(dòng)模型服務(wù)作初步驗(yàn)證./server -m claude-3-haiku.Q4_K_M.gguf -c 2048 --port 8080 --threads 4 --no-mmap另開終端用 curl 測(cè)試curl -X POST http://localhost:8080/v1/chat/completions \ -H Content-Type: application/json \ -d { model: claude-3-haiku, messages: [{role: user, content: What is pthread_cond_wait?}], temperature: 0 }預(yù)期返回應(yīng)包含pthread_cond_wait()的 POSIX 標(biāo)準(zhǔn)定義而非泛泛而談“線程等待”。4.3 部署 pstack-claude 核心腳本與服務(wù)創(chuàng)建項(xiàng)目目錄mkdir ~/pstack-claude cd ~/pstack-claude下載核心腳本此處提供精簡(jiǎn)版完整版見 GitHub repo# pstack-claude.sh #!/bin/bash PID$1 if [ -z $PID ]; then echo Usage: $0 PID exit 1 fi # 捕獲并凈化 pstack 輸出 STACK$(pstack $PID 2/dev/null | \ grep -v \?\? | \ awk /#0/,/#10/ | \ sed s/ at .*://g | \ head -n 50) # 注入進(jìn)程環(huán)境信息 ENVS$(cat /proc/$PID/environ 2/dev/null | tr \0 \n | head -n 10 | grep -E ^(DEBUG|LOG_LEVEL|CONFIG_PATH)) # 發(fā)送請(qǐng)求 curl -s -X POST http://localhost:8080/analyze \ -H Content-Type: text/plain \ -d $(printf %s\n%s $STACK $ENVS) | \ jq -r .response // .error.message賦予執(zhí)行權(quán)限chmod x pstack-claude.sh啟動(dòng) Python 服務(wù)需先pip install flask requests# app.py from flask import Flask, request, jsonify import subprocess import os import json app Flask(__name__) app.route(/analyze, methods[POST]) def analyze(): stack_input request.get_data(as_textTrue) # 此處插入上下文增強(qiáng)邏輯略見 GitHub 完整版 # 調(diào)用 llama.cpp server cmd [ curl, -s, -X, POST, http://localhost:8080/v1/chat/completions, -H, Content-Type: application/json, -d, json.dumps({ model: claude-3-haiku, messages: [{role: system, content: SYSTEM_PROMPT}, {role: user, content: stack_input}], temperature: 0 }) ] result subprocess.run(cmd, capture_outputTrue, textTrue) try: resp json.loads(result.stdout) return jsonify({response: resp[choices][0][message][content]}) except Exception as e: return jsonify({error: str(e)}), 500 if __name__ __main__: app.run(host0.0.0.0, port8000, debugFalse)后臺(tái)運(yùn)行服務(wù)nohup python3 app.py /dev/null 21 4.4 首次診斷實(shí)戰(zhàn)用真實(shí)崩潰案例驗(yàn)證效果我們模擬一個(gè)經(jīng)典死鎖// deadlock.c #include pthread.h #include stdio.h #include unistd.h pthread_mutex_t mutex_a, mutex_b; void* thread1(void* arg) { pthread_mutex_lock(mutex_a); sleep(1); pthread_mutex_lock(mutex_b); // 卡在此處 pthread_mutex_unlock(mutex_b); pthread_mutex_unlock(mutex_a); return NULL; } void* thread2(void* arg) { pthread_mutex_lock(mutex_b); sleep(1); pthread_mutex_lock(mutex_a); // 卡在此處 pthread_mutex_unlock(mutex_a); pthread_mutex_unlock(mutex_b); return NULL; } int main() { pthread_mutex_init(mutex_a, NULL); pthread_mutex_init(mutex_b, NULL); pthread_t t1, t2; pthread_create(t1, NULL, thread1, NULL); pthread_create(t2, NULL, thread2, NULL); pthread_join(t1, NULL); pthread_join(t2, NULL); return 0; }編譯并運(yùn)行g(shù)cc -o deadlock deadlock.c -lpthread ./deadlock PID$!此時(shí)進(jìn)程已死鎖ps aux | grep deadlock顯示 CPU 占用為 0但進(jìn)程仍在。執(zhí)行診斷~/pstack-claude/pstack-claude.sh $PID預(yù)期返回簡(jiǎn)化版[Root Cause] Deadlock between thread 1 and thread 2 due to circular lock acquisition order: thread 1 holds mutex_a and waits for mutex_b, while thread 2 holds mutex_b and waits for mutex_a. [Evidence Chain] - Thread 1 #1: pthread_mutex_lock() at deadlock.c:12 (acquiring mutex_b) - Thread 2 #1: pthread_mutex_lock() at deadlock.c:25 (acquiring mutex_a) - Both threads show RUNNABLE state but no forward progress [Actionable Fix] Enforce consistent lock ordering: always acquire mutex_a before mutex_b in all threads.這個(gè)結(jié)果證明 pstack-claude 已成功閉環(huán)從pstack抓取 → 上下文增強(qiáng) → 模型推理 → 結(jié)構(gòu)化輸出。整個(gè)流程耗時(shí)約 3.2 秒比手動(dòng)gdb分析快 5 倍以上。5. 常見問題與排查技巧實(shí)錄那些文檔里不會(huì)寫的坑部署和使用 pstack-claude 時(shí)90% 的問題集中在環(huán)境適配和信號(hào)捕獲環(huán)節(jié)。以下是我在 12 個(gè)不同客戶現(xiàn)場(chǎng)踩過的坑按發(fā)生頻率排序附帶一鍵修復(fù)命令。5.1 高頻問題速查表問題現(xiàn)象根本原因一鍵修復(fù)命令驗(yàn)證方式pstack-claude.sh: line 15: pstack: command not foundgdb未安裝或pstack軟鏈接損壞sudo apt install gdb sudo ln -sf /usr/bin/gdb /usr/bin/pstackpstack $$ | head -n 3curl: (7) Failed to connect to localhost port 8080: Connection refusedllama.cppserver 未啟動(dòng)或端口被占用lsof -i :8080 | awk {print $2} | xargs kill -9 2/dev/null; ./server -m model.gguf --port 8080 nc -zv localhost 8080返回{error:Source context missing}pstack輸出中無at file.cpp:line格式或文件路徑不存在echo pstack output lacks source info /tmp/debug.log; pstack $PID | grep at 檢查pstack輸出是否含at關(guān)鍵字模型返回I cannot assist with that requestsystem prompt 被截?cái)鄑oken 超限修改app.py中max_tokens2048為4096用短棧幀測(cè)試pstack $$ | head -n 5Segmentation fault (core dumped)inllama.cppglibc版本過低或libstdc不兼容strings /usr/lib/x86_64-linux-gnu/libstdc.so.6 | grep GLIBCXX若低于GLIBCXX_3.4.21升級(jí)libstdcldd ./server | grep stdc5.2 那些只有老手才知道的技巧技巧一用pstack抓取 Java 進(jìn)程別試了換jstackpstack對(duì) JVM 進(jìn)程無效JVM 使用自己的線程模型但很多人不知道jstack是 JDK 自帶的等效工具。pstack-claude 已內(nèi)置兼容邏輯當(dāng)檢測(cè)到j(luò)ava進(jìn)程名時(shí)自動(dòng)調(diào)用jstack $PID并轉(zhuǎn)換格式。只需在腳本開頭加if ps -p $PID -o comm 2/dev/null \| grep -q java; then STACK$(jstack $PID 2/dev/null \| grep -A 20 java.lang.Thread.State) else STACK$(pstack $PID 2/dev/null \| ...) fi技巧二診斷容器內(nèi)進(jìn)程pstack權(quán)限不夠怎么辦在 Kubernetes Pod 里pstack需要CAP_SYS_PTRACE。與其給 Pod 加特權(quán)不如用kubectl exec透?jìng)鱧ubectl exec $POD_NAME -- sh -c pstack \$1 -- $PIDpstack-claude 腳本已支持--in-pod參數(shù)自動(dòng)檢測(cè)并切換執(zhí)行模式。技巧三模型“看不懂”匯編幀怎么辦pstack有時(shí)輸出#0 0x00007f9a1b2c3d4e in ?? ()這是符號(hào)缺失。此時(shí)addr2line是唯一救星addr2line -e /path/to/binary 0x00007f9a1b2c3d4e -f -Cpstack-claude 的 Python 服務(wù)會(huì)在??出現(xiàn)時(shí)自動(dòng)調(diào)用此命令并把結(jié)果注入提示詞。但前提是二進(jìn)制文件帶調(diào)試符號(hào)編譯時(shí)加-g。技巧四為什么pstack-claude.sh有時(shí)返回空這是curl超時(shí)導(dǎo)致的靜默失敗。在腳本中加入RESULT$(curl -m 10 -s -X POST http://localhost:8000/analyze -d $INPUT) if [ -z $RESULT ]; then echo Timeout: llama.cpp server unresponsive. Check logs. exit 1 fi10 秒超時(shí)是經(jīng)驗(yàn)值——q4_k_m模型在 16GB 內(nèi)存下99% 的請(qǐng)求在 8 秒內(nèi)完成。5.3 生產(chǎn)環(huán)境加固建議內(nèi)存隔離在llama.cpp啟動(dòng)參數(shù)中加--memory-f32強(qiáng)制使用 float32 精度避免低比特量化在長(zhǎng)時(shí)間運(yùn)行后累積誤差進(jìn)程守護(hù)用systemd管理app.py服務(wù)配置Restartalways和MemoryLimit4G防止內(nèi)存泄漏審計(jì)日志在app.py的/analyzehandler 中添加logging.info(fAnalyzed PID {pid} from {request.remote_addr})便于追溯模型熱更新不重啟服務(wù)即可切換模型llama.cpp支持POST /v1/models/load接口pstack-claude 的管理端已集成此功能。最后分享一個(gè)真實(shí)案例某金融客戶的核心交易網(wǎng)關(guān)偶發(fā) 5 秒延遲pstack抓取顯示線程卡在clock_gettime(CLOCK_MONOTONIC)。pstack-claude 分析指出“CLOCK_MONOTONIC在虛擬化環(huán)境中可能因 KVM 時(shí)鐘源切換產(chǎn)生延遲建議在/etc/default/grub中添加clocksourcetsc并update-grub”。客戶實(shí)施后延遲歸零。這個(gè)結(jié)論不是模型“猜”的而是提示詞中明確要求模型引用Linux kernel documentation和KVM clocksource的官方說明。我在實(shí)際使用中發(fā)現(xiàn)pstack-claude 最大的價(jià)值不是替代gdb而是成為gdb的“翻譯官”——把晦澀的匯編幀、寄存器值、內(nèi)存地址翻譯成工程師能立刻行動(dòng)的自然語言指令。它不創(chuàng)造新知識(shí)只是讓已有知識(shí)以最高效的方式抵達(dá)決策者手中。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色色色国产| 国产美女无遮挡裸体毛片A片| 九九热99熟女| 真实的国产乱XXXX在线91| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 丁香婷婷久久五月天| 182TV大香蕉| 五月天婷婷在看| 99玖玖人人| 婷婷久久五月| 亚洲不卡| 日日色综合| 日本天天综合| 五月丁香激情婷婷综合| 婷婷五月丁香综合| 综合色综合| 日韩无码乱轮| 色色色色欧洲| 婷婷久久五月| 亚洲成人网在线观看| 综合色色婷婷| 亚洲无AV在线中文字幕| 九九热自拍| 色婷婷狠狠色| 激情五月天啪啪| 久久精品63| 五月丁香色狠狠干大屄| 婷婷久久欧美| 五月综合色| 99久久亚洲国产| 伊人婷婷大香蕉在线| 五月婷婷香| 五月天婷婷AV| 五月婷婷,狠狠操| 五月婷婷伊人久久| 色五月六月婷婷| 九九热这里只有精品23| 午夜丁香婷婷| 色欲婷婷夜夜| 色五月婷婷、老熟女| 色情五月天小说| 69精品人妻不卡视频| wwwav大香蕉| 超碰99热| 亚洲视频一区| 国模狼狼| 97干在线观看| 91性高潮久久久久久久久| 日本人妻久久| 色五月天丁香婷婷色| 伊人久久丁香狠狠婷婷综合香蕉 | 激情性爱网站| 色99热| 久久91久久精品久久| 五月丁香婷婷啪啪| 欧美性猛交99久久久久99按摩| 婷婷久久网| 色五月婷婷五月天| 玖玖婷婷五月天| 婷婷久久综合久| 狠狠干狠狠色| 色狠狠色噜噜AV天堂五区| 激情综合五月| 伊人网色婷婷五月天| 国产乱妇无乱码大黄AA片| 激情婷婷| 开心五月婷婷六月丁香| 五月激情网综合| 丁香婷婷成人在线播放| 婷婷六月激情| 大香蕉综合| 操91| 播丁香五月婷婷欧美| 亚洲色无码A片一区二区麻豆| 国产乱子轮XXX农村| 国产黄大片在线观看画质优化| 亚洲成人无码专区| 九热电影av| 久久久月丁香| 超碰在线免费9| 国产成人av在线播放| 六月 丁香 视频| 九九成人视频| 无码动漫AV| 日本 色综合| 九色91美女| 亭亭丁香aV| 五月丁香拍拍激情综合| 五月婷婷官网色| 狠狠爱五月婷婷| 色婷婷久久综合| 夜夜爽天天爽| se.久久视频在线观看| 超碰猛烈的性猛交| 好好日激情五月天| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 久久丁香五月| 中文成人在线| 五月婷免费视频| 爽极品色| 五月天六月婷婷电影| 狠狠草在线观看| 成人片在线播放| 欧美成人精品A片免费一区99| 国产精品久久久久久久久久免费| 99热这里都是精品| 久久精品一区二区三区四区| 97超级碰碰碰| 亚洲乱码成人| 狠狠综合久久| 久久182| 蜜臀丁香黄色婷婷五月天| 丁香婷婷偷拍| 五月丁香婷婷色色| 丁香六月成人网| 99精品激情| 97干婷婷五月天| 五月婷婷九九热| 开心五月婷婷| 夜夜 操无码| 亚洲AV成人无码久久精品老人法拉利| 思思热视频在线| 欧美日韩一区二区三区四区| 婷婷亚洲五月丁香综合在线 | 夜夜嗨一区二区三区直播内容 | 色久影院| 激情综合另类| 亚洲99在线| a网站免费观看| 丁香五月婷婷总啪啪| 九九热10| 色五月成人| 免费成人中文字幕| 五月丁香色婷婷熟女| 中文字幕av久久爽一区| 超碰国产在线观看| 亚洲成人在线五月天| 五月激情天| 婷婷综合日本| 色婷婷影视| 另类激情五| 婷婷五月色亚洲| 五月婷婷激情网| 黑人无码一区| 超碰国产在线观看| 婷婷久久精品| 婷婷五月电影| 色五月婷婷基地| AV中文在线| 中文字幕婷婷| 九九九九综合| 久操人妻| www.超碰| 99re在线视频精品,这里只有精品18,| 五月婷婷激情性爱| 久久综合爱| 九九视频在线观看| 亚洲第二AV| 日逼免费视频| 婷婷久久色五月婷婷久久久| 久热a| 天堂成人A片永久免费网站| 99热偷拍| www.婷婷五月天| 99热这里都是精品| 九九色热| 伊人五月婷婷| 欧美韩国日本| 激情综合另类| 日韩野外 无套| 婷婷成人丁香色情基地30| 日本狠狠干| 亚洲综合色网站| 99热在线精品观看| 热久久99视频| 97啪在线观看视频| www.com五月天| 精品动漫 无码av| 99这里只有| 久久99精品久久久| 99人人干| www.夜夜夜| 极品少妇XXXX精品少妇偷拍| 天天爽综合| 琪琪色五月婷婷老师| 五月婷伊人| 国产精品久久久久久久久久久久| 五月婷婷丁香五月婷婷| 色色色色色日韩午夜激情| 综合图区激情| 精品久热69| 婷婷六久久| 亚洲色色香蕉| 国産精品| 免费无码毛片一区二区A片| 婷婷五月开心中文字幕色| 另类少妇人与禽zOZZ0性伦| sisi热国产| 五月天婷婷基地| 婷婷综合五月天激情| 成人丁香婷婷| 九九RE视频在线精品| 五月丁香六月色婷| 丁香五月婷婷国产av| 婷婷婷婷婷婷婷五月丁香| 亚洲AV无码成人精品区电影网| 天天爱天天操| 天天综合亚洲综合网天天αⅴ| 国自产拍偷拍精品啪啪一区二区 | 久久五月激情| 色婷綜合网| 五月丁香婷婷伊人日韩| 大香蕉综合在线| 亚洲五月天第一综合干| 五月婷婷激情在线| 另类在线| 亚洲激情视频在线观看| 婷婷色色网站| 99精品在线| 欧美综合丁香网| 五月婷婷国产| 国产肥白大熟妇BBBB视频| 天天综合中文| 九九热在视频| 色天堂A| 99热超碰在线| 九九大香视频| 99热这里有精品2| 9 9 9色色| 人妻AV在线| 99精品爱| 婷婷精品视频| 99这里只有精| 婷婷开心青青草| 欧美啪啪五月天| 96丁香六月婷婷蜜桃综合久久| 久热这里只有精品66| 九九亚洲无码| 久久九九99视频| 99热偷拍| 五月色亚洲| 人妻射精AV| 人妻在线网站| 色婷插| 97狠狠色| 成人va视频| 激情网五夜婷婷| 亚洲无码AV片| 欧美特大片黄| 丁香五月av| 深爱婷婷网| 亚洲视频在线观看99| 亚洲图色五月天| 日日爽夜夜爽| 99视频在线| 五月的色婷婷高潮| 五月丁香婷婷啪啪综合网| 亚洲精品在线视频| 99免费偷拍视频| 免费精品99| 日韩人妻无码精品| 天天综合久久| 色五月天婷婷| 这里只有精品免费视频| 色丁香五月婷婷在线| 性爱动图国产麻豆一区二区三区 | 婷婷丁香五月色偷偷| 新激情五月天| 欧美三级巜人妻互换| 色播综合| 99日本黄站| 色色综合热| 夜夜嗨一区二区三区直播内容| 色丁香五月婷婷| 婷婷性福五月天| 五月婷婷无码专区| 日本成人小说婷婷六月| 甈你aaaaa| 九九热视频首页/这里只有精品| 极品色丁香| 国产三级在线播放| 操人精品| 激情五月天的婷婷| 色婷婷综合亚洲| 狠狠爱婷婷色| 麻豆雪千夏| 97香蕉人人在线观看| www狠狠爱com| 97碰人人操| 99日在线观看视频| www.日本91| 97久久五月丁香婷婷| 五月天婷婷丁香人人操91| 婷婷丁香红五月91C| 国产精自产拍久久久久久蜜 | 欧美在线视频99| 婷婷五月天成人网| 五月丁香影院| 日韩黄色中文字幕| 嘿嘿视频免费看9| 日本天堂网站99| 婷婷综合在线网| 久草视频大香蕉99| 国产AV不卡福利| 亚洲无码九九九| 97碰操| 久久婷婷丁香五月宗合| 最新久久网址| 久热久色| 五月天婷婷黄色| 五月婷婷自拍视频| 狠狠色成人影片| 亚洲激情网| 九热免费视频| 色五月婷婷老师| 欧美成人一区二区三区在线视频 | 99色在线视频观看| 伊人www22综合色| 久久久久激情| 79亚洲精品少妇| 色婷綜合网| www,五月天激情| 超碰1999| 天天做天天爱| 色www99| 五月丁香婷婷激情四射迷人| 婷婷九月激情| 色狠狠六月| 五月婷婷六月奇米网丁香| 激情色视频| 狠狠色大香蕉| 色情成人五月天| 五月久久丁香| 婷婷五月天激情综合| 狠狠做五月| 秋霞簧片| 99热碰碰热| 亚洲乱码日产精品BD| 操草草草| 天天射夜夜爽| 99精品在这里| 日本色色色| 99丁香婷婷综合网| 五月丁香啪啪| 无码网站视频| 五月香婷婷| 九九中文色色| 丁香五月狠狠在线观看| www婷婷| 欧美婷婷| 啪啪婷婷五月天激情| 99热热九九| 久久九九热视频| 丁香婷婷色五月| 人五月天婷婷喷水| 很很操96| 婷婷激情六月综合| 中文字幕91,综合| 激情精品久久| 在线色色| 91精品啪| 色综合色色色色色| 五月婷婷六月丁香在线| 色婷在线视频| 蜜臀嫩草| 97色色网| 亚洲婷婷视频| 99噜噜| 爱iii做iiii日| 婷婷综合色色| 玖玖99免费视频| 亚洲av| 欧洲不卡视频| 天天干天天拍| 久久国产AV| 色八月婷婷| 亚洲色另类| 亚洲精品久久久无码| 玖玖婷婷综合| 思思热视频| 少妇搡BBBB搡BBB搡毛茸茸| 久久精品9| 五月婷婷我| 99精品免费| 婷婷狠狠18禁久久| 六九色综合婷婷五月天| 婷婷五月天亚洲综合网| 色情激情五月| 极品人妻VIDEOSSS人妻| 九九视频这里是精品五月| 4399在线日本A片| 亚洲天堂有码| 特级西西4444www无码| 艹B高清无码| 玖月婷婷爱丁香| av在线激情| 九九综合五月欧美| 亚洲99精品欧美一区| 午夜不卡久久精品无码免费| 色爱99| 丁香五月天色婷婷| 这里有精品99| 六月激情婷婷| 丁香婷婷综合五月天| 色五月婷婷在线| 天堂资源欧日浪女在线播放| 久久香蕉丁香| 亚洲成人网站在线| 99啪啪网| 五月激情综合网| 久久与婷婷| 婷婷丁香社区| 欧美日韩成人在线网| 91精品综合久久久五月天| wwwxxx五月婷婷小说| 天天爽天天操| 丁香六月激情毛片| 色婷网站| 欧美成人网99网| 欧美激情综合色丁香婷婷五月天| 国产操B视频| 9精品视频在线观看| 婷婷五月天色综合| 骚。com| 天天狠天天叉| 久久久久久久11111111111| 国产精品美女久久久久AV超清| 、激情六月天| 国产激情综合五月久久| 亚洲色色色色| 色综合综合网| 色视五月天婷婷| 深爱激情四射| 99久久婷婷国产综合| 婷婷六月成人| 色婷婷97| 六月丁香啪啪啪| 97丁香五月天| 精品热青草| 久久久久er热| 成人欧美日韩| 大学生高潮无套内谢视频| 婷婷五月深深的爱| 影院久久久| 色婷婷综合亚洲| 欧美久热| 琪琪色网在线| 亚洲AV网址| 9.1综合网| 国产69久久久欧美黑人A片| 婷婷娱乐丁香综合网| 亲子乱av一区二区三区的| 五月天桃色深爱网| 亚洲综人色综网| 国产午夜精品一区二区三区四区| WWW.婷婷| 五月色婷婷在线观看| 青青草视频免费观看| 久久免费婷婷视频| 婷婷五月天成人| 99ER热精品视频| 婷婷五月丁香手机在线视频| 无码se| 68热超碰在线| 操97| 欧美成人精品老美女噜噜噜| 超碰激情网| 精品夜夜澡人妻无码AV| 婷婷八月丁香激情综合| 五月丁香久久综合| 热热99爱爱| 丁香五月Av| 人妻videos人妻高清| 超碰国产在线观看| 熟女人妻视频| 午夜激情婷婷| 夜丁香五月婷婷| 色婷婷综合网站| 五月丁香亭亭电影久久| 九九激情| 五月丁香六月婷婷色日| 亚洲色婷婷99一9|| 激情综合九月| 97偷拍在线视频| 日韩色色视频| 国产九九一区二区三区| 亚洲精品五月| 精a品a视a频| 亚洲AV成人无码电影| 久久久久久人妻| 夜夜操,天天撸| 超碰三级秋霞| 九九热10| 激情啪啪五月天| 免费无码毛片一区二区A片| 97五月久久丁香婷婷| 亚洲尤物在线| 在线国产精品色| 丁香六月激情综合网| 国产69久久久欧美黑人A片| 任你日视频| 日韩精品二三区| ,99视频久久| 99人碰碰碰| 狠狠 久久| 99燥99日| 熟女人妻一区二区三区免费看| 九九综合九九| 激情综合网五月| 可以免费看的AV网站| 啪啪啪啪五月天| 五月丁香六月婷婷综合在线| 丁香六月婷婷综合激情欧美| 五夜丁香| 99碰网站| 大香蕉久久久| 色丁香五月| 欧美69色| 激情婷婷。| 亚洲久久天堂| 操人妻AV| 精品国产乱码久久久久久免费| 色99色| 色五月激情网| 色色色成人网| 成人日韩欧美| 性爱视频99| 五月天激情影院| 成人精品人妻| 97碰在线| 天天干天干| 九九色婷婷| 夜夜资源站| 色五月大| 任你艹| 色五月激情五月天| 91人妻PORNY九色大屁股| 五月婷婷,六月丁香| 五月丁香啪啪啪| 欧美丁香婷婷五月| 五月婷婷综合网| 五月天激情国产综合婷婷婷| 不卡的AV网站| 丁香五月婷综合| 9一精品视频观看| 性爱网六月丁香| 久久免费丁香| 丁香五月久久| 亚州精品色情在线观看| 色婷婷九月综合| 五月丁香花免费视频| 婷婷五月六月丁香综合| 婷婷五月天开心网| 九九99九九99九九99视频网| 日日操夜夜撸| 丁香8月手机综合| 激情超碰网| 99干在线| 99爱爱| 五月天婷亚洲综合在线嫩草网| 天天摸天天爽| 五月丁查人人| 亚洲美女高潮久久久久久69| 久色网| 一区二区三区四日本| 97干在线视频精品店| 婷婷色色丁香| 91九色精品女同系列| 99热国品免费| 欧美美美女性色视频| 五月婷婷,狠狠操| 九九热最新视频| 免费无码毛片一区二区A片| 在线看AV| 午夜爱插插| 五月丁香综合网色欲| 色噜综| 99热亚洲精品| 国产高潮A片羞羞视频涩涩| 九九色插| 无码se| 五月天激情.com| 色综合九九| 激情五月天在线视频| 国产一区二区三区影院| 热99久| 激情五月天激情网| 婷婷九月丁香| 北京熟妇搡BBBB搡BBBB| 婷婷六月综合基地| 亚洲激情高潮| 91人人网| 超碰自拍天堂| 狠狠狠婷婷五月综合| 久 久9 9 热 视 频| 伊人干综合| 无码视频国内精品久久久| 97色啪| 五月丁香婷婷激情在线| 无码区婷婷五月花开| 那里有AV网址| 99爱无码| 玖玖在线视频| 熟女网站久久| 丁香婷婷婷五月| 五月婷综合| 六月色 亚洲| 伊人五月婷婷| 色色丁香五月天| 大香蕉视频婷婷| 亚洲五月天第一综合干| 日韩av在线免费观看| 亚洲av| 日本色频| 99乱视频| 亚洲国产网站| 五月开心婷婷| 在线只有精品| 色情五月婷婷| 91人操| 日韩AV在线免费| 激情伍月 欧美| 99日韩| 五月丁香六月婷婷的女人| 秋霞簧片| 国产成人精品一区二三区熟女在线| 97资源碰碰在线| www色中色综合| 狠狠狠狠狠| 婷婷99狠狠躁天天| 人妻视频在线| 婷婷色基地在线看| 亚洲激情97五月天| aaa久久久| 99热这里只有精品21| 色墦五月丁香| 91超碰九色| 色九亚洲| 九九热精品99| 91久久五月天| www久久艹| 九九热婷婷| 丁香香蕉婷婷| 深爱五月激情| 免费超碰在线| 综合激情视频| 激情久久月| 婷婷播5月| 亚洲成人精品三区| 五月天激情无码专区| 色天堂婷婷| 亚洲精品小视频| 少妇被躁爽到高潮无码文| 婷婷五月天中文字幕.| 日韩成人精品中文字幕| www,久久久| 青青草tp| 成人丁香五月| 99色啊| 婷婷伊人网| 六月丁香婷婷综合色播| 亚洲视频一区| 色婷婷五月天激情综合| 7777国产盗摄农村女人| 天天操夜夜橾| 密臀av无码人妻精品| 天天操天天操天天操天天操天天操 | 久久精品性爱| 色波激情五月天| 色婷婷视频| 中文字幕丁香五月| 久月久在线视频| 懂色AⅤ| 婷婷五月激情五月丁香五月| 成人精品人妻| 婷婷六月丁香在线| 激情文学综合婷婷五月天丁香花| 五月综合精品| 欧美丁香五月| 九九色热| www开心激情网| 激情五月天色色色| 亚洲综合草草| 在线VA视频| 狠狠婷婷综合| 99色视频| 色丁香五月婷婷婷| 丁香五月婷婷啪啪视频| www,com,五月色色| 激情网五夜婷婷| 丁香,开心成人,久久| 五月亚洲| 综合久久婷婷| 午夜精品久久久久久久爽| 日日操天天| WWW.婷婷五月天.COM| 91狠狠色丁香婷婷综合久久精品| 五月久久丁香| 大香蕉久艹| 97久久人人人干| 99热这里只有精品在线| se99高清无码| 天堂网亚洲色图| 久久五月视频| 天天天日天天天干| 久久人操| 91在线人| 79精品视频在线观看,| 无码婷婷五月天| 久久加勒比| 欧美性做爰大片免费看办公室| 丁香五月天在线| 激情小说五月天社区丁香 | 噜色精品| 五月婷婷深深爱| 国产做A爰片毛片A片美国| 四月丁香五月婷婷久久| 人人干天天舔| 午夜丁香 婷婷| 九九视频这里是精品五月| 色五月 婷婷, 大香蕉| 99精品一二三四视频| 日 日干 日日做| 色呦呦美女| 夜色五月天| 久久激情五月| 丁香六月婷婷色XXXXX| 人妻操逼| 色色五月天丁香| 免费色婷婷| 日本天天操| 色婷婷五月天视频在线| va婷婷在线| 九九色综合网| 91人人妻人人操| 情欲禁地| 天天天干夜夜夜操| 久热91精品| 亚洲欧美999| 五月丁香六月婷婷中文版| 在线成人网址| 九月丁香八月婷婷久久综合久97| 屁股翘好撅高迎合跪趴| 婷香五月激情视频| 99精品国产在热久久婷婷| 激情五月婷婷在线| 六月色婷婷欧美| 亚洲永久四色| 国产色网站| 99热97美女| 久久人人做人人妻人人玩精品va| 色五月激情五月| 欧美 日韩 成人 在线| 天天色,天天日,天天做| er99免费视频在线| 国产精品在线视频| 激情宗合哪里能看| 97色婷婷| 91精品久久久久| 午夜爱插插| 丁香五月停停基地| 9精品一区| 婷婷日韩| 中文字幕不卡网站| www五月婷婷88导航| 丁香网站| 亚洲日本韩国| 被强行糟蹋的女人A片| 婷婷五月综合在线| 99热只有| 99九九久久| 99精品视频在线观看| 99免费热视频在线| 天天干天天操天天爽| 91丨九色丨国产打屁股| 亚洲六月婷婷| caop在线视频| 久久激情五月| 久久久久这里只有精品| 色婷婷九月| 国产精品大香蕉| AV九九| 99热在线观看| 亚洲中文字幕AV在线| 色狠狠色噜噜AV天堂五区| 麻豆AV一区二区三区| 性av| 免费色婷婷| 91人人看| 99色精品| 色婷婷久久综合| 色色婷婷五月| 99超在线| 色操b| 婷婷播5月| 国产亚洲精品久久一区二区三区| 欧美狠狠色| AV五月丁香| 激情伊人五月天| 丁香色色网| 婷婷D区| 亚洲图色五月天| 五月婷婷丁香啪啪| 99亚洲天堂| 丁香激惜男女| 丁香五月在线观看完整版| 99热这里只有精品22| 婷婷五月天AV| 97色色综合| www.狠狠操| 婷婷操无码| 婷婷色操| 开心 五月 综合| 婷婷激情五月天亚洲综合| www色婷婷com| 4399在线日本A片| 99婷婷| 伊人激情网| 日良久久| 五月婷婷色播网| 吉澤明步Av一區二區| 91成人电影| 香蕉综合网| 伊人在线大香蕉网| 99激情网| 丁香婷婷五月六月天| 色香欲综合| 99性爱视频| 婷婷热色| 天天性视频| 五月天另类小说久久小说网| 五月丁香六月成人| 国产肥白大熟妇BBBB视频| 9 1 A v久久久| 久久激情网| 中文不卡一二区| 久久久大香蕉| 五月J香蕉婷婷| 男人的天堂五月丁香| 天天爽天天日人人爱| 婷婷五月天在线观看免费| 久久98| 色婷婷很很丝袜| 97精品欧美91久久久久久久| 丁香五月婷婷精品视频| 色呦呦美女| 九九这里有精品视频| 日本色视| 国产国产乱老熟女视频网站97| 欧美六月婷婷| 激情五月丁香综合蜜桃| 99精品热| 午夜不卡久久精品无码免费| 伊久久婷婷| 久久99热精品a片在线观看| 久久精品视频99| 在线观看日韩12345区| 国产免费一区二区在线A片视频| 五月之婷婷| 天天干天天爽| 丁香五月色网| 无码色色| 色婷婷成人做爰A片免费看网站| 丁香五月综合激情性爱| 亚洲bt丁香五月天婷婷激情小说| 成人在线99| 五月天激情四射网站| 66精品成人免费网站在线观看| 开心激情网五月天| 丁香六月婷| 婷婷五月18永久免费视频| 久久久久久人妻| 99re热在线观看| 丁香婷婷十月| 专区无日本视频高清8| 亚州操操| 99热在线看| www.99riav99| 人色五月天婷婷| 99这里只有| 99热最新精品| 另类视频五月天| 国产欧美大香蕉一区| 色视五月天婷婷| 五月天激情小说| 超碰9| 五月天成人综合| 丁香五月色情av| 99热这里只有精品13| 五月天伊人网| 久久99久久99精品免视看婷| 久久999久久999久久999久久| 亚洲成人av在线观看| 深爱五月亚洲| 中文字幕 中文字幕明步| 开心五月激情| 久久久久久久人妻| 婷婷五月在线免费| 天天干天干| 五月婷婷性爱| 亚洲中文字幕AV| 玖玖99免费视频| 久大香蕉| 色天堂在线| 9l视频自拍9l视频自拍九色学生| 激情久久网| 五月天色不卡| 婷婷五月丁香香蕉| 丁香五月欧美午夜视频| 国产女生爱爱AA| 国产,欧美,日韩,性爱| 日韩在线视频9色| 六月五月婷婷| 猫咪伊人AV| 99热的无码| 日本一区二区三区精品视频| 亚洲视频图片婷婷五月| 色444综合网| 婷婷婷婷婷婷婷婷| 91pornav在线| 99视频35精品视频在线观看| 婷婷久久综| 伊人久久99| 五月天激情综合网俺也去| 99视频内射三四| 伊人青草成人| 噼里啪啦完整版中文在线观看| 人人人人人人人人人草| 一本色道久久88加勒比| 人人摸人人干人人做| 9久热在线精品| 婷婷五月在线观看| 99精品自拍视频| 亚洲成人免费在线| 婷婷在线午夜| 久久五月天精品视频| 久久a热| 伊人色综合影院视频| 婷婷香五月天| 激情综合五月.....| 99久久超级| 日日撸夜夜操| 丁香色六月婷婷| 久久婷婷五月综合| 开心五月激情五月丁香五月婷婷| 99视频日韩| 欧美综合123区| 婷婷久久婷婷色五月| 一区二区三区四日本| 青青草激情网| 啪啪91| 国产精产国品一二三在观看| 这里只有精品免费观看网占| 久久综合首页| 激情av| 国产婷婷五月天| 五月丁香婷草| 五月丁香综合| 婷婷激情小说| 九九热只有这里精品| 色逼综合网| 9l视频自拍9l视频自拍九色学生| 色婷婷婷av| 男女激情久久| 五月婷色色| 丁香六月成人网| 99久久99视频| 人妻丰满精品一区二区A片| 这里只有精品在线视频在线观看| www.丁香五月| 99在线视频操999| 婷婷的99视频网站| 婷婷四色五月| 欧美六月| 日本色色视频| 久久怕怕视频| 99这里只有精品|v| 一起草无码视频| 婷婷免费视频| a在线观看| 久久九九热视频| 激情婷婷内射| 午夜色丁香| 国产一区二区三区影院| EEUSS鲁片一区二区三区| 色A网| 91激情五月开心| 久久五月婷婷综合网| 综合色色婷婷| 五月天婷婷爱| 99热日韩这里只有精品| 婷婷五月天久久综合88| 国产真实乱了老女人视频| 日本一级特黄大片AAAAA级| 99噜噜噜在线播放| 超碰在线综合| 色情一区二区播放| 99亚色色色| 五月婷婷导航| www,奇米影视| 丁香五月婷婷网| 热久精品| 色射婷婷五月天| 精品久久婷婷五月天| 九九色色色| 久热精彩视频98| 国自产拍偷拍精品啪啪一区二区| 综合激情在线| 亚美欧色影院| 五月天伊人日日噜影片AV| 91精品久久久久久久| 91综合视频在线| 免费观看欧美成人AA片爱我多深| 九九热欧美| 五月婷视频在线| 99日这里只有精品| 婷婷五月激情丁香激情| 色婷婷亚洲婷婷| 99人人操人人操人人精| 五月婷中文娱乐综合| 人与禽A片啪啪| 五月天社区| 婷婷五月色播放| 国产精品成人AV在线| 五月丁香综合激情网| 综合久久五月| 人人人人人人人人人草| 久久五月视频| 国产亚洲99久久精品| 五月丁香色婷婷色| 伊人久久大香天蕉亚洲特级| 久久久久久婷| 精品热青草| 久久久久久久久久久-久五月天婷婷| 五月丁香在线| 五月激情小说网| 婷婷激情综合网| 97视频.干com| 色婷婷天堂| 婷丁香五月天| 九九在线视频| 国产九九一区二区三区| 精品人妻伦一二三区久| 性爱视频99| 久久五月天婷婷| 丁香五月六月综合激情| 五月婷婷五月天激情网| 华人在线免费| 久久色这里只有精品| 婷婷五月激情视频| AAAA网站| 天天天干夜夜夜操| 五月丁香婷婷综合| 婷婷五月影院| 婷婷成人五月天| 日本99色| 色久九| 97自拍视频在线| 久久五月天婷婷| www.婷婷| 一本道在线电影| 在线视频婷婷| 丁香花狠狠婷婷亚洲中文字幕| 亚洲超碰中文字幕| 色婷婷最新域名| 五月婷久久久| 色狠狠综合| 激情丁香婷婷六月天| 婷婷在线五月天观看| 色天天狠狠干| 天天舔天天摸天天透| 婷婷五月丁香香蕉| 99视频九九热| 人人操五月天| 色欲一区二区三区精品A片| 婷婷在线网| 久草婷婷视频| 亚洲色图81p| 玖玖色综合网| 精品99久久久久成人网站免费| 青青草护士中出内射-欧美电影在线天堂新版 | 国产欧美日韩综合精品一区二区| www久视频com| 日本少妇AA一级特黄大片| 伊人9在线| 色丁香五月天射婷婷爱婷婷| 亚洲激情淫网| 久久久久久丁香五月| 丁香六月婷婷| 五月婷婷婷婷| 双性美人被调教到喷水A片| 狠狠色丁香久久综合婷婷亚洲成人福利 | 色一情一乱一乱一区91| AV中文在线| 97婷婷五月丁香| 亚洲av日韩无码| 久久五月人人摸| 亚洲最大五月六月丁香婷婷| 亚洲婷婷激情综合激情999精品| 色久天| 99久热视频在线| 婷婷丁香五月天影院| 第二色AⅤ| 少妇激情五月天| 天天操天天曰| 亚洲超碰青涩| 欧美日韩123| 亚洲五月天综合| 99亚洲视频| 五月天大香蕉| 1769在线观看欧美国产| 东京热伊人| 丁香五月天啪啪激情综和网| 97人凄人人操人人爽| 99网| 97色图片中文字幕视频在线观看 | 色六月视频| 亚洲人妻av| 日本成人内射| 婷婷在线免费| 天天色,天天日,天天做| 夜夜操天天干| 久色大香蕉| 综合五月天亚洲婷婷| 婷婷五月天久久久| 五月丁香六月婷综合成人综合| 97涩婷婷婷婷基地| 99热99网| 99综合| 亚洲A片成人无码久久精品青桔| 91|九色|动漫| 色色婷婷综合网| 激情综合网五月婷婷| 天天日夜夜夜操操操操| 国产99久久久国产精品免费看| 婷婷五月天毛片| 成人视频婷婷| 五月天激情小说欧美激情| 久久婷婷欧美| 婷婷色导航| 狠狠搞综合色| 国产精产国品一二三在观看| 性生活久久人妻| 婷婷狠狠18禁久久| 激情五月丁香五月| 亚洲五月天伊人| 欧美一线视频| 欧美精品99久久久| 国产精品VA在线| 亚洲超碰在线| 色色com| 亚洲不卡| 久久色这里只有精品| 97色一二三| 中文字幕日产A片在线看| 99亚洲综合| 精品99视频| 精品爱欲五| 色噜噜狠狠色综合日日| 五月丁香六月婷婷欧美综合| 五月天激情综合网俺也去| 欧美色骚婷婷五月天| 一本大道熟女人妻中文字幕在线 | 五月丁香六月激情| 丁香五月综合在线播放| 色吧网综合| 日日干日日| 亚洲精品视频在线| 亚洲精品又粗又大又爽A片| 久久这里只有精品16| 一级七香蕉| 色婷操逼| 久久亚洲网| OYIWbGcPu8H| 99色精品| 狠狠草天天草| 久久婷综| 九色无码| 欧洲99视频在线| 激情操逼婷婷| 亚洲精品色| 天天天久久久| 97超美国视频在线观看| 天天爽天天日| 色婷婷影视| 婷婷丁香91综合| 少妇性按摩无码中文A片| 丁香五月综合高清在线| 强辱丰满人妻HD中文字幕| 丁香五月激情婷婷婷婷在线观看| 丁香六月婷婷综合激情欧美| 强辱丰满人妻HD中文字幕| 婷婷天天色| 久久久com| 教师性爱毛片| 超碰97干| 色插综合网| 热久69| 日本丁香五月| 看国产探花操逼三级片| 中文aV网| 99在线免费视频| 五月天婷综合网站| 亚洲天堂制| 99re这里| www.激情五月天| 九九色影视| 色综合视频在线| av久热| 婷婷深爱网| 91日本在线| 日韩aⅴ视频| 这里只有精彩视频| 天天操天天日天天操| 伊人色综合影院视频| 九九99九九精品免费| 9久热在线视频精品| 美女主播野战视步页| 日本久久人人| 91制片厂久久久国产电影| 五月婷六月丁香| 五月激情视频| 五月丁香综合网| 成片免费观看视频大全| 丁香五月天堂| 天天干狠狠操| 久久久99视频| 激情综合文学| 五月天激情视频| 五月天色不卡| 婷婷五月天激情视频| 成人视频一区| 九九精品婷| 国产精产国品一二三在观看| 操日视频| 天天射色五月天| 天天日天天干天天爱| 久碰综合| 婷婷六月天国产综合| 色综合久久久久| 狠狠草狠狠草| 婷婷操逼网| 色五月婷婷中文字幕| WWW.久久久久久久久久久久久| 婷婷五月天影院| 久久综合五月天| 婷婷婷婷婷开心无码播放| 爱草视频在线观看| 亚洲成人综合在线| 极品另类| 午夜在线成人网站免费观看| 婷婷五月激情综合| 五月婷婷五月天| 五月婷婷第四色| 日日天天操| 操操操操操操婷婷五月天| 97超级操操| 久久3级片| 少妇性BBB搡BBB爽爽爽视頻| 狠狠做深爱婷婷久久综合一区| 五月天网站免费欧美| 欧美色欲色欲天天天www| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 色婷婷成人做爰A片免费看网站 | 久久9精品| 天堂久久性|