99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南

Linux下Tomcat開機(jī)自啟:systemd配置與排障全指南 如果你手頭有一臺(tái)跑著生產(chǎn)業(yè)務(wù)的 Linux 服務(wù)器上面部署了 Tomcat那你大概率經(jīng)歷過這種時(shí)刻機(jī)房斷電、服務(wù)器自動(dòng)重啟或者運(yùn)維例行升級內(nèi)核 reboot 之后同事過來說“網(wǎng)站打不開了”。SSH 上去一看MySQL、Nginx 都活著唯獨(dú) Java 進(jìn)程沒了——Tomcat 沒有開機(jī)自啟。后來我專門整理過一套在 linux 上設(shè)置 tomcat 開機(jī)啟動(dòng)的完整方法才把這件回頭看并不復(fù)雜、踩坑時(shí)卻相當(dāng)折磨人的事徹底理順。這篇內(nèi)容適合手里有 Linux 服務(wù)器、用 Tomcat 跑著 Java Web 項(xiàng)目、且經(jīng)受不起下次重啟后服務(wù)靜默消失的開發(fā)或運(yùn)維朋友。文章不會(huì)只給你一段能用的配置我會(huì)把方案選型、單元文件每個(gè)參數(shù)的作用、驗(yàn)證方式、常見坑的完整排查鏈路以及配套的 JVM 參數(shù)、日志切割、多實(shí)例部署這些細(xì)節(jié)一并講清楚。1. 為什么 Linux 服務(wù)器上的 Tomcat 必須配置開機(jī)自啟1.1 先說一個(gè)讓我凌晨爬起來加班的場景我印象特別深有一年某個(gè)測試環(huán)境因?yàn)闄C(jī)房變更要重啟一臺(tái)老應(yīng)用服務(wù)器上面跑著 Tomcat 8.5 和幾個(gè)客戶對接用的 JSP 系統(tǒng)。重啟完成、網(wǎng)絡(luò)通了之后用客戶端工具一連——接口直接報(bào)連接超時(shí)。SSH 上去看Memcached 是起的Nginx 是起的唯獨(dú)java進(jìn)程一個(gè)都看不到Tomcat 壓根沒有跟著系統(tǒng)起來。當(dāng)時(shí)這臺(tái)機(jī)器的 Tomcat 是同事手動(dòng)startup.sh拉起來的配置里也沒有任何開機(jī)自啟的邏輯。更要命的是沒人記得具體配置細(xì)節(jié)JAVA_HOME、CATALINA_BASE 全靠/etc/profile里的環(huán)境變量撐腰。我后來花了大半夜把環(huán)境全部摸了一遍才意識(shí)到配置 Tomcat 開機(jī)啟動(dòng)這件事不只是寫一行命令那么簡單它需要把啟動(dòng)方式、環(huán)境變量、用戶權(quán)限、服務(wù)依賴全部理順。從那以后我在任何一臺(tái)要長期跑 Tomcat 的 Linux 機(jī)器上做的第一件事就是先把開機(jī)自啟搞定。1.2 開機(jī)自啟的三種主流方案先做個(gè)了斷到目前為止我在不同年代、不同發(fā)行版的機(jī)器上實(shí)際用過的方案主要有三種方案原理適用場景維護(hù)成本systemd 服務(wù)單元通過/etc/systemd/system/tomcat.service聲明服務(wù)由 systemd 托管生命周期當(dāng)前幾乎所有主流發(fā)行版CentOS 7、Debian 8、Ubuntu 15低管理命令統(tǒng)一SysV init 腳本在/etc/init.d/放腳本通過update-rc.d或chkconfig注冊老系統(tǒng)、最小化容器、嵌入式環(huán)境中依賴順序全手動(dòng)crontab reboot用戶 crontab 里寫reboot /path/startup.sh臨時(shí)性、實(shí)驗(yàn)性環(huán)境低但服務(wù)狀態(tài)和重啟策略幾乎沒有我見過不少生產(chǎn)環(huán)境的服務(wù)器還在用第三種方式就是reboot掛一條啟動(dòng)命令。你說它不行它確實(shí)能在重啟后把 Tomcat 拉起來。但問題在于沒有服務(wù)狀態(tài)管理如果想用systemctl查狀態(tài)、自動(dòng)重啟、看失敗次數(shù)、做資源隔離它什么都給不了。而且reboot的 cron 任務(wù)經(jīng)常踩環(huán)境變量坑——crontab 的執(zhí)行環(huán)境不是登錄式 Shell/etc/profile里定義的 JAVA_HOME 它根本讀不到啟動(dòng)一個(gè)失敗一個(gè)。SysV init 腳本在 CentOS 6 時(shí)代是絕對主力我現(xiàn)在也還會(huì)遇到基于老鏡像的機(jī)器。它的邏輯就是啟動(dòng)時(shí)按 rc.d 里的腳本順序調(diào)用#!/bin/sh從頭寫一套 start/stop/restart 邏輯還要考慮鎖文件、PID 文件。能用但確實(shí)繁瑣而且很多長期沒人維護(hù)的 init 腳本里連注釋都過期了。1.3 為什么我最終把生產(chǎn)環(huán)境的 Tomcat 全部切到 systemd如果機(jī)器發(fā)行版支持 systemd我的建議非常直接別折騰其他方案直接用 systemd。理由不復(fù)雜就三條。第一服務(wù)狀態(tài)可觀測。systemctl status tomcat看到的是active (running)、activating、failed這些明確狀態(tài)結(jié)合journalctl -u tomcat能看到服務(wù)日志定位速度比在/var/log/tomcat/里翻半天快得多。第二依賴和資源控制原生支持。我可以聲明Afternetwork.target等網(wǎng)絡(luò)就緒也可以設(shè)置MemoryLimit、CPUQuota對 Tomcat 這種占內(nèi)存大頭、容易出現(xiàn)內(nèi)存泄漏的 Java 進(jìn)程這是實(shí)實(shí)在在的護(hù)欄。第三失敗重啟策略。Restarton-failure加上RestartSec讓 Tomcat 意外退出后自動(dòng)拉起。相比在 crontab 里反復(fù)跑pgrep去判斷進(jìn)程存在與否systemd 的處理方式又干凈又可靠。現(xiàn)在主流發(fā)行版幾乎都跑 systemd所以下面的配置全部圍繞 systemd 展開同時(shí)穿插說明一些老方案里的對應(yīng)做法。2. 手把手把 Tomcat 配成 systemd 開機(jī)自啟服務(wù)2.1 動(dòng)手前先體檢目錄、賬號(hào)、路徑這三個(gè)事別跳過配置前我會(huì)先確認(rèn)三件事任何一件沒確認(rèn)清楚后面都會(huì)回來找麻煩。第一JDK 的真實(shí)路徑。在命令行里執(zhí)行which java readlink -f $(which java)后一條命令會(huì)把/usr/bin/java這類軟鏈接一路解析到真實(shí)路徑比如/usr/local/java/jdk-17/bin/java那 JAVA_HOME 就是/usr/local/java/jdk-17。千萬別想當(dāng)然寫成/usr/lib/jvm/...以readlink解析出來的為準(zhǔn)。第二Tomcat 安裝目錄和版本。通常我會(huì)用/usr/local/tomcat作為 CATALINA_HOME。要注意目錄里有沒有完整的bin、conf、lib結(jié)構(gòu)缺少文件大概率是以前解壓到一半或者路徑被改過??梢詧?zhí)行/usr/local/tomcat/bin/version.sh看版本前提是 JAVA_HOME 已經(jīng)在當(dāng)前 Shell 導(dǎo)出。第三運(yùn)行賬號(hào)。強(qiáng)烈建議不要用 root 直接跑 Tomcat。一旦進(jìn)程被利用或者 war 包出問題root 權(quán)限的 Java 進(jìn)程會(huì)造成更大的麻煩。我通常新建一個(gè)系統(tǒng)用戶useradd -r -s /bin/false tomcat chown -R tomcat:tomcat /usr/local/tomcat-r表示系統(tǒng)賬戶-s /bin/false讓它無法交互登錄對 Tomcat 運(yùn)行來說足夠。大家常問的“Tomcat 啟動(dòng)閃退”有相當(dāng)一部分就是目錄權(quán)限不對啟動(dòng)腳本寫不了日志或 PID 文件導(dǎo)致進(jìn)程退出。2.2 寫一個(gè)能打的 tomcat.service 單元文件在/etc/systemd/system/tomcat.service創(chuàng)建文件這是 systemd 管理 Tomcat 的入口。我先把一份經(jīng)過生產(chǎn)驗(yàn)證的配置完整貼出來再做逐行解釋。[Unit] DescriptionApache Tomcat 9 Web Application Container Afternetwork.target Wantsnetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentJAVA_HOME/usr/local/java/jdk-17 EnvironmentCATALINA_HOME/usr/local/tomcat EnvironmentCATALINA_BASE/usr/local/tomcat EnvironmentCATALINA_PID/usr/local/tomcat/logs/tomcat.pid PIDFile/usr/local/tomcat/logs/tomcat.pid ExecStart/usr/local/tomcat/bin/startup.sh ExecStop/usr/local/tomcat/bin/shutdown.sh Restarton-failure RestartSec10 TimeoutStartSec60 TimeoutStopSec30 [Install] WantedBymulti-user.target這個(gè)文件里的[Unit]部分描述服務(wù)是什么、啟動(dòng)順序上的依賴[Service]部分是核心定義了進(jìn)程類型、用哪個(gè)用戶運(yùn)行、執(zhí)行什么腳本[Install]段決定了它掛載到哪個(gè)啟動(dòng)目標(biāo)multi-user.target表示這臺(tái)機(jī)器進(jìn)入正常的非圖形化運(yùn)行級別時(shí)啟動(dòng)。2.3 單元文件里這些參數(shù)每一行都在解決什么問題很多人習(xí)慣網(wǎng)上復(fù)制一份配置能用就行出了問題就完全不知道往哪里看。我建議把幾個(gè)關(guān)鍵參數(shù)吃透。Typeforking。Tomcat 的startup.sh啟動(dòng) Java 進(jìn)程后會(huì)立即返回退出真正的 Tomcat 主進(jìn)程是被 fork 出來的子進(jìn)程所以對 systemd 來說必須聲明Typeforking。如果不聲明或聲成simplesystemd 會(huì)把短暫駐留的啟動(dòng) Shell 當(dāng)成主服務(wù)導(dǎo)致狀態(tài)判斷完全錯(cuò)亂。PIDFile 與 CATALINA_PID。systemd 需要跟蹤 Tomcat 實(shí)際主進(jìn)程的 PID 來管理它。Tomcat 自身通過 CATALINA_PID 來寫 PID 文件。單元文件里我把 PID 指向/usr/local/tomcat/logs/tomcat.pid。這里有一個(gè)非常典型的坑很多發(fā)行版默認(rèn) Tomcat 配置里沒有導(dǎo)出 CATALINA_PID啟動(dòng)時(shí)根本沒有 PID 文件可讀systemd 在 stop 和 status 時(shí)的判斷會(huì)對不上。解決辦法就是顯式在服務(wù)里設(shè)置同時(shí)寫上PIDFile讓 systemd 知道去哪里讀。Environment。這一步我要特別強(qiáng)調(diào)。systemd 通過ExecStart啟動(dòng)的服務(wù)不會(huì)讀取/etc/profile、~/.bashrc這些 Shell 初始化文件。不少人的 Tomcat 平時(shí)手動(dòng)啟動(dòng)沒問題一配 systemd 就報(bào)JAVA_HOME is not defined correctly十有八九是這個(gè)原因。所以我把 JAVA_HOME、CATALINA_HOME、CATALINA_PID 統(tǒng)統(tǒng)用 Environment 寫進(jìn)去不依賴任何全局 Shell 變量。After / Wants。Afternetwork.target表示網(wǎng)絡(luò)目標(biāo)完成后才會(huì)啟動(dòng) Tomcat避免在網(wǎng)絡(luò)接口沒有就緒時(shí)就去綁定端口。如果你的項(xiàng)目強(qiáng)依賴數(shù)據(jù)庫或 Redis也可以追加Aftermysql.service之類的聲明。注意After不產(chǎn)生啟動(dòng)依賴它只是順序約束要用Requires或Wants來真正拉起依賴服務(wù)最常見的組合就是Wants...加After...。Restart 策略。Restarton-failure搭配RestartSec10進(jìn)程異常退出時(shí) 10 秒后自動(dòng)重試。on-failure只處理非正常狀態(tài)如果你自己調(diào)systemctl stop tomcat它不會(huì)去重啟這也是我推薦這個(gè)值的原因。TimeoutStopSec。Tomcat 關(guān)閉時(shí)可能要優(yōu)雅停掉應(yīng)用和連接池時(shí)間給太短會(huì)被 systemd 強(qiáng)殺。我設(shè)了 30 秒大多數(shù) Web 應(yīng)用足夠。如果線上應(yīng)用有長事務(wù)、連接池回收慢可以再調(diào)大一點(diǎn)。2.4 啟用自啟、驗(yàn)證生效一次做過配置寫完以后執(zhí)行systemctl daemon-reload systemctl enable tomcat systemctl start tomcat每次修改 service 文件必須重新執(zhí)行daemon-reload這是新手最容易漏掉的動(dòng)作。enable會(huì)在/etc/systemd/system/multi-user.target.wants/下生成符號(hào)鏈接下次開機(jī)時(shí)自動(dòng)啟動(dòng)start是立即啟動(dòng)并不是必須和enable一起執(zhí)行但先手動(dòng)啟動(dòng)一次能盡早發(fā)現(xiàn)配置錯(cuò)誤。啟動(dòng)后一定要做到驗(yàn)證閉環(huán)systemctl status tomcat systemctl is-enabled tomcat ss -lntp | grep 8080 curl -sI http://127.0.0.1:8080 | head -n 3如果看到enabled、狀態(tài)是active (running)、8080 端口監(jiān)聽正常這一步就完成了。我自己的習(xí)慣還會(huì)再補(bǔ)一句journalctl -u tomcat -n 50 --no-pager確認(rèn)日志沒有異常然后找個(gè)時(shí)間真正 reboot 一次驗(yàn)證自啟——這一步必須有下面會(huì)解釋為什么。3. 配置自啟途中踩過的坑和完整排查鏈路3.1 環(huán)境變量丟失systemd 說這不是它的鍋癥狀很典型手動(dòng)執(zhí)行startup.sh一切正常systemctl start tomcat后過幾秒狀態(tài)變成failedjournalctl -u tomcat里能看到類似Neither the JAVA_HOME nor the JRE_HOME environment variable is defined At least one of these environment variable is required to run this program原因就是我前面說的systemd 啟動(dòng)的進(jìn)程不加載 Shell 環(huán)境文件。很多教程讓你把 JAVA_HOME 寫進(jìn)/etc/profile這只會(huì)影響交互式 Shell不會(huì)影響 systemd。排查鏈路按順序走systemctl show tomcat -p Environment看 systemd 實(shí)際傳給進(jìn)程的環(huán)境變量。如果沒有 JAVA_HOME去單元文件里補(bǔ)上EnvironmentJAVA_HOME...絕對路徑以readlink -f $(which java)解析出來的為準(zhǔn)。XShell 里敲的java -version能用不代表 Tomcat 腳本能用腳本看的是 JAVA_HOME/JRE_HOME不是 PATH 里的 java 命令。3.2 PID 文件缺失狀態(tài)一直卡在 activating有一個(gè)場景我遇到不止一次Tomcat 其實(shí)已經(jīng)起來了8080 端口也在監(jiān)聽業(yè)務(wù)能通但systemctl status顯示的卻是activating (start-pre)或者反復(fù)failed用systemctl stop還停不下來。根因基本可以鎖定在 PID 文件上。Typeforking加 PIDFile 時(shí)systemd 會(huì)用 PID 文件里的主進(jìn)程號(hào)來判斷服務(wù)是否成功啟動(dòng)。如果 CATALINA_PID 沒有導(dǎo)出startup.sh 不寫 PID 文件或者寫的路徑進(jìn)程沒權(quán)限寫就會(huì)卡在狀態(tài)判斷上。排查方式ls -l /usr/local/tomcat/logs/tomcat.pid cat /usr/local/tomcat/logs/tomcat.pid如果沒有這個(gè)文件檢查單元文件里 CATALINA_PID 是否配置如果文件存在但權(quán)限是 root檢查chown -R tomcat:tomcat /usr/local/tomcat因?yàn)?Tomcat 運(yùn)行用戶寫不了這個(gè)文件同樣會(huì)導(dǎo)致 systemd 狀態(tài)不對。SELinux 開啟時(shí)如果目錄上下文不對也可能拒絕寫權(quán)限這個(gè)下面單獨(dú)說。3.3 啟動(dòng)閃退排查先在前臺(tái)跑一次 catalina.sh配了自啟之后閃退日志往往被 systemd 收走反而不如直接前臺(tái)啟動(dòng)看得快。排查閃退我最順手的動(dòng)作是把 Tomcat 開到前臺(tái)sudo -u tomcat /usr/local/tomcat/bin/catalina.sh runcatalina.sh run是前臺(tái)運(yùn)行日志直接打到終端報(bào)錯(cuò)一眼能看到。常見閃退原因端口被占用。ss -lntp | grep 8080看是不是別的服務(wù)占著或上一次啟動(dòng)的殘留進(jìn)程占著端口。war 包解壓失敗、webapps 下的應(yīng)用啟動(dòng)異常導(dǎo)致線程啟動(dòng)時(shí)報(bào)錯(cuò)退出。內(nèi)存不足或 JVM 參數(shù)非法比如-Xmx設(shè)置超出物理內(nèi)存啟動(dòng)直接報(bào)Could not reserve enough bytes for object heap。系統(tǒng)服務(wù)對進(jìn)程數(shù)量、文件句柄有限制journalctl -u tomcat里能看到句柄耗盡的跡象。定位到根因后按對應(yīng)的方式改配置改完再systemctl start tomcat驗(yàn)證。不要反復(fù)無腦重啟日志不會(huì)騙人。3.4 端口能通但外網(wǎng)訪問不了防火墻與 SELinux 兩個(gè)兄弟自啟配好了本機(jī) curl 127.0.0.1:8080 有響應(yīng)外面怎么都訪問不到這時(shí)候要懷疑防火墻和 SELinux。firewalld 在 CentOS/RHEL 系機(jī)器上默認(rèn)可能攔截了外部到 8080 的訪問firewall-cmd --permanent --add-port8080/tcp firewall-cmd --reloadSELinux 則是另一個(gè)容易忽略的環(huán)節(jié)。Tomcat 安裝到非標(biāo)準(zhǔn)目錄后進(jìn)程寫日志、寫臨時(shí)文件可能被 SELinux 策略擋住。先看當(dāng)前模式getenforce如果是Enforcing可以用restorecon -RF /usr/local/tomcat恢復(fù)目錄的 SELinux 上下文如果 Tomcat 確實(shí)需要連接外部網(wǎng)絡(luò)或端口可能需要設(shè)置對應(yīng)的 boolean。這里不展開講 SELinux 策略撰寫但要記住遇到進(jìn)程行為異常、日志中帶著Permission denied又說不清權(quán)限問題時(shí)八成和 SELinux 有關(guān)。注意不建議圖省事直接在生產(chǎn)上永久關(guān)閉 SELinux。造成的問題應(yīng)該用策略去解決頂多臨時(shí)setenforce 0驗(yàn)證確認(rèn)后再定位是哪條策略。3.5 journalctl 里最值得記住的五類關(guān)鍵線索配自啟的排查基本繞不開journalctl -u tomcat我總結(jié)過幾類最常出現(xiàn)的日志線索看到就知道往哪里查日志線索指向的問題JAVA_HOME is not defined環(huán)境變量沒配置或路徑不對去 [Service] 段補(bǔ) Environmentpid file write failedPID 文件路徑不可寫檢查目錄權(quán)限、SELinux 上下文Address already in use端口被占用找占用進(jìn)程或改 server.xml 端口Broken pipe、Connection reset通常是反向代理/防火墻/長連接資源問題優(yōu)先看 Nginx 和網(wǎng)絡(luò)側(cè)OutOfMemoryError、GC overhead limit exceededJVM 或堆內(nèi)存不足調(diào) CATALINA_OPTS每次排查都從日志入手按鏈路一層層往下通常能比東翻西找快一半時(shí)間。4. 開機(jī)自啟配好之后順手把這些運(yùn)維細(xì)節(jié)也安排上4.1 JVM 參數(shù)放哪最干凈用 setenv.sh 而不是硬塞 service設(shè)置好自啟之后很多人會(huì)問我想調(diào) JVM 堆內(nèi)存、GC 參數(shù)怎么辦兩個(gè)選擇一是全部懟在 service 文件的 Environment 里二是在/usr/local/tomcat/bin/下創(chuàng)建setenv.sh。Tomcat 每次啟動(dòng)都會(huì)自動(dòng)加載bin/setenv.sh里導(dǎo)出的環(huán)境變量。這是官方預(yù)留的擴(kuò)展機(jī)制比在 systemd 單元文件里寫一長串 Environment 干凈得多也更方便維護(hù)。我通常在 setenv.sh 里寫export CATALINA_OPTS-Xms512m -Xmx2048m -XX:MetaspaceSize256m -XX:UseG1GC -XX:HeapDumpOnOutOfMemoryError注意兩個(gè)變量的區(qū)別CATALINA_OPTS只作用于 Tomcat 啟動(dòng)的 JVM不影響它內(nèi)部的輔助工具JAVA_OPTS會(huì)作用于所有基于 Java 的進(jìn)程包括啟動(dòng)腳本里的輔助程序。針對 Tomcat 的堆和 GC 配置優(yōu)先用 CATALINA_OPTS。修改 setenv.sh 后不用重寫 servicesystemctl restart tomcat即可生效這個(gè)先后順序建議固定下來。4.2 catalina.out 無限增長一個(gè) logrotate 配置解決Tomcat 的catalina.out會(huì)越滾越大尤其線上打了大量訪問日志或異常棧時(shí)一個(gè)季度漲到幾個(gè) GB 很常見。有些項(xiàng)目把日志輸出在 catalina.out 里不處理遲早拖垮磁盤。我在生產(chǎn)上通常用 logrotate 做每日切割配置放在/etc/logrotate.d/tomcat/usr/local/tomcat/logs/catalina.out { daily rotate 7 copytruncate compress missingok notifempty }這里最需要注意的參數(shù)是copytruncate。因?yàn)?Java 進(jìn)程一直持有 catalina.out 這個(gè)文件句柄直接mv重命名會(huì)導(dǎo)致 Tomcat 繼續(xù)寫舊句柄肉眼看到的是日志“消失”實(shí)際磁盤空間沒釋放。copytruncate先復(fù)制再清空原文件雖然極端情況下會(huì)丟一點(diǎn)點(diǎn)新日志但比重啟 Tomcat 去切日志劃算得多。4.3 多實(shí)例部署用模板化 service 文件省一半配置如果一臺(tái)服務(wù)器上要跑多個(gè) Tomcat 實(shí)例比如按項(xiàng)目名隔離的web1、web2完全不需要為每個(gè)實(shí)例各寫一份 service 文件。systemd 支持模板單元tomcat.service通過%i引用實(shí)例名[Unit] DescriptionTomcat instance %i Afternetwork.target [Service] Typeforking Usertomcat Grouptomcat EnvironmentCATALINA_HOME/opt/tomcat-appserver EnvironmentCATALINA_BASE/opt/tomcat-%i EnvironmentCATALINA_PID/opt/tomcat-%i/logs/tomcat.pid PIDFile/opt/tomcat-%i/logs/tomcat.pid ExecStart/opt/tomcat-appserver/bin/startup.sh ExecStop/opt/tomcat-appserver/bin/shutdown.sh Restarton-failure [Install] WantedBymulti-user.target然后一行命令注冊并啟動(dòng)對應(yīng)實(shí)例systemctl enable tomcatweb1 systemctl start tomcatweb1需要注意多實(shí)例場景里CATALINA_HOME可以共用一份 Tomcat 程序但CATALINA_BASE必須每個(gè)實(shí)例各自獨(dú)立conf/、webapps/、logs/、temp/放在各自的 BASE 目錄下。這會(huì)讓自啟配置的復(fù)雜度大大下降也方便后續(xù)單獨(dú)重啟某個(gè)實(shí)例而不影響其他應(yīng)用。4.4 升級 Tomcat 版本時(shí)自啟配置怎么平滑過渡Tomcat 大版本升級時(shí)最容易踩的雷就是解壓新版到新目錄然后忘了改自啟單元文件里指向 CATALINA_HOME 的路徑重啟回來發(fā)現(xiàn)啟動(dòng)的還是老版本。我的做法一般是先用軟鏈接固定路徑ln -s /usr/local/tomcat-9.0.85 /usr/local/tomcatservice 文件里始終只寫/usr/local/tomcat升級時(shí)解壓新版目錄停服務(wù)換軟鏈接指向再啟動(dòng)。如果出問題就回退軟鏈接整個(gè)過程可逆可控。升級前記得備份conf/server.xml、conf/web.xml和webapps下需要保留的業(yè)務(wù)應(yīng)用。Tomcat 10 把javax.*換成jakarta.*的兼容差異比較大升級時(shí)要么代碼同步遷移要么先確認(rèn)業(yè)務(wù)是否接受這個(gè)改動(dòng)。4.5 順便提一句安全加固manager 后臺(tái)別裸奔很多網(wǎng)站在 Tomcat 配置完成后conf/tomcat-users.xml里寫死了一個(gè)manager-gui角色賬號(hào)用于后臺(tái)部署 war 包。我的建議是兩步走一是 manager 相關(guān)角色盡量不開放公網(wǎng)訪問至少在防火墻層或 Nginx 層限制來源 IP二是如果確實(shí)需要遠(yuǎn)程管理配合 Tomcat 的 Valve 配置做來源地址白名單而不要只靠一個(gè)弱口令頂著。這個(gè)不屬于自啟范圍但既然聊到線上的 Tomcat順手提醒總比出了安全事件再補(bǔ)要省心。5. 我總結(jié)的幾個(gè)實(shí)操習(xí)慣照著做能少走很多彎路配置和排障都講完了最后分享幾個(gè)我自己養(yǎng)成的習(xí)慣都是踩過坑后留下的。第一配置完自啟后一定要找時(shí)間重啟一次機(jī)器驗(yàn)證。很多人配完enable就覺得萬事大吉等真重啟才發(fā)現(xiàn)某個(gè)依賴順序或環(huán)境變量在純引導(dǎo)環(huán)境里根本不生效。重啟后確認(rèn)進(jìn)程在、端口在、systemctl status是 active才算完成閉環(huán)。第二每次都先daemon-reload再改狀態(tài)。改 service 文件卻不 reloadsystemd 仍在用舊配置這會(huì)浪費(fèi)大量時(shí)間。我自己的流程是改完文件 →systemctl daemon-reload→systemctl restart tomcat→journalctl -u tomcat -n 30收尾。第三寫文檔比記憶可靠。Tomcat 版本、JAVA_HOME 路徑、實(shí)例名、端口、依賴關(guān)系這些信息散落在不同人腦子里最危險(xiǎn)。我會(huì)在機(jī)器上放一個(gè)/etc/systemd/system/README-tomcat.txt或者同步到私有維基記錄每次變更前后的狀態(tài)和原因下次不管誰接手都能快速接上。第四盡量用 systemd 統(tǒng)一管理減少“手藝人腳本”。手寫 shell 腳本輪詢進(jìn)程、在 rc.local 里追加啟動(dòng)命令這些方式應(yīng)急時(shí)可以但長期維護(hù)下來狀態(tài)不可觀測、失敗不自愈的代價(jià)會(huì)越來越高。把 Tomcat、Nginx、MySQL 這些服務(wù)通通納入 systemd 視角后一條命令就能看清整臺(tái)機(jī)器的服務(wù)圖譜排障思路也會(huì)清晰很多。配置 Tomcat 開機(jī)自啟本質(zhì)上并不難難的是把方案選對、把細(xì)節(jié)做扎實(shí)。希望這篇實(shí)踐筆記能讓你下次面對“重啟后服務(wù)消失”的時(shí)候不再手忙腳亂。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97五月久久丁香婷婷| 久久狠狠干| 天天日,天天插| 国产激情综合五月久久| 激情纯色婷婷五月天在线不卡视频| 午夜丁香婷婷| 欧美日韩aaaa| 97人妻碰碰碰久久香蕉| 五月天色图| 九九热10| 日熟女| 久久98热re| 亚洲综合激情五月天婷婷| 99精品偷自拍| 这里只有精品在线视频在线观看| 五月丁香美女| 五月天狠狠色| 热久久999| 五月欧美丁香在线观看| 五月丁色AV| 婷婷六月激情综合| 久久久com| 婷婷基地成人五月天| 日韩在线观看网址| 在线日韩视频| 五月天婷婷视频小说| 婷婷五月亚洲综合| 婷婷丁香五月在线观看91| 很很干天天干| www.99热这里精品| 99只有这里是精品| 91丨九色丨国产打屁股| 色五月成人| www.久9| 久久久中文| 岛国av网站| oumeisesewang| 亚洲无码性爱| 六月激情网| 久热视频这里只有精品| 色欲日日躁| 九伊人网| 91久久久久| 免费无码毛片一区二区A片| 五月天六月天| av中文在线| 婷婷久综合| 中国女人内射6XXXXX| 欧美色色色色色色色色色色| 激情久久久| 久热欧美| 超碰九九热| 五月婷婷九| 成人电影AV在线观看| 4399欧美另类视频| Av九九| 啪啪啪丁香五月| 久热这里| 婷婷五月性感| 亚洲色婷婷五月天| 夜夜爱爱亚洲| 日本nghangse中文字幕| 婷婷久久爱| 日比网免费国产| 国产欧美日韩综合精品一区二区| 丁香五月婷婷国产在线| 97久久精品| 黄色高清无码| 国产操B视频| av网址在线| 性爱五月婷| 色六月 婷婷| 五月婷婷伊| 日韩色色色色| 免费91久久精品| 中文字幕丰满乱孑伦无码专区| 99久久天堂婷婷| 香蕉人妻AV久久久久天天| 中字幕视频在线永久在线观看免费 | 国产成人一区二区三区在线观看| 久久精彩视频| 丁香六月婷婷社区| 包操45分钟网站| 99热在线中文字幕| 日日操天天| 国产性爱亚洲是图| www.99精品在线| 91精品91久久久中77777| 五月丁香六月激情综合| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 天天开心天天色| 婷婷五月花| 色婷婷视频| 五月天无码视屏播放| 99精品7| 热99re| 97丁香五月| 激情五月丁香五月| 婷婷成人AV| 久久最新色色色| 久久最新色色色| 色噜噜狠狠色综合日日免费| 夜丁香综合| 五月激情小说网| 黄色AV日韩| 成人免费120分钟啪啪| 性做久久久久久久免费看| 黄色av网站在线免费播放| 婷婷六月综合基地| 另类综合国产| av在线资源| 日本性视频| 色欲丁香| 五月天伊人| 99这里有精品视频| 中文字幕无码人妻少妇免费视频| 人妻精品在线| 网站免费一站二站| 综合色在线| 操逼电影免费看| 99自拍视频在线观看| 人人草成人视频| 日屌日日操日日色| 中文AV网站| 欧美色婷婷| 五月丁香在线综合| 九九热狼人| 婷婷九月激情| 色综合久久中文| 久久婷婷五月综合色欧美| 五月婷婷偷拍| 天天插天天| 色优久久| VA色婷婷| 婷婷五月电影院| 99热思思| 欧美丁香婷婷天天操| 丁香五月天堂网| 少妇出轨做爰高潮A片| 六月婷婷av| 99精品小视频| 成人国产欧美大片一区| 六月婷婷狠狠| 国产人妻人伦精品一区二区| 97色婷婷在线观看| 噜噜噜久久| 中字幕视频在线永久在线观看免费 | 婷婷丁香大香蕉| 六月婷婷无码观看| 亚洲人妻av伦理| av九九| 九九在线视频| 亚卅毛片| 一级操逼内射在线视频| 狠狠色婷| 五月丁香色| 丁香色色五月| 99视频只有精品| 国产成人亚洲综合亚洲| 99精品久久久久久久婷婷久久| 天天日天天爽| 夜夜噜夜夜奇| 久久R激情| 色色婷五月天| 国产性爱在线| 婷婷五月花丁香| 9色资源在线| 成人做爰A片免费看网站找不到了| 久热精品视频| 天堂在线伊久| 日日噜噜夜夜狠狠久久丁香五月| 亚洲在线操| 五月婷婷丁香俺日污视频| 日日操天堂| 青草激情在线| 中文字幕成人网站| 成人丁香婷婷| 啪啪婷婷五月天激情| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 五月激情综合网| 九九婷婷综合| 婷婷综合五月天激情| 色婷婷五月天| 久久偷拍综合五月天| 成片免费播放| 五月丁香啪啪啪免费看| 狠狠婷婷综合| 少妇搡BBBB搡BBB搡毛茸茸 | 久久久精品视频79| 五月婷婷操操| 91精品久久久久久久久| 日操| www99精品亚| 这里只有精品1| 激情丁香久久久久久| www五月天激情com| 狠狠色噜噜色狠狠狠综合色| 色婷婷的五月天| 99re热在线视频观看| 狠狠干无码| 婷婷综合在线播放| 99网| 91人操人人人操人| 婷婷五月天亚洲激情戏精品| 99欧美热| 丁香五月婷婷六月| 天天婷婷色六月| 黑人熟妇一区二区三区| 亚洲国产无线乱码在线观看| 日日杆天天| 97热视频| 婷婷五月丁香99| 五月丁香综合激情网| 五月色婷婷综合色| 9婷婷内射| 噜噜五月天综合| 涩涩五| 综合网网欲色| 中文字幕乱码亚洲精品一区| 日韩 中文 欧美| 久久大香蕉视频| 99亚州综合精品成人网| 天天噜天天插| www.yw色| 丁香五月在线看| 色婷婷综合成人| 97人人干| www,五月丁,com| 婷婷五月性感| 婷婷五月天在线观看| 婷婷五月天播| 涩九九九九| 偷偷与邻居做爰完整视频| 九热视频| 另类国产综合| 五月丁了香蕉综合| 五月丁香激情综合| 婷婷国产欧美97| 96精品成人无码A片观看金桔| 婷婷激情人妻| 色婷婷丁香五月在线观看| 婷婷亚洲日本| 五月婷婷久久大香蕉| 亚洲偷| 婷婷99狠狠| 色婷婷婷婷| 狠狠干狠狠干狠狠干狠狠干| 丁香婷婷六月婷婷六月婷婷六月婷婷| 久久精品系列| 9999综合99综合人| chaopeng在线人人| 无码少妇高潮喷水A片免费| 激情婷婷久久| 99久久玖玖| 狠狠草综合网| 激情婷婷五月天在线观看| 97福利视频| 人人干人人操外国| 97人人操com| 野战J办公桌椅H| 99在线观看| 色五月婷婷小说亚洲中文字幕组| 综合久久人妻| 天天天久久久| 伊九九三级区| 亚洲视频无| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 玖玖精品婷婷| 婷婷丁香社区| 1024成人在线观看| 99九精品| 色吊丝永久访问网址| 嫩草视频。| 国产性av| 182无码| 无码激情AAAAA片-区区| 日本精品人妻无码77777| 色丁香五月婷婷| 九九色图| 丁香五月社区| 国产99久久久国产精品免费看| 人人摸人人摸| 超碰99在线| 思思热99热| 亚洲AV色婷婷人禽五月天| 天插天啪天啪天啪| 欧美日本一区二区三区| 丁香五月,激情五月,深爱五月| 色五月av伊人| 婷婷夜夜夜夜| 激情五月丁香六月婷婷| 婷婷五月天亚洲色| 台湾综合丁香五月蜜桃| 日日操夜夜爽天天天| 超黄亚洲瑟瑟网站| 五月婷婷深爱六月| 婷婷五月另类网站| 色热久| 97人人操人人| 丁香婷婷啪啪| 婷婷丁香六月天| 日本大人久久| 99热精品10| 九九热re99re6在线精品| 色综合狠狠色| 色碰碰视频| 丁香5月激情网| 欧美色色色色色色色色色色| 99久热这里只有精品视频删减版| 婷婷五月丁香综合激情小说| 久久免费婷婷视频| 亚洲操精品| 五月丁香免费看| 五月婷婷综合视频| 亚洲AV久久久久久久久久久久久久久久 | 五月婷婷综合久久| 激情综合网址| 开心激情站| XX色综合| h亚洲| 午夜大香蕉| 安息电影在线观看完整版| 九六五月天婷婷| 射久久丁香五月| 五月天网站免费欧美| 色色色网站| 国产激情视频在线观看| 久热这里只有精品99re| 97在线观看| www亚洲无码| 久久新地址| 日 日干 日日做| 色婷婷基地| 99精品久久久| 五月天婷婷狂暴白浆| 丁香五月婷婷影院| 第四色色六月色综合| 伊人五月网| 五月天婷婷激情小说电影| 九九久久99| 日本人妻伦在线中文字幕 | 俺也高清无码高清视频| 五月天婷婷无码| 狠狠狠狠狠狠草| 九九99九九99偷拍视频免费看| 干亚洲天堂| 国产午夜一区二区三区| 亚洲另类在线观看| 9福利性视频欧美| 天天做天天双| 91九色丨国产丨爆乳| 双性美人被调教到喷水A片| 超碰国产在线观看| 综合五月激情| 精品人妻伦一二三区久久| 亚洲不卡123| 久久这里只有精品久久| 深爱综合网| 天天干天天插| www.99热视频| 天天做天天爱天天爽| 成人精品视频99在线观看免费| 欧美色偷偷大香| 性爱先锋AV| 97色色视频| 内射人妻视频国内| 超碰人人色| 色婷婷九月| 5月丁香啪啪啪| 日韩婷久| 综合天天综合| 欧美视频五区| 第四色大香蕉| 强伦轩人妻一区二区电影| 九九综合| 日本99久久| 九九视频在线| 婷婷激情97| 美女要搞搞天天搞搞搞网站| 女人天堂AV| 久久9精品视频| 欧美啄木乌丝袜人妻系列| 97精品综合久久| 久久最新色| 深爱激情69热| 丁香五月 性爱| 99视频精品全部免费 在线| 久久九九国产精品怡红院| 色婷婷综合综合网| 五月丁香六月婷婷激情网| 色色999三级片| 色五月丁香激情| 亚洲综合成人网| 91操人| 亚洲av成人在线| 五月激情射| 婷婷五月天伊人| 久久丁香婷婷色情综合| 五月丁香亚洲综合| 伊人大香蕉综合在线| 五月天激情无码高清 | 玖玖爱伊人网| 亚洲99在线视频| 777精品久无码人妻蜜桃| 色激情综合狠狠婷婷| 狠狠综合| 【乱子伦】黄色| 久久五月天婷婷| 97人人操人人干| 色婷婷视频| 俺来也综合网精品一区| 亚洲日韩一页精品发布| 五月天色综合服务平台| 91在线97视频| 夜夜撸夜夜骑| 五月丁香婷婷久久| 激情综合五月天| 婷激情五月天视频导航| 亚洲亚洲人成综合网络| m色激情网| 婷婷99视频在线| 久久这里99| 亚洲欧美成人在线观看| 丁香五月婷婷激情尤物| 色综合天堂| 91色久| 天天情天天狠天天透| www.婷婷五月| 逼逼AV| 天天久综合网永久入口18| 激情五月综合网最新| 色色色色色日韩午夜激情 | 五月色综合网| 91超碰人人操| 狠狠操天天干| 欧美色色色色色色色| 6 9式性爱视频在线播放| 婷婷丁香五月亚洲| 亚洲另类婷婷综合| 精品夜夜澡人妻无码AV| 99A片| 另类激情五月| 国产黄大片在线观看画质优化| 色五月综合网| 婷婷五月丁香91| 99热这里精品| 色色综合视频| 99热碰碰热| 99久久九九| 欧美精品999| 色99视频| 色99在线观看| 激情美女五月天| 丁香久久在线| 伊人碰碰碰| 五月情综合| 东京热人妻一区二区三区在线| 色激情五月| 亚洲激情淫网| 久久婷综合网| 最新高清无码专区| 婷婷操超碰| 五月丁色AV| 亚洲综合欧美色丁香婷婷888月图片| 在线观看免费狠狠色丁香香综合| 这里只有精品99www| 天堂五月婷婷| chaopengdaxiangjiao| 久久色9| 日韩人妻无码精品| 色欲五月丁香| AV性爱在线| 青草青青草| 看黄的网站18禁| 色五月噜噜| 亚洲天天| 99热8| 欧洲亚洲免费视频区| 任你干嘛免费视频播放| 91夫妻视频| 黄色成人网站在线播放| 天天干狠狠艹| 夜夜夜夜操| 色月九九| 天堂网啪啪| 激情综合网激情五月俺也去| 婷婷成人视频| 五月丁香拍拍激情综合| 色婷精品91| 超碰国产一区| 欧美S码亚洲码精品M码| 色播六月| 久久人人妻| 五月婷婷影视| 丁香婷婷五月天色综合| 色综合久久天天综合网| 久草婷婷视频| 67久久| 婷婷色在线| 激情五月天色网站| 久久精品系列| 久色婷婷200| 天天艹夜夜爽| 免费日韩99| 99精品在线播放| 99热色婷婷| 日本玖玖在线| 婷婷色资源| 亚洲视频在线观看| 色五月网址| 91超碰人人操| 日本色色图| 黄色一级影片| 激情人妻综合| 啪啪色区| xxxx久| 欧美日韩成人在线网站| 五月婷婷丁香| 狠狠爱五月婷婷| 几激情五月婷婷色五月色天堂| 国产精品久久久久久五月天加勒比| 天天爱天天日| 美女五月天婷婷| 丁香婷最新动态| 996er热| 婷婷五月丁香91| 婷婷五月天综合AV| 婷婷综合视频| 成人短视频在线| 激情综合五| 婷婷五月丁香六月| 丁香五月综合高清在线| www.激情在线| 五月天成人在线视频丁香| 小视频在线亚洲| 激情深爱婷婷网| 97色色色视屏| 亚洲婷婷激情888精品久| 人人舔天天| www.俺去也com| 久久思思精品| 五月天丁香婷婷社区| 九艹在线| 天天综合网在线| 午夜成人综合| 精品五月天| 狠狠干狠狠干| 超碰在线免费观看日韩| 伊人大香久久| 天堂久久精品| 欧美激情五月天在线观看| 内射丰满人妻| 色色性爱视频| 丁香六月婷婷久久综合| 无码人妻少妇色欲AV一区二区| 国产美女无遮挡裸体毛片A片 | 青青操avbb| 可以直接看的av网站| 成人性爱精品视频| 天天日天天操心| 日本久久精品| 婷婷综合性爱网| 蜜臀99久久精品久久久久| 9有码中文| 丁香午月AV中文字幕| 综合视频五月| 91日日日| 98国产精品综合一区二区三区| 亚洲av另类在线观看| 五月婷婷六月丁香首页| 99视频色在线观看| 26uuu亚洲精品国产| 狠狠色狠狠| 久久精品国产一区二区三区四区| 在线sebiav精品视频| 超碰成人av| 五月天婷亚洲综合在线嫩草网| 深爱丁香激情| 亚洲婷婷基地| 狠狠干最新地址| 激情图片久久| 综合热无码| 99狠狠| 免费无码毛片一区二区A片| 狠狠色狠狠色综合日日91| 91久久久久久久久久久| 99热成人在线| 丰满人妻一区二区三区| www.一起草av| 久久成人性爱| 久超超碰| 九月性爱网| 婷婷99狠狠躁天天躁| 五月天影院| 99热这里只有精品青草| 九热视频免费观看| 月婷婷亚洲| 色五月欧美| 日本人人超碰| 99热九九这里只有精品| 婷婷亚洲综合| 99欧美精品99日本精品| 九九热只有这里精品| 久久a热| 99在线免费观看| 久青操| 狠狠操婷婷| 丁香激情五月天| 五月天丁香成人社| 色色色9| 欧美三级A做爰在线观看| 一区二区乱码视频| 久久婷婷综合五月趴| 丰满少妇猛烈A片免费看观看| 在线观看av网站| 五月中旬婷婷丁香六| 婷婷网五月天| 欧洲不卡视频| 色五月激情综合| 亚洲美女裸体被操在线观看| 99爱在线| 人妻人人操| 久99视频在线观看| 神马欧美精| 91国产精品视频播放| 琪琪秋霞| 五月天激情综合网| 日韩操人| 日本久久婷| 色婷婷亚洲在线观看| 六月狠狠综合| 99热99艹在线观看| 丁香狠狠| 久热婷婷| 亚洲VA欧美VA| 五月天婷婷影院| 亚洲精品国产成人AV在线| 婷婷五月综合体验看| 丁香九色不卡aaa| 射久久丁香五月| 日韩黄色中文字幕| 天天色色婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月天激情网图片| av最新在线| 这里只有精品免费| 9久热在线精品| 99无吗| 久久久免费图片视频| 天天色综合网1| 婷婷丁香六月天| 99性感视频| 99热超碰人| 99国产小视频| 久久女人九九| 99啪99| 91色操| 婷婷色五月激情| 三级三久久线久久99久目本WW| 久久XX| 亚洲性受XXXX五月丁香| 丰满老熟妇BBBBB搡BBB| 99色1| 丁香影院五月综合| 五月婷婷啪啪| 婷婷综合激情| 婷婷综合视频| 新精品99| 91婷婷色 | 国产美女无遮挡裸体毛片A片 | 久9久9久9久9久9久9| 色碰碰视频| 激情五月黄色小说| 色婷婷伊人激情在线观看| 五月天深爱激情网| 国产成人AV在线播放| 超碰91在线| 综合婷婷六月| 91a片爽| 9九色首页| www.日本久久videos| 成人做爰A片免费看网站找不到了| 天天干天天操天天干天天操天天干天天操 | 日韩ac不卡无码| 国产在线aaa片一区二区99| 五月婷婷开心亚州在线| 激情爱爱网站| 麻豆AV一区二区三区| 婷婷六月花| 色噜噜97视频在线观看| 91啪啪视频| 婷婷五月天首页| 懂色av蜜臀av粉嫩av永陈冠希| 色99视频| 无码人妻一区二区三区免费九色| 日本99色| 成人综合网站| 六月激情久久| 婷婷基地成人五月天| 婷婷五月天亚洲综合网| 人妻人人操| 丁香婷五月| 中文字幕欧美久久| 男男野外做爰全过程69| 久人操| 综合五月亭亭9| 1024亚洲| 少妇AB又爽又紧无码网站| 激情综合网五月婷婷| 久婷婷五月丁香在线观看| 日本色超碰| 丁香六月激情| 女人天堂AV| 情情五月天色| 超碰操网| HD久久精品视频| 天天操夜夜操| 色婷婷电影网| 婷婷五月天亚洲图片| 激情综合网址| 91热在线观看视频| 五月丁香影院| 日本不卡中文字幕| 激情深爱五月| 六月五月久久丁香| 六月丁香啪啪| 亚洲综合另类| 丁香五月熟女| 久久久99精品免费观看| 99在线精品观看99| 五月婷婷六月色| 99热九九在线| 色色色在线免费视频| 日本操片| 五月丁香A∨在线| 激情又色又爽又黄的A片| 外国碰视频网站97| 国语对白性爱视频播放| 99久.| 超碰9在| 久草免费福利视频| 这里只有精品视频在线| 色五月,com| 在线中文亚洲| 1024成人免费看| 人妻久久久| 97在线精品| 国产毛片精品一区二区色欲黄A片| 久香草视频在线观看| 99久久精彩视频。| 丁香五月另类色婷婷麻豆| 强奸幻女毛片| 亚洲精级| 激情综合网激情五月丁香五月俺也去| 中文字幕成人| 日韩色色视频| 99无码视频| 久热黄色| 色婷婷A| 五月久视频| 久热这里只有精品99re| 91小黄书网址在线观看| 日韩无码人妻一区二区三区综合| 激情美女五月天| 婷婷五月天最新综合你懂的 | 中文字幕激情综合| 色五月综合网站| 九九色婷婷五月天| 七月丁香婷婷 色色| 国精产品一区一区三区免费视频| 五月婷婷影院| 国精产品一区一区三区免费视频 | 91成人品| 99色色爰| 情欲禁地| 日韩AV免费电影在线播放| 国产成人精品一区二三区熟女在线| 五月天激情小说| 五月天偷拍| 色情成人五月天| 俺去也婷婷| 色五月首页| 亚洲激情久久| 8090在线影视少妇| 1024操逼| 久草婷婷视频| 久热久操久热久草国产91| 久久嘟嘟丁香| 国产精品人妻欲求不满| 亚洲人妻av| 女性自慰系列第五页| www.91.com处女在线直播| 婷久看人爽| 久久草婷婷丁香网站| 热99只有里视频| 99网| 丁香五月色色| 99性爱| 色色色色色色色色色影院| 在线观看视频1区| 婷婷伊人视婷婷婷| 久久久ww| 婷婷激情五月天天天开心| 婷婷亚洲丁香五月| 开心五月深爱婷婷| 天堂综合久久| 五月婷婷综合视频| 婷婷丁香综合网| 无码一级片| 久婷| 人人色AV| 一级黄色尤物综合视频手机在线观看| 国产免费一区二区三区三州老师F1F1.CC | 婷婷 伊人 久久| 九九色热| 五月噜噜| 97色啪| 九九色逼| 久久久9久| 久久久WWW| 婷婷深爱五月天在线| 狠狠激情五月天| 99啪| Blackedraw视频一区二区| 丁香五月ⅤA久久久| 91人人网| www激情网| 亚洲人成色A777777在线观看| 激情五月丁香婷婷| 久久男人网婷婷| 综合大香蕉| 五月丁香六月婷婷综合伊人| 91丁香五月| 538在线精品| 在线成人视频免费| 一个色的综合| 99资源在线视频| 秋霞簧片| 超碰人人色| 色婷婷很很丝袜| 超碰99久久| 天天干天天操天天上| www.91九色| 666555。COm毛片| 九九亚洲综合| 人人人va亚洲视频在线| 五月婷婷久久综合| 九九成年视频| 国产精品久久在线观看技巧| 五月色综合| 性欧美大战久久久久久久83| ww久久| 天天干com| 五月激情综合网| 97精品自拍视频| 夜夜骑日日夜夜| 99九九久久| 狠狠色九月| 亚洲天堂AAA| 伊人99热| 新激情综合| 色情一区二区播放| 日日日日日| 91九色小视频| 激情五月视频在线婷婷| 99精品网| 久久久婷| 久超超碰| 色色五月天com| 综合色色婷婷| 九九热视频在线观看| 色色免费网站| 激情五月天天狠狠久久| 色婷小说| 婷婷之六月丁香| 色色色综合| 玖玖综合色| 99爱视频| 99久久亚洲国产| 丁香婷婷久久综合在线| 国外亚洲成AV人片在线观看| 伊人久久婷婷| 久久婷婷网| 亚洲成人网站在线| 综合网视频| 91re色综合视频| 天天舔天天| 丁香五月天激情综合| av九九| 狼人久草| 在线视频你懂得| 九九九九综合| 99福利导航| 玖玖婷婷色五月| 激情久久综合网| 夜夜躁爽日| 亚洲黄网在线| 五月丁香龟婷婷| 青青久久五月| 五月丁香六月婷婷综合伊人| 91人在线观看| 99视频精品8 | 成人综合伍月天| 激情综合丁香六| 日本九九热| 婷婷五月丁香综合亚洲| 激情婷婷六月| 果冻传媒A片一二三区| av在线色五月丁香婷区久| 91操人人操| 婷婷五月六月丁香综合| 久久五月天影院| 色久五月天| 色色色天堂网| 亚洲操操操| 99男人天堂| www久久99| 91丨九色丨东北熟女| 丁香五月欧美| 婷婷爱综合| 丰满少妇猛烈A片免费看观看 | 五月丁香狠狠爱婷婷综合| 综合激情深爱| 超级碰碰视频无码| 日日夜夜干| 色玖玖综合网| 色色色99| 婷婷激情六月中文| 久久婷综| 噜噜国产| 丁香婷婷黄网站| 久热超碰| 丁香婷婷六月在线资源观看| 激情综合婷婷久久| 黄色五月婷婷| 天天摸天天舔在线视频| 日本少妇裸体做爰高潮片| 五月花婷婷丁香| 欧美一线视频| 99亚洲天堂| www.爱操com.| AV在线二十六页| 色色色色色色色色色色色色色97| 五月丁香婷婷啪啪| 思思久久99热只有频精品66| 五月综合色播播丁香婷婷| 亚洲色图在线视频| 激情六月综合| 狠狠干青青草| 色五月自偷自拍婷婷婷婷| 无码啪啪| 天天色天天干天天插| 亚洲电影中文字幕| 狠狠综合网| 五月丁香六月激情狠狠| 国产亚洲av片| 99热91| 人人干AV| 庭庭久久内射| 国产肥白大熟妇BBBB视频| 五月天婷婷爱| 综合婷婷| 人人操人人妻| 99综合免费视频| WWW.桔色成人.COM| www,色婷婷| 欧美在线| 99色综合| 五月丁香AV、伊人业余、性色熟妇| www.刺激色网站www.| 色色热| 五月婷婷第四色| 婷婷五月丁香av网站| 91干99| 丁香五月天视频| 五月亭亭六月天| 婷婷六月激情小说网| 31色区视频免费看| 欧洲色| 97热这里只有精品| 人人操Av| 九九色区| 97日韩无套内| 97人妻碰碰中文无码久热丝袜| 亚洲 五月 婷婷 成人| 91美女被操| 婷婷丁香婷婷97| 中文字幕永久在线| 久久综合影院| 六月色国内综合| 影音先锋按摩| 97五月综合网| 日韩成人不卡| 丁香六月情| 婷婷五月激情中文字幕| 内射丰满人妻| 激情婷婷| 婷婷六月视频| 色操综合| 99在线精品免费视频| 婷婷精品免费久久| AV操操操| 欧洲亚洲激情五月天在线| 久久激情网| 狠狠色丁香久久婷婷综合五月| 影音先锋91在线资源站| 开心激情综合| 久久丁香五月| 婷婷婷婷婷开心无码播放| 五月激情开心婷婷| 99热网站| 五月丁香啪啪综合网| 日韩AV免费| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 久99视频| 色婷婷狠| 色婷婷五月天在线观看| 思思热国产| 涩涩涩婷婷| 九玖视频这里只有精品| 丁香婷婷91在线观看视频| 69久久久| 亚洲天堂色| 黄色三级毛片中字| 欧美在线| www色色色com| 日日操日日撸| 亚洲欧美成人在线| 色碰碰| 色天堂A| 五月婷婷六月色| 九九热只有精品| 久色国产| 六月婷婷国产| 99.色| 丁香五月网| 五月天色婷婷小说| 激情五月婷婷网在线观看| 亚洲婷婷丁香五月在线| 97色在线视频| 超碰人人操人人干| 99热亚洲| 久草大| 99爱视频精品| 丁香婷最新动态| WWW,五月天| 久久婷婷激情五月天一区二区| 国产成人网址| 精a品a视a频| 开心五月激情| 婷婷色天香| 夜夜做天天爽| 爱婷婷久久视频| 天天爽天天摸| 人人爱国产| 五月婷视频| 欧美久久网| 在线中文av| 久久五月视频| 无码99| 青青久在线视频免费观看| 久久综合99综合| www.色色色com| www.韩日视频| 538任你爽视频不一样的| 天天综合网~91综合网| 六月丁香大香蕉| 精品久热| 丁香月五月天婷婷久久| 九九热在这里只有精品| 99视频这里有精品免费观看| 久久久天天啊| 欧洲综合视频| 99精品在线观看视频| 欧洲色区| 五月天婷婷色综合| 伊人婷婷五月天av| 五月天大香蕉| 美臀自射自家人妻| 五月丁香亭亭天天舔| 婷婷五月色情天| 国产avapp 网| 色婷婷丁香| 极骚大香蕉伊人| 婷婷久久婷婷| 九月激情网| 九九九九九无码| 天天干天天爽天天操| 狠狠操天天干| 色色色色色色网站| 国产美女无遮挡裸体毛片A片| 婷婷情色五月| 国产精典视频在线观看| 99热这里只有精品10| 日本熟女内射| 91ncm视频| 精品夜夜澡人妻无码AV| 久久ri精品视频| 91久久| 美女激情婷婷| 婷婷少妇激情| 天天射影院| 亚洲AV另类| 婷婷欧美激情综合| 少妇人妻综合色6699| www.久久久.com| 国产欧美精品AAAAAA片| 伊人久热91| 婷婷欧美偷拍综合| 婷婷六月久久综合导航| 久久97| 婷婷五月丁香综合瑟瑟| 91色色色| www,婷婷| 伊人色综合网| 秋霞av不能| 99色6爱9热| 色婷婷小说| 在线只有精品| 色色色色色日韩午夜激情 | 四色AVwww| 五月丁香亚洲综合| 爱狠射| 天天日日人| 五月婷婷六月天| 久久99国产综合精品免费| 婷婷 伊人 久久| wwwxxx五月婷婷小说| 久热人妻| 久久综合最新网址| 99在线观看亚洲| 日本va欧美va国产激情| 一本道在线电影| 久久久久久9| 亚洲国产va| 久久九九综合| 人人九色| 5月婷婷五月天| 超碰人人色| 猫咪伊人久久| 99亚洲无码| 欧美黑人巨大性生话| 97精品在线| 无码 色| 激情内射人妻1区2区3区| 草草操操| 天天影视天天爽天天草| 亚洲精品无人区| 色综合网上班开心婷婷久久| 天天干夜晚夜操| 欧美十二区| 蜜臀av无码久久久久久久久| 国产精品社区| 色色婷婷色色| 热成人网| 免费观看全黄做爰的视频| www.久久99| 色婷婷狠| 琪琪色影音先锋| 久久性爰视频这里只有精品| 噼里啪啦完整版中文在线观看| 伊人久久婷| 中文av网| 丁香婷婷综合喷| 丁香五月婷婷天| 亚洲妇女熟BBW| 久久婷婷六月天| 亚洲操操| 超碰人人操人人干| 亚洲激情综| 天天操五月天| 亚洲情欲| 在线亚洲综合网| 婷婷射婷婷舔| 九九九干精品| 欧美性色五月天| 三级毛片视频| 99久久思思| 国产SUV精品一区二区883| 台湾综合丁香五月蜜桃| 色播五月网| 一起草AV| 丁香五月播播| 人妻人人操| 久9热| 超碰99在线| 婷婷五月天av| 亚洲永久免费| 久热久| 亚洲色情久久| 天天操天天干天天日| 九九熱最新視頻| 思思99热| www.sd-xiangsu.cpm| 女人高潮内射99精品| 5月色亭亭视频| 男男野外做爰全过程69| 三级成人网站| 狠狠爱成人综合网| 激情五月天www| 久久婷婷原创视频| 丁香五月天在线| 888久久久| 991精品在线视频| 日本三级中国三级99| 色婷婷网| 成人操呦av| 亚洲V国产V欧美V久久久久久| 天天摸日日舔狠狠添婷婷婷| 五月丁香六月激情网站| 激情六月婷| 91人碰| 久久女婷| 婷婷丁香五月天欧美| yazhoujiqingav| 婷婷精品综合| 五月天婷婷色色网| 97福利视频| 99热九九这里只有精品10| caop视频| 日本五月天婷婷丁香| 婷婷综合97| 天天色天天日| 国产99视频永久免费| 婷婷五月开心六月AV| 99丁香五月婷| 激情伊人六| 久久久久亚洲AV综合| 亚洲婷婷乱乱丁香| 久久aaaaa| 久99视频| 激情亚洲五月| 日本全黄一级999| 婷婷六月激情| 2025中文在线视频字幕免费观看| 人人插操| 玖玖婷婷五月天| 五月天色图| 丰满少妇猛烈A片免费看观看| 99在线精品免费视频| 日韩啪| 国产精品涩涩涩视频网站| 丁香五月婷婷激情中文| 久久伦乱| 国产毛片精品一区二区色欲黄A片| 五月婷婷丁香综合网| 婷婷综合精品| 欧美性生交XXXXX无码小说| 深爱激清网| 日本91在线| 色婷婷五月综合激情中文字幕| 亚洲色热| 激情综合五月激情| 久久ri精品视频| 人妻无码精品一区| 激情色情五月天| 伊人久久大香网| 九九成人电影婷婷| 中文资源在线a| 天天色综合色| 日本99视频精品免费播放| a网站免费观看| 99热这里只有精品免费| 青青热久久综合| 色婷婷AV在线| 大香焦啪啪啪|