99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

構(gòu)建決策支持系統(tǒng):加權(quán)評(píng)分與敏感性分析的完整實(shí)踐

構(gòu)建決策支持系統(tǒng):加權(quán)評(píng)分與敏感性分析的完整實(shí)踐 1. 決策者面臨的不再是“選哪個(gè)”而是“怎么選得放心”1.1 從決策僵局說(shuō)起我最早真正被“決策”這件事逼到墻角是在一次季度立項(xiàng)評(píng)審會(huì)上。六個(gè)候選項(xiàng)目擺上臺(tái)面財(cái)務(wù)負(fù)責(zé)人死磕內(nèi)部收益率技術(shù)負(fù)責(zé)人說(shuō)架構(gòu)演進(jìn)優(yōu)先級(jí)最高市場(chǎng)負(fù)責(zé)人咬定用戶增長(zhǎng)數(shù)據(jù)不松口。三個(gè)人各自拿一沓PPT論證自己的正確性會(huì)議開(kāi)了一個(gè)半小時(shí)結(jié)論從“選A”變成“再看看B”最后變成“下次再議”。散會(huì)的時(shí)候所有人都帶著一股“反正不是我的責(zé)任”的疲憊。那是我第一次意識(shí)到管理者面臨的難題早就不是“信息不夠”而是信息太多、維度太雜每個(gè)維度都有人在說(shuō)話但沒(méi)人能給出一個(gè)讓所有人服氣的換算標(biāo)準(zhǔn)。一桌人點(diǎn)菜有人想吃火鍋、有人堅(jiān)持日料、有人最近在減肥各說(shuō)各話永遠(yuǎn)無(wú)解但只要把“口味、價(jià)格、距離、排隊(duì)時(shí)間、卡路里”這些都變成可打分的項(xiàng)再配上權(quán)重結(jié)論瞬間就清晰了。我后來(lái)做的那個(gè)被團(tuán)隊(duì)內(nèi)部叫了很久的“An Executive Decision Maker”的決策器本質(zhì)上就是這個(gè)點(diǎn)菜邏輯的工程化版本。1.2 Executive Decision Maker要解決的三個(gè)本質(zhì)問(wèn)題這個(gè)決策器不是某一天憑空設(shè)計(jì)出來(lái)的。它最開(kāi)始只是一張Excel打分表我周末花了一個(gè)下午搭了個(gè)粗糙的加權(quán)評(píng)分模型把候選項(xiàng)目的幾個(gè)核心指標(biāo)拉出來(lái)打了一遍分。結(jié)果周一開(kāi)會(huì)時(shí)我把這張表往投影上一放爭(zhēng)論了三次的會(huì)議十分鐘就結(jié)束了。因?yàn)閿?shù)字?jǐn)[在那里誰(shuí)贊成誰(shuí)反對(duì)都可以落到具體的指標(biāo)和權(quán)重上去談而不是空對(duì)空吵。但做成了一個(gè)正經(jīng)系統(tǒng)之后我才回頭總結(jié)它真正解決的問(wèn)題其實(shí)有三個(gè)這三個(gè)問(wèn)題恰恰是普通討論式?jīng)Q策最致命的痛點(diǎn)一致性同一個(gè)團(tuán)隊(duì)同一套信息上周選A本周選B怎么跟上級(jí)解釋人的直覺(jué)判斷受情緒、疲勞、最近發(fā)生的新聞?dòng)绊懖▌?dòng)極大。決策器用固定公式替代瞬時(shí)直覺(jué)相同輸入必然產(chǎn)生相同輸出。透明性決策做完之后每個(gè)參與者都希望自己關(guān)心的維度被尊重。但如果決策依據(jù)是“大家討論后的共識(shí)”沒(méi)人說(shuō)得清共識(shí)是怎么形成的。決策器把每一個(gè)維度的打分、每一項(xiàng)權(quán)重的設(shè)定全部攤在桌面上任何人有異議可以直接指出“市場(chǎng)規(guī)模的權(quán)重為什么只有0.1”??蓮?fù)盤性三個(gè)月后項(xiàng)目失敗來(lái)回溯當(dāng)初的決策依據(jù)能精確指出是數(shù)據(jù)估算偏差、權(quán)重設(shè)置失誤還是執(zhí)行問(wèn)題。這比“當(dāng)時(shí)大家都覺(jué)得方向沒(méi)錯(cuò)”這種話有價(jià)值得多??梢哉f(shuō)這套東西解決的不是“選什么”而是“怎么選得放心”。它不見(jiàn)得能幫你找到絕對(duì)正確的答案——世界上本來(lái)也沒(méi)有絕對(duì)正確的答案——但它能讓你的選擇過(guò)程經(jīng)得起質(zhì)疑、回溯和審計(jì)。2. 系統(tǒng)骨架評(píng)估模型設(shè)計(jì)是決策器的生死線2.1 指標(biāo)體系別一上來(lái)就堆指標(biāo)我見(jiàn)過(guò)不少團(tuán)隊(duì)搭決策器第一步就翻車。他們把能想到的所有考量因素全部塞進(jìn)表格一口氣列了十五六個(gè)指標(biāo)包括“團(tuán)隊(duì)士氣”“技術(shù)債務(wù)”“客戶口碑”“品牌調(diào)性”這種高度抽象的東西。結(jié)果打分的時(shí)候所有人都靠感覺(jué)打指標(biāo)之間的區(qū)分度幾乎為零最終得分拉不開(kāi)差距決策器變成一個(gè)無(wú)效工具。搭建指標(biāo)體系要遵循兩條鐵律。第一條是MECE原則——指標(biāo)要互斥且完全窮盡。也就是說(shuō)任意兩個(gè)指標(biāo)在概念上不能重疊所有指標(biāo)加起來(lái)要能覆蓋決策的核心關(guān)注面。比如評(píng)估技術(shù)選型時(shí)“社區(qū)活躍度”和“生態(tài)兼容性”聽(tīng)起來(lái)像兩件事但生態(tài)兼容性往往依賴于社區(qū)活躍度這就是重疊而如果漏了“許可證合規(guī)性”選型到一個(gè)開(kāi)源協(xié)議有問(wèn)題的框架后期就是災(zāi)難。第二條是指標(biāo)數(shù)量控制在5到9個(gè)之間。這個(gè)數(shù)字來(lái)自認(rèn)知心理學(xué)的工作記憶研究超過(guò)九個(gè)人腦就難以對(duì)指標(biāo)兩兩之間做出有意義的比較了。給你一組可以直接用的指標(biāo)體系參考。做業(yè)務(wù)方向決策常用的六個(gè)維度是市場(chǎng)規(guī)模、預(yù)期毛利率、競(jìng)爭(zhēng)壁壘、戰(zhàn)略協(xié)同度、資源消耗、時(shí)間窗口。做個(gè)人重大決策比如“是否跳槽”則是薪酬變化、成長(zhǎng)空間、通勤成本、團(tuán)隊(duì)氛圍、業(yè)務(wù)前景、家庭影響。每一個(gè)維度都要能說(shuō)清楚“這個(gè)指標(biāo)實(shí)際在衡量什么”說(shuō)不清楚就打不出靠譜的分。2.2 權(quán)重的確定從“覺(jué)得”到“算出來(lái)”指標(biāo)定了接下來(lái)是權(quán)重。這里我要多說(shuō)幾句因?yàn)闄?quán)重設(shè)定是整個(gè)決策器里最容易被低估的環(huán)節(jié)也是最容易出現(xiàn)“拍腦袋”的地方。最樸素的方法是直接權(quán)重法你根據(jù)經(jīng)驗(yàn)給每個(gè)指標(biāo)分配一個(gè)百分比加起來(lái)等于100%。比如市場(chǎng)規(guī)模30%、毛利率20%、競(jìng)爭(zhēng)壁壘20%、戰(zhàn)略協(xié)同15%、資源消耗10%、時(shí)間窗口5%。簡(jiǎn)單直接個(gè)人做決策完全夠用。但如果是團(tuán)隊(duì)決策或者你要面對(duì)質(zhì)疑直接用百分比容易被人攻擊“你怎么知道市場(chǎng)規(guī)模就該是30%”這時(shí)候需要更嚴(yán)謹(jǐn)?shù)膶哟畏治龇āW龇ㄊ前阎笜?biāo)兩兩之間做相對(duì)重要性的比較用1到9的比例標(biāo)度打分。比如問(wèn)自己“市場(chǎng)規(guī)模和毛利率相比哪個(gè)更重要重要多少”答案是“明顯重要”就打5分反過(guò)來(lái)毛利率對(duì)市場(chǎng)規(guī)模就是1/5。把所有兩兩比較的結(jié)果構(gòu)成一個(gè)判斷矩陣然后求這個(gè)矩陣的特征向量歸一化之后就是一組權(quán)重。這個(gè)方法的妙處在于它逼著你在任意兩個(gè)指標(biāo)之間做一次具體的取舍判斷而不是給一堆數(shù)字空對(duì)空發(fā)愁。還有一道工序是一致性檢驗(yàn)。舉例來(lái)說(shuō)如果你認(rèn)為市場(chǎng)規(guī)模比毛利率重要、毛利率比競(jìng)爭(zhēng)壁壘重要但同時(shí)又覺(jué)得競(jìng)爭(zhēng)壁壘比市場(chǎng)規(guī)模重要那你的判斷矩陣就是自相矛盾的算出來(lái)的權(quán)重毫無(wú)意義。層次分析法會(huì)算出一個(gè)一致性比率當(dāng)這個(gè)比率小于0.1時(shí)認(rèn)為判斷是靠譜的大于0.1就得回頭重新比較。但你要注意層次分析法不是萬(wàn)能的。如果是跨部門的團(tuán)隊(duì)決策一次完整的AHP操作需要所有利益相關(guān)者坐下來(lái)填一個(gè)可能多達(dá)幾十個(gè)格子的矩陣非常耗時(shí)。我的妥協(xié)方案是先讓每個(gè)部門負(fù)責(zé)人用直接權(quán)重法獨(dú)立給出自己眼中的權(quán)重分布然后團(tuán)隊(duì)一起看差異最大的那幾個(gè)指標(biāo)集中討論為什么財(cái)務(wù)部認(rèn)為毛利率重要、技術(shù)部認(rèn)為技術(shù)風(fēng)險(xiǎn)重要。把差異化最大的分歧點(diǎn)攤開(kāi)談遠(yuǎn)比讓所有人強(qiáng)行達(dá)成一個(gè)“統(tǒng)一權(quán)重”更有價(jià)值。2.3 歸一化處理把不同量綱的數(shù)據(jù)拉到一個(gè)尺子上指標(biāo)體系和權(quán)重定了之后還有一個(gè)新手容易踩的坑就是忘記歸一化。不同指標(biāo)的原始數(shù)據(jù)根本不在同一個(gè)量綱上——市場(chǎng)規(guī)模可能是以億元為單位的絕對(duì)數(shù)值開(kāi)發(fā)成本可能是人月時(shí)間窗口可能是月份數(shù)而競(jìng)爭(zhēng)壁壘只能打分。直接把這些原始數(shù)值塞進(jìn)加權(quán)公式市場(chǎng)規(guī)模一個(gè)億的數(shù)值會(huì)把其他所有指標(biāo)淹沒(méi)成本這項(xiàng)指標(biāo)基本上就失去影響了。歸一化的標(biāo)準(zhǔn)做法是極差歸一化公式是(x - min) / (max - min)把每個(gè)指標(biāo)的原始值映射到0到1之間。最大值變1最小值變0其他值按比例落在這個(gè)區(qū)間里。但還有個(gè)方向性的問(wèn)題。比如“開(kāi)發(fā)成本”這個(gè)指標(biāo)原始值越高代表越差而“市場(chǎng)規(guī)?!笔窃礁咴胶?。如果都按“越高越好”的方向處理成本最高的候選反而拿了1分這是錯(cuò)的。所以要先定義每個(gè)指標(biāo)的方向收益型指標(biāo)保持原樣成本型指標(biāo)要用1 - (x - min) / (max - min)做反向歸一化。對(duì)于定性指標(biāo)我建議采用“錨點(diǎn)打分法”先寫出1分、5分、10分的具體描述然后所有打分人照著錨點(diǎn)打分。比如“戰(zhàn)略協(xié)同度”的10分是“與公司未來(lái)三年的戰(zhàn)略方向完全一致能直接復(fù)用現(xiàn)有渠道”5分是“部分協(xié)同需要一定調(diào)整”1分是“基本沒(méi)有協(xié)同需要從零起步”。有了錨點(diǎn)不同人打出來(lái)的分差異會(huì)小得多。歸一化還有一個(gè)特別容易忽略的邊界情況如果某個(gè)指標(biāo)在所有候選方案里取的原始值都完全一樣那歸一化之后這一列全是0這個(gè)指標(biāo)實(shí)際上完全不區(qū)分方案。但很多團(tuán)隊(duì)會(huì)把一個(gè)根本不具有區(qū)分度的指標(biāo)放進(jìn)模型還分給它不小的權(quán)重這屬于浪費(fèi)模型容量。我通常的做法是在正式打分之前先掃一眼原始數(shù)據(jù)如果某個(gè)指標(biāo)所有選項(xiàng)幾乎沒(méi)差異直接把它移出模型或者換成另一個(gè)更有關(guān)注價(jià)值的指標(biāo)。3. 工程化落地從Excel原型到可復(fù)用的決策器3.1 數(shù)據(jù)層決策輸入的結(jié)構(gòu)化存儲(chǔ)用Excel做決策器原型的好處是幾乎零成本改個(gè)數(shù)字就能重新計(jì)算。但它有一個(gè)致命的問(wèn)題沒(méi)法留痕。三個(gè)月后你翻回那張表已經(jīng)想不起來(lái)當(dāng)時(shí)這個(gè)打分的依據(jù)是什么、誰(shuí)打的、為什么權(quán)重是0.25而不是0.2。真正要落成一個(gè)內(nèi)部可復(fù)用、可追溯的Executive Decision Maker系統(tǒng)第一步是把數(shù)據(jù)結(jié)構(gòu)化。我推薦的關(guān)系表設(shè)計(jì)非常簡(jiǎn)單但足夠支撐大部分場(chǎng)景字段含義decision_id本次決策的編號(hào)一次決策一個(gè)IDoption_name候選方案名稱criterion_id指標(biāo)編號(hào)對(duì)應(yīng)指標(biāo)字典表raw_value指標(biāo)原始值比如市場(chǎng)規(guī)模是5000萬(wàn)normalized_value歸一化后的得分由程序自動(dòng)計(jì)算weight該指標(biāo)在本次決策中的權(quán)重scorer打分人或數(shù)據(jù)來(lái)源remark備注說(shuō)明這個(gè)值的估算依據(jù)created_at記錄創(chuàng)建時(shí)間關(guān)鍵點(diǎn)是版本化。權(quán)重和打分會(huì)隨著討論的深入被修改一定要保留每次修改的歷史。比如最終決策采用的是“權(quán)重版本v3”但v1和v2的數(shù)據(jù)也要保留這樣才能回答“當(dāng)時(shí)我們考慮過(guò)什么、為什么改掉了”。數(shù)據(jù)存儲(chǔ)具體用什么方案取決于團(tuán)隊(duì)體量。我自己用過(guò)的方案小團(tuán)隊(duì)用一套帶審計(jì)日志的Airtable或者Notion數(shù)據(jù)庫(kù)就足夠了如果后面要跑復(fù)雜的敏感性分析和蒙特卡洛模擬建議把數(shù)據(jù)導(dǎo)出到本地文件用Python腳本處理再大一點(diǎn)就上個(gè)PostgreSQL加一個(gè)簡(jiǎn)單的管理后臺(tái)。3.2 計(jì)算引擎加權(quán)評(píng)分與敏感性分析的實(shí)現(xiàn)思路到了計(jì)算層核心其實(shí)就一個(gè)公式S_i Σ (w_j × n_ij)S_i是第i個(gè)方案的最終得分w_j是第j個(gè)指標(biāo)的權(quán)重n_ij是第i個(gè)方案在第j個(gè)指標(biāo)上的歸一化得分。所有方案的得分算出后按從高到低排序就是推薦順序。但一套決策器如果只有加權(quán)求和那它的價(jià)值大打折扣。真正拉開(kāi)水平差距的是敏感性分析——你不需要滿足于“算出一個(gè)排名”你需要知道這個(gè)排名有多穩(wěn)固。如果權(quán)重稍微變一點(diǎn)排名就大翻轉(zhuǎn)那這個(gè)排名的參考價(jià)值就很可疑如果權(quán)重在相當(dāng)寬的范圍內(nèi)波動(dòng)前三名的順序都穩(wěn)穩(wěn)不動(dòng)那這個(gè)結(jié)論才是可信的。敏感性分析最常用的做法是單因素閾值分析每次只調(diào)整一個(gè)指標(biāo)的權(quán)重其他指標(biāo)權(quán)重按比例縮放找到一個(gè)臨界點(diǎn)——超過(guò)這個(gè)點(diǎn)排序就翻轉(zhuǎn)。比如“市場(chǎng)規(guī)?!钡臋?quán)重從0.3調(diào)到0.45時(shí)備選方案C超過(guò)了方案A成為第一那說(shuō)明方案A的領(lǐng)先優(yōu)勢(shì)其實(shí)很脆弱項(xiàng)目能不能做成高度依賴你對(duì)市場(chǎng)規(guī)模的預(yù)判準(zhǔn)不準(zhǔn)。更進(jìn)一步可以跑蒙特卡洛模擬給定每個(gè)權(quán)重一個(gè)合理的波動(dòng)范圍比如±20%在這個(gè)范圍內(nèi)隨機(jī)采樣一萬(wàn)次每次重新計(jì)算排名最后統(tǒng)計(jì)每個(gè)方案在第一名位置出現(xiàn)的概率。我見(jiàn)過(guò)一個(gè)案例排名第一的方案榮登榜首的概率只有38%第二名有31%——也就是說(shuō)兩個(gè)方案其實(shí)沒(méi)有統(tǒng)計(jì)學(xué)意義上的顯著差異。這種情況下管理者真正要做的不是糾結(jié)“選誰(shuí)”而是承認(rèn)這個(gè)決策信號(hào)太弱要么補(bǔ)充數(shù)據(jù)要么考慮能不能兩個(gè)都做。下面是一個(gè)極簡(jiǎn)的Python示意方便你理解蒙特卡洛模擬的核心邏輯實(shí)際使用中可以替換成真實(shí)數(shù)據(jù)集import numpy as np weights_base np.array([0.3, 0.2, 0.2, 0.15, 0.1, 0.05]) scores np.array([ [0.9, 0.7, 0.8, 0.6, 0.5, 0.8], # 方案A [0.6, 0.9, 0.7, 0.8, 0.7, 0.6], # 方案B [0.5, 0.6, 0.4, 0.9, 0.9, 0.7], # 方案C ]) win_count np.zeros(3) N 10000 for _ in range(N): # 每個(gè)權(quán)重在±20%范圍內(nèi)隨機(jī)擾動(dòng) noise np.random.uniform(0.8, 1.2, sizeweights_base.shape) w weights_base * noise w w / w.sum() # 重新歸一化保證權(quán)重和為1 total scores w win_count[np.argmax(total)] 1 print(每個(gè)方案獲得第一的概率, win_count / N)這段代碼本身很簡(jiǎn)單但它的輸出信息量很大。如果第一個(gè)方案的勝出概率顯著領(lǐng)先決策者可以更有底氣如果兩個(gè)方案概率接近那就提示你——?jiǎng)e糾結(jié)了決策的關(guān)鍵變量不在這幾個(gè)可以量化的指標(biāo)里而是某個(gè)量化不了的因素比如團(tuán)隊(duì)執(zhí)行力的匹配度。3.3 輸出層不只是一份排名而是決策備忘錄很多做決策器的人走到計(jì)算排名就停了這在我看來(lái)少走了最后一步關(guān)鍵輸出。在企業(yè)環(huán)境里決策器產(chǎn)出的不應(yīng)只是一個(gè)排名列表而是一份決策備忘錄包含以下結(jié)構(gòu)背景與決策目標(biāo)為什么需要做這個(gè)決策希望解決什么問(wèn)題。評(píng)估指標(biāo)與權(quán)重列出指標(biāo)體系、權(quán)重設(shè)定及理由如果是團(tuán)隊(duì)集體確定的記錄參與人員和時(shí)間。數(shù)據(jù)來(lái)源與估算過(guò)程每個(gè)指標(biāo)數(shù)值怎么來(lái)的是財(cái)務(wù)模型、行業(yè)報(bào)告、團(tuán)隊(duì)估算還是專家訪談可信度如何。綜合得分表各方案在各指標(biāo)上的歸一化得分和最終排名。敏感性分析結(jié)論排名在什么條件下會(huì)翻轉(zhuǎn)最大的不確定因素是什么。推薦結(jié)論與理由基于以上分析建議選擇哪個(gè)方案。風(fēng)險(xiǎn)提示這個(gè)決策要成事還需要什么樣的前提條件做保障。我吃過(guò)一次虧會(huì)勸你別省略這份備忘錄。有一次我們做一個(gè)重要選型決策器推薦的結(jié)果最終被執(zhí)行了但三個(gè)月后發(fā)現(xiàn)當(dāng)初對(duì)某個(gè)關(guān)鍵指標(biāo)的數(shù)據(jù)估算偏差非常大直接改變了結(jié)論方向。當(dāng)時(shí)好在我們保存了一份完整的決策備忘錄回看發(fā)現(xiàn)數(shù)據(jù)估算的不確定性在備忘錄里寫得很明顯項(xiàng)目負(fù)責(zé)人自己也簽了字。后來(lái)復(fù)盤時(shí)所有人的關(guān)注點(diǎn)落在“為什么當(dāng)初低估了估算風(fēng)險(xiǎn)”而不是“這個(gè)系統(tǒng)靠不靠譜”。一份文檔保住了決策器的長(zhǎng)期信用這比任何辯解都有效。4. 一次完整的實(shí)戰(zhàn)五個(gè)候選方向跑完整個(gè)決策流程4.1 設(shè)定場(chǎng)景與評(píng)分表理論講了一堆不如看一次完整的實(shí)戰(zhàn)流程。我拿一個(gè)真實(shí)發(fā)生過(guò)的場(chǎng)景來(lái)演示一個(gè)中型To B軟件團(tuán)隊(duì)需要決定下一個(gè)季度的產(chǎn)品迭代主攻方向。候選方案一共五個(gè)A深耕現(xiàn)有客戶集中提升留存率和續(xù)費(fèi)率B擴(kuò)展新行業(yè)客戶進(jìn)入此前沒(méi)有覆蓋的垂直領(lǐng)域C開(kāi)發(fā)AI輔助功能模塊把大模型能力嵌入現(xiàn)有產(chǎn)品D重構(gòu)基礎(chǔ)設(shè)施降低云成本和生產(chǎn)事故率E把現(xiàn)有工具打包成SaaS平臺(tái)嘗試新的商業(yè)模式評(píng)估指標(biāo)采用六個(gè)維度市場(chǎng)規(guī)模潛力、預(yù)期增量收益、開(kāi)發(fā)成本、技術(shù)風(fēng)險(xiǎn)、戰(zhàn)略協(xié)同度、時(shí)間窗口緊迫度。權(quán)重經(jīng)過(guò)團(tuán)隊(duì)討論確定為市場(chǎng)規(guī)模潛力25%、預(yù)期增量收益20%、開(kāi)發(fā)成本15%、技術(shù)風(fēng)險(xiǎn)15%、戰(zhàn)略協(xié)同度15%、時(shí)間窗口10%。各團(tuán)隊(duì)根據(jù)市場(chǎng)調(diào)研和內(nèi)部數(shù)據(jù)對(duì)五個(gè)方案在六個(gè)指標(biāo)上打了原始分1到10分制10分最好。原始數(shù)據(jù)匯總?cè)缦路桨甘袌?chǎng)規(guī)模增量收益開(kāi)發(fā)成本(越低越好)技術(shù)風(fēng)險(xiǎn)(越低越好)戰(zhàn)略協(xié)同時(shí)間窗口A678896B885665C794377D447784E962258注意“開(kāi)發(fā)成本”和“技術(shù)風(fēng)險(xiǎn)”是成本型指標(biāo)分越高代表情況越好但我在表里已經(jīng)把所有指標(biāo)都轉(zhuǎn)成了“分越高越好”的方向所以不需要再反向處理。4.2 第一輪排序結(jié)果數(shù)字居然推翻了直覺(jué)歸一化后每個(gè)指標(biāo)的最小值變0、最大值變1代入加權(quán)公式計(jì)算得到如下綜合評(píng)分方案市場(chǎng)規(guī)模增量收益開(kāi)發(fā)成本技術(shù)風(fēng)險(xiǎn)戰(zhàn)略協(xié)同時(shí)間窗口加權(quán)總分A0.40.61.01.01.00.50.75B0.80.80.50.80.250.250.64C0.61.00.330.20.50.750.58D000.830.80.7500.39E1.00.40001.00.43第一輪結(jié)論是方案A深耕現(xiàn)有客戶以0.75分大幅領(lǐng)先其次是方案B擴(kuò)展新行業(yè)0.64分方案CAI功能0.58分排在第三。這個(gè)結(jié)果是反直覺(jué)的。會(huì)前大家直觀上最看好的是方案C因?yàn)樵隽渴找娣肿罡?、時(shí)間窗口也緊迫一提AI大家都興奮但方案C的開(kāi)發(fā)成本和技術(shù)風(fēng)險(xiǎn)兩個(gè)維度得分很低把整體拉下來(lái)了。方案A的優(yōu)勢(shì)恰恰來(lái)自它風(fēng)險(xiǎn)小、成本可控、戰(zhàn)略協(xié)同度高——雖然聽(tīng)起來(lái)不夠性感但綜合評(píng)估下來(lái)最扎實(shí)。4.3 敏感性分析找到?jīng)Q策的“勝負(fù)手”第一輪排名出來(lái)后我沒(méi)有直接拿著結(jié)論去開(kāi)會(huì)。因?yàn)橹庇X(jué)經(jīng)驗(yàn)告訴我方案B和方案C的支持者一定會(huì)對(duì)權(quán)重提出質(zhì)疑——負(fù)責(zé)創(chuàng)新的同事會(huì)想“時(shí)間窗口為什么權(quán)重只有0.1”負(fù)責(zé)市場(chǎng)的同事會(huì)想“市場(chǎng)規(guī)模為什么不是權(quán)重最高的”所以我跑了一輪單因素敏感性分析。針對(duì)每個(gè)權(quán)重我計(jì)算了方案A和方案B排名翻轉(zhuǎn)的臨界點(diǎn)。結(jié)果發(fā)現(xiàn)當(dāng)“增量收益”權(quán)重從當(dāng)前的0.20提升到0.26時(shí)方案C的總分就會(huì)超過(guò)方案A成為第一名而當(dāng)“戰(zhàn)略協(xié)同度”權(quán)重從0.15降到0.10時(shí)方案B也會(huì)反超A。這組數(shù)據(jù)的信息量非常大。方案A的領(lǐng)先優(yōu)勢(shì)并不絕對(duì)它建立在“戰(zhàn)略協(xié)同度重要、增量收益沒(méi)有那么重要”的權(quán)重判斷之上。換句話說(shuō)這個(gè)決策真正的勝負(fù)手不是哪個(gè)方案更好而是“你更看重短期增量收益還是長(zhǎng)期戰(zhàn)略一致性”。開(kāi)會(huì)的時(shí)候我直接把這張敏感性分析表發(fā)給所有人。原本三個(gè)方案的支持者還在各執(zhí)一詞看了臨界點(diǎn)數(shù)據(jù)之后討論方向整個(gè)變了——不再是“我覺(jué)得B更好”而是“如果我們要讓B贏就需要論證增量的權(quán)重應(yīng)該比協(xié)同更高這個(gè)論證的依據(jù)是什么”這才是決策器該有的效果它把立場(chǎng)之爭(zhēng)轉(zhuǎn)化為權(quán)重與數(shù)據(jù)之爭(zhēng)而權(quán)重與數(shù)據(jù)是可以擺開(kāi)談的。5. 這臺(tái)決策器的局限性什么場(chǎng)景下不要硬用5.1 數(shù)據(jù)質(zhì)量差的場(chǎng)景結(jié)果就是垃圾進(jìn)垃圾出決策器再精密它手里材料的好壞也直接影響結(jié)論好壞。“垃圾進(jìn)垃圾出”這句老話在決策支持系統(tǒng)里表現(xiàn)得淋漓盡致。AI輔助功能方案C的“增量收益”打了9分但如果這個(gè)9分是某個(gè)人拍腦袋拍出來(lái)的而不是基于客戶訪談、競(jìng)品分析和付費(fèi)意愿調(diào)研得出的估算那這個(gè)9分就不具備說(shuō)服力。我自己踩過(guò)的坑是某些指標(biāo)找不到客觀數(shù)據(jù)只好用“專家打分”代替。專家打分本身沒(méi)問(wèn)題問(wèn)題是專家人數(shù)太少——只有一個(gè)人打的分主觀偏差會(huì)被模型放大。至少應(yīng)在3人以上取平均或采用德?tīng)柗品ㄗ尨蚍秩讼泉?dú)立打分再集體討論分歧項(xiàng)最后再打一輪。如果兩輪之后某個(gè)指標(biāo)的分差仍然超過(guò)2分就別硬用這個(gè)數(shù)據(jù)先回到一線去補(bǔ)調(diào)研才是正路。5.2 權(quán)重會(huì)被“政治”綁架誰(shuí)來(lái)定權(quán)重也是權(quán)力這個(gè)局限我說(shuō)得直白一點(diǎn)權(quán)重設(shè)定本身就是一種權(quán)力行為。你給“增量收益”分配40%還是15%背后反映的是你對(duì)企業(yè)短期生存和長(zhǎng)期發(fā)展的取舍判斷。在一個(gè)有層級(jí)結(jié)構(gòu)的組織里老板如果暗示“市場(chǎng)規(guī)模應(yīng)該更重要”那下面的人就算心里不同意也有可能順著調(diào)權(quán)重。這時(shí)系統(tǒng)輸出的排名就不純潔了它更像是一種偽裝的立場(chǎng)表達(dá)。我的應(yīng)對(duì)辦法是權(quán)重設(shè)定必須在決策之前完成且一旦確定數(shù)據(jù)出來(lái)之前不準(zhǔn)改。如果數(shù)據(jù)出來(lái)之后要調(diào)整權(quán)重必須經(jīng)過(guò)全組評(píng)審理由寫進(jìn)決策備忘錄。不然就失去意義了——你先看結(jié)果再倒推權(quán)重這世上所有方案都能被“合理化”地做成第一名。5.3 決策器是輔助器不是免責(zé)器最后一條邊界我必須反復(fù)強(qiáng)調(diào)這套系統(tǒng)可以幫你把決策過(guò)程做得更嚴(yán)謹(jǐn)、更透明但它不能替你承擔(dān)決策的責(zé)任。管理層常犯的一個(gè)錯(cuò)誤是把決策器當(dāng)成“甩鍋”工具——方案失敗了就說(shuō)“系統(tǒng)當(dāng)時(shí)推薦的就是這個(gè)方案”。這是本末倒置。系統(tǒng)只是把你的判斷邏輯結(jié)構(gòu)化、顯性化了最終設(shè)定權(quán)重、評(píng)估數(shù)據(jù)、拍板決策的還是你。更重要的是有些決策天然不適合量化尤其是那些高度依賴價(jià)值觀判斷、情感聯(lián)結(jié)或極強(qiáng)不確定性的決策。比如公司要不要在行業(yè)寒冬期裁掉一個(gè)業(yè)績(jī)不佳的團(tuán)隊(duì)這種決策牽扯到太多非量化的因素硬套打分模型會(huì)把復(fù)雜的人性問(wèn)題簡(jiǎn)化成冷冰冰的分?jǐn)?shù)反而有害。我建議用這套系統(tǒng)的項(xiàng)目都滿足一個(gè)條件決策目標(biāo)清晰、可量化維度多于不可量化維度、有相對(duì)可靠的數(shù)據(jù)支撐。三個(gè)條件缺一個(gè)都別硬用。最后分享一點(diǎn)個(gè)人的實(shí)操體會(huì)做了很久的Executive Decision Maker我最大的心得不是學(xué)會(huì)了多少數(shù)學(xué)方法而是理解了一個(gè)道理真正的決策難點(diǎn)從來(lái)不在“算”而在“談”。這套系統(tǒng)最大的價(jià)值是逼著每個(gè)有發(fā)言權(quán)的人把自己內(nèi)心模糊的偏好翻譯成可以討論的權(quán)重和分?jǐn)?shù)。討論“你覺(jué)得哪個(gè)項(xiàng)目好”最后容易變成無(wú)休止的辯論但討論“你認(rèn)為增量收益應(yīng)該占多少權(quán)重”每個(gè)人都需要給自己的立場(chǎng)一個(gè)理由支撐。項(xiàng)目后來(lái)會(huì)怎樣發(fā)展仍然存在不確定性但當(dāng)初那間會(huì)議室里的爭(zhēng)論終于有了一個(gè)讓人沉淀下來(lái)的落點(diǎn)僅這一點(diǎn)就已經(jīng)很值了。最后的最后如果你正要開(kāi)始搭自己的決策器我的建議很簡(jiǎn)單先用最簡(jiǎn)單的Excel把第一個(gè)決策跑通不要急著上系統(tǒng)等靠Excel撐不住了再做工程化也不遲。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色播五月综合网| 成人AV中文字幕| 婷综合六月| 激情六月丁香| 九九色热| 五月婷婷中文网| 欧美精品A片一区在线观看| 五月天综合| 欧美人妻一区二区| 亚洲行行色色| 这里只有精品99视频| 99热综合在线观看| 亚洲字幕AV一区二区三区四区| 色激情综合狠狠婷婷| 久久婷婷网址| 一本到不卡高清DVD| 97久久人人操| 强伦轩人妻一区二区电影| 日本丁香五月婷婷| 另类五月婷婷| 激情五月丁香婷婷夜夜操| 99热综合在线观看| 狠狠婷婷色| 另类激情中文| 久热大香蕉| 婷婷激情人妻| 成人精品视频99在线观看免费| 五月婷婷性爱| 天天操加勒比| 99啪啪| 日韩一级网站| 久草狼人| 日韩九区| 九月婷婷| 婷婷色天香| 9热精品| 2023天天日夜夜爽| 激情五月婷婷视频一区二区三区| 婷婷久久综| 99在线视频操999| 婷婷激情综合网| 五月天天久久香| 婷婷五月色丁香在线看| 99热99这里免费的精品| 五月婷婷在线视频观看| www.91.com黄| 99精品热| 精品人妻午夜一区二区三区四区| 亚洲色综合| 婷婷爱五月天| 九九九九毛片| 极品少妇XXXX精品少妇偷拍| 色六月 婷婷| 欧美成人AAA片一区国产精品| 久久丁香五月| 激情婷婷丁香五月天| 色五月婷婷在线观看| 天天插天天插天天插| 97丁香五月| 激情深爱五月| 婷婷色导航| 9久精品视频| 丁香五月婷婷影院| 97在线观视频免费观看| 东北熟女高潮99综合99| 色五月网址| 久久婷婷五月天| 天天爱天天做天天日| 婷婷操逼| 婷婷五月综合激情免费视频| 狠狠色噜噜狠狠狠狠综合| 91久久免费| 丁香五月天堂网AV| 激情丁香婷婷五月天| 六月激情婷婷综合| 91免费看片| 超碰人人干| 久久99网| 狠狠色狠狠爱| 欧美成人无码一区二区三区| 久久人妻乱| 亚洲成人AV在线观看| 婷婷在线视频| 人操人| 亚洲午夜视频| 99热在线免费| 超碰国产在线| 91人人操| 久久这里只有国产精品视频| 亚洲综合成人网| 国产毛片精品一区二区色欲黄A片| 中美日韩成人在线| 99热99艹在线观看| 五月婷在线观看| www.狠狠色.com| 综合伊人狠狠| 曰韩少妇内射免费播放| 夜夜 操无码| 六月丁香啪| 天天操电影院色狼性av| 国产成人精品一区二区三区视频| 九九伦子片| 伊九九三级区| 色日本综合| 久久久久9| 婷婷五月精品| 丁香五月婷婷成人综合| 中文字幕在线免费观看视频| 无码人妻一区二区一牛影视| 天天拍久久| 欧美色色色色色色| 99精品久久久久久久久| 五月色情婷婷开心五月色情| 九九AV| 狠狠ri| 九九AV在线| 婷婷综合在线观看视频| 青草视频在线观看视频| 深爱五月婷婷开心中文字幕| 五月天婷婷色色网| 涩涩婷婷五月| 激情婷婷色五月| 99久久9| 97黑人精品区| 婷婷五月天激情网| 亚洲a片免费观看| 都市激情五月婷婷综合| 亚洲亚洲人成综合网络 | AAA久久| 伊人无码高清| 色五月婷婷天天干| 五月婷婷丁香在线| 欧美天天草人人草| 伊人五月天在线| 九色无码| 超碰资源在线| 久婷婷婷| 久久综合性| 日本九九九九九九| 婷婷狠狠操| wwwav大香蕉| wuyuedingxiang99| AA丁香综合激情| 最新av在线观看| 六月婷婷五月丁香| 9热视频在线观看| 激情小说婷婷五月| 伊人久久大香线蕉AV最新午夜| AAA久久| 久色五月丁香视频| 久久多色| 五月丁香| 99r这里只有精品哦| 97精品欧美91久久久久久久| 五月丁香六月综合情在线观看| 麻豆123区| 国产成人网| 精品国产va久久久久| 久久HD| 久久久久激情网| 99热手机在线精品| 精品人人操| 99热人人| 色婷婷综合五月| 六月婷婷综合| 亚洲欧美另类在线23p| 日 日干 日日做| 天天爽天天干| 五月色丁香激情| 8090在线影视少妇| 国产密乳av一区二区三区四区| www.婷婷五月| 日日干夜夜撸夜夜骑| 中字幕视频在线永久在线观看免费 | 亚洲第一综合| 99色这里| 久久久久久婷| 99久久久久| 99惹在线精品免费观看| 婷婷五月天综合久久日| 色情五月综合婷婷| 综合六月激情婷婷| 久久综合丁香| 97干干干丁香| 日韩成人AV在线播放| 大香蕉久久久久| 丰满人妻一区二区三区| 五月天婷婷在线播放| www.久久综合| 亚洲精品又粗又大又爽A片| 五月丁香五月天现场视频| 免费看成人AA片无码视频吃奶| 激情五月天视频| 精品人妻伦一二三区久久| 亚洲AAA| 亚洲色图啪啪| 久久伊人五月天| 另类精品视频在线观看| 丁香5月综合啪啪| 无码人妻一区二区一牛影视| 五月天婷婷久久| 婷婷狠狠五月综合| 五月天大香蕉| 伊人久热91| 色五月婷婷色| 另类综合色| 66精品国产成人| 五月丁香婷婷成人网| 久久天天| 婷婷五月花西瓜| 五月天激情网址| 久久久久婷婷| 色综合综合色| 五月综合无码| 久久婷婷亚洲五月天| 九色 在线| 无码少妇高潮喷水A片免费| 激情五月天综合网| 婷婷王月天影院| 婷婷丁香六月| 91AV婷婷| 香蕉97碰碰碰超视精品| 五月色情精品| 五月婷婷久草| 婷婷99狠狠躁天天久久久九九九| 99热97| 亚洲婷婷五月天综合| 大香伊人婷婷| 91国产精品视频播放| 无码99| 成人精品人妻| 丁香五月欧美色综合| 九九久久综合网站| 97在线观视频免费观看| 五月天成人综合| 激情五月天网站| 五月丁香激情欧洲啪啪| 色婷婷激情视频| AV中文在线| 影音先锋 一区| 丁香,开心成人,久久| 日韩999| 天天日综合| 九六五月天婷婷| a在线观看| WWW.99视频| 婷婷情色五月| 婷五月天丁香婷五月| 日韩成人影片网站| httpwww色com日本| 中文字幕+中文在线| 日本波多野结衣视频| 激情丁香五月婷婷| 91久久精品国产91性色TV| 亚洲超碰在线| 国产99久久久国产精品免费看| 夜夜爽天天干| 久久大香蕉同僚| 思思热视频在线观看| 六月五月婷婷| 怡红院一二三| 14色综合婷婷| 五月天婷婷色| 国产AV一区二区三区最新精品| 一级精品999WWW| 伊人五月天| 色色性爱视频| 色爱综合网| 在线成人网站| www.婷婷,com| 六月婷婷激情图片| 五月丁香六月婷婷中合网| 深爱激情网五月| 欧美五月丁香在线| 丁香五月天BBw| wwwxxx五月婷婷小说| 九月婷婷丁香| 婷婷五月综合网| 天天插天天射| 青青草成人网| www.韩日视频| 99在线免费视频| 五月丁香精品| 日批在线看| 天天干天天干天天干天天干天天| 色综合xx| 五月丁香婷婷免费视频| 26uuu国产| 三人荫蒂添的好舒服A片 | 91九色国产熟女| 天天肏夜夜肏| 影音先锋自拍网| 九色激情| 丁香丁婷五月激情| 99愛国产| 五月天婷婷久久| 精品香蕉99久久久久网站| 亚洲精品V天堂中文字幕| 91妻人人爽人人看片| 色综合色综合色综合| 亚洲六月色婷婷| 激情五月综合色| 伊人成人宗合网| 美女五月狠狠| 97在线观视频免费观看| 久久久久久9| 婷丁五月| WWW,五月| 六月婷婷毛片| 中海油常州环保涂料有限公司| 亚洲精久久| 丁香激情六月天婷婷| 99精品视频网| 成人网在线观看视频| 91久久色| 伊人五月丁香| 蜜桃人妻无码AV天堂三区| 五婷婷综合网| 色婷婷丁香五月丁香| 99热这里只有精品55| 99操视频| 日韩九区| 婷婷激情六月综合| 激情婷婷。| 免费色色色| 久久丁香五月| 麻豆精品| 六月丁香婷婷五月| 成人无码髙潮喷水A片| 五月婷婷影| 色综合性视频| 五月丁香网站| 精品久久99| 色五月开心久久网| 天天干天天射综合网| 丁香五月电影| 激情五月婷婷| 色色五月天丁香| 热久久这里只有三级视频| 秋霞三级影视资源| 婷婷丁香六月| 丁香无月在线观看| 亚洲色五月天| 9.1综合网| 99操逼| 亚卅毛片| 亚洲婷婷91丁香| 久久婷婷综合色丁香| 五月天激情网页| 99国产精品久久久久久久久久久| 欧美日本高清视频99| 精久久色| 亚洲精品九九| 久久色情综合免费网站| 极品嫩草| 能看的av| 色婷婷综合久久久久| 色婷婷亚洲婷婷在线观看| 色九九综合色| 人人人va亚洲视频在线| 亚洲在线免费成人| 激情五月天婷婷视频| 狠狠操综合| 激情综合网丁香| 人妻中文在线| 涩综合在线 | 色综合激情| 激情综合文学| 五月丁香综合影院| 97热视频| 色五月av| 性生活久久朋友人妻| 在线播放 精品| 狠狠色噜噜狠狠| 淫视馆av三区| 五月婷婷五月天| 激情九色| 久久538| 色六月天天激情综合网| 五月天另类小说久久小说网| 久久伦乱| 久婷婷五月丁香在线观看| 五月天婷婷在线观看| 久久色五月| 狠狠色噜噜狠| 亚洲综合五月天婷婷丁香| 日本99在线| 天天操婷婷| 亚洲狠狠狠色婷婷综合激情久久久| 亚洲高清在线| AV国产有码| 91VIP在线观看| 天天操综合网| 日韩狠狠色婷婷| 欧美性生交XXXXX无码小说| 综合五月激情网| 桃色成人网| 亚洲第一成人无码A片| 九月婷婷激情| 亚洲综合五月天综合| 99欧美热| 老司机伊人| 夜夜骑日日夜夜| 伊人激情网| 亚洲综合婷婷| 色噜噜婷婷| 久久久99免费视频| 610018岁成人视频| www九九| 五月天婷婷开心| 久久婷婷亚洲无码一起| 激情99| 天天日天天干天天爽| 亚洲综合色色| 激情五月天色色色| 性生生活大片又黄又| 人人播| 丁香五月香蕉在线| 天天操五月天| 99热在线观看| 丁香五月婷婷网| 六月 丁香 视频| 五月婷婷六月丁香激情深爱| 最新日韩久热免费视频看看| 97超碰,人人舔,人人操,人人摸| 色网站99| www99精品| 97luluse| 国产高潮A片羞羞视频涩涩| 五月丁香六月婷婷啪啪| www,五月天激情| 99视频内射三四| 99五丁香月| 色色色999| 亚洲午夜电影| 丁香色婷婷五月天| 色婷婷丁香五月天| 六月五月久久丁香| 国产夫妻操逼内射视频| 六月丁香婷婷五月天| 爱操天堂| 五月久久综合| 99热网精品| 51国精产品自偷自偷综合| 综合网啪| 国产.亚洲.欧洲视频在线| 午夜国产精品AV在线播放| 久久丝丝热| 国产熟女大叫受不了| 丁香色情五月综合激情| 五月丁香激情综合网官网| 久久久亚洲精品一区二区三区浴池 | 99热精品在线在线| 婷婷色五月丁香六月欧美啪| 丁香综合网| 婷婷色色狠狠| 97色色色视屏| 免费精品66| 26uuu青青| 久草五月婷婷| 亚洲色小说在线综合| 色婷婷影视| 色五月婷婷在线| 六月激情网| 丁香婷婷五月人体| 欧洲S级在线观看| 欧美丁香五月| 97在线综合| 九九久久99精品免费观看www| 成人无码髙潮喷水A片| 色五月婷婷在线| 久久九色| 99在线精品免费视频| 97精品综合| 欧美电影在线播放| 91色综合网站在线| 91色碰| 草榴视频网| 91免费看片| 五月婷婷三级| 色色色精品无码区| www色中色综合| 婷婷五月天综合色| 天天操天天干天天日| 久婷婷色| 性爱久久| 成人在线观看精品| 久久精品99久久久久久久久| 色婷五月天| 五月丁香啪| 视色网在线播放| 中文国产五月天| 五月婷婷六月丁香在线视频| 激情亚洲婷婷| 白人荫道BBWBBB大荫道| 久久九九婷婷| 亚洲人人96@| 婷婷色五月久久| 丁香五月六月婷婷殴美综合| 中文字幕在线免费观看视频| 欧美黄色一级录像| 色狠狠色综合久久久绯色AⅤ影视| 色吧网综合| 91|九色|动漫| 婷婷五月丁香激情色情| 99这里| 色五月天在线观看| 一级内射毛片| 欧美影院婷婷| 亚洲情综合五月天| 97伊人综合婷婷| 伊人婷婷五月天| 狠狠狠狠狠狠狠狠草| 成人五月天视频| 久色资源| 性色av大香综合| 天堂婷婷五月在线| 天天插天天干| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 日日狠狠久久偷偷四色综合免费| 99热在线观看这里只有精品| 色婷婷导航| 亚洲欧洲中文日韩久久AV乱码| 日日影院 | 九色激情网| 小视频在线亚洲| 久久综合人妻| 欧美三级巜人妻互换| 四射综合网| 亚洲欧洲色色| 99视频内射三四| 日本nghangse中文字幕| 天天摸天天舔天天爽| 色婷婷精品视频| 久草丁香婷婷1024| 国产永久一二一起草| 久久久久久人妻| 久久人妻熟女一区二区| 婷婷五月天堂网| 五月天婷婷激情在线色图| 中文字幕网伦射乱中文| 亚洲永久免费| 99视频在线播放大全| 久综合4| 视色网在线播放| 啊v视频在线观看| 婷婷综合在线| 99视频日韩| 婷婷五月色影视先锋| 五月婷婷婷色| 九九免费在线视频| 六月天婷婷| 丁香五月婷婷激情网| 《蜘蛛女》梁铮1995| 熟女少妇内射日韩亚洲| 天天干天天日天天插| 99热婷婷| 亚洲色婷婷| 日本久热| 成人一级片| 五月丁香综合网| 丁香婷婷五月激情四射网| 天天综合天天玩夜夜玩天天玩夜夜玩| 日韩综合天堂| 91人妻人人做人碰人人爽九色| 狠狠五月丁香色婷| 99热久久这里只有精品| 丁香五月天无码AV| 婷婷久久五月天| 天天日日人| 色色a| 99色精品视频| 亚洲精品99| 色婷婷在线综合色播网| 日日影院 | 久草五月天电影网| 无码碰碰| 五月色丁香| 九九干视频| 91碰超| 伊人超碰| 99色视频| 狠狠色噜噜狠狠| 91五月花丁香| 色色日本欧美| 欧美日韩一a.无| 五月婷婷激情五月| 五月天五月色| 色五月色五天色情网址| 激情图片婷婷| 激情五月第四色| 欧美黑人巨大性生话| 九九久久99| 拍色综合| 成人AV在线网站| bbwcuckold精品熟妇| 专区无日本视频高清8| 美国天天日天天操| 日本人人干| 天天日天天舔| 深爱激情网五月天| 1024手机在线观看看片_日韩精品| 五月天狠狠网| 亚洲激情在线| 久久色大香蕉| 国产精品美女| 色综合性视频| 色色五月婷婷久久| 国产午夜精品一区二区三区四区| 26uuuu精品一区二区| 成人片在线免费看| 99爱视频免费| 婷婷五月综合视频| 棕合影院色色| 一二线视频 另类| 天天透天天爱| 精品一区二区三区四区五区六区介绍| 99综合网| 特级西西4444www无码| 综合色色网| 99在线视频操999| 日韩操逼大片| 五月婷婷丁香色播网| 欧美综合五月丁香六月婷| 嫩草AV久久伊人妇女超级A| 九九这里都是精品| 激情美女五月天| 婷婷丁香www视频日本韩国| 国内外色色色色色成人视频| 操操操Av| 青青草日本亚洲| 91九色国产| 色综合久久无码| 色综合色综合网| 激情五月丁香亭亭| 婷婷五月天亚洲图片| 黄色五月婷婷| 色很久综合| 91精品久久久久久久久久| 久久五月激情综合| 99无吗| 很很干在线视频| jiqingtaose五月天| 亚洲蜜乳AV| 久久久久久久久久久-久五月天婷婷| 综合五月天完整| 就99这里只有精品| 深爱五月月天| 色五月成人| 狠狠色丁香婷婷五月| 伊久大香蕉| 成人午夜无码视频| 成人va在线播放| 婷婷五月色色| 97干综合网| 色五月婷婷激情| 操逼123网| 久久视频这里都是精品| 色热久资源| 久久久18| 91viP在线看| 99九九热在线观看| 色婷婷久久综合久色综| 99热日| 日亚二欧美| 亚洲色五月婷婷| 九九Y精品热播| 久久ri精品| 激情都市另类| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月综合无码| 色色色色色网站| 五月激情综合深爱| 婷婷五月情天| 亚洲无码色色| 色爱综合网| 无码动漫av| www.婷婷,com| 久热超碰| 久久精品99国产精品日本| 风流少妇A片一区二区蜜桃| 玖玖在线视频| 激情都市另类| 色九月综合网| 五月丁香色综合| 日本一级特黄大片AAAAA级| 原琪琪色影院| 很很操96| 99综合免费视频| 色婷婷狠狠18| 五月婷婷激情性爱| www.色综合| 成人综合视频网址| 婷婷久久图片| 婷婷永久在线| 五月婷婷 六月丁香| 丁香激情婷婷网| 日日操日日撸| 噜噜五月天综合| 国产精品久久久久久久久久 | 激情五月婷婷中文字幕| 五月婷婷六月综合| 色三级色三级| 超碰狠狠操| 超碰国产一区| 91精品久久久久久久| 五月六月婷婷激情网| 99re这里有精品手机在线| 五月婷婷之综合激情| 亚卅毛片| 国产精产国品一二三在观看| 国产4P视频精品五区| www.色五月| 五月色俺婷婷| 久久婷婷热| 偷拍丁香九月激情| 亚洲婷婷91丁香| 激情www.98com| 色天堂A| 91丁香综合| 婷婷久久免费| 五月天综合区| 色婷视频| 超级碰碰视频无码| 99热网站在线观看| www.99热精品| 九月丁香很很色| 丁香五月影院| 色婷婷丁香五月天在线观看| 五月天色综合| 日韩在线视频网站| 免费视频这里只有精品| 丁香婷婷基地| 97热久久| 五月婷综合网| 中文字幕成人| 五月丁香六月成人| 丁香六月成人| 激情婷婷狠狠干综合| 激情五月天丁香| 五月天激情视频| 色色色九九九五月婷婷| 亚洲网站在线鸭子av| 欧美丁香五月| 丁香五月 无码| 天天在线天天综合网色| 亚洲成人免费电影| 91互操| se99视频| www.第四色99| 亚洲尤物在线| 丁香五月综合| 伊人五月天综合网| 色色色婷婷五月天| 91热网址| 亚洲精品大片| 欧美三级大片AA在线看| 99.色| 中国丰满熟女A片免费观| 色婷婷香蕉| 99干日本| 9有码中文| 色婷婷六月| 五月花激情网| 久久丁香五月| 九九色天堂| 99热6精品| 婷婷五月天大香蕉在线视频观看| jiqingtaose五月天| 综合久久97| 欧美日本黄色| 中文AV在线播放| 色九月欧美| 玖玖婷婷色五月| 久操干| 能看的av| 97视频.干com| 日韩操人| 99热免费网站| 天天插天天射| sewuyuejiqingwang| 日本女色人人| 婷婷五月六月激情| 综合九九日本| 久久久久婷| 久久婷婷五月天蜜桃| 无码人妻电影| 婷婷丁香射射| 欧美三级A做爰在线观看| 激情婷婷人妻| 婷婷五月丁香基| xxx.色婷婷| 激情四射婷婷色色色| 91玖玖| 激情综合女人网五月播播| 免费观看18视频网站| 天天摸日日舔狠狠添婷婷婷| 99久久婷婷国产综合亚洲| 亚洲激情五月天| 色人久夂| 国产成人网| 激情五月天免费视频| 操一操| 亚洲黄3级片网站欧美| 91碰视频| 色小说婷婷五月天天天| 丁香深五月婷婷| 日韩在线观看亚洲| 开心 五月 综合| 91919191919久久成人视频| 五月亭亭六月天| 九九热中文| 99久久国产宗和精品1上映| 婷婷五月骚厕所| 99热99极品观看| 99综合视频| 天天综合网网欲色| 国产精典视频在线观看| 国产精品久久久久久久久久免费| 99精品久久| 中文字幕 中文字幕明步| 六月丁香VA| 大香蕉五月天| 影音先锋 萱萱| 婷婷五月综合网| 五月婷婷久久综合| 99久久五月丁香野外| 久久久久9| 国产婷婷五月在线视频| 大香蕉av在线| 久久久.www| 久久久久久久人妻| 激情五月,激情综合网| 丁香综合婷婷开心激情网| 婷婷酒色网| www.色综合| 五月婷婷欧美激情| 亚洲一个色| 欧美日韩精品一区二区三区钱| 日本VA视频| 丁香六月AV| 在线99精品| 国产av一区二区三区| 成人在线不卡| 亚洲成人在线五月天| 九月丁香婷婷综合激情| 2015WWW永久免费观看播放| 专区无日本视频高清8| 欧美激情VA永久在线播放| 亚洲无码成人性爰网| www.久久久.com| 精品操逼一区二区| 国产肥白大熟妇BBBB视频 | 日本婷婷| 99re热在线视频观看| 久久这里有精品99| 美女天天久久| 激情床戏| 九九99男女视频在线观看| 色色五月婷婷狠狠| 丁香五月天堂| 色综合激情| 丁婷婷五月天在线播放| 婷婷五月丁香伊人网| 亚洲美女婷婷五月天| 99ri久久| 久久婷视频| 色婷婷香蕉丁丁网| 国产原创视频91九色| 婷婷五月花| 久久综合人妻| 丁香婷婷性爱| 色婷婷超碰| 丁香五月在线观看| 久大香蕉| pom538精品视频| 婷婷无码五月天| 九九精品视频在线观看| 欧美性爱5月天天天看| 五月激情久久综合| 综合激情五月综合激情五月激情1| 色婷婷女优有码五月亭| 99精品丰满| 精品一二三区久久AAA片| 色婷婷五月天| 亚洲精品久久久久AV无码| 99网| 99视频内射三四| 色婷婷电影网| 99网| 六月婷婷毛片| 99九九这里有免费视频| 影音先锋男人av资源站| 以及AA大片看看| 91国产精品视频播放| 婷婷99狠| 大香蕉伊在| 日韩欧美老妇性视频91久久久| 亚洲深喉aV| 黄色中文字目| 婷婷九月丁香中文| 亚洲色图在线视频| a九九热www| 色九九综合| 六月色日韩| 色五月av伊人| 激情婷婷丁香色五月| 热热久久99| 亚洲人成色A777777在线观看 | 久久99性爱| 天天婷婷综合亚洲亚洲| 久久婷婷五月综合色丁香| 色玖玖爱| 在线只有精品| 人妻有码乱操| 91久久综合| 天天日天天添| 丁香五月婷婷成人色区| 五月婷久久在线| 狠狠干婷婷| 五月婷婷色色| 久久综合婷婷激情| 五月丁香六月婷婷的女人| 色久女| 狠狠搞综合色| 99热精品无码| 色99网| 激情九月婷婷九月| 色色色区| 欧美日韩大黄| 五月婷婷在线视频观看| 丁香六月情| 五月丁香花成人社区| 亚洲无aV在线中文字幕| 五月丁香综合激情在线观看| 婷婷五月噜噜| 91婷婷五月天嫩女| 日日操日日干| 无码动漫av| 成人av免费观看| 丁香婷婷久久五月天| 九九色色网| 亚洲婷婷丁香五月视频| 婷婷娌伦网| 噼里啪啦完整版中文在线观看| 激情五月久久| 免费观看高清无码| 色婷婷影院| 久久亚洲激情五码| 欧美日韩aaa| 狠狠色婷婷色| 六月丁香五月婷婷首页| 99热一区| 日本人妻伦在线中文字幕| 97色视频网| 婷婷五月天国产手机在线视频观看| 97婷婷丁香五月天激情图片| 亚洲天天| 少妇被躁爽到高潮无码文| 五月婷婷六月综合| 99秘 在线| 成人在线日韩| 9热在线视频精品| 五月丁香直播| 成人网址在线观看| 极品五月天| 五月婷婷久久综合| 激情综合五月丁香| 日本一区二区三区精品视频| 激情涩涩网| 99热日韩| 大胆伊人久久| 色 五月婷婷基地| 天天干,夜夜爽| 国产激情在线| 99久久性爱| www五月婷婷88导航| 热99精品视频在线观看| 日本婷久久| 国产亚洲成AV人片在线| 激情婷婷五月黑人| 九九综合| www超碰| 九九大香蕉黄色影院| 久久这里只有精品无码| 丁香五月电影| 日韩精品999| AA丁香综合激情| 大香蕉久久伊人网| 五月色俺婷婷| 久久一级AV| 国产裸舞福利资源在线视频| 涩五月婷婷| 亚洲第一成人无码A片| 丁香五月偷拍| 丁香六月婷婷社区| 欧美色爱五月天| 婷婷伊人综合| 欧美啄木乌丝袜人妻系列| 天天狠狠综合精区| 天天拍夜夜爽| 九九九九操逼| 五月丁香在线婷婷蜜桃| 日本人妻伦在线中文字幕| 久久五月天精品视频| 亚洲色另类| 亚洲综合激情五月天婷婷| 丁香九月婷婷| 综合狠狠伊人| 九色视频91| 天天免费成年人视频| 亚洲亚洲人成综合网络| 人人人人人人人人人草| 欧美性做爰大片免费看办公室| 婷婷 伊人 久久| 干一干xxxx| 久久久五月五丁香| 日日噜狠狠| 色婷婷五月开心六月综合| 久久综合五月天| 九九热这里精品| 欧美69久成人做爰视频| 久久在线人妻| 丁香六月天婷婷| 丁香六月婷婷久久综合| 婷婷欧美综合| 亚洲九区| 人妻尝试久久久久久久久久久久| 开心激情站| 电影《战争与艾拉》免费观看| 丁香五月综合| 亚洲九九免费| 久久大大香| 激情丁香五月天| 91婷婷色五月| 婷婷五月天成人| 这里只有精品在线看| 毛v一区二区视频| 99在线免费视频| 亚洲激情亚洲激情| 色五月亚洲| 99只有这里有精品在线视频| 在线中文字幕av| 五月天婷婷色| 欧州色色| 伊人婷婷五月天| 最近中文字幕2019视频1| 99在线观看视频| 五月丁香91| 欧洲电影在线观看免费版英语版 | 日本三级成人秘书精品片| 久久久久久五月天| 色婷婷国产精品综合在线观看| 色播播五月| 婷婷五月大| 九色成人AV在线| 丁香 久久| 深情六月婷婷综合久久| 97操碰日本女人| 日韩成人免费电影| 大伊久久| 99热碰碰热| WwW色婷婷| 亚洲啪啪视频| 婷婷五月天第四色| 九九亚洲综合| 久草丁香婷婷1024| 超碰在线观看99| 丁香五月冃欧美| 九月丁香亭亭| 色五月婷婷丁香凹凸| 99色在线视频| 香蕉AV777XXX色综合一区| 色色色欧美| 99久久五月婷婷| 丁香六月婷婷综合| 99爱视频在线观看| 五月丁香六月婷婷中文版| 九9九9无码| 亚洲视频一区| 99热人人| 色婷婷婷婷五月天| 另类图片五月天婷婷| 丁香婷婷色九月| www.第四色99| 大香蕉伊人久久| 亚州操操| 成人五月天丁香| 五月婷婷六月婷| 天天干夜夜操A片| www.婷婷,com| 五月婷狠狠| 亚洲亚洲人成综合网络| 91九色精品女同系列| 99成人免费视频| 草美女在线观看视频在线播放| 九九在线91| 国精产品一区一区三区免费视频| 99精色| 色情久久久| 26uuu淫色| 久久九九爽| a在线免费v| 91窝窝| 在线播放 精品| 办公室少妇激情呻吟A片在线观看| 婷婷激情丁香六月| WWW.桔色成人.COM入口| 五月开心婷婷极品激情| 99碰网站| 婷婷爱五月| 亚洲激情六月丁香| 99在线资源视频| www.色五月| 97人人射| 欧洲色色| 亚洲日日日| 99热这里都是精品| 婷婷五月丁香91| 99re热在线视频观看| 性色五月天| 五月丁六月香| 99久久玖玖| 久久99性爱视频| 婷婷干五月综合在线播放| 丁香五月综合在线播放| 无码激情精品色婷婷久久久久| 激情爱爱网站| 婷婷午夜综合| 91丨九色丨熟女|老版| 成人在线综合| www.色综合.com| 国产1区2区3区| 久久免费9| 97色色婷婷| 99热乎| 亚洲五月天综合色| 亚洲激情无码久久| 丁香五月激情六月| 亚洲十月婷婷综合| 婷婷五月综合啪| 婷婷精品性性性性性性性| 丁香六月婷婷综合啪啪| 天天精品视频免费观看| 久久人妻人人| 操操国产| 狠狠干夜夜干| 少妇性BBB搡BBB爽爽爽视頻| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 日韩成人网址| 99热精品在线| 欧美成人猛片AAAAAAA| 性爱激情久久| 五月婷婷日本| 91热久久| 免费99情趣网视频| 五月婷婷免费在线观看| 无月播播激情在线观看视频| 婷婷丁香18| 五月色色色| 疯狂做受XXXX高潮A片动画| 日本色啪| 97婷婷在线视频| 超碰九色| 激情婷婷丁香五月| 成年人看Va免费视频| 亚洲婷婷五月| 俺去也婷婷| 九九婷| 婷婷网影院| 少妇日麻屄| 毛片毛片毛片毛片| 五月丁香成人| 久久久国产精品黄毛片| 激情网色五月| 激情综合色网| 天天操天天日天天爽| 久色五月丁香视频| 天天干天天爽| 久久久9久| 99热自拍| 五月丁香六月婷综合成人综合| 五月天伊人手机在线播放AV| 一本婷婷丁香久久 | 国产成人亚洲综合A∨婷婷| 最近中文字幕大全免费版在线| 丁香五月性| 丁香花综合永久入口| 国产婷婷五月天| 天天上天天爽| 少妇达人正片在线播放_ikun_福利吧| 亚洲日日操| 天天爽天天干| 久久激情婷婷| 五月色婷婷综合色| 伊人9999| 亚洲精品大片| 婷婷五月激情小说| 天天做天天要天天爱| 久久黄色片| 亚洲精品又粗又大又爽A片 | 成人午夜免费电影| 久久只有精品| 色综合九九| 丁香五月婷婷激情123| 久久激情五月婷婷| 精品久9| 99视频这里只有免费精品| 久色婷婷200| 极品人妻VIDEOSSS人妻| www91精品| 人人干AV| 色无码| 午夜九九九九九九九九九九九九九| 欧美日韩99| 天天干天天日天天操| 狠狠CAO日日穞夜夜穞AV| 在线看片av| 婷婷六月啪啪 | 欧美性爱五月天| 天堂久久性| 99色免费视频| 蜜桃人妻无码AV天堂三区| 久久人人九九| 激情五月天激情五月天| 丰满少妇猛烈A片免费看观看 | 亚洲操操| 天堂亚洲 在线| 婷婷综合五月色播| 六月丁香五月婷婷| 婷婷丁香97| 色婷婷丁香五月| 日韩有码一区| 成 久久| 国自产拍偷拍精品啪啪一区二区| 五月丁香婷色| 五月天婷婷成人资源站| 色色色综合| 久久久色婷婷五月天| 色婷丁香| 超碰三级片| 99热这里只有精| 91刘玥视频在线观看| 婷婷五月天激情AV影院| 五月天开心网| 亚洲va日| 99综合视频| 五月五婷婷网| av大香蕉| 五月婷婷无码| 婷婷色五月天在线| 99碰碰| 五月婷婷中文字幕| 久热综合| 日本片日本片祼观看网站在线看中文版网页在线看 | 色亚洲色宗合| 国精产品一区一区三区免费视频 | 亚洲日本三级片| 99爱视频免费看| 97碰碰九九视频| 涩涩网五月天| 婷婷福利影院| 婷婷五月天激情免费在线观看| 欧美日韩中文国产一区发布| 人妻内射麻豆视频| 97干干干丁香|