很多集團做大數(shù)據(jù)平臺,最后都變成了建了個Hadoop集群,數(shù)據(jù)倒是存進去了,但業(yè)務(wù)部門還是看不懂、用不上。表面上大數(shù)據(jù)平臺建成了,實際上貼源數(shù)據(jù)、主題數(shù)據(jù)、集市數(shù)據(jù)混在一起,ETL跑批經(jīng)常出錯,元數(shù)據(jù)沒人管,業(yè)務(wù)人員想看個客戶360度視圖還得靠人工拉數(shù)據(jù)拼表格。這種有平臺沒有用的困境,幾乎是所有大數(shù)據(jù)平臺建設(shè)項目繞不開的坎。這份《企業(yè)數(shù)字化底座與數(shù)字化轉(zhuǎn)型解決方案》講的是一家開展供應(yīng)鏈金融、人人貸、保理等多種互聯(lián)網(wǎng)金融業(yè)務(wù)的大型集團的大數(shù)據(jù)平臺建設(shè)方案。這份方案的價值,不在于講了多少個大數(shù)據(jù)概念,而在于它把從數(shù)據(jù)產(chǎn)生、數(shù)據(jù)交換、數(shù)據(jù)存儲到數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控的整條鏈路,細化到了服務(wù)器數(shù)量、存儲周期、數(shù)據(jù)庫設(shè)計原則這種可以直接拿來執(zhí)行的技術(shù)顆粒度,并且給出了完整的三階段演進路線圖。這是一份技術(shù)細節(jié)非常扎實的大數(shù)據(jù)平臺建設(shè)范本,值得完整拆一遍。一、先看現(xiàn)狀基礎(chǔ)打好了但沒有真正用起來方案對集團管理分析類應(yīng)用建設(shè)現(xiàn)狀的診斷很直接?；镜默F(xiàn)狀是——集團已建立面向整個業(yè)務(wù)的數(shù)據(jù)倉庫,整合了前臺業(yè)務(wù)運營數(shù)據(jù)和后臺管理數(shù)據(jù),建立了面向業(yè)務(wù)的管理分析應(yīng)用;集團已開展供應(yīng)鏈金融、人人貸和保理等多種業(yè)務(wù),積累了一定量的業(yè)務(wù)數(shù)據(jù),業(yè)務(wù)人員也從客戶管理、風(fēng)險評級和經(jīng)營規(guī)模預(yù)測等方面提出了大量分析預(yù)測需求。但存在的問題也很明顯——集團數(shù)據(jù)倉庫累積數(shù)據(jù)沒有充分利用;缺乏面向整個集團的統(tǒng)一、完整的數(shù)據(jù)視圖;缺乏支撐集團日常業(yè)務(wù)運轉(zhuǎn)的風(fēng)險評估體系;缺乏集團客戶360度視圖,客戶行為分析和預(yù)測無法實現(xiàn);缺乏面向金融業(yè)務(wù)運營管理的關(guān)鍵績效指標體系。方案給出的判斷很直接——“基礎(chǔ)數(shù)據(jù)平臺和BI應(yīng)用建設(shè)是未來一段時間的重點”。這句話點出了這類項目最容易踩的坑——很多企業(yè)以為數(shù)據(jù)倉庫建好了就萬事大吉,實際上數(shù)據(jù)倉庫只是原材料倉庫,真正把數(shù)據(jù)變成價值,還需要一整套數(shù)據(jù)平臺、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控的體系化建設(shè)。方案接下來明確了要重點關(guān)注的內(nèi)容——數(shù)據(jù)平臺整體架構(gòu)、數(shù)據(jù)平臺各層建設(shè)的標準、較成熟的金融業(yè)數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量治理、元數(shù)據(jù)管理、數(shù)據(jù)標準建設(shè)、數(shù)據(jù)整合、數(shù)據(jù)應(yīng)用建設(shè)、數(shù)據(jù)平臺的軟硬環(huán)境。這份清單基本框定了整份方案后續(xù)要展開的所有內(nèi)容。二、建設(shè)目標統(tǒng)一規(guī)劃、統(tǒng)一分析、統(tǒng)一部署方案給出的數(shù)字化底座建設(shè)目標很清晰——“通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè),集團將搭建統(tǒng)一的大數(shù)據(jù)共享和分析平臺,對各類業(yè)務(wù)進行前瞻性預(yù)測及分析,為集團各層次用戶提供統(tǒng)一的決策分析支持,提升數(shù)據(jù)共享與流轉(zhuǎn)能力”。這個目標背后有五個統(tǒng)一——統(tǒng)一規(guī)劃分析方法、統(tǒng)一劃分分析主題、統(tǒng)一設(shè)計數(shù)據(jù)模式、統(tǒng)一部署技術(shù)基礎(chǔ)、統(tǒng)一定義BI應(yīng)用。方案特別提到,云數(shù)據(jù)推送平臺已經(jīng)實現(xiàn)了主要業(yè)務(wù)及金融業(yè)務(wù)系統(tǒng)數(shù)據(jù)清洗、整合,為未來集團數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源——這說明這個項目不是從零開始,而是在已有基礎(chǔ)設(shè)施上繼續(xù)深化建設(shè)。方案還給出了不同用戶層級對BI應(yīng)用的不同需求——集團決策層關(guān)注集團主要經(jīng)營指標;集團職能管控層查看職能部門的業(yè)務(wù)經(jīng)營情況;各級業(yè)務(wù)操作層通過BI應(yīng)用實現(xiàn)業(yè)務(wù)協(xié)作和創(chuàng)新。數(shù)據(jù)來源覆蓋供應(yīng)鏈金融系統(tǒng)、POP系統(tǒng)、采購管理系統(tǒng)、其他業(yè)務(wù)系統(tǒng),以及外部非結(jié)構(gòu)化數(shù)據(jù),并支持自定義報表工具行列的簡單定義方式和多種格式報表。建設(shè)的五大預(yù)期收益方案給出的預(yù)期收益講得很實在,值得逐條記住實現(xiàn)數(shù)據(jù)共享通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中,確保集團各級部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù),充分發(fā)揮數(shù)據(jù)作為集團重要資產(chǎn)的業(yè)務(wù)價值。加強業(yè)務(wù)協(xié)作實現(xiàn)分散在供應(yīng)鏈金融、人人貸、保理等各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合,建立單一的產(chǎn)品、客戶等數(shù)據(jù)的集團級視圖,有效促進業(yè)務(wù)的集成和協(xié)作,并為集團級分析、交叉銷售提供基礎(chǔ)。促進業(yè)務(wù)創(chuàng)新集團業(yè)務(wù)人員可以基于明細、可信的數(shù)據(jù),進行多維分析和數(shù)據(jù)挖掘,為金融業(yè)務(wù)創(chuàng)新客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等創(chuàng)造了有利條件。提升建設(shè)效率通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中,為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ),改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀,實現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變,提升相關(guān)IT系統(tǒng)的建設(shè)和運行效率。改善數(shù)據(jù)質(zhì)量從中長期看,數(shù)據(jù)倉庫對集團分散在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗,有助于集團整體數(shù)據(jù)質(zhì)量的改善,提高數(shù)據(jù)的實用性。這五條收益的排列很有邏輯——從數(shù)據(jù)能不能用共享,到業(yè)務(wù)能不能協(xié)同協(xié)作),到能不能創(chuàng)造新價值創(chuàng)新),再到建設(shè)效率能不能提升效率),最后到數(shù)據(jù)本身質(zhì)量能不能變好質(zhì)量,層層遞進,覆蓋了短期、中期、長期不同階段的價值體現(xiàn)。三、總體架構(gòu)七層架構(gòu)撐起一整套數(shù)據(jù)平臺方案給出的總體架構(gòu)分為七層——數(shù)據(jù)產(chǎn)生層、數(shù)據(jù)交換層、數(shù)據(jù)計算層含數(shù)據(jù)存儲層、流程調(diào)度層、數(shù)據(jù)應(yīng)用層、數(shù)據(jù)管控層、用戶訪問層數(shù)據(jù)訪問層。這套七層架構(gòu)基本覆蓋了從數(shù)據(jù)產(chǎn)生到數(shù)據(jù)消費的完整生命周期,是整份方案的骨架。數(shù)據(jù)產(chǎn)生層三類源數(shù)據(jù)方案把源數(shù)據(jù)內(nèi)容分成三類——內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)集團日常業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù),存儲在關(guān)系型數(shù)據(jù)庫中,如供應(yīng)商信息、采購信息、商品信息、銷售流水,或客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水)、集團內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)日常業(yè)務(wù)處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù),如用戶訪問日志、用戶投訴、用戶點評)、集團外部數(shù)據(jù)以非結(jié)構(gòu)化為主,如國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息。數(shù)據(jù)增量獲取策略也講得很具體——本次項目實施采用以增量為主、全量為輔結(jié)合的方式。集團和集團業(yè)務(wù)系統(tǒng)的數(shù)據(jù),增量數(shù)據(jù)識別和獲取由云數(shù)據(jù)推送平臺負責(zé),采用分析對比源系統(tǒng)日志的方式實現(xiàn);對于無法通過這種方式獲取增量的源系統(tǒng)數(shù)據(jù),則采用某一時間范圍內(nèi)的全部數(shù)據(jù)作為增量。初始數(shù)據(jù)加載均采用全量模式。數(shù)據(jù)交換層四大設(shè)計目標三大交換組件方案給出的數(shù)據(jù)交換層設(shè)計目標是——保證數(shù)據(jù)交換過程中不失真、保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)、保證數(shù)據(jù)交換過程安全可靠、保證數(shù)據(jù)交換過程中不丟失。傳輸組件的設(shè)計邏輯是根據(jù)數(shù)據(jù)源存儲的不同分類而設(shè)計,本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲庫的特點來針對性地設(shè)計工具,以追求卓越的性能。NAS存儲承擔(dān)三大功能——存儲數(shù)據(jù)平臺各Hadoop集群的元數(shù)據(jù)信息如HDFS文件系統(tǒng)元數(shù)據(jù))、統(tǒng)一存儲數(shù)據(jù)平臺ETL加工處理程序數(shù)據(jù)壓縮、數(shù)據(jù)加載等,各接口服務(wù)器通過文件系統(tǒng)Link建立映射)、暫存集團數(shù)據(jù)交換平臺每日獲取的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)以及金融數(shù)據(jù)平臺加工計算結(jié)果。大數(shù)據(jù)交換組件處理集團內(nèi)部和外部的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)音頻、視頻、郵件、Office文檔、抵押品掃描件、微博、貼吧、論壇、用戶點擊流、用戶移動位置等),以實時和批量兩種模式實現(xiàn)數(shù)據(jù)采集、傳輸?shù)浇涌诜?wù)器NAS指定目錄、存儲到大數(shù)據(jù)區(qū)指定HDFS目錄,實現(xiàn)技術(shù)上采用SFTP協(xié)議批量傳輸,或開發(fā)Java/C應(yīng)用調(diào)用API/爬蟲方式抓取。數(shù)據(jù)庫數(shù)據(jù)交換組件處理集團內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)存儲在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫,互聯(lián)網(wǎng)金融業(yè)務(wù)數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫),以實時和批量模式實現(xiàn)數(shù)據(jù)采集輪詢NAS集群指定目錄,獲取LZO壓縮的數(shù)據(jù)文件)、數(shù)據(jù)核查質(zhì)量校驗)、數(shù)據(jù)加載到臨時數(shù)據(jù)區(qū)),實現(xiàn)技術(shù)是Perl程序調(diào)用文件模塊函數(shù)輪詢目錄、執(zhí)行文件級數(shù)據(jù)質(zhì)量檢查、調(diào)用Hive Load命令加載到Hive Table。數(shù)據(jù)區(qū)數(shù)據(jù)交換組件處理數(shù)據(jù)平臺計算層各數(shù)據(jù)區(qū)之間的數(shù)據(jù)流轉(zhuǎn)——貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)到集市數(shù)據(jù)區(qū)、大數(shù)據(jù)區(qū)到主題數(shù)據(jù)區(qū)和集市數(shù)據(jù)區(qū)、主題數(shù)據(jù)區(qū)/貼源數(shù)據(jù)區(qū)/集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)、各數(shù)據(jù)區(qū)數(shù)據(jù)歸檔,實現(xiàn)技術(shù)是Sqoop實現(xiàn)集市數(shù)據(jù)區(qū)與其他Hadoop數(shù)據(jù)區(qū)的交換)、Hadoop命令/Hive外部表/MR程序?qū)崿F(xiàn)Hadoop數(shù)據(jù)區(qū)間交換。這套三組件分工的設(shè)計思路很清晰——大數(shù)據(jù)交換組件專管非結(jié)構(gòu)化半結(jié)構(gòu)化,數(shù)據(jù)庫數(shù)據(jù)交換組件專管結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù),數(shù)據(jù)區(qū)數(shù)據(jù)交換組件專管平臺內(nèi)部各數(shù)據(jù)區(qū)之間的流轉(zhuǎn),三者各司其職,不會互相干擾。流程調(diào)度層批量、實時、歸檔三種處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義WorkFlow組件調(diào)度運行,整個流程完成——獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)存入臨時數(shù)據(jù)區(qū)、獲取集團內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)并進行結(jié)構(gòu)化處理存入主題或集市數(shù)據(jù)區(qū)、按照貼源數(shù)據(jù)模型整合數(shù)據(jù)標準化、更新/追加)、按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總、數(shù)據(jù)加工計算后結(jié)果交付到數(shù)據(jù)集市支持分析類應(yīng)用。實時數(shù)據(jù)處理流程強調(diào)實時或準實時獲取并處理數(shù)據(jù),通常采取消息隊列等技術(shù)構(gòu)建數(shù)據(jù)流,完成——通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)加載到實時數(shù)據(jù)區(qū)、通過大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)并利用Storm處理加載到實時數(shù)據(jù)區(qū)、針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標準化處理和貼源整合。歸檔處理流程的對象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù),按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群,歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù),具體實現(xiàn)——數(shù)據(jù)文件通過HDFS命令行copyfromlocal歸檔、貼源主題和大數(shù)據(jù)區(qū)通過distcp或自定義MR程序歸檔、集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫Hadoop集成技術(shù)如外部表歸檔。數(shù)據(jù)存儲層八大數(shù)據(jù)區(qū)各有各的規(guī)矩這是方案講得最細的部分,給出了數(shù)據(jù)平臺內(nèi)部各數(shù)據(jù)區(qū)的詳細設(shè)計規(guī)范。方案對每個數(shù)據(jù)區(qū)都給出了數(shù)據(jù)內(nèi)容、主要用途、數(shù)據(jù)模型、保留周期、用戶訪問模式、工作負載、平臺要求這七個維度的完整描述,非常具體。臨時數(shù)據(jù)區(qū)業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù),作為緩存數(shù)據(jù)支持后續(xù)ELT處理,采用貼源數(shù)據(jù)模型,保留最近7天數(shù)據(jù),無最終用戶訪問,只有貼源/主題數(shù)據(jù)區(qū)批量作業(yè)訪問,I/O敏感,少量數(shù)據(jù)用Hive的Load命令、大量數(shù)據(jù)用MR程序,與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群。貼源數(shù)據(jù)區(qū)業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水數(shù)據(jù),進行數(shù)據(jù)標準化,為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù),采用貼源數(shù)據(jù)模型,不保存歷史,以ELT形式通過Hive SQL執(zhí)行日終批量ETL。大數(shù)據(jù)區(qū)集團內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù),采集存儲并進行結(jié)構(gòu)化處理,數(shù)據(jù)按HDFS文件存儲,建議保留1年,少量高級業(yè)務(wù)人員進行大數(shù)據(jù)分析,采用MapReduce分布式計算處理文本檢索、語義分詞、圖像識別、音頻識別等。歷史歸檔數(shù)據(jù)區(qū)其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù),按數(shù)據(jù)生命周期規(guī)劃歸檔過期數(shù)據(jù)支撐歷史查詢,數(shù)據(jù)文件按數(shù)據(jù)區(qū)劃分目錄,建議保留7年,業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢,采用獨立的Hadoop集群。主題數(shù)據(jù)區(qū)—明細業(yè)務(wù)系統(tǒng)歷史明細數(shù)據(jù),打破業(yè)務(wù)條線整合數(shù)據(jù),采用第三范式模型,保留長期歷史,少量高級業(yè)務(wù)人員進行靈活查詢、挖掘預(yù)測,I/O敏感,日終批量ETL合并、拉鏈、關(guān)聯(lián)、匯總等。主題數(shù)據(jù)區(qū)—匯總對主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù),針對應(yīng)用需求進行預(yù)連接預(yù)匯總,為集市提供數(shù)據(jù),采用逆范式寬表,依賴于集市數(shù)據(jù)需求。沙盤演練數(shù)據(jù)區(qū)按沙盤演練需求準備的明細或匯總業(yè)務(wù)數(shù)據(jù),為數(shù)據(jù)科學(xué)家的挖掘預(yù)測操作提供數(shù)據(jù)服務(wù),模型依賴于沙盤演練需求,在整個沙盤演練周期內(nèi)保留,采用獨立的Hadoop集群。應(yīng)用集市數(shù)據(jù)區(qū)面向集團內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù),為客戶、運營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù),采用維度數(shù)據(jù)模型,決策人員、管理人員、業(yè)務(wù)人員訪問,I/O敏感型,基于開放平臺的完全無共享MPP數(shù)據(jù)庫集群內(nèi)存數(shù)據(jù)庫。增值產(chǎn)品數(shù)據(jù)區(qū)根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計算的結(jié)果數(shù)據(jù),為部署在數(shù)據(jù)平臺上的集團內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持,采用應(yīng)用模型,依賴于用戶業(yè)務(wù)需求,集團外部人員如客戶通過自己部署在PaaS平臺上的應(yīng)用訪問,獨立的PaaS平臺部署Hadoop集群。實時數(shù)據(jù)區(qū)面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水,為實時或準實時分析應(yīng)用提供數(shù)據(jù)服務(wù),采用貼源數(shù)據(jù)模型,依賴用戶業(yè)務(wù)需求,集團業(yè)務(wù)人員使用,高時效高并發(fā)高可靠性的聯(lián)機交易類查詢,CPU敏感,獨立的內(nèi)存數(shù)據(jù)庫集群,無單點故障365×24小時不停機。這套八大數(shù)據(jù)區(qū)的設(shè)計規(guī)范,展示了一個非常重要的數(shù)據(jù)架構(gòu)原則——不同數(shù)據(jù)區(qū)承擔(dān)不同職責(zé),數(shù)據(jù)模型、保留周期、訪問權(quán)限、平臺要求都因職責(zé)不同而有明確差異。這不是一個一鍋燉的大數(shù)據(jù)湖,而是分層分區(qū)、各有邊界的精細化架構(gòu)。數(shù)據(jù)應(yīng)用層五大應(yīng)用類型對應(yīng)平臺發(fā)展階段方案給出了五種數(shù)據(jù)應(yīng)用類型——歷史查詢類應(yīng)用針對公檢法查詢需求、內(nèi)外部審計需求和最終用戶的歷史交易查詢需求,以貼源存儲的歸檔數(shù)據(jù)為基礎(chǔ),通常使用BI工具或自主開發(fā)實現(xiàn))、沙盤演練類應(yīng)用業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求設(shè)計計算模型,準備明細或匯總數(shù)據(jù)導(dǎo)入模型運算驗證業(yè)務(wù)結(jié)果,通常使用R語言在Hadoop分布式體系下實現(xiàn))、高時效類分析應(yīng)用客戶經(jīng)理等最終業(yè)務(wù)人員針對當前業(yè)務(wù)發(fā)生進行實時查詢分析,通常使用CEP、ESB等技術(shù)實現(xiàn))、管理分析類應(yīng)用實現(xiàn)集團客戶管理、運營管理、財務(wù)管理、風(fēng)險管理、監(jiān)管信息披露五大分析體系功能,通常采用套裝軟件和BI工具如MicroStrategy實現(xiàn))、數(shù)據(jù)增值類產(chǎn)品集團數(shù)據(jù)科學(xué)家根據(jù)業(yè)務(wù)需求或市場判斷設(shè)計并運行模型,發(fā)掘數(shù)據(jù)價值并封裝成商業(yè)產(chǎn)品,通常采用R語言和BI工具實現(xiàn),面向集團內(nèi)外部用戶。方案還給出了一張很有意思的平臺發(fā)展不同階段對應(yīng)應(yīng)用的成長曲線,從工作負載復(fù)雜度、數(shù)據(jù)量、用戶數(shù)、查詢復(fù)雜度、ETL處理復(fù)雜度五個維度的增長曲線出發(fā),劃分了六個階段——操作為主階段什么正在發(fā)生? 批量、隨機查詢→報表為主階段發(fā)生了什么歷史查詢類應(yīng)用→分析為主階段為什么會發(fā)生管理分析類應(yīng)用、數(shù)據(jù)分析)→預(yù)測為主階段將會發(fā)生什么沙盤演練類應(yīng)用、數(shù)據(jù)增值類產(chǎn)品→實時分析類應(yīng)用,持續(xù)更新加載/短查詢,基于事件的動態(tài)觸發(fā))→動態(tài)數(shù)據(jù)倉庫階段讓正確的事情發(fā)生。這條成長曲線揭示了一個規(guī)律——大數(shù)據(jù)平臺的應(yīng)用建設(shè)不是一步到位,而是隨著數(shù)據(jù)量、用戶數(shù)、查詢復(fù)雜度的增長,從操作型的報表查詢逐步演進到預(yù)測型的智能決策,每個階段都有對應(yīng)的合理應(yīng)用類型,不能跳級冒進。管理分析類應(yīng)用的四大分析體系方案對管理分析類應(yīng)用給出了非常詳細的功能清單,涵蓋客戶管理、風(fēng)險管理、運營管理、財務(wù)管理四大體系監(jiān)管披露體系目前沒有明確要求?？蛻艄芾砜蛻魡我灰晥D公司/個人/同業(yè)客戶信息管理)、目標客戶搜索重點/關(guān)懷/風(fēng)險/異動客戶)、客戶細分個人/公司客戶細分)、客戶行為分析客戶輪廓分析、產(chǎn)品交叉銷售分析、百分比分析、渠道偏好分析)、營銷活動管理規(guī)劃、定義、執(zhí)行、效果分析)、營銷活動自動化渠道接口與集成、流程自動化。風(fēng)險管理風(fēng)險監(jiān)控報表/信息披露流動性報表、利率敏感性報表、資本充足率報表)、市場風(fēng)險市場風(fēng)險暴露值、流動性管理、利率管理)、信用風(fēng)險信用風(fēng)險暴露值計算、信用風(fēng)險控制,包括貸前控制、貸中監(jiān)控、貸后分析)、操作風(fēng)險異常交易預(yù)警、后督差錯檢查)、防欺詐/反洗錢定義欺詐交易模型、可能性欺詐交易預(yù)警、欺詐交易分布分析)、全面風(fēng)險管理。運營管理領(lǐng)導(dǎo)管理駕駛艙、機構(gòu)績效考核、客戶經(jīng)理考核工作量評估、服務(wù)客戶收益評估)、產(chǎn)品績效考核、業(yè)務(wù)量考核供應(yīng)鏈金融、人人貸、保理、基金、其他中間業(yè)務(wù))、渠道成本與收益。財務(wù)管理總賬分析資產(chǎn)負債表分析、損益表分析、現(xiàn)金流量表分析、財務(wù)指標分析)、盈利分析機構(gòu)貢獻度、產(chǎn)品貢獻度、客戶細分貢獻度、渠道績效)、資產(chǎn)負債分析凈利息收入、凈收入、凈現(xiàn)值、市場價值等主要指標報告,頭寸報告、現(xiàn)金流報告、風(fēng)險價值VaR計算)、財務(wù)預(yù)算與計劃預(yù)算編制、執(zhí)行監(jiān)控、過程分析、年末執(zhí)行分析)、預(yù)測與場景分析業(yè)務(wù)規(guī)模預(yù)測、收益預(yù)測。這份功能清單密度很高,展示了一個金融類集團數(shù)據(jù)平臺的管理分析應(yīng)該覆蓋的完整業(yè)務(wù)范疇,對于同類企業(yè)規(guī)劃數(shù)據(jù)應(yīng)用體系有很強的參考價值。數(shù)據(jù)訪問層七種展現(xiàn)形式對應(yīng)不同用戶方案給出了七種數(shù)據(jù)展現(xiàn)形式——儀表盤通過儀表盤及其它展現(xiàn)方式對集團關(guān)鍵績效指標進行展示,為領(lǐng)導(dǎo)層決策提供直觀的數(shù)據(jù)支持)、靜態(tài)報表按照預(yù)先定義格式的批處理報表、在線查詢報表)、Office集成將分析應(yīng)用嵌入到Office界面,利用Office的方便易用特性降低使用難度)、即席查詢通過即席查詢工具或手工書寫SQL語句完成業(yè)務(wù)信息的即席查看)、多維分析從多個維度靈活組合分析目標值,常見功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁、層鉆、跨維鉆取)、主動問題發(fā)現(xiàn)通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)集團運營中的問題,通過手機、郵件等方式報警)、挖掘預(yù)測使用專業(yè)軟件工具通過數(shù)理統(tǒng)計等高級統(tǒng)計分析算法,分析結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)挖掘隱藏在數(shù)據(jù)中的價值)、Web服務(wù)將分析應(yīng)用的功能發(fā)布為Web服務(wù),注冊在集團服務(wù)總線上,供其他業(yè)務(wù)系統(tǒng)或分析應(yīng)用調(diào)用。這七種形式分別對應(yīng)決策層、管理層、業(yè)務(wù)人員、數(shù)據(jù)科學(xué)家、業(yè)務(wù)系統(tǒng)五類用戶——決策層多用儀表盤,管理層多用靜態(tài)報表和多維分析,業(yè)務(wù)人員多用即席查詢和主動問題發(fā)現(xiàn),數(shù)據(jù)科學(xué)家用挖掘預(yù)測,業(yè)務(wù)系統(tǒng)通過Web服務(wù)調(diào)用分析結(jié)果。同一套數(shù)據(jù),針對不同角色提供不同的消費形式,這個思路和很多現(xiàn)代數(shù)據(jù)平臺的設(shè)計理念是一致的。四、數(shù)據(jù)管控層組織、評價考核、流程、平臺四域聯(lián)動數(shù)據(jù)管控層是方案里管理體系設(shè)計最完整的一塊,方案明確指出金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評價與考核、管控流程、管控平臺四個域。數(shù)據(jù)管控的六大能力模塊方案給出了數(shù)據(jù)管控覆蓋的能力體系——數(shù)據(jù)認責(zé)數(shù)據(jù)所有人、數(shù)據(jù)生產(chǎn)人、數(shù)據(jù)使用人、IT支持團隊各自承擔(dān)明確職責(zé))、數(shù)據(jù)標準數(shù)據(jù)類型、數(shù)據(jù)格式、業(yè)務(wù)分類、業(yè)務(wù)含義)、數(shù)據(jù)質(zhì)量真實性定義、及時性定義、完整性定義、一致性定義)、元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、管理元數(shù)據(jù))、數(shù)據(jù)安全安全等級、權(quán)限定義、審計定義、保留策略)、工作流管理組織建立/維護流程、標準建立/維護流程、考核指標建立/維護流程、評價與考核流程,這六大模塊貫穿數(shù)據(jù)全生命周期——數(shù)據(jù)創(chuàng)建、數(shù)據(jù)存儲、數(shù)據(jù)移動、數(shù)據(jù)共享、數(shù)據(jù)停用。四域相互作用的內(nèi)部運轉(zhuǎn)機制方案給出了一張非常清晰的運轉(zhuǎn)機制圖——管控組織明確了數(shù)據(jù)管控過程中的組織結(jié)構(gòu)、角色、職責(zé),除了負責(zé)制定數(shù)據(jù)標準質(zhì)量安全等要求,還需要負責(zé)制定管控相關(guān)流程和評價考核指標。評價與考核通過建立定性或定量的數(shù)據(jù)管控評價考核指標,去評估及考核數(shù)據(jù)相關(guān)責(zé)任人職責(zé)履行情況、數(shù)據(jù)管控標準及數(shù)據(jù)政策的執(zhí)行情況。管控流程規(guī)范了數(shù)據(jù)管控過程中各環(huán)節(jié)日常任務(wù)處理的運作模式,例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)。管控平臺采用專門的技術(shù)平臺支撐管控流程的自動化,發(fā)布管控組織制定的相關(guān)標準和規(guī)范,及時反映管控過程中存在的問題。四者的聯(lián)動邏輯是——管控組織制定標準數(shù)據(jù)標準、質(zhì)量要求、安全要求,通過管控平臺的工具支撐元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理),經(jīng)過管控流程數(shù)據(jù)接入流程、數(shù)據(jù)變更流程、數(shù)據(jù)授權(quán)流程、數(shù)據(jù)退役流程、標準/政策制定流程、評價考核流程)落地執(zhí)行,最終由評價與考核環(huán)節(jié)完成考評閉環(huán)。數(shù)據(jù)管控組織的具體架構(gòu)方案給出了一個非常具體的組織架構(gòu)示例——信息管理委員會作為數(shù)據(jù)管控主導(dǎo)方;數(shù)據(jù)管控負責(zé)部門下設(shè)數(shù)據(jù)管控經(jīng)理,配合數(shù)據(jù)標準管理員、數(shù)據(jù)質(zhì)量管理員、數(shù)據(jù)安全管理員、元數(shù)據(jù)管理員四個專職崗位;數(shù)據(jù)管控參與方覆蓋數(shù)據(jù)產(chǎn)生部門、數(shù)據(jù)使用部門、數(shù)據(jù)擁有部門,每個部門都設(shè)有數(shù)據(jù)主管、業(yè)務(wù)協(xié)調(diào)人、數(shù)據(jù)分析員;數(shù)據(jù)管理部門下設(shè)運維組織和實施項目組。方案強調(diào)數(shù)據(jù)管控組織是否有完整與合理的角色定義,是否有高層領(lǐng)導(dǎo)的參與,是整個數(shù)據(jù)管控成敗的關(guān)鍵。這句話再次印證了一個道理——數(shù)據(jù)治理不是純技術(shù)項目,組織和責(zé)任分工才是決定成敗的關(guān)鍵因素。數(shù)據(jù)標準管理三部分工作方案把數(shù)據(jù)標準管理拆成三部分——數(shù)據(jù)標準建立和維護數(shù)據(jù)分類、數(shù)據(jù)結(jié)構(gòu)、關(guān)鍵業(yè)務(wù)對象、關(guān)鍵代碼、數(shù)據(jù)維度、代碼映射,涵蓋客戶類數(shù)據(jù)標準、產(chǎn)品類數(shù)據(jù)標準等)、數(shù)據(jù)標準執(zhí)行數(shù)據(jù)標準理念推廣、ODS/歸檔系統(tǒng)落地執(zhí)行)、數(shù)據(jù)標準管理的考評定性考評、定量考評、數(shù)據(jù)標準分析報告。目標是消除一數(shù)多義,提升數(shù)據(jù)的唯一性、一致性,將逐步形成的數(shù)據(jù)標準納入一個規(guī)范的管理流程中,進行數(shù)據(jù)標準的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)質(zhì)量管理三個環(huán)節(jié)的閉環(huán)數(shù)據(jù)質(zhì)量管理框架藍圖分三部分——數(shù)據(jù)質(zhì)量要求確認根據(jù)業(yè)務(wù)規(guī)則、數(shù)據(jù)一致性要求、數(shù)據(jù)完整性要求、數(shù)據(jù)唯一性要求、數(shù)據(jù)準確性要求、數(shù)據(jù)及時性要求,制定數(shù)據(jù)質(zhì)量標準、驗證規(guī)則、考核指標,同時要符合數(shù)據(jù)標準要求)、數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量監(jiān)控、不定期數(shù)據(jù)質(zhì)量檢查,對數(shù)據(jù)質(zhì)量進行量化評價)、數(shù)據(jù)質(zhì)量問題解決方案數(shù)據(jù)質(zhì)量提升手段包括數(shù)據(jù)補錄、手工修正、自動修正,并輸出數(shù)據(jù)質(zhì)量分析報告。方案強調(diào)數(shù)據(jù)質(zhì)量提升是改進數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的。元數(shù)據(jù)管理三類元數(shù)據(jù)面向三類人群方案給出了元數(shù)據(jù)管理最核心的分類邏輯——業(yè)務(wù)元數(shù)據(jù)面向業(yè)務(wù)人員,從業(yè)務(wù)術(shù)語、業(yè)務(wù)描述、業(yè)務(wù)指標和業(yè)務(wù)規(guī)則等方面對數(shù)據(jù)進行描述;管理元數(shù)據(jù)面向數(shù)據(jù)管理人員,從運維管理角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息;技術(shù)元數(shù)據(jù)面向技術(shù)人員,從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術(shù)化描述。這三類元數(shù)據(jù)面向三類不同人群的設(shè)計思路,和前面數(shù)據(jù)質(zhì)量管理產(chǎn)品里講的業(yè)務(wù)人員用業(yè)務(wù)元數(shù)據(jù)定義規(guī)則、技術(shù)人員用技術(shù)元數(shù)據(jù)做檢核的場景是一致的——同一份數(shù)據(jù)資產(chǎn),要給不同角色提供不同抽象層次的理解方式。數(shù)據(jù)安全管理分級授權(quán)兩條線數(shù)據(jù)安全管理分兩部分——數(shù)據(jù)安全分級根據(jù)業(yè)務(wù)要求制定數(shù)據(jù)安全分級標準和政策,為數(shù)據(jù)應(yīng)用及管理中實施數(shù)據(jù)安全保護和訪問提供控制基礎(chǔ),涉及數(shù)據(jù)敏感度、數(shù)據(jù)重要性、安全等級定義、安全技術(shù)、數(shù)據(jù)訪問授權(quán)根據(jù)數(shù)據(jù)安全分級標準,定義數(shù)據(jù)訪問的授權(quán)方法及流程,建立基于數(shù)據(jù)安全分級的數(shù)據(jù)使用授權(quán)機制,實現(xiàn)數(shù)據(jù)訪問和信息披露的安全,涉及數(shù)據(jù)訪問授權(quán)規(guī)則、數(shù)據(jù)使用需求、數(shù)據(jù)使用者權(quán)責(zé)。數(shù)據(jù)管控平臺的三層架構(gòu)數(shù)據(jù)管控平臺從總體上分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個主要層面,以數(shù)據(jù)層的數(shù)據(jù)庫及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來源,通過應(yīng)用層的運算處理,以不同形式不同功能在展現(xiàn)層提供用戶接口。平臺的功能模塊涵蓋工作管理待辦事項、信息地圖)、標準管理數(shù)據(jù)標準知識庫、標準瀏覽、標準維護)、元數(shù)據(jù)管理元數(shù)據(jù)采集、元數(shù)據(jù)知識庫)、質(zhì)量管理質(zhì)量稽核庫、規(guī)則配置)、系統(tǒng)管理用戶管理、權(quán)限管理、流程管理、績效指標、規(guī)范管理。五、數(shù)據(jù)平臺總體產(chǎn)品框架六大平臺各司其職方案給出了整套數(shù)據(jù)平臺的產(chǎn)品框架,由六個具體平臺構(gòu)成——數(shù)據(jù)交換平臺自主開發(fā)交換組件NAS存儲)、基礎(chǔ)計算平臺貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)大數(shù)據(jù)區(qū),基于Hadoop集群Hive)、歷史歸檔查詢平臺基于Hadoop集群Hive)、沙盤演練平臺基于Hadoop集群)、增值產(chǎn)品平臺基于Hadoop集群)、管理分析平臺基于X86 MPP集群)、實時分析平臺基于內(nèi)存數(shù)據(jù)庫),再加上數(shù)據(jù)管控平臺貫穿始終,以及支撐數(shù)據(jù)獲取的云數(shù)據(jù)推送平臺。這些平臺之間通過SFTP/HTTP/API、Distcp、HQLLoad、Copyfromlocal、Sqoop、FTP、MR、Queue等具體技術(shù)手段實現(xiàn)數(shù)據(jù)流轉(zhuǎn)。這套框架把前面講的架構(gòu)和數(shù)據(jù)區(qū)設(shè)計,最終落到了具體的產(chǎn)品和平臺上,形成了一套完整的、可以指導(dǎo)實際建設(shè)的技術(shù)藍圖。六、規(guī)劃設(shè)計三階段演進路線圖方案的規(guī)劃設(shè)計部分給出了從應(yīng)—技—管三個維度展開的三階段演進路線圖,這是整份方案里最具操作指導(dǎo)價值的部分。第一階段2013年以基礎(chǔ)平臺搭建為主應(yīng)用方面開展客戶信息管理、信用風(fēng)險評級和業(yè)務(wù)統(tǒng)計分析三類應(yīng)用建設(shè)。技術(shù)方面開展貼源數(shù)據(jù)整合,初步建立集團級數(shù)據(jù)視圖,實現(xiàn)對管理分析類應(yīng)用和實時分析類應(yīng)用的支撐。管控方面規(guī)劃數(shù)據(jù)管控藍圖,初步實施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理。方案對第一階段的定位是以基礎(chǔ)平臺搭建為主,配合集團初期業(yè)務(wù)開展,應(yīng)用建設(shè)從客戶信息管理、風(fēng)險管理和運營管理三方面開展。具體到基礎(chǔ)數(shù)據(jù)平臺的建設(shè)內(nèi)容——搭建數(shù)據(jù)交換平臺部署NAS存儲集群,設(shè)計并實施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件)、搭建基礎(chǔ)計算平臺設(shè)計并實施貼源數(shù)據(jù)區(qū),以T1頻率整合集團和金融業(yè)務(wù)數(shù)據(jù))、搭建歷史歸檔查詢平臺歸檔集團和金融業(yè)務(wù)數(shù)據(jù)文件)、搭建內(nèi)部管理分析應(yīng)用平臺部署MPP集群和BI分析應(yīng)用環(huán)境)、搭建實時分析平臺部署內(nèi)存數(shù)據(jù)庫和實時BI分析環(huán)境。預(yù)期效果是實現(xiàn)了數(shù)據(jù)平臺內(nèi)部各數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸,實現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模型整合,實現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理,實現(xiàn)了內(nèi)部管理分析和實時分析環(huán)境搭建。數(shù)據(jù)管控方面的建設(shè)內(nèi)容——分析和梳理當前數(shù)據(jù)管理方面的成果和現(xiàn)狀,進行數(shù)據(jù)管控藍圖和路線圖設(shè)計,數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計;梳理集團大數(shù)據(jù)平臺ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求,制定數(shù)據(jù)質(zhì)量檢查規(guī)則、評價指標、管控流程,并落地實施數(shù)據(jù)質(zhì)量管理系統(tǒng);梳理集團大數(shù)據(jù)平臺包含的技術(shù)元數(shù)據(jù)數(shù)據(jù)字典、ETL任務(wù)、ETL流程、BI語義層等),制定相應(yīng)管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)。應(yīng)用體系方面的建設(shè)內(nèi)容——開展客戶信息管理建設(shè)設(shè)計并實施個人客戶和供應(yīng)商360°視圖、客戶目標搜索、客戶細分等功能)、開展風(fēng)險管理建設(shè)設(shè)計并實施供應(yīng)商和個人客戶風(fēng)險評級模型)、開展運營管理建設(shè)設(shè)計并實施供應(yīng)鏈金融、人人貸等業(yè)務(wù)條線業(yè)務(wù)量統(tǒng)計分析)、初步梳理實時準實時分析需求進行高時效分析應(yīng)用試點。第二階段2014年—2015年搭建大數(shù)據(jù)處理平臺和實時分析平臺應(yīng)用方面全面開展內(nèi)部管理分析、實時分析和沙盤演練應(yīng)用建設(shè),初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作。技術(shù)方面全面開展企業(yè)數(shù)字化底座建設(shè),引入更多數(shù)據(jù)源,豐富并完善平臺數(shù)據(jù)區(qū)建設(shè)。管控方面隨著應(yīng)用體系的搭建,完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè),開展數(shù)據(jù)標準化工作?；A(chǔ)數(shù)據(jù)平臺建設(shè)內(nèi)容——數(shù)據(jù)交換平臺增強和優(yōu)化大數(shù)據(jù)交換組件設(shè)計實施);基礎(chǔ)計算平臺增強引入更多數(shù)據(jù)源增強貼源數(shù)據(jù)區(qū)、設(shè)計并實施主題數(shù)據(jù)區(qū)打破業(yè)務(wù)條線整合數(shù)據(jù)、設(shè)計并實施大數(shù)據(jù)區(qū)實現(xiàn)集團內(nèi)外部非結(jié)構(gòu)化半結(jié)構(gòu)化數(shù)據(jù)加工處理);搭建沙盤演練平臺;實時分析平臺增強和優(yōu)化引入更多應(yīng)用及相關(guān)數(shù)據(jù)源。預(yù)期效果是實現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲、一次計算、多次使用,建立了數(shù)據(jù)分析人員的實驗環(huán)境實現(xiàn)用戶自主用數(shù),為實時準實時類分析應(yīng)用提供平臺,為封裝銷售數(shù)據(jù)類產(chǎn)品提供了平臺。數(shù)據(jù)管控方面——隨著更多數(shù)據(jù)源的引入進一步增強數(shù)據(jù)質(zhì)量管理系統(tǒng);隨著更多數(shù)據(jù)源和平臺的建立梳理并整合更多技術(shù)元數(shù)據(jù);梳理集團大數(shù)據(jù)平臺包含的業(yè)務(wù)和管理類元數(shù)據(jù)業(yè)務(wù)術(shù)語、業(yè)務(wù)指標、業(yè)務(wù)定義等),制定相應(yīng)管控流程并落地實施元數(shù)據(jù)管理系統(tǒng);開展基礎(chǔ)類數(shù)據(jù)標準建設(shè)基礎(chǔ)數(shù)據(jù)標準、管控流程、評價指標、落地策略。預(yù)期效果是完善了數(shù)據(jù)質(zhì)量管理體系實現(xiàn)問題及時發(fā)現(xiàn)及時解決,實現(xiàn)了集團全方位的元數(shù)據(jù)管理打通了業(yè)務(wù)和技術(shù)元數(shù)據(jù)關(guān)聯(lián)關(guān)系,為集團數(shù)據(jù)平臺建設(shè)提供了基礎(chǔ)類數(shù)據(jù)標準。應(yīng)用體系方面——隨著集團業(yè)務(wù)展開逐步開展內(nèi)部管理分析體系建設(shè)本階段重點為客戶關(guān)系管理、運營管理等);高級業(yè)務(wù)人員利用沙盤演練平臺進行數(shù)據(jù)挖掘預(yù)測和科學(xué)試驗;進一步梳理實時準實時分析需求深化開展高時效分析應(yīng)用;開始梳理市場上的數(shù)據(jù)應(yīng)用需求嘗試封裝增值數(shù)據(jù)產(chǎn)品。預(yù)期效果是通過內(nèi)部管理分析體系建設(shè)滿足了集團日常經(jīng)營管理決策分析和進一步提高價值創(chuàng)造力的需要,實現(xiàn)了業(yè)務(wù)人員自主用數(shù),實現(xiàn)了高時效分析與業(yè)務(wù)流程的整合,實現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝提升了數(shù)據(jù)價值。第三階段2015年以后持續(xù)優(yōu)化提升階段應(yīng)用方面深化分析體系,形成深度智能化業(yè)務(wù)分析。技術(shù)方面性能持續(xù)優(yōu)化、數(shù)據(jù)平臺持續(xù)完善。管控方面持續(xù)深化數(shù)據(jù)管控體系,形成集團級的數(shù)據(jù)管控體系?；A(chǔ)數(shù)據(jù)平臺建設(shè)內(nèi)容——基礎(chǔ)計算平臺持續(xù)增強和優(yōu)化引入更多數(shù)據(jù)源、優(yōu)化模型和ETL處理);搭建增值產(chǎn)品平臺設(shè)計并實施增值產(chǎn)品數(shù)據(jù)區(qū));數(shù)據(jù)交換平臺、沙盤演練平臺、實時分析平臺進一步增強和優(yōu)化。預(yù)期效果是數(shù)據(jù)平臺納入盡可能多的集團內(nèi)外部數(shù)據(jù),數(shù)據(jù)平臺以最優(yōu)的性能支持各類數(shù)據(jù)應(yīng)用。數(shù)據(jù)管控方面——數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強;元數(shù)據(jù)管理持續(xù)優(yōu)化并增強;基礎(chǔ)類數(shù)據(jù)標準逐步落地實施;開展指標類數(shù)據(jù)標準建設(shè)基礎(chǔ)數(shù)據(jù)標準、管控流程、評價指標、落地策略。預(yù)期效果是通過完善的數(shù)據(jù)管控體系,提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關(guān)系,使得業(yè)務(wù)人員可以方便有效地使用數(shù)據(jù),提高數(shù)據(jù)實用性。應(yīng)用體系方面——隨著集團業(yè)務(wù)展開進一步完善內(nèi)部管理分析體系建設(shè)市場風(fēng)險管理、操作風(fēng)險管理、財務(wù)管理等);收集實時分析需求進一步增強并優(yōu)化實時分析應(yīng)用體系;增值數(shù)據(jù)產(chǎn)品設(shè)計逐漸成為重點,數(shù)據(jù)分析師收集集團內(nèi)外部數(shù)據(jù)需求設(shè)計更完善的增值數(shù)據(jù)產(chǎn)品。預(yù)期效果是通過內(nèi)部管理分析應(yīng)用體系建設(shè)進一步實現(xiàn)數(shù)據(jù)共享業(yè)務(wù)協(xié)作與創(chuàng)新,通過實時分析應(yīng)用體系建設(shè)實現(xiàn)大數(shù)據(jù)平臺與業(yè)務(wù)系統(tǒng)的交互、與業(yè)務(wù)流程的融合,增值數(shù)據(jù)產(chǎn)品的開發(fā)進一步發(fā)揮數(shù)據(jù)平臺的數(shù)據(jù)價值。這套三階段路線圖的設(shè)計邏輯非常清晰——第一階段打基礎(chǔ)貼源整合基礎(chǔ)應(yīng)用管控藍圖),第二階段補能力主題大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)標準化),第三階段做深做透增值產(chǎn)品指標標準深度智能化)。每個階段的應(yīng)—技—管三條線都在同步推進,不是先做技術(shù)后做管理,而是從第一階段就開始規(guī)劃數(shù)據(jù)管控藍圖,這個節(jié)奏值得所有類似項目借鑒。七、一期架構(gòu)落地具體到服務(wù)器數(shù)量的技術(shù)細節(jié)方案的第四部分講了一期架構(gòu)的具體落地情況,技術(shù)細節(jié)顆粒度非常細,這是這份方案區(qū)別于很多概念性數(shù)字化方案的地方。五大子平臺構(gòu)成一期架構(gòu)方案給出的一期架構(gòu)包括——基礎(chǔ)計算平臺基于Hadoop集群構(gòu)建,按照業(yè)務(wù)條線以貼源數(shù)據(jù)模型存儲業(yè)務(wù)系統(tǒng)明細數(shù)據(jù))、數(shù)據(jù)交換平臺NAS集群實現(xiàn)進出數(shù)據(jù)平臺數(shù)據(jù)暫存,業(yè)務(wù)數(shù)據(jù)交換組件實現(xiàn)業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)加載,數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實現(xiàn)基礎(chǔ)計算平臺與管理分析平臺間數(shù)據(jù)交換)、流程調(diào)度平臺自主開發(fā)的流程調(diào)度引擎實現(xiàn)整個數(shù)據(jù)平臺數(shù)據(jù)處理任務(wù)調(diào)度和運行)、管理分析平臺由X86分析型數(shù)據(jù)庫集群、BI軟件、J2EE應(yīng)用構(gòu)成,實現(xiàn)面向應(yīng)用的數(shù)據(jù)加工管理分析服務(wù))、實時分析平臺由高檔X86服務(wù)器組成的集群,實現(xiàn)高時效高并發(fā)的實時準實時類管理分析需求。數(shù)據(jù)交換平臺的具體部署方案給出的數(shù)據(jù)交換平臺由FTP服務(wù)器、加載服務(wù)器和NAS存儲組成——FTP服務(wù)器利用LVS構(gòu)成集群,接收云數(shù)據(jù)推送平臺處理后的數(shù)據(jù)存儲在NAS集群指定目錄;加載服務(wù)器部署ETL任務(wù),實現(xiàn)指定目錄的文件到達監(jiān)控、文件級檢核、數(shù)據(jù)加載Hive Load到臨時數(shù)據(jù)區(qū),同時歸檔到歷史數(shù)據(jù)區(qū);NAS集群按日期和源系統(tǒng)劃分目錄緩存數(shù)據(jù),支持日常數(shù)據(jù)交換和ETL。云數(shù)據(jù)推送平臺負責(zé)源系統(tǒng)數(shù)據(jù)一次獲取、按需分發(fā),采用GoldenGate、JBUS、Flume等技術(shù)獲取增量數(shù)據(jù)存儲在MySQL集群,按接口規(guī)范生成文件LZO壓縮后通過FTP傳輸?shù)絅AS指定目錄。方案還給出了數(shù)據(jù)交換平臺的參與方責(zé)任劃分,這一部分非常具體云計算方要設(shè)計實施云數(shù)據(jù)推送平臺、按接口定義抽取業(yè)務(wù)系統(tǒng)數(shù)據(jù)、按時生成數(shù)據(jù)文件控制文件DDL文件并FTP傳輸,若源系統(tǒng)變更需提前提供變更說明;集團研發(fā)部門要制定接口規(guī)范、梳理業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典、開發(fā)數(shù)據(jù)交換組件、對接收數(shù)據(jù)提供驗證功能;運維部門負責(zé)安裝部署物理環(huán)境應(yīng)用軟件基礎(chǔ)設(shè)施運維,在業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫服務(wù)器安裝云數(shù)據(jù)推送平臺客戶端;集團業(yè)務(wù)系統(tǒng)負責(zé)針對需求指定接口人提供文檔,系統(tǒng)升級導(dǎo)致數(shù)據(jù)模型變化時及時通知接口責(zé)任人。這種責(zé)任劃分的具體程度,說明方案不只是技術(shù)架構(gòu),還考慮了多方協(xié)作的實施流程。數(shù)據(jù)交換平臺部署架構(gòu)具體到——由8臺X86服務(wù)器和一個NAS集群構(gòu)成,X86服務(wù)器按功能分兩組一組數(shù)據(jù)獲取,一組數(shù)據(jù)加載和歸檔),NAS集群作為公共數(shù)據(jù)區(qū)由8臺服務(wù)器共享訪問。流程調(diào)度平臺的具體設(shè)計流程調(diào)度平臺通過Task Automation驅(qū)動各個平臺,實現(xiàn)從數(shù)據(jù)存入NAS平臺到數(shù)據(jù)集市生成整個處理過程的工作流管理。流程調(diào)度元數(shù)據(jù)統(tǒng)一存儲在MySQL數(shù)據(jù)庫中,包含任務(wù)定義、任務(wù)依賴、任務(wù)觸發(fā)、任務(wù)組等屬性,元數(shù)據(jù)由所有流程調(diào)度服務(wù)器共享。任務(wù)調(diào)度引擎的觸發(fā)方式分兩類——自動觸發(fā)定時觸發(fā),如每日每周每月的歸檔任務(wù);事件觸發(fā),如數(shù)據(jù)文件到達指定目錄觸發(fā)加載任務(wù))和手動觸發(fā)系統(tǒng)管理員通過界面或命令接口執(zhí)行審計驗證、數(shù)據(jù)清洗或流程修復(fù)。集群可靠性方面,流程調(diào)度所需元數(shù)據(jù)統(tǒng)一保存在MySQL數(shù)據(jù)庫中,任何服務(wù)器故障不會破壞元數(shù)據(jù)完整性,故障時只需修改ETL任務(wù)屬性指定其他服務(wù)器執(zhí)行即可。擴展能力方面,流程調(diào)度集群由多臺服務(wù)器構(gòu)成按工作負載劃分角色,當某類調(diào)度負載較大時可通過增加服務(wù)器實現(xiàn)橫向擴展。部署架構(gòu)具體到——由8臺X86服務(wù)器構(gòu)成,分兩類——兩臺部署MySQL數(shù)據(jù)庫集群存儲流程調(diào)度元數(shù)據(jù),六臺部署流程調(diào)度引擎負責(zé)各數(shù)據(jù)區(qū)數(shù)據(jù)處理流程調(diào)度與運行,并按數(shù)據(jù)區(qū)劃分工作流臨時/歸檔區(qū)、貼源區(qū)、匯總區(qū)分別部署獨立服務(wù)器。基礎(chǔ)計算平臺的具體設(shè)計基礎(chǔ)計算平臺基于Hadoop集群搭建,采用標準X86服務(wù)器,集群彈性架構(gòu)按需分配計算資源,數(shù)據(jù)保留三份保證節(jié)點故障不影響服務(wù)。平臺由三個數(shù)據(jù)區(qū)構(gòu)成——臨時數(shù)據(jù)區(qū)緩存當日變化數(shù)據(jù),支持后續(xù)ELT處理)、貼源數(shù)據(jù)區(qū)按源系統(tǒng)數(shù)據(jù)模型整合的明細歷史數(shù)據(jù),一次整合多次使用)、匯總數(shù)據(jù)區(qū)對貼源數(shù)據(jù)區(qū)明細數(shù)據(jù)預(yù)連接預(yù)聚合預(yù)匯總,一次計算多次使用。方案對每個數(shù)據(jù)區(qū)都給出了具體的設(shè)計原則,比方案前面數(shù)據(jù)存儲層部分講得更細——比如臨時數(shù)據(jù)區(qū)的數(shù)據(jù)庫設(shè)計原則是對應(yīng)獨立的Hive數(shù)據(jù)庫,不對外提供訪問,ETL用戶對數(shù)據(jù)庫有增刪查改權(quán)限;模型設(shè)計原則是邏輯模型參考源系統(tǒng)和接口規(guī)范定義,物理模型與邏輯模型保持一致,每個實體對應(yīng)一張Hive表采用LZO壓縮存儲,不建議考慮索引物化視圖等技術(shù)特性,以天為單位按業(yè)務(wù)日期建立分區(qū);歷史保留原則是緩存當日業(yè)務(wù)數(shù)據(jù),為數(shù)據(jù)重跑方便可保留7天歷史,過期數(shù)據(jù)直接刪除對應(yīng)分區(qū)不需要歸檔。貼源數(shù)據(jù)區(qū)的模型設(shè)計原則更細致——“針對不需要記錄變化的實體,邏輯模型參考緩沖層按貼源設(shè)計;針對需要記錄變化的數(shù)據(jù),需要增加時間字段設(shè)計拉鏈數(shù)據(jù)模型記錄歷史;物理模型考慮分區(qū),流水表按業(yè)務(wù)日期建分區(qū),拉鏈表按終止日期建分區(qū)”歷史保留原則是拉鏈表數(shù)據(jù)保留最近37個月歷史,快照表數(shù)據(jù)永久保留,交易流水表數(shù)據(jù)保留最近25個月歷史,過期數(shù)據(jù)歸檔到歷史歸檔區(qū)需要時回遷。這兩個具體數(shù)字37個月、25個月)說明方案確實結(jié)合了金融業(yè)務(wù)的真實合規(guī)和分析需求做了精細化設(shè)計,不是隨手寫的通用規(guī)則。匯總數(shù)據(jù)區(qū)的模型設(shè)計原則是采用逆范式寬表設(shè)計,某種程度上采用維度建模方法,設(shè)計首先需要根據(jù)業(yè)務(wù)和應(yīng)用需要盡量包含更多屬性和指標同時兼顧空間,需要針對維度數(shù)據(jù)執(zhí)行標準化處理,模型增加數(shù)據(jù)日期記錄歷史建議按數(shù)據(jù)日期建分區(qū);歷史保留原則是不同實體采取不同歷史保留策略,建議以支持應(yīng)用為輸入避免永久保留,過期數(shù)據(jù)歸檔到歷史歸檔區(qū)需要時回遷。平臺部署架構(gòu)具體到——由73臺X86服務(wù)器構(gòu)成,3臺作為Name Node和JobTracker Node,70臺作為Data Node和TaskTracker Node。NN負責(zé)HDFS元數(shù)據(jù)管理,元數(shù)據(jù)信息存儲在NAS集群指定目錄,通過硬件冗余、RAID01、Slave NN等技術(shù)實現(xiàn)高可用性;Secondary NN負責(zé)HDFS元數(shù)據(jù)備份,Secondary JobTracker負責(zé)MR計算集群JobTracker高可用性;70臺服務(wù)器是HDFS數(shù)據(jù)節(jié)點,臨時數(shù)據(jù)區(qū)和貼源整合區(qū)作為獨立數(shù)據(jù)庫部署在此,按3份冗余存儲;JobTracker Node負責(zé)MR任務(wù)分配,通過心跳信號檢測TaskTracker活動狀態(tài)排除失效節(jié)點。網(wǎng)絡(luò)拓撲方面,方案給出了機架分布示意——分成多個RACK,每個RACK約20個Node,體現(xiàn)了大規(guī)模Hadoop集群的典型物理部署方式。管理分析平臺的安全管理管理分析平臺涵蓋客戶信息管理J2EE框架自主開發(fā),數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫集群)、運營績效管理MicroStrategy開發(fā),數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫集群)、扶貧靈活分析MicroStrategy開發(fā),數(shù)據(jù)集市構(gòu)建于內(nèi)存數(shù)據(jù)庫集群HANA。安全管理架構(gòu)涵蓋身份管理、認證管理、授權(quán)管理、賬戶管理、審計管理,由安全管理員統(tǒng)一負責(zé),平臺安全管理信息庫存儲賬戶信息、權(quán)限信息、日志信息,并通過LDAP實現(xiàn)統(tǒng)一認證。業(yè)務(wù)應(yīng)用層覆蓋個人客戶信息管理、集團客戶信息管理、金融業(yè)務(wù)規(guī)模預(yù)測等,均納入統(tǒng)一的安全管控體系。整體物理架構(gòu)與硬件配置方案給出的物理架構(gòu)劃分為三個子網(wǎng)——WEB服務(wù)子網(wǎng)兩臺服務(wù)器構(gòu)成的Tomcat集群)、應(yīng)用服務(wù)子網(wǎng)兩臺服務(wù)器構(gòu)成的MicroStrategy集群)、數(shù)據(jù)服務(wù)子網(wǎng)基礎(chǔ)計算平臺73臺服務(wù)器的Hadoop集群、數(shù)據(jù)集市平臺30臺服務(wù)器的集群、流程調(diào)度平臺7臺服務(wù)器的Task Automation集群、數(shù)據(jù)交換平臺5臺服務(wù)器與云數(shù)據(jù)推送平臺接口。一期硬件配置給出了具體參數(shù)——基礎(chǔ)計算平臺Data Node服務(wù)器70臺,32核CPU,128G內(nèi)存,2×1Gb網(wǎng)口,Centos 6.3,12×2TB 7200RPM SATA磁盤),Name Node服務(wù)器3臺,32核CPU,128G內(nèi)存,4×600GB 15K SAS磁盤RAID 01);歷史歸檔查詢平臺Data Node服務(wù)器30臺,12核CPU,24G內(nèi)存,16×3TB 7200RPM SATA磁盤),Name Node服務(wù)器3臺,12核CPU,24G內(nèi)存);沙盤演練平臺Data Node服務(wù)器30臺,32核CPU,128G內(nèi)存,12×2TB 7200RPM SATA磁盤),Name Node服務(wù)器3臺,32核CPU,128G內(nèi)存)。這種具體到服務(wù)器數(shù)量、CPU核數(shù)、內(nèi)存大小、磁盤規(guī)格的硬件配置清單,是很多概念性數(shù)字化方案里完全看不到的內(nèi)容,恰恰說明這份方案是真正指導(dǎo)過實際項目落地的技術(shù)文檔,而不是停留在PPT層面的規(guī)劃愿景。八、這份方案值得學(xué)習(xí)的地方1. 八大數(shù)據(jù)區(qū)的分區(qū)設(shè)計規(guī)范極其具體可直接復(fù)用臨時數(shù)據(jù)區(qū)7天、貼源數(shù)據(jù)區(qū)拉鏈表37個月/快照表永久/流水表25個月、大數(shù)據(jù)區(qū)1年、歷史歸檔區(qū)7年,這種明確的保留周期規(guī)范,是很多數(shù)據(jù)平臺設(shè)計文檔里容易被忽略但極其重要的細節(jié)。2. 三類交換組件按數(shù)據(jù)源類型分工架構(gòu)清晰不混亂大數(shù)據(jù)交換組件管非結(jié)構(gòu)化、數(shù)據(jù)庫數(shù)據(jù)交換組件管結(jié)構(gòu)化、數(shù)據(jù)區(qū)數(shù)據(jù)交換組件管平臺內(nèi)部流轉(zhuǎn),這種按數(shù)據(jù)類型和流轉(zhuǎn)場景分工的設(shè)計思路,避免了一個組件包打天下導(dǎo)致的復(fù)雜度失控。3. 三階段路線圖的應(yīng)—技—管三線同步推進模式值得借鑒很多項目容易犯先建技術(shù)平臺,后補管理體系的錯誤,這份方案從第一階段就同步規(guī)劃數(shù)據(jù)管控藍圖,體現(xiàn)了對數(shù)據(jù)治理長期性的清醒認識。4. 平臺發(fā)展階段與應(yīng)用類型的對應(yīng)關(guān)系提供了合理的建設(shè)節(jié)奏參考從操作為主到報表為主到分析為主到預(yù)測為主再到動態(tài)數(shù)據(jù)倉庫,這條演進曲線提醒我們數(shù)據(jù)應(yīng)用建設(shè)要循序漸進,不能跳過基礎(chǔ)階段直接追求高級預(yù)測應(yīng)用。5. 具體到服務(wù)器數(shù)量和硬件參數(shù)的技術(shù)細節(jié)讓方案真正具備落地指導(dǎo)價值73臺Hadoop節(jié)點、8臺數(shù)據(jù)交換服務(wù)器、8臺流程調(diào)度服務(wù)器,這些具體數(shù)字雖然看起來枯燥,但正是這些細節(jié)讓方案從愿景藍圖變成了可執(zhí)行的建設(shè)指南。九、給正在規(guī)劃企業(yè)級數(shù)據(jù)平臺的團隊幾點建議1. 數(shù)據(jù)分區(qū)設(shè)計要明確每個區(qū)的職責(zé)邊界和保留策略不要把所有數(shù)據(jù)都堆在一個大數(shù)據(jù)湖里,參照方案的八大數(shù)據(jù)區(qū)設(shè)計,明確臨時區(qū)、貼源區(qū)、主題區(qū)、集市區(qū)、沙盤區(qū)、歸檔區(qū)各自的職責(zé),并給每類數(shù)據(jù)設(shè)定合理的保留周期。2. 數(shù)據(jù)管控要和技術(shù)平臺建設(shè)同步啟動不要滯后方案第一階段就同步規(guī)劃數(shù)據(jù)管控藍圖并落地數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理,這個節(jié)奏值得所有正在做數(shù)據(jù)平臺建設(shè)的團隊參考,不要等平臺建完了才想起來做治理。3. 應(yīng)用建設(shè)要遵循從操作到預(yù)測的自然演進節(jié)奏先把歷史查詢、報表這類基礎(chǔ)應(yīng)用做扎實,再逐步往管理分析、沙盤演練、數(shù)據(jù)增值產(chǎn)品這類高級應(yīng)用推進,不要一開始就追求智能化預(yù)測性這類高階目標。4. 組織架構(gòu)設(shè)計要落到具體崗位角色而不是抽象部門參照方案給出的數(shù)據(jù)管控經(jīng)理、數(shù)據(jù)標準管理員、數(shù)據(jù)質(zhì)量管理員、數(shù)據(jù)安全管理員、元數(shù)據(jù)管理員這類具體崗位設(shè)置,確保數(shù)據(jù)治理工作有人真正負責(zé),而不是各部門配合這種模糊說法。5. 硬件規(guī)劃要結(jié)合實際數(shù)據(jù)量和查詢負載測算不要憑空估算參照方案給出的具體服務(wù)器數(shù)量和配置參數(shù)的測算邏輯比如Hadoop集群70個數(shù)據(jù)節(jié)點對應(yīng)貼源和臨時數(shù)據(jù)區(qū),3個Name Node保證高可用),硬件規(guī)劃應(yīng)該基于真實的數(shù)據(jù)量增長預(yù)期和查詢負載模型來做,而不是拍腦袋定數(shù)字。結(jié)語數(shù)字化底座的終點是讓數(shù)據(jù)真正流動起來、用起來這份《企業(yè)數(shù)字化底座與數(shù)字化轉(zhuǎn)型解決方案》講的核心邏輯其實很樸素——數(shù)字化底座不是建一個大而全的技術(shù)平臺,而是要讓數(shù)據(jù)從產(chǎn)生到應(yīng)用的整條鏈路真正流動起來、可信起來、用得起來。從數(shù)據(jù)產(chǎn)生層的三類源數(shù)據(jù),到數(shù)據(jù)交換層的三大交換組件,到數(shù)據(jù)存儲層的八大數(shù)據(jù)區(qū)各司其職,到數(shù)據(jù)應(yīng)用層的五種應(yīng)用類型對應(yīng)不同的成熟階段,再到數(shù)據(jù)管控層的組織制度平臺三位一體每一層設(shè)計都在回答同一個問題——海量的、分散的、異構(gòu)的企業(yè)數(shù)據(jù),怎么才能變成決策層看得懂、管理層用得上、業(yè)務(wù)人員挖得出價值的真正資產(chǎn)。對任何正在規(guī)劃企業(yè)級大數(shù)據(jù)平臺或數(shù)字化底座建設(shè)的團隊來說,這份方案最值得借鑒的不是某個具體技術(shù)組件的選型畢竟Hadoop生態(tài)在這些年已經(jīng)有了很大演進),而是它貫穿始終的方法論——先分清數(shù)據(jù)的類型和流向,再按職責(zé)邊界設(shè)計分層分區(qū)的存儲架構(gòu),同步規(guī)劃數(shù)據(jù)管控體系而不是滯后補課,遵循從基礎(chǔ)應(yīng)用到高階預(yù)測的自然演進節(jié)奏,并把每一層設(shè)計都落實到具體可執(zhí)行的技術(shù)參數(shù)上。這套邏輯,比任何單一的技術(shù)組件選型都更值得深入理解和復(fù)制推廣。以下為方案部分截圖