1大模型能用來(lái)做什么①ai自然語(yǔ)言編程Vibe Coding可以通過(guò)直接對(duì)ai輸出自己的想法或靈感實(shí)現(xiàn)低代碼甚至零代碼完成開(kāi)發(fā)真正的想法即代碼。這個(gè)后期我還會(huì)再講過(guò)程中涉及提示詞還有skill一類的非常有趣)②ai對(duì)話圖像處理依舊一句話精簡(jiǎn)概括所想即所得非常強(qiáng)大很方便。幾乎可以達(dá)到以假亂真。③ai智能體操控騰訊會(huì)議重新定義了人與機(jī)器的協(xié)作邊界直接讓對(duì)話機(jī)器人具備自主感知規(guī)劃決策與工具調(diào)用能力的數(shù)字行動(dòng)者。可以通過(guò)微信對(duì)話預(yù)定騰訊會(huì)議2大模型是什么本質(zhì)對(duì)人類智能的模擬? 強(qiáng)??智能?標(biāo)是制造出真正擁有?智、意識(shí)、能理解??存在的機(jī)器。? 弱??智能專注于在特定領(lǐng)域表現(xiàn)出智能?為像??樣做得好甚?更好。3機(jī)器學(xué)習(xí)(Machine Learning)機(jī)器學(xué)習(xí)Machine Learning英?縮寫為ML,是??智能的?個(gè)?領(lǐng)域其核?不再是?動(dòng)編寫規(guī)則?是通過(guò)數(shù)據(jù)訓(xùn)練算法讓計(jì)算機(jī)從歷史樣本中?動(dòng)總結(jié)規(guī)律?以預(yù)測(cè)或決策新問(wèn)題。??智能和機(jī)器學(xué)習(xí)到底是什么關(guān)系呢??智能是?標(biāo)機(jī)器學(xué)習(xí)是實(shí)現(xiàn)該?標(biāo)的主要?段。當(dāng)代??智能≈基于機(jī)器學(xué)習(xí)的??智能。本質(zhì)給定輸?和輸出 讓機(jī)器??找到那個(gè)函數(shù) 。怎么理解這個(gè)本質(zhì)呢?如我們打?起步價(jià)10元固定成本每公?2元求?下打?20公?多少錢這個(gè)公式對(duì)我們來(lái)說(shuō)?常簡(jiǎn)單就可以求解出來(lái)y2x10,這就是費(fèi)?的計(jì)算規(guī)律。那機(jī)器學(xué)習(xí)是什么呢告訴你有下?的數(shù)據(jù)然后需要計(jì)算?下X20公?的時(shí)候費(fèi)?是多少設(shè)yaxb然后代?2組數(shù)據(jù)可以求出來(lái)a2,b10。然后我們根據(jù)規(guī)律求出來(lái)20公?的時(shí)候費(fèi)?是50塊錢。這個(gè)求出的ab就是機(jī)器學(xué)習(xí)中的參數(shù)?類輸?給機(jī)器的原始素材x就是特征機(jī)器學(xué)習(xí)對(duì)?我們??求出來(lái)的這個(gè)過(guò)程是?動(dòng)化求解不需要我們??代?數(shù)據(jù)去求解這個(gè)?動(dòng)化找參數(shù)的過(guò)程就叫模型訓(xùn)練(training)或者學(xué)習(xí)(learning)?且機(jī)器的x和y在現(xiàn)實(shí)世界中不全是數(shù)字可以是復(fù)雜的問(wèn)題圖?語(yǔ)?等。y2x10就是我們訓(xùn)練好的數(shù)學(xué)模型。有了模型以后我們根據(jù)X20公?計(jì)算費(fèi)?總的費(fèi)?為50這個(gè)過(guò)程就叫做推理(inference)/預(yù)測(cè)(Prediction)。實(shí)際?作中我們真正的模型往往很難如此簡(jiǎn)單舉個(gè)例?我們要實(shí)現(xiàn)?個(gè)簡(jiǎn)單的圖像分類?如區(qū)分下圖???是?還是?我們要學(xué)習(xí)的函數(shù)變成了下?的形式?和?我們很難?簡(jiǎn)單的?個(gè)參數(shù)來(lái)表?就需要?機(jī)器學(xué)習(xí)來(lái)完成學(xué)習(xí)到的參數(shù)往往也是?萬(wàn)??萬(wàn)的參數(shù)很難通過(guò)簡(jiǎn)單的?式來(lái)進(jìn)?解釋。我們參與訓(xùn)練的圖?和標(biāo)簽往往叫做樣本其中圖?稱為特征Y稱為標(biāo)簽特征和標(biāo)簽組成了樣本整體稱為訓(xùn)練數(shù)據(jù).4機(jī)器學(xué)習(xí)分類4.1 按照反饋信號(hào)分類:監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)(醫(yī)療影像)自監(jiān)督學(xué)習(xí)(大模型核心預(yù)訓(xùn)練范式)強(qiáng)化學(xué)習(xí)4.1.1監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)和??智能中的?種算法學(xué)習(xí)訓(xùn)練?式。模型通過(guò)標(biāo)記好的訓(xùn)練數(shù)據(jù)進(jìn)?學(xué)習(xí)?標(biāo)是建?輸?與輸出之間的映射關(guān)系。監(jiān)督學(xué)習(xí)靠“外部標(biāo)準(zhǔn)答案”??標(biāo)簽反饋。有對(duì)錯(cuò)直接糾正。4.1.2無(wú)監(jiān)督學(xué)習(xí)?監(jiān)督學(xué)習(xí)的核?定義可以概括為在完全沒(méi)有“標(biāo)簽”即標(biāo)準(zhǔn)答案的情況下讓算法??從輸?數(shù)據(jù)中發(fā)現(xiàn)隱藏的結(jié)構(gòu)、規(guī)律或模式靠“數(shù)據(jù)內(nèi)在結(jié)構(gòu)”反饋。沒(méi)有對(duì)錯(cuò)只找規(guī)律。4.1.3半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)利?少量“有標(biāo)簽”的數(shù)據(jù)帶標(biāo)準(zhǔn)答案和?量“?標(biāo)簽”的數(shù)據(jù)?答案共同進(jìn)?訓(xùn)練以此來(lái)提升模型的預(yù)測(cè)精度。介于兩者之間在我們擁有相對(duì)較少的標(biāo)記數(shù)據(jù)和?量未標(biāo)記數(shù)據(jù)的情況下半監(jiān)督學(xué)習(xí)結(jié)合了監(jiān)督學(xué)習(xí)和?監(jiān)督學(xué)習(xí)的優(yōu)勢(shì)于是在此時(shí)可以發(fā)揮很好的作?。在海量數(shù)據(jù)?前?動(dòng)標(biāo)記數(shù)據(jù)的成本過(guò)于?昂且繁瑣?未標(biāo)記的數(shù)據(jù)很多、易于獲取且每?都會(huì)產(chǎn)??量的數(shù)據(jù)。因此我們可以只標(biāo)記數(shù)據(jù)集中的?部分?不是標(biāo)記整個(gè)數(shù)據(jù)集然后?半監(jiān)督學(xué)習(xí)?式來(lái)學(xué)習(xí)。半監(jiān)督做法1.?500張醫(yī)?標(biāo)注好的??訓(xùn)練?個(gè)初始模型。2.讓該模型去預(yù)測(cè)10,000張未標(biāo)注的??。3.挑選模型預(yù)測(cè)結(jié)果中置信度極??如99%確定是肺炎的圖?給它們打上“偽標(biāo)簽”Pseudo-label。4.將這些帶有偽標(biāo)簽的數(shù)據(jù)加?訓(xùn)練集重新訓(xùn)練模型。4.1.4自監(jiān)督學(xué)習(xí)?監(jiān)督學(xué)習(xí)利?數(shù)據(jù)本?的結(jié)構(gòu)來(lái)“?動(dòng)?成”監(jiān)督信號(hào)即偽標(biāo)簽。?監(jiān)督學(xué)習(xí)?前是AI界的寵?它是?監(jiān)督學(xué)習(xí)的?種特殊形式但其“學(xué)習(xí)過(guò)程”卻極像監(jiān)督學(xué)習(xí)。既然??標(biāo)注Labeling太貴那就讓數(shù)據(jù)“??標(biāo)注??”。模型通過(guò)隱藏?cái)?shù)據(jù)的?部分然后嘗試預(yù)測(cè)這部分內(nèi)容。它與半監(jiān)督學(xué)習(xí)的核?區(qū)別在于半監(jiān)督學(xué)習(xí)仍依賴少量真實(shí)標(biāo)簽??監(jiān)督學(xué)習(xí)完全不?標(biāo)簽。?監(jiān)督學(xué)習(xí)Self-Supervised Learning,SSL是?種讓機(jī)器學(xué)習(xí)模型“?學(xué)成才”的范式。它最?的特點(diǎn)是不需要昂貴的??標(biāo)注數(shù)據(jù)?是從海量的?標(biāo)簽原始數(shù)據(jù)中?動(dòng)“創(chuàng)造”出訓(xùn)練所需的“標(biāo)簽”或“監(jiān)督信號(hào)”** 擴(kuò)散模型DiffusionModel**的?作過(guò)程就是?個(gè)?監(jiān)督學(xué)習(xí)的過(guò)程它通過(guò)?套?給??的邏輯來(lái)摸索世界的規(guī)律。第?步?導(dǎo)?演的“惡作劇”加噪-Forward Process想象你??有?張清晰的《蒙娜麗莎》拼圖。操作你往拼圖上撒了?把沙?噪聲遮住了?點(diǎn)細(xì)節(jié)。繼續(xù)你?撒了?把沙?畫?變得模糊了。終點(diǎn)最后你撒了?數(shù)把沙?原來(lái)的畫完全看不?了只剩下?堆灰?的沙?。為什么是?監(jiān)督因?yàn)樵谶@個(gè)過(guò)程中“沙?”是你親?撒的。你知道每?時(shí)刻加了多少沙?也知道原圖?什么樣。這種“答案就在????”的過(guò)程就是?監(jiān)督。第?步苦練“還原術(shù)”去噪-Reverse Process現(xiàn)在你把這堆“沙?”交給模型對(duì)它說(shuō)“我剛才往畫上撒了沙?請(qǐng)你把剛才那?層沙?從畫上‘吹’?還原回前?秒的樣??！? 前置任務(wù)模型的?標(biāo)不是直接變出?張畫?是預(yù)測(cè)并減去那層沙?。? 反復(fù)橫跳模型會(huì)不停地對(duì)?? 它以為的沙?vs實(shí)際上你撒的沙?。? 它還原出的畫vs你??的原圖。學(xué)到了什么為了把沙?吹?凈模型必須理解畫作的內(nèi)在規(guī)律。它得知道? “這?有?條弧線沙?下?可能是?個(gè)嘴??！? “這?的顏?很暗沙?下?應(yīng)該是頭發(fā)?！? “如果我胡亂吹畫出來(lái)的東西就不像‘畫’?像碎紙屑?！钡谌?中?有的“超能?”采樣-Sampling當(dāng)模型練成了“頂級(jí)還原術(shù)”后神奇的事情發(fā)?了。即使你給它?堆全新的、完全隨機(jī)的沙?純隨機(jī)噪聲并對(duì)它說(shuō)“去吧把這堆沙??多余的東西吹掉?！蹦Ｐ蜁?huì)憑借它在訓(xùn)練中學(xué)到的“經(jīng)驗(yàn)”即圖像的概率分布在虛?中?點(diǎn)點(diǎn)勾勒出線條、?彩和結(jié)構(gòu)。它以為??在“還原”?張不存在的畫結(jié)果卻創(chuàng)造出了?張全新的、寫實(shí)的圖像。這就像?個(gè)學(xué)畫畫的?每天的任務(wù)不是臨摹名畫?是把名畫打碎成粉末再嘗試把粉末粘回去。久?久之即便不看原圖他也能?粉末堆出?幅?師級(jí)的作品。4.1.5強(qiáng)化學(xué)習(xí)如果說(shuō)監(jiān)督學(xué)習(xí)是“照答案做題”有標(biāo)準(zhǔn)答案?監(jiān)督學(xué)習(xí)是“??找規(guī)律”沒(méi)有答案那么強(qiáng)化學(xué)習(xí)就是“在試錯(cuò)中積累經(jīng)驗(yàn)追求?期收益最?化”。強(qiáng)化學(xué)習(xí)通過(guò)與環(huán)境交互來(lái)學(xué)習(xí)。它沒(méi)有直接的標(biāo)簽?是通過(guò)“獎(jiǎng)勵(lì)”或“懲罰”來(lái)優(yōu)化?為策略?標(biāo)是獲得最?的?期累積獎(jiǎng)勵(lì)。它的核?邏輯和我們訓(xùn)練寵物狗?模?樣做對(duì)了給塊??獎(jiǎng)勵(lì)做錯(cuò)了輕輕呵斥懲罰。久?久之它就知道在什么情況下該做什么事以獲得最多的??。4.2以AlphaGo為例第?階段通過(guò)“打譜”進(jìn)?監(jiān)督學(xué)習(xí)這是AlphaGo的啟蒙階段。研究?員會(huì)輸?海量?類?段位棋?的歷史對(duì)局棋譜讓模型像?類初學(xué)者?樣“打譜”學(xué)習(xí)。? 學(xué)習(xí)?式監(jiān)督學(xué)習(xí)。? 具體做法模型學(xué)習(xí)“在某個(gè)棋局下?類??通常會(huì)下在哪?”。它的?標(biāo)不是贏棋?是盡可能準(zhǔn)確地模仿?類的落?選擇。? 成果經(jīng)過(guò)這個(gè)階段AlphaGo已經(jīng)擁有了超越絕?多數(shù)?類棋?的棋感學(xué)會(huì)了合理的下法。第?階段通過(guò)“左右互搏”進(jìn)?強(qiáng)化學(xué)習(xí)這是AlphaGo超越?類、實(shí)現(xiàn)進(jìn)化的核?階段。它的學(xué)習(xí)?式從“模仿?類”轉(zhuǎn)變?yōu)椤?我探索”。? 學(xué)習(xí)?式強(qiáng)化學(xué)習(xí)。? 具體做法a. ?我對(duì)弈讓第?階段訓(xùn)練出的多個(gè)不同版本的策略?絡(luò)相互對(duì)弈數(shù)?萬(wàn)甚?數(shù)百萬(wàn)局。b. 獲得獎(jiǎng)勵(lì)對(duì)弈的最終結(jié)果贏或輸就是唯?的“獎(jiǎng)勵(lì)信號(hào)”。贏了說(shuō)明這局棋的策略是好的輸了則說(shuō)明需要改進(jìn)。c. 優(yōu)化策略模型的?標(biāo)是最?化贏棋的概率。它會(huì)不斷調(diào)整??的下棋策略淘汰那些導(dǎo)致失敗的策略強(qiáng)化那些能帶來(lái)勝利的策略。? 成果通過(guò)這種“左右互搏”AlphaGo不再局限于?類棋譜?是??創(chuàng)造出了許多?類從未?過(guò)的、極具創(chuàng)造?的新下法?如那招讓所有棋?震驚的“第37?”。這標(biāo)志它真正超越?類知識(shí)的邊界。第三階段AlphaGo Zero擺脫?類偏?值得?提的是DeepMind后來(lái)發(fā)布的 AlphaGo Zero 版本進(jìn)?步印證了強(qiáng)化學(xué)習(xí)的強(qiáng)?。? 徹底擺脫?類AlphaGo Zero完全摒棄了第?階段的監(jiān)督學(xué)習(xí)它不再需要任何?類棋譜。? 真正的“從零開(kāi)始”它只被告訴圍棋的基本規(guī)則然后就開(kāi)始和“??”下棋通過(guò)純粹的強(qiáng)化學(xué)習(xí)在短短40天內(nèi)就成為了史上最強(qiáng)的圍棋AI并以1000的戰(zhàn)績(jī)完勝擊敗李世?的舊版AlphaGo各個(gè)類別的反饋信號(hào)? 監(jiān)督學(xué)習(xí)信號(hào)來(lái)???標(biāo)注? ?監(jiān)督學(xué)習(xí)信號(hào)來(lái)?數(shù)據(jù)本?的內(nèi)在結(jié)構(gòu)? ?監(jiān)督學(xué)習(xí)信號(hào)由數(shù)據(jù)?動(dòng)構(gòu)造? 強(qiáng)化學(xué)習(xí)信號(hào)來(lái)?環(huán)境給出的獎(jiǎng)勵(lì)延遲、數(shù)值型4.3按照機(jī)器學(xué)習(xí)的任務(wù)分類:分類回歸聚類序列預(yù)測(cè)深度學(xué)習(xí)4.3.1分類分類是?種監(jiān)督學(xué)習(xí)任務(wù)旨在根據(jù)輸?數(shù)據(jù)的特征將其劃分到預(yù)先定義好的、離散的類別標(biāo)簽中。機(jī)器學(xué)習(xí)可以通過(guò)對(duì)已知類別的數(shù)據(jù)進(jìn)?學(xué)習(xí)從?對(duì)未知類別的數(shù)據(jù)進(jìn)?分類。?如在垃圾郵件識(shí)別中機(jī)器學(xué)習(xí)算法可以通過(guò)學(xué)習(xí)已知的垃圾郵件和?垃圾郵件來(lái)判斷?封新收到的郵件是否是垃圾郵件。分類問(wèn)題的常?算法有K近鄰算法、邏輯回歸、樸素?葉斯、決策樹(shù)、隨機(jī)森林、?持向量機(jī)SVM算法等。(高級(jí)的算法可以先不用具體了解,理解大體意思即可)舉個(gè)例?假設(shè)你剛?職?家公司領(lǐng)導(dǎo)給你?個(gè)任務(wù)把郵件分類成“正常郵件”和“垃圾郵件”。領(lǐng)導(dǎo)扔給你5000封已經(jīng)分好類的歷史郵件訓(xùn)練數(shù)據(jù)讓你??看??總結(jié)規(guī)律。你開(kāi)始認(rèn)真翻看垃圾郵件的常?套路? 標(biāo)題含“免費(fèi)”、“中獎(jiǎng)”、“?即領(lǐng)取”?? 正?頻繁出現(xiàn)“點(diǎn)擊鏈接”、“轉(zhuǎn)賬”、“賬戶異?！? 發(fā)件?是?串亂碼郵箱?如 sdf23xx.com正常郵件的常?特征? 發(fā)件?是熟悉的同事、客戶? 內(nèi)容涉及?作安排、項(xiàng)?進(jìn)度? 沒(méi)有誘導(dǎo)點(diǎn)擊的夸張?jiān)捫g(shù)你看完5000封郵件后腦??已經(jīng)形成了?套判斷規(guī)則模型。第?步分類推理階段第?天早上你打開(kāi)收件箱看到?封從來(lái)沒(méi)有?過(guò)的新郵件發(fā)件? serviceunknown.com標(biāo)題【緊急】您的賬?存在異常請(qǐng)?即點(diǎn)擊鏈接驗(yàn)證你?腦迅速掃描? ?發(fā)件?陌?? ?標(biāo)題含“緊急”、“?即”? ?誘導(dǎo)點(diǎn)擊鏈接你果斷判斷這是垃圾郵件然后?鍵拖進(jìn)垃圾箱。恭喜你成功完成了?次分類推理。4.3.2回歸回歸是?種監(jiān)督學(xué)習(xí)任務(wù)旨在建??個(gè)數(shù)學(xué)模型來(lái)擬合輸?特征與連續(xù)數(shù)值型輸出之間的映射關(guān)系。機(jī)器學(xué)習(xí)可以通過(guò)對(duì)已知的數(shù)據(jù)進(jìn)?學(xué)習(xí)從?對(duì)新的數(shù)據(jù)進(jìn)?預(yù)測(cè)。?如在股票市場(chǎng)中機(jī)器學(xué)習(xí)算法可以通過(guò)學(xué)習(xí)歷史股票價(jià)格數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)的股票價(jià)格。回歸問(wèn)題的常?算法有線性回歸等。4.3.3聚類聚類是?種?監(jiān)督學(xué)習(xí)任務(wù)旨在在沒(méi)有預(yù)先給定類別標(biāo)簽的情況下根據(jù)數(shù)據(jù)樣本之間的內(nèi)在相似性?動(dòng)將其劃分為若?個(gè)不相交的Group。機(jī)器學(xué)習(xí)可以將數(shù)據(jù)按照?定的特征進(jìn)?聚類從?將相似的數(shù)據(jù)歸為?類。?如在客?分析中機(jī)器學(xué)習(xí)算法可以通過(guò)學(xué)習(xí)客?的購(gòu)買?為和喜好將相似的客?歸為?類從?對(duì)不同的客?群體進(jìn)?針對(duì)性的營(yíng)銷。聚類算法屬于?監(jiān)督學(xué)習(xí)常?的算法有K均值算法K-means、層次聚類、DBSCAN、?斯混合模型GMM等。(高級(jí)的算法可以先不用具體了解,理解大體意思即可)?如我們常?的?樂(lè)APP第?步機(jī)器看什么數(shù)據(jù)特征App后臺(tái)有成千上萬(wàn)?歌每?歌都被提取成?組數(shù)字特征? 節(jié)拍速度快/慢? 樂(lè)器種類有沒(méi)有吉他、鋼琴、電?合成器? ?聲特點(diǎn)男聲/?聲/純?樂(lè)? 能量值激昂/舒緩? 情緒值歡快/悲傷于是每?歌都變成了?個(gè)“坐標(biāo)點(diǎn)”?如? 歌曲A速度120能量0.8?聲男情緒歡快? 歌曲B速度60能量0.2純?樂(lè)情緒悲傷? 歌曲C速度130能量0.9?聲?情緒歡快第?步機(jī)器?動(dòng)“抱團(tuán)”聚類機(jī)器把所有歌曲按照這些特征“距離遠(yuǎn)近”?動(dòng)分成若?堆?如分成了4堆機(jī)器內(nèi)部標(biāo)簽?類后來(lái)賦予的名字歌曲特征第1堆“燃爆運(yùn)動(dòng)”速度快、能量?、?點(diǎn)重第2堆“深夜emo”速度慢、鋼琴為主、歌詞傷感第3堆“學(xué)習(xí)專注”純?樂(lè)、?歌詞、節(jié)奏平穩(wěn)第4堆“輕松愉快”速度快、吉他為主、?聲輕快第三步把你“塞”進(jìn)某?堆機(jī)器再看你過(guò)去?周的聽(tīng)歌記錄你單曲循環(huán)了20遍《起?了》還聽(tīng)了5?類似的歌。機(jī)器發(fā)現(xiàn)這些歌全部屬于“深夜emo”那?堆。于是它得出結(jié)論“這個(gè)???概率屬于‘深夜emo’群體。”第四步給你推薦機(jī)器從“深夜emo”那?堆?挑出你還沒(méi)聽(tīng)過(guò)的其他歌曲塞進(jìn)你明天的“每?推薦”?。你第?天打開(kāi)App發(fā)現(xiàn)推薦的歌??都像量?定做——這就是聚類的魔?。4.3.4關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則是?種?監(jiān)督學(xué)習(xí)任務(wù)旨在從?規(guī)模數(shù)據(jù)集中發(fā)現(xiàn)變量或項(xiàng)之間有趣的隱含依賴關(guān)系或共?模式通常表?為“X→Y”的蘊(yùn)含式。機(jī)器學(xué)習(xí)可以從?規(guī)模數(shù)據(jù)中發(fā)現(xiàn)變量之間的有趣關(guān)聯(lián)或頻繁模式。例如在超市購(gòu)物籃分析中通過(guò)分析顧客購(gòu)買記錄可以找出“購(gòu)買尿不濕的顧客往往也會(huì)購(gòu)買啤酒”這樣的關(guān)聯(lián)規(guī)則從?優(yōu)化商品陳列和促銷策略。常?的算法有Apriori算法、FP-Growth算法等。啤酒尿布是數(shù)據(jù)挖掘與商業(yè)分析領(lǐng)域最著名的經(jīng)典案例之?講述了超市通過(guò)數(shù)據(jù)分析發(fā)現(xiàn)啤酒與尿布存在關(guān)聯(lián)銷售機(jī)會(huì)的故事。盡管其真實(shí)性存在爭(zhēng)議被視為“商業(yè)寓?”但其背后的關(guān)聯(lián)規(guī)則挖掘理論對(duì)零售業(yè)營(yíng)銷產(chǎn)?了深遠(yuǎn)影響。4.3.5序列預(yù)測(cè)序列預(yù)測(cè)簡(jiǎn)單來(lái)說(shuō)就是利?過(guò)去?串有順序的數(shù)據(jù)來(lái)推斷未來(lái)接下來(lái)會(huì)發(fā)?什么。它的核?在于數(shù)據(jù)點(diǎn)之間存在順序依賴性?獨(dú)?同分布。機(jī)器學(xué)習(xí)可以利?歷史序列數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)的元素或趨勢(shì)。?如在?然語(yǔ)?處理中模型可以根據(jù)已?成的?字預(yù)測(cè)下?個(gè)單詞從?實(shí)現(xiàn)?本?動(dòng)補(bǔ)全或機(jī)器翻譯。序列預(yù)測(cè)的常?算法有循環(huán)神經(jīng)?絡(luò)RNN、?短期記憶?絡(luò)LSTM、?控循環(huán)單元GRU、Transformer等。以中英?翻譯為例核?的?成過(guò)程本質(zhì)上是由?系列連續(xù)的序列預(yù)測(cè)構(gòu)成。? 輸?序列源語(yǔ)? “我 愛(ài) 學(xué)習(xí)”? ?標(biāo)序列?標(biāo)語(yǔ)? “I love learning”在翻譯時(shí)模型并不是瞬間變出整句英??是?個(gè)詞?個(gè)詞地“預(yù)測(cè)”出來(lái)的。