NLP【免費(fèi)下載鏈接】KnwlFind Dates, Places, Times, and More. A .js library for parsing text for specific information.項(xiàng)目地址https://gitcode.com/gh_mirrors/kn/Knwl點(diǎn)擊查看免費(fèi)下載本文以 Knwl.js 倉庫中的 plugin_development.md 為主線完整講解如何為一個文本解析庫編寫 parser plugin解析器插件包括插件構(gòu)造函數(shù)簽名、languages語言聲明、calls()入口方法、Knwl.words三種詞庫形態(tài)的取用方式、結(jié)果對象的preview/found標(biāo)準(zhǔn)字段并結(jié)合 knwl.js 核心源碼與default_plugins/下的真實(shí)插件實(shí)現(xiàn)還原Knwl.register()注冊、knwl.init()分詞、knwl.get()調(diào)用的完整鏈路。讀完本文你可以獨(dú)立寫出一個可被knwl.get(yourParser)調(diào)用的 Knwl.js 插件并理解它在實(shí)例內(nèi)部的執(zhí)行位置。插件在 Knwl.js 中的定位Knwl.js 是一個 JavaScript 文本解析庫目標(biāo)是從一段文本中提取特定信息日期、時間、地點(diǎn)、電話號碼、郵箱、鏈接等。README.md 對項(xiàng)目的一句話定義是Parse through text for specific information.要理解 Knwl.js 的插件體系先要抓住原文檔開篇給出的一個關(guān)鍵判斷Extending the parsing ability of Knwl.js is done through parser plugins. Parser plugins are what allow Knwl.js to parse through text.Without them, Knwl.js is merely a shell.沒有插件Knwl.js 只是一個空殼。也就是說核心庫 knwl.js 本身并不包含任何具體解析什么信息的邏輯它只負(fù)責(zé)三件事把輸入字符串切詞建立全局Knwl.words詞庫提供register()/get()兩個 API 供插件掛接和被調(diào)用提供tasks工具方法preview()、search()、removeCharacters()等供插件復(fù)用。倉庫中的插件分為兩類默認(rèn)插件default_plugins/目錄dates.js、times.js、emails.js、links.js、phones.js、places.js。它們在Knwl構(gòu)造函數(shù)末尾被自動注冊見 knwl.js// load default plugins this.register(dates, require(./default_plugins/dates)); this.register(times, require(./default_plugins/times)); this.register(emails, require(./default_plugins/emails)); this.register(links, require(./default_plugins/links)); this.register(phones, require(./default_plugins/phones)); this.register(places, require(./default_plugins/places));實(shí)驗(yàn)性插件experimental_plugins/目錄如money.js、units.js、english.js等。experimental_plugins/notice.md 明確說明這些插件不是生產(chǎn)級插件往往僵硬、硬編碼、不夠靈活不建議用于生產(chǎn)環(huán)境適合實(shí)驗(yàn)與二次開發(fā)。原文檔對兩者的對比是默認(rèn)插件likely the most commonly parsers最常用的解析器實(shí)驗(yàn)插件unpolished and often lack the accuracy未打磨、精度常常不如默認(rèn)插件however, they should still be stable但仍然應(yīng)當(dāng)是穩(wěn)定的。因此如果你想為 Knwl.js 增加一種新的解析能力比如解析貨幣、度量衡、人名插件就是唯一正確的擴(kuò)展方式。插件基本模板原文檔給出的標(biāo)準(zhǔn)插件模板如下plugin_development.md Basic Plugin Template 一節(jié)這是編寫任何 Knwl.js 插件的起點(diǎn)function PluginName(knwlInstance) { this.languages { //supported languages english: true }; this.calls function() { var words knwlInstance.words.get(words); //get the String as an array of words var resultsArray []; /* Parser Code */ return results; }; } module.exports PluginName;模板只有四行骨架但每一行都對應(yīng)著 Knwl.js 核心庫中的具體契約。下面逐條結(jié)合 knwl.js 源碼展開。1. 構(gòu)造函數(shù)參數(shù)Knwl 實(shí)例function PluginName(knwlInstance) {當(dāng)使用者通過Knwl.register()加載你的插件時核心庫會new你的構(gòu)造函數(shù)并把 Knwl 實(shí)例作為第一個參數(shù)傳入。這一點(diǎn)可以直接在源碼中印證knwl.jsthis.register function (name, Plugin) { knwl.plugins[name] new Plugin(knwl); ...拿到knwlInstance之后插件就能訪問 Knwl.js 的全部 API詞庫words、工具方法tasks、語言標(biāo)識language等。這是插件與宿主之間唯一的耦合點(diǎn)——插件不需要也不應(yīng)該關(guān)心實(shí)例從哪里來。2.languages語言支持聲明this.languages { //supported languages english: true, spanish: true }插件應(yīng)當(dāng)用完整語言名作為鍵聲明自己支持的語言集合。宿主在注冊時會校驗(yàn)它構(gòu)造Knwl時若指定了語言如new Knwl(english)this.language即為該值未指定時默認(rèn)為unknown見 knwl.jsfunction Knwl(language) { this.language unknown; if (language ! undefined) this.language language;注冊時的校驗(yàn)邏輯在 knwl.jsif (knwl.plugins[name].languages ! undefined knwl.language ! unknown) { if (knwl.plugins[name].languages[knwl.language] undefined || knwl.plugins[name].languages[knwl.language] false) { return {Knwl.js Error: Parser plugin does not seem to support the specified language.}; } }兩個值得注意的細(xì)節(jié)這是文檔未明說、可從源碼確認(rèn)的行為只有當(dāng)宿主的language不是unknown時才做校驗(yàn)。也就是說不指定語言構(gòu)造時所有插件都會被無差別注冊校驗(yàn)失敗時register()不會拋異常而是返回一個形如{Knwl.js Error: Parser plugin does not seem to support the specified language.}的對象插件對象本身仍會被放入knwl.plugins。因此插件內(nèi)部若依賴語言應(yīng)自行檢查Knwl.language。倉庫內(nèi)所有默認(rèn)插件都遵循同一寫法例如 default_plugins/phones.js、default_plugins/emails.jsthis.languages { english: true, };3.calls()插件的入口方法this.calls function() {插件必須提供calls()方法它是knwl.get()調(diào)用插件的入口。調(diào)用鏈在 knwl.js 中實(shí)現(xiàn)this.get function(parser) { if (this.plugins[parser] ! undefined) { try { var args arguments; var data knwl.plugins[parser].calls(args); return data; } catch (error) { console.error(Knwl.js Error, Error running parser plugin parser , error); return false; } } else { console.error(Knwl.js Error, Parser plugin parser not found.); return false; } };從中可以讀出三點(diǎn)實(shí)現(xiàn)事實(shí)按名字查找插件knwl.get(dates)會先查this.plugins[dates]查不到則打印Parser plugin xxx not found.并返回false參數(shù)整體透傳從源碼看get()把整個arguments對象作為第一個參數(shù)傳給calls(args)。也就是說若插件想接收knwl.get(phones, parameter2, three)里的額外參數(shù)應(yīng)在calls中讀取argsargs[0]是插件名args[1]起為透傳參數(shù)。默認(rèn)插件均未使用透傳參數(shù)其calls()不接收形參錯誤被隔離插件內(nèi)拋出的異常會被try/catch捕獲打印Error running parser plugin xxx后返回false不會讓宿主或頁面崩潰。這與 README 對實(shí)驗(yàn)插件shouldnt crash the page不應(yīng)讓頁面崩潰的穩(wěn)定性要求是一致的。4.words詞庫三種形態(tài)的取用var words knwlInstance.words.get(words);原文檔強(qiáng)調(diào)插件應(yīng)當(dāng)使用 Knwl.js 實(shí)例提供的 words 數(shù)據(jù)庫來解析而不是自己重新分詞。Knwl.init(str)被調(diào)用時宿主把字符串拆分成組件并寫入全局對象Knwl.words{}。knwl.js 中可以看到三種形態(tài)是怎么生成的this.init function(str) { var lowercase str.toLowerCase(); var linkWords lowercase.split(/[ \n]/); var linkWordsCaseSensitive str.split(/[ \n]/); lowercase lowercase.split(/[\n ]/); for (var ii 0; ii lowercase.length; ii) lowercase[ii] lowercase[ii].replace(/[ ,?!]/g, ).replace(/[]/g, ); var words []; for (var ii 0; ii lowercase.length; ii) words[ii] lowercase[ii].split(/[.,!?]/)[0]; knwl.words.linkWordsCasesensitive linkWordsCaseSensitive; knwl.words.linkWords linkWords; knwl.words.words words; return knwl.words; };knwl.words.get(typeStr)可以取出三種形態(tài)knwl.js鍵名形態(tài)適用場景words小寫、去除標(biāo)點(diǎn)的單詞數(shù)組日期、電話號碼等純語義匹配linkWords小寫、保留標(biāo)點(diǎn)的單詞數(shù)組需要看標(biāo)點(diǎn)結(jié)構(gòu)的解析如7/16/1999里的斜杠linkWordsCasesensitive保留標(biāo)點(diǎn)且保留原始大小寫郵箱、URL 等大小寫敏感的內(nèi)容其中g(shù)et()的實(shí)現(xiàn)有一個對插件開發(fā)者友好的細(xì)節(jié)this.words.get function(typeStr) { //retrieve words from database if (knwl.words[typeStr] ! undefined) { return knwl.words[typeStr].concat([]); } };它返回的是concat([])產(chǎn)生的淺拷貝插件對返回列表的增刪改不會影響宿主的詞庫——這與后文插件不得修改Knwl.words數(shù)據(jù)庫的規(guī)范互為表里數(shù)組層是防御性拷貝但插件仍不應(yīng)繞過get()直接操作knwl.words.xxx。形態(tài)選擇有真實(shí)案例default_plugins/dates.js 同時取兩種形態(tài)——words用于月份名、節(jié)假日詞匹配linkWords用于處理7/16/1999這類含斜杠的結(jié)構(gòu)化日期words形態(tài)下標(biāo)點(diǎn)已被剝離斜杠會丟失var words knwl.words.get(words); var wordsWithPunc knwl.words.get(linkWords);default_plugins/emails.js 和 default_plugins/links.js 則使用linkWordsCasesensitive因?yàn)猷]箱與 URL 的大小寫和標(biāo)點(diǎn)必須原樣保留var words knwl.words.get(linkWordsCasesensitive);5. 結(jié)果格式必須返回結(jié)果數(shù)組return results;插件解析時應(yīng)預(yù)期存在多個結(jié)果因此calls()必須返回一個數(shù)組每個元素是一個結(jié)果對象。除插件自定義屬性外有兩個標(biāo)準(zhǔn)屬性是必需的var result { label: value, // 插件自定義屬性如 phone / address / year label: value, preview: knwlInstance.tasks.preview(foundPosition), found: foundPosition };preview結(jié)果在原字符串中位置的人類可讀片段——一整句或句子的一部分由Knwl.tasks.preview(position)生成參數(shù)是結(jié)果在詞庫中的位置found結(jié)果在詞庫中的位置下標(biāo)。preview()的實(shí)現(xiàn)值得看一眼knwl.js它以linkWordsCasesensitive為基準(zhǔn)從給定位置向左右兩側(cè)擴(kuò)展遇到?!.等句子邊界標(biāo)點(diǎn)即?；蛘咦疃鄶U(kuò)展 10 個詞為止最后拼出原始大小寫的句子片段。這就是為什么返回結(jié)果里的preview永遠(yuǎn)是接近原文的一小段話。README 中knwl.get()的通用返回格式與此一致var results [ { //result //plugin-specific properties preview: This was written on the 2nd of June of 2015., found: integer //the position (in words) of the result in the String } ]Knwl.register()使用者如何加載你的插件Knwl.register()是使用者把插件加載進(jìn)應(yīng)用的入口。原文檔的描述是該方法會創(chuàng)建你的插件的一個新實(shí)例并把 Knwl.js 實(shí)例作為第一個參數(shù)傳入。完整源碼見 knwl.jsthis.plugins {}; this.register function (name, Plugin) { knwl.plugins[name] new Plugin(knwl); if (knwl.plugins[name].languages ! undefined knwl.language ! unknown) { if (knwl.plugins[name].languages[knwl.language] undefined || knwl.plugins[name].languages[knwl.language] false) { return {Knwl.js Error: Parser plugin does not seem to support the specified language.}; } } return knwl; };使用方式與 README.md 的 Node.js 安裝步驟一致var Knwl require(./knwl.js); var knwlInstance new Knwl(english); // 第一個參數(shù)是插件的標(biāo)簽名后續(xù) knwl.get() 用它查找第二個參數(shù)是 require() 加載的插件構(gòu)造函數(shù) knwlInstance.register(yourParser, require(./your_parser.js));注意 README 特別說明default_plugins/目錄下的插件會被自動加載即上文構(gòu)造函數(shù)末尾的自動注冊無需使用者再次register只有自定義插件或?qū)嶒?yàn)性插件需要手動注冊。成功注冊時register()返回knwl實(shí)例本身便于鏈?zhǔn)秸{(diào)用。knwl.get()調(diào)用流程與參數(shù)透傳knwl.get()是負(fù)責(zé)調(diào)用插件的方法。原文檔給出的端到端示例knwl.init(This is a string that contains a phone number: 5223241324); //initialized on String var results knwl.get(phones, parameter2, three); /* # Passed to plugin knwl.get(phones, parameter2, three) -- plugin(phones, parameter2, three) # Plugin returns results plugin -- knwl.get() -- app */ console.log(results);其執(zhí)行順序可以概括為一條完整調(diào)用鏈knwlInstance.init(str) // 1. 切詞填充 knwl.words 三種形態(tài) knwl.get(phones, ...) // 2. 按名字查 plugins[phones] └─ phonePlugin.calls(args) // 3. 以 arguments 對象調(diào)用插件入口 └─ words.get(words) // 4. 插件從詞庫取數(shù)解析 └─ return data // 5. 結(jié)果數(shù)組原樣返回給應(yīng)用兩點(diǎn)前提約束均可在源碼確認(rèn)必須先initREADME 明確提示 Plugins will not function without this method first being called on the String。init()之前knwl.words三個數(shù)組都是空的初始化為[]見 knwl.js插件解析不出任何內(nèi)容插件名必須已注冊get()查不到插件名時返回false并打印錯誤而不是拋異常調(diào)用方應(yīng)以false或undefined作為防御判斷。標(biāo)準(zhǔn)與最佳實(shí)踐原文檔列出的規(guī)范共有四條逐一對照倉庫實(shí)現(xiàn)說明。1. 插件應(yīng)封裝在單個文件內(nèi)倉庫內(nèi)每個插件都是一個獨(dú)立模塊且末尾統(tǒng)一module.exports PluginName例如 default_plugins/times.js、default_plugins/places.js。單文件約定讓require(./default_plugins/dates)這樣的加載方式保持穩(wěn)定也便于browserify打包package.json的build/test腳本與瀏覽器打包流程依賴它。2. 不得修改全局Knwl.words數(shù)據(jù)庫這是插件開發(fā)中最重要的紀(jì)律。原文檔的警告邏輯是Knwl.init()會把字符串拆分后存入全局Knwl.words{}你的插件應(yīng)當(dāng)從這個數(shù)據(jù)庫取數(shù)但絕不能修改它——If this happens, plugins that run after your own will not access the originally intended data如果發(fā)生了這種情況排在你后面運(yùn)行的插件將訪問不到原本預(yù)期的數(shù)據(jù)從而導(dǎo)致后續(xù)插件解析失準(zhǔn)。實(shí)現(xiàn)層面提供了部分保護(hù)knwl.words.get()返回的是淺拷貝見前文concat([])因此通過正規(guī) API 取回的數(shù)組被修改是安全的但插件若直接寫knwl.words.words[...] ...就會破壞共享詞庫。多插件共用一份詞庫是該架構(gòu)的基本假設(shè)——dates、times、phones等插件可能對同一條init結(jié)果依次被get()調(diào)用任何一處污染都會影響全體。3. 公開發(fā)布前提供使用文檔若打算公開發(fā)布插件應(yīng)當(dāng)附帶文檔核心是告訴使用者如何用Knwl.get()發(fā)起調(diào)用例如knwl.get(dates)。參照 README 中各默認(rèn)插件的文檔寫法給出knwl.get(xxx)一行調(diào)用 返回什么內(nèi)容的注釋即是最小可用的插件文檔模板。4. Make something awesome原文檔的第四條規(guī)范原文如此?？梢岳斫鉃橐?guī)范只約束下限解析質(zhì)量與創(chuàng)意空間留給作者。參考實(shí)現(xiàn)三個默認(rèn)插件的寫法對照原文檔最后建議Its recommended that anyone developing plugins for Knwl.js look at preexisting plugins first for inspiration.建議開發(fā) Knwl.js 插件的人先參考現(xiàn)有插件。以下按復(fù)雜度遞進(jìn)地拆解三個默認(rèn)插件作為你寫插件時的直接范本。emails.js最小形態(tài)——單遍掃描 正則default_plugins/emails.js 是最簡短的默認(rèn)插件結(jié)構(gòu)上幾乎就是模板本尊function Emails(knwl) { this.languages { english: true }; this.test /\b[A-Z0-9._%-]([A-Z0-9.-]\.[A-Z]{2,4}|...)\b/i; this.calls function() { var results [], match ; var words knwl.words.get(linkWordsCasesensitive); for (var i 0; i words.length; i) { // 對每個詞先剝離 , | ( ) ? 等粘連標(biāo)點(diǎn)再跑郵箱正則 ... var emailObj { address: match, preview: knwl.tasks.preview(i), found: i }; results.push(emailObj); ... } return results; }; var emails this; }; module.exports Emails;對照模板可以看到全部契約要素languages聲明、calls()入口、words.get(linkWordsCasesensitive)取詞郵箱大小寫敏感、結(jié)果對象含插件自定義字段address 標(biāo)準(zhǔn)字段preview/found、返回?cái)?shù)組、module.exports導(dǎo)出。寫你的第一個插件照這個骨架填解析邏輯即可。phones.js多詞回溯 tasks 工具方法default_plugins/phones.js 展示了兩種進(jìn)階技巧跨詞拼裝電話號碼可能拆在多個詞里區(qū)號、本地號、國家代碼分離插件從當(dāng)前詞向前回溯合并如currWord.length 7時檢查words[i - 1]是否為 3 位區(qū)號、words[i - 2]是否為國家代碼復(fù)用宿主工具方法knwl.tasks.removeCharacters([-, (, )], words[i])剝離分隔符該方法定義在 knwl.js避免插件自己寫一套正則清洗。結(jié)果對象形如{ phone: formatted, preview: ..., found: i }格式化后的號碼如1 (522) 324-1324放在插件自定義字段里preview與found保持標(biāo)準(zhǔn)格式。dates.js多策略并行的復(fù)雜解析default_plugins/dates.js 的calls()內(nèi)并行運(yùn)行了五種識別策略覆蓋五種日期寫法july 16th 1999月份名 日 年份檢索7/16/1999依賴linkWords形態(tài)保留斜杠見 dates.js24th of decemberof結(jié)構(gòu)節(jié)假日詞thanksgiving、christmas、new years等詞表定義在 dates.js2013-12-15YMD 數(shù)字格式。每個分支命中后都執(zhí)行同一套收尾constructDateObj()構(gòu)造{year, month, day, preview}再補(bǔ)dateObj.preview knwl.tasks.preview(i)與dateObj.found ipush 進(jìn)results數(shù)組最后統(tǒng)一return results。它還展示了插件內(nèi)部維護(hù)私有狀態(tài)this.db緩存詞庫引用而不觸碰宿主詞庫的慣例。該插件的行為由 test/dates-spec.js 用 Jasmine 用例鎖定例如knwl.init( the 28th of december.); var output knwl.get(dates)[0]; expect(output.month).toBe(12);測試入口是 scripts/test.sh./node_modules/.bin/jasmine-node test對應(yīng)package.json中的npm test。開發(fā)自己的插件時照test/目錄的既有 spec 文件dates-spec.js、phones-spec.js、emails-spec.js等補(bǔ)一份 spec是驗(yàn)證插件可被knwl.get()正確調(diào)用、結(jié)果含preview/found的最低成本方式。發(fā)布與求助渠道關(guān)于發(fā)布原文檔的建議是如果打算公開發(fā)布解析器插件the best and most approachable way is to create a GitHub Repository for the plugin最佳且最易上手的方式是為插件建一個獨(dú)立的代碼倉庫——即單文件插件 獨(dú)立倉庫 附帶knwl.get(yourParser)用法文檔構(gòu)成完整的發(fā)布形態(tài)。關(guān)于求助渠道原文檔給出兩條先讀現(xiàn)有插件——如上文對照的三個范本這是最主要的自我提升途徑若文檔看不明白或需要更細(xì)粒度的幫助可聯(lián)系項(xiàng)目作者也可加入項(xiàng)目社區(qū)討論插件開發(fā)原文檔給出的是作者郵箱與 Google 社區(qū)入口隨著 Google 服務(wù)關(guān)閉現(xiàn)階段的社區(qū)互動應(yīng)以倉庫自身的 issue/討論渠道為準(zhǔn)本文不展開外部鏈接。小結(jié)一份插件檢查清單結(jié)合原文檔與源碼交付前可以按以下清單自檢你的 Knwl.js 插件構(gòu)造函數(shù)接收 Knwl 實(shí)例并命名為knwlInstance或knwl以完整語言名聲明this.languages與宿主new Knwl(english)的語言標(biāo)識匹配提供this.calls()從knwlInstance.words.get(...)取詞解析且選對三種詞庫形態(tài)語義匹配用words、需標(biāo)點(diǎn)用linkWords、大小寫敏感用linkWordsCasesensitive返回結(jié)果數(shù)組每個元素含插件自定義字段 標(biāo)準(zhǔn)previewknwlInstance.tasks.preview(foundPosition)found詞庫下標(biāo)不修改Knwl.words不依賴執(zhí)行順序單文件封裝module.exports導(dǎo)出構(gòu)造函數(shù)先knwl.init(str)再knwl.get(yourParser)驗(yàn)證并確認(rèn)插件異常時get()返回false而非崩潰宿主。滿足以上各點(diǎn)你的插件就與default_plugins/下的六個默認(rèn)插件處在同一契約層面使用者可以完全以registerinitget的既有方式接入它。贊分享NLP【免費(fèi)下載鏈接】KnwlFind Dates, Places, Times, and More. A .js library for parsing text for specific information.項(xiàng)目地址https://gitcode.com/gh_mirrors/kn/Knwl點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Knwl.js 插件開發(fā)終極指南創(chuàng)建自定義文本解析器Knwl.js 插件開發(fā)終極指南創(chuàng)建自定義文本解析器 Knwl.js 是一個功能強(qiáng)大的 JavaScript 文本解析庫能夠從文本中智能提取日期、時間、電話NLPx64dbg 插件開發(fā)使用 PLUG_CB_LOADSAVEDB 回調(diào)實(shí)現(xiàn)插件數(shù)據(jù)隨數(shù)據(jù)庫持久化x64dbg 插件開發(fā)使用 PLUG_CB_LOADSAVEDB 回調(diào)實(shí)現(xiàn)插件數(shù)據(jù)隨數(shù)據(jù)庫持久化 本指南面向 x64dbg 插件開發(fā)者講解如何通過 PLUG逆向工程調(diào)試器開發(fā)工具應(yīng)用安全WSABuilds 安裝教程在 Windows 上運(yùn)行帶 Google Play 商店和 Root 的安卓子系統(tǒng)WSABuilds 安裝教程在 Windows 上運(yùn)行帶 Google Play 商店和 Root 的安卓子系統(tǒng) WSABuilds 是一套預(yù)打包的 Wind開發(fā)工具上一篇GetQzonehistory3分鐘快速備份QQ空間歷史說說的完整教程下一篇如何用XXMI啟動器5分鐘搞定多游戲模組管理告別繁瑣配置的終極指南創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考