Gse v0.40.0 发布,Go 高性能分词,增加更多常用 API

栏目: 软件资讯 · 发布时间: 5年前

内容简介:Go 语言高效分词,支持英文、中文、日文等 词典用双数组 trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划, DAG 和 HMM (Viterbi) 算法分词, 新增 API 基本和结巴分词保持一致. 支持普...

Go 语言高效分词,支持英文、中文、日文等

词典用双数组 trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划, DAG 和 HMM (Viterbi) 算法分词, 新增 API 基本和结巴分词保持一致.

支持普通、搜索引擎、全模式、精确模式和 HMM模式多种分词模式,支持用户词典、词性标注,可运行 JSON RPC 服务。

项目地址: https://github.com/go-ego/gse

Snake River

Add

  • [NEW] Add more common APIs and more examples
  • [NEW] Export seg.Find() function
  • [NEW] Add AddToken and AddTokenForce func
  • [NEW] Update dictionary code, add LoadNoFreq and MinTokenFreq parameter configuration
  • [NEW] Update examples code, add more examples and documents
  • [NEW] Optimize benchmark test tools code
  • [NEW] Add seg.Find() test
  • [NEW] Add AddToken and AddTokenForce test code
  • [NEW] Add crf.go file directory

Update

  • [NEW] Add more hmm is bool judge
  • [NEW] Update test dictionary and example code
  • [NEW] Update segmenter test code
  • [NEW] Add clear some internal api name and update godoc
  • [NEW] Add go1.12.x remove go1.10.x
  • [NEW] Add AddToken and AddTokenForce  example code
  • [NEW] Add custom dictionary example to example.go
  • [NEW] Update godoc
  • [NEW] Update CHANGELOG.md

Fix

  • [FIX] Optimize code wait todo load model
  • [FIX] Fixed some README.md benchmark
  • [FIX] Fixed link break
  • [FIX] Fixed goroutines benchmark code open path

以上所述就是小编给大家介绍的《Gse v0.40.0 发布,Go 高性能分词,增加更多常用 API》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

自媒体之道

自媒体之道

吴晨光 / 中国人民大学出版社有限公司 / 2018-7-31 / CNY 49.80

内容简介: 《自媒体之道》为你解决四个问题: 1. 一篇10万+的刷屏文章是怎么写出来的? 2. 一支10万+的爆款视频是怎么做出来的? 3. 一个100万+粉丝的大号是怎么运营的? 4. 神秘的人工智能(AI)和备受争议的算法是怎么运行的? 这部超过30万字的著作,集纳了中国顶尖自媒体人和平台运营者3年的实操经验。全书13章,详解案例150+,提炼“锦囊秒句”......一起来看看 《自媒体之道》 这本书的介绍吧!

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试