内容简介:Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行JSON RP...
Go 语言高效分词, 支持英文、中文、日文等
词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。
支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行JSON RPC服务。
package main import ( "fmt" "github.com/go-ego/gse" ) func main() { var seg gse.Segmenter seg.LoadDict("zh,testdata/test_dict.txt,testdata/test_dict1.txt") text1 := []byte("你好世界, Hello world") segments := seg.Segment(text1) fmt.Println(gse.ToString(segments, false)) }
Danube River
Add
[NEW] 增加加载词典错误行检测
[NEW] 增加不同语言词典缩写
[NEW] 增加模式分词方法
[NEW] 增加自定义字典你在
[NEW] 更多测试
[NEW] 更新测试工具
Update
[NEW] 更新 tool 和 benchmark 代码
[NEW] 更新 cedar 代码
[NEW] 简化代码 name
[NEW] 更新 README.md
[NEW] 细分代码方法
[NEW] 更新版本并使用 dep 管理包
[NEW] 优化字典加载
[NEW] 更新 log print 和文件名
Fix
[FIX] Format some code and fix godoc
【声明】文章转载自:开源中国社区 [http://www.oschina.net]
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Go 高性能分词 Gse v0.20.0 发布, 优化性能
- Go 高性能分词 Gse v0.20.0 发布, 优化性能
- Gse v0.50.0 发布, Go 高性能分词,大幅度更新
- Gse v0.30.0 发布, Go 高性能分词, 增加 hmm 支持
- Gse v0.30.0 发布, Go 高性能分词, 增加 hmm 支持
- Gse v0.40.0 发布,Go 高性能分词,增加更多常用 API
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Just My Type
Simon Garfield / Profile Books / 2010-10-21 / GBP 14.99
What's your type? Suddenly everyone's obsessed with fonts. Whether you're enraged by Ikea's Verdanagate, want to know what the Beach Boys have in common with easy Jet or why it's okay to like Comic Sa......一起来看看 《Just My Type》 这本书的介绍吧!