Gse v0.10.0 发布了, Go 高性能分词

栏目: 软件资讯 · 发布时间: 6年前

内容简介:Go 语言高效分词, 支持英文、中文、日文等 词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。 支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行JSON RP...

Go 语言高效分词, 支持英文、中文、日文等

词典用双数组trie(Double-Array Trie)实现, 分词器算法为基于词频的最短路径加动态规划。

支持普通和搜索引擎两种分词模式,支持用户词典、词性标注,可运行JSON RPC服务。

package main


import (
"fmt"


"github.com/go-ego/gse"
)


func main() {
var seg gse.Segmenter
seg.LoadDict("zh,testdata/test_dict.txt,testdata/test_dict1.txt")


text1 := []byte("你好世界, Hello world")


segments := seg.Segment(text1)
fmt.Println(gse.ToString(segments, false))
}

Danube River

Add  

  • [NEW] 增加加载词典错误行检测

  • [NEW] 增加不同语言词典缩写

  • [NEW] 增加模式分词方法

  • [NEW] 增加自定义字典你在 

  • [NEW] 更多测试

  • [NEW] 更新测试工具

Update

  • [NEW] 更新 tool 和 benchmark 代码

  • [NEW] 更新 cedar 代码

  • [NEW] 简化代码 name

  • [NEW] 更新 README.md

  • [NEW] 细分代码方法

  • [NEW] 更新版本并使用 dep 管理包

  • [NEW] 优化字典加载

  • [NEW] 更新 log print 和文件名

Fix

  • [FIX] Format some code and fix godoc


【声明】文章转载自:开源中国社区 [http://www.oschina.net]


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Just My Type

Just My Type

Simon Garfield / Profile Books / 2010-10-21 / GBP 14.99

What's your type? Suddenly everyone's obsessed with fonts. Whether you're enraged by Ikea's Verdanagate, want to know what the Beach Boys have in common with easy Jet or why it's okay to like Comic Sa......一起来看看 《Just My Type》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具