Friso 1.6.4 发布 - ANSI C开发的中文分词器

内容简介：Friso 是使用 c 语言开发的一款开源的高性能中文分词器，使用流行的mmseg算法实现。完全基于模块化设计和实现，可以很方便的植入其他程序中， 例如：MySQL，PHP，并且提供了php5, php7, ocaml, lua的插件实现。源...

Friso 是使用 c 语言开发的一款开源的高性能中文分词器，使用流行的mmseg算法实现。完全基于模块化设计和实现，可以很方便的植入其他程序中， 例如：MySQL，PHP，并且提供了 php 5, php7, ocaml, lua的插件实现。源码无需修改就能在各种平台下编译使用，加载完 20 万的词条，内存占用稳定为 14.5M。

关于本次更新：

Friso 最近的一次更新是2017年，之后除了bug修复，也没有再增加新的功能特性，同是17年Friso被嵌入了RediSearch作为对中文分词的支持，也发现有些开发者将Friso嵌入了 Mysql 数据中，近期邮件收到了很多的反馈，决定给Friso增加一些新的功能特性目标是让其更适合搜索。

与RediSearch的更紧密结合可以参考我给RediSearch提交的tokenizer的改造建议：https://github.com/RediSearch/RediSearch/issues/1084

Friso 1.6.4更新如下：

1、README完善了针对最新版本的详细的文档，各平台的编译，测试，配置，词库的管理等。
2、PHP5和PHP7扩展实现的优化。
3、增加根目录的Makefile和make testing的支持，便于对Friso内部的全部的test程序进行编译和调试：

➜  friso git:(master) make testing
cd src && make testing
make[1]: Entering directory '/data0/code/c/friso/src'
Try to make all the testing executable files ... 
gcc -O2 -Wall -fPIC friso_array.c tst-array.c -o array-testing
gcc -O2 -Wall -fPIC friso_hash.c tst-hash.c -o hash-testing
gcc -O2 -Wall -fPIC friso_link.c tst-link.c -o link-testing
gcc -O2 -Wall -fPIC friso_string.c tst-split.c -o split-testing
gcc -O2 -Wall -fPIC friso_string.c tst-split.c -o split-testing
gcc -O2 -Wall -fPIC friso_string.c friso_UTF8.c tst-string.c -o string-testing
gcc -O2 -Wall -fPIC friso.c friso_lexicon.c friso_string.c friso_array.c friso_hash.c friso_link.c friso_ctype.c friso_UTF8.c friso_GBK.c tst-lex.c -lm -o lex-testing
make[1]: Leaving directory '/data0/code/c/friso/src'

4，导出API的少量修改，具体参考README的Friso C API使用demo。

下载地址：

Gitee: https://gitee.com/lionsoul/friso/tree/v1.6.4-release
Github: https://github.com/lionsoul2014/friso/releases/tag/v1.6.4-release

以上所述就是小编给大家介绍的《Friso 1.6.4 发布 - ANSI C开发的中文分词器》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• Friso 1.6.3 发布，纯 C 开发的中文分词器
• 基于海量公司分词ES中文分词插件
• 北大开源全新中文分词工具包：准确率远超THULAC、结巴分词
• 复旦大学提出中文分词新方法，Transformer连有歧义的分词也能学
• 分词，难在哪里？
• 隐马尔可夫分词

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。