八款中文词性标注工具使用及在线测试

内容简介：结束了

八款中文词性标注 <a href='https://www.codercto.com/tool.html'>工具</a> 使用及在线测试

结束了中文分词工具的安装、使用及在线测试，开启中文词性标注在线测试之旅，一般来说，中文分词工具大多数都附带词性标注功能的，这里测试了之前在AINLP公众号上线的8款中文分词模块或者工具，发现它们都是支持中文词性标注的，这里面唯一的区别，就是各自用的词性标注集可能有不同：

八款中文词性标注工具使用及在线测试

以下逐一介绍这八个工具的中文词性标注功能的使用方法，至于安装，这里简要介绍，或者可以参考之前这篇文章： Python中文分词工具大合集：安装、使用和测试，以下是在Ubuntu16.04 & Python3.x的环境下安装及测试。

1） Jieba : https://github.com/fxsjy/jieba

安装：

代码对 Python 2/3 均兼容

全自动安装：easy_install jieba 或者 pip install jieba / pip3 install jieba

半自动安装：先下载 http://pypi.python.org/pypi/jieba/ ，解压后运行 python setup.py install

手动安装：将 jieba 目录放置于当前目录或者 site-packages 目录

中文词性标注示例：

In [1]: import jieba.posseg                                                            
 
In [2]: posseg_list = jieba.posseg.cut('我爱自然语言处理')                             
 
In [3]: print(' '.join('%s/%s' % (word, tag) for (word, tag) in posseg_list))          
我/r 爱/v 自然语言/l 处理/v

2) SnowNLP : https://github.com/isnowfy/snownlp

特点：

中文分词（Character-Based Generative Model）

词性标注（TnT 3-gram 隐马）

情感分析（现在训练数据主要是买卖东西时的评价，所以对其他的一些可能效果不是很好，待解决）

文本分类（Naive Bayes）

转换成拼音（Trie树实现的最大匹配）

繁体转简体（Trie树实现的最大匹配）

提取文本关键词（TextRank算法）

提取文本摘要（TextRank算法）

tf，idf

Tokenization（分割成句子）

文本相似（BM25）

支持python3（感谢erning）

安装：

$ pip install snownlp

中文词性标注示例：

In [11]: from snownlp import SnowNLP                                                   
 
In [12]: snow_result = SnowNLP('我爱自然语言处理')                                     
 
In [13]: print(' '.join('%s/%s' % (word, tag) for (word, tag) in snow_result.tags))    
我/r 爱/v 自然/n 语言/n 处理/vn

3) PkuSeg : https://github.com/lancopku/pkuseg-python

pkuseg具有如下几个特点：

多领域分词。不同于以往的通用中文分词工具，此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点，用户可以自由地选择不同的模型。我们目前支持了新闻领域，网络领域，医药领域，旅游领域，以及混合领域的分词预训练模型。在使用中，如果用户明确待分词的领域，可加载对应的模型进行分词。如果用户无法确定具体领域，推荐使用在混合领域上训练的通用模型。各领域分词样例可参考 example.txt。

更高的分词准确率。相比于其他的分词工具包，当使用相同的训练数据和测试数据，pkuseg可以取得更高的分词准确率。

支持用户自训练模型。支持用户使用全新的标注数据进行训练。

支持词性标注。

仅支持Python3, 测试词性标注的时候会自动额外下载一个包：

中文词性标注示例：

In [18]: import pkuseg                                                                   
 
In [19]: pku_seg = pkuseg.pkuseg(postag=True)                                            
 
In [20]: pku_results = pku_seg.cut('我爱自然语言处理')                                   
 
In [21]: print(' '.join('%s/%s' % (word, tag) for (word, tag) in pku_results))           
我/r 爱/v 自然/n 语言/n 处理/v

4) THULAC : https://github.com/thunlp/THULAC-Python

THULAC（THU Lexical Analyzer for Chinese）由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包，具有中文分词和词性标注功能。THULAC具有如下几个特点：

能力强。利用我们集成的目前世界上规模最大的人工分词和词性标注中文语料库（约含5800万字）训练而成，模型标注能力强大。

准确率高。该工具包在标准数据集Chinese Treebank（CTB5）上分词的F1值可达97.3％，词性标注的F1值可达到92.9％，与该数据集上最好方法效果相当。

速度较快。同时进行分词和词性标注速度为300KB/s，每秒可处理约15万字。只进行分词速度可达到1.3MB/s。

中文词性标注示例：

In [23]: import thulac                                                                         
 
In [24]: thup = thulac.thulac()                                                                
Model loaded succeed
 
In [25]: thulac_result = thup.cut('我爱自然语言处理')                                          
 
In [26]: print(' '.join('%s/%s' % (word, tag) for (word, tag) in thulac_result))               
我/r 爱/v 自然/n 语言/n 处理/v

5) pyhanlp : https://github.com/hankcs/pyhanlp

pyhanlp: Python interfaces for HanLP

自然语言处理工具包HanLP的Python接口, 支持自动下载与升级HanLP，兼容py2、py3。

安装

pip install pyhanlp

注意pyhanlp安装之后使用的时候还会自动下载相关的数据文件，zip压缩文件600多M，速度有点慢，时间有点长

中文词性标注示例：

In [27]: from pyhanlp import HanLP                                                            
 
In [28]: hanlp_result = HanLP.segment('我爱自然语言处理')                                     
 
In [29]: print(' '.join('%s/%s' % (term.word, term.nature) for term in hanlp_result))         
我/rr 爱/v 自然语言处理/nz

6） FoolNLTK ： https://github.com/rockyzhengwu/FoolNLTK

特点

可能不是最快的开源中文分词，但很可能是最准的开源中文分词

基于BiLSTM模型训练而成

包含分词，词性标注，实体识别,都有比较高的准确率

用户自定义词典

可训练自己的模型

批量处理

仅在linux Python3环境测试通过

安装，依赖TensorFlow, 会自动安装：

pip install foolnltk

中文词性标注示例：

In [34]: import fool                                                              
 
In [35]: fool_result = fool.pos_cut('我爱自然语言处理')                                       
 
In [36]: print(' '.join('%s/%s' % (word, tag) for (word, tag) in fool_result[0]))             
我/r 爱/v 自然/n 语言/n 处理/n

7) LTP: https://github.com/HIT-SCIR/ltp

pyltp : https://github.com/HIT-SCIR/pyltp

pyltp 是语言技术平台（Language Technology Platform, LTP）的 Python 封装。

安装 pyltp

注：由于新版本增加了新的第三方依赖如dynet等，不再支持 windows 下 python2 环境。

使用 pip 安装

使用 pip 安装前，请确保您已安装了 pip

$ pip install pyltp

接下来，需要下载 LTP 模型文件。

下载地址 - `模型下载 http://ltp.ai/download.html`_

当前模型版本 - 3.4.0

注意在windows下 3.4.0 版本的语义角色标注模块模型需要单独下载，具体查看下载地址链接中的说明。

请确保下载的模型版本与当前版本的 pyltp 对应，否则会导致程序无法正确加载模型。

从源码安装

您也可以选择从源代码编译安装

$ git clone https://github.com/HIT-SCIR/pyltp

$ git submodule init

$ git submodule update

$ python setup.py install

安装完毕后，也需要下载相应版本的 LTP 模型文件。

这里使用"pip install pyltp"安装，安装完毕后在LTP模型页面下载模型数据： http://ltp.ai/download.html ，我下载的是 ltp_data_v3.4.0.zip ，压缩文件有600多M，解压后1.2G，里面有不同NLP任务的模型。

中文词性标注示例：

In [38]: from pyltp import Segmentor                                                          
 
In [39]: from pyltp import Postagger                                                          
 
In [40]: ltp_seg = Segmentor()                                                                
 
In [41]: ltp_seg.load('./data/ltp/ltp_data_v3.4.0/cws.model')                                 
 
In [42]: ltp_pos = Postagger()                                                                
 
In [43]: ltp_pos.load('./data/ltp/ltp_data_v3.4.0/pos.model')                                 
 
In [44]: ltp_words = ltp_seg.segment('我爱自然语言处理')                                      
 
In [45]: ltp_tags = ltp_pos.postag(ltp_words)                                                 
 
In [46]: print(' '.join('%s/%s' % (word, tag) for (word, tag) in zip(ltp_words, ltp_tags)))   
我/r 爱/v 自然/n 语言/n 处理/v

8) Stanford CoreNLP : https://stanfordnlp.github.io/CoreNLP/

stanfordcorenlp : https://github.com/Lynten/stanford-corenlp

这里用的是斯坦福大学CoreNLP的python封装：stanfordcorenlp

stanfordcorenlp is a Python wrapper for Stanford CoreNLP. It provides a simple API for text processing tasks such as Tokenization, Part of Speech Tagging, Named Entity Reconigtion, Constituency Parsing, Dependency Parsing, and more.

安装很简单，pip即可：

pip install stanfordcorenlp

但是要使用中文NLP模块需要下载两个包，在CoreNLP的下载页面下载模型数据及jar文件，目前官方是3.9.1版本：

https://nlp.stanford.edu/software/corenlp-backup-download.html

第一个是：stanford-corenlp-full-2018-02-27.zip

第二个是：stanford-chinese-corenlp-2018-02-27-models.jar

前者解压后把后者也要放进去，否则指定中文的时候会报错。

中文词性标注使用示例：

In [47]: from stanfordcorenlp import StanfordCoreNLP                                          
 
In [48]: stanford_nlp = StanfordCoreNLP('./data/corenlp/stanford-corenlp-full-2018-02-27', lan
    ...: g='zh')                                                                              
 
In [49]: postag_result = stanford_nlp.pos_tag('我爱自然语言处理')                             
 
In [50]: print(' '.join('%s/%s' % (word, tag) for (word, tag) in postag_result))              
我爱/NN 自然/AD 语言/NN 处理/VV

最后，感兴趣的同学可以关注我们的公众号 AINLP，输入"中文词性标注测试内容"进行词性标注测试：

八款中文词性标注工具使用及在线测试

参考：

五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP

中文分词工具在线PK新增：FoolNLTK、HITLTP、StanfordCoreNLP

Python中文分词工具大合集：安装、使用和测试 http://www.52nlp.cn/?p=11789

注：原创文章，转载请注明出处及保留链接“我爱自然语言处理”： http://www.52nlp.cn

本文链接地址：八款中文词性标注工具使用及在线测试 http://www.52nlp.cn/?p=11851

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

Data Mining

Jiawei Han、Micheline Kamber、Jian Pei / Morgan Kaufmann / 2011-7-6 / USD 74.95

The increasing volume of data in modern business and science calls for more complex and sophisticated tools. Although advances in data mining technology have made extensive data collection much easier......一起来看看《Data Mining》这本书的介绍吧!

码农工具

八款中文词性标注工具使用及在线测试

Data Mining

RGB转16进制工具

XML 在线格式化

HSV CMYK 转换工具