结巴中文分词原理分析4

>>> import jieba

>>> str= "我是白宁超来自博客园"

>>> seg_list=jieba.cut(str,cut_all=True)

>>> print( "Full Mode: " +  "/ " . join (seg_list))  # 全模式

Full Mode: 我/ 是/ 白/ 宁/ 超/ 来自/ 博客/ 博客园

>>> seg_list = jieba.cut( "他来到了网易杭研大厦" )  # 默认是精确模式

>>> print( "【新词发现】\t" + ", " . join (seg_list))

【新词发现】  他, 来到, 了, 网易, 杭研, 大厦

>>> seg_list = jieba.cut_for_search( "小明硕士毕业于中国科学院计算所，后在日本京都大学深造" )  # 搜索引擎模式

>>> print( "搜索引擎模式：\t" + ", " . join (seg_list))

搜索引擎模式：小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, ，, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

>>> str= '' '此開卷第一回也．作者自云：因曾歷過一番夢幻之后，故將真事隱去，

而借 "通靈" 之說，撰此《石頭記》一書也．故曰 "甄士隱" 云云．但書中所記

何事何人？自又云：“今風塵碌碌，一事無成，忽念及當日所有之女子，一

一細考較去，覺其行止見識，皆出于我之上．何我堂堂須眉，誠不若彼裙釵

哉？實愧則有余，悔又無益之大無可如何之日也！ '' '

>>> str=jieba.cut(str)

>>> print( '/ ' . join (str))

此開卷/ 第一回/ 也/ ．/ 作者/ 自云/ ：/ 因曾/ 歷過/ 一番/ 夢/ 幻之后/ ，/ 故將/ 真事/ 隱去/ ，/

/ 而/ 借/  "/ 通靈/ " / 之/ 說/ ，/ 撰此/ 《/ 石頭記/ 》/ 一書/ 也/ ．/ 故/ 曰/  "/ 甄士/ 隱/ " / 云云/ ．/ 但書中/ 所記/

/ 何事何/ 人/ ？/ 自又云/ ：/ “/ 今風/ 塵碌碌/ ，/ 一事/ 無成/ ，/ 忽念及/ 當日/ 所/ 有/ 之/ 女子/ ，/ 一/

/ 一細/ 考較/ 去/ ，/ 覺其/ 行止/ 見識/ ，/ 皆/ 出于/ 我/ 之/ 上/ ．/ 何/ 我堂/ 堂須/ 眉/ ，/ 誠不若/ 彼/ 裙釵/

/ 哉/ ？/ 實愧則/ 有/ 余/ ，/ 悔/ 又/ 無益/ 之/ 大/ 無/ 可/ 如何/ 之/ 日/ 也/ ！

>>>

#encoding=utf-8

from __future__ import print_function, unicode_literals

import sys

sys.path.append( "../" )

import jieba

jieba.load_userdict( "userdict.txt" )

import jieba.posseg  as pseg

jieba.add_word( '凱特琳' )

jieba.del_word( '自定义词' )

test_sent = (

"李小福和李铁军是创新办主任也是云计算方面的专家; 什么是八一双鹿\n"

"例如我输入一个带“韩玉赏鉴”的标题，在自定义词库中也增加了此词为N类\n"

"「台中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。"

)

words = jieba.cut(test_sent)

print( '/' . join (words))

print( "=" *40)

result = pseg.cut(test_sent)

for w  in result:

   print(w.word,  "/" , w.flag,  ", " , end= ' ' )

print( "\n" +  "=" *40)

terms = jieba.cut( 'easy_install is great' )

print( '/' . join (terms))

terms = jieba.cut( 'python 的正则表达式是好用的' )

print( '/' . join (terms))

print( "=" *40)

# test frequency tune

testlist = [

( '今天天气不错' , ( '今天' ,  '天气' )),

( '如果放到post中将出错。' , ( '中' ,  '将' )),

( '我们中出了一个叛徒' , ( '中' ,  '出' )),

]

for sent, seg  in testlist:

   print( '/' . join (jieba.cut(sent, HMM=False)))

   word =  '' . join (seg)

   print( '%s Before: %s, After: %s' % (word, jieba.get_FREQ(word), jieba.suggest_freq(seg, True)))

   print( '/' . join (jieba.cut(sent, HMM=False)))

   print( "-" *40

test_sent = (

"李小福和李铁军是创新办主任也是云计算方面的专家; 什么是八一双鹿\n"

"例如我输入一个带“韩玉赏鉴”的标题，在自定义词库中也增加了此词为N类\n"

"「台中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。"

)

words = jieba.cut(test_sent)

print( '/' . join (words))

李小福/和/李铁/军是/创新办/主任/也/是/云计算/方面/的/专家/;/ /什么/是/八一双鹿/

/例如/我/输入/一个/带/“/韩玉赏鉴/”/的/标题/，/在/自定义词/库中/也/增加/了/此/词为/N/类/

/「/台中/」/正確/應該/不會/被/切開/。/mac/上/可/分出/「/石墨/烯/」/；/此時/又/可以/分出/來/凱特琳/了/

import sys

sys.path.append( "../" )

import jieba

jieba.load_userdict( "userdict.txt" )

jieba.add_word( '李铁军' )

test_sent = (

"李小福和李铁军是创新办主任也是云计算方面的专家; 什么是八一双鹿\n"

"例如我输入一个带“韩玉赏鉴”的标题，在自定义词库中也增加了此词为N类\n"

"「台中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。"

)

words = jieba.cut(test_sent)

print( '/' . join (words))

李小福/和/李铁军/是/创新办/主任/也/是/云计算/方面/的/专家/;/ /什么/是/八一双鹿/

/例如/我/输入/一个/带/“/韩玉赏鉴/”/的/标题/，/在/自定义词/库中/也/增加/了/此/词为/N/类/

/「/台中/」/正確/應該/不會/被/切開/。/mac/上/可/分出/「/石墨/烯/」/；/此時/又/可以/分出/來/凱特琳/了/。

print( "=" *40)

result = pseg.cut(test_sent)

for w  in result:

   print(w.word,  "/" , w.flag,  ", " , end= ' ' )

print( "\n" +  "=" *40)

terms = jieba.cut( 'easy_install is great' )

print( '/' . join (terms))

terms = jieba.cut( 'python 的正则表达式是好用的' )

print( '/' . join (terms))

print( "=" *40)  

# 结果

========================================

李小福 / nr ,  和 / c ,  李铁军 / x ,  是 / v ,  创新办 / i ,  主任 / b ,  也 / d ,  是 / v ,  云计算 / x ,  方面 / n ,  的 / uj ,  专家 / n ,  ; / x ,    / x ,  什么 / r ,  是 / v ,  八一双鹿 / nz , 

/ x ,  例如 / v ,  我 / r ,  输入 / v ,  一个 / m ,  带 / v ,  “ / x ,  韩玉赏鉴 / nz ,  ” / x ,  的 / uj ,  标题 / n ,  ， / x ,  在 / p ,  自定义词 / n ,  库中 / nrt ,  也 / d ,  增加 / v ,  了 / ul ,  此 / r ,  词 / n ,  为 / p ,  N / eng ,  类 / q , 

/ x ,  「 / x ,  台中 / s ,  」 / x ,  正確 / ad ,  應該 / v ,  不 / d ,  會 / v ,  被 / p ,  切開 / ad ,  。/ x ,  mac / eng ,  上 / f ,  可 / v ,  分出 / v ,  「 / x ,  石墨烯 / x ,  」 / x ,  ；/ x ,  此時 / c ,  又 / d ,  可以 / c ,  分出 / v ,  來 / zg ,  凱特琳 / x ,  了 / ul ,  。/ x ,

========================================

easy_install/ /is/ /great

python/ /的/正则表达式/是/好用/的

========================================

def add_word(self, word, freq=None, tag=None)
jieba.add_word('李铁军',tag='nr')修改后结果

========================================

李小福 / nr ,  和 / c ,  李铁军 / nr ,  是 / v ,  创新办 / i ,  主任 / b ,  也 / d ,  是 / v ,  云计算 / x ,  方面 / n ,  的 / uj ,  专家 / n ,  ; / x ,    / x ,  什么 / r ,  是 / v ,  八一双鹿 / nz , 

/ x ,  例如 / v ,  我 / r ,  输入 / v ,  一个 / m ,  带 / v ,  “ / x ,  韩玉赏鉴 / nz ,  ” / x ,  的 / uj ,  标题 / n ,  ， / x ,  在 / p ,  自定义词 / n ,  库中 / nrt ,  也 / d ,  增加 / v ,  了 / ul ,  此 / r ,  词 / n ,  为 / p ,  N / eng ,  类 / q , 

/ x ,  「 / x ,  台中 / s ,  」 / x ,  正確 / ad ,  應該 / v ,  不 / d ,  會 / v ,  被 / p ,  切開 / ad ,  。/ x ,  mac / eng ,  上 / f ,  可 / v ,  分出 / v ,  「 / x ,  石墨烯 / x ,  」 / x ,  ；/ x ,  此時 / c ,  又 / d ,  可以 / c ,  分出 / v ,  來 / zg ,  凱特琳 / x ,  了 / ul ,  。/ x ,

========================================

# test frequency tune

testlist = [

( '今天天气不错' , ( '今天' ,  '天气' )),

( '如果放到post中将出错。' , ( '中' ,  '将' )),

( '我们中出了一个叛徒' , ( '一' ,  '个' )),

]

for sent, seg  in testlist:

   print( '/' . join (jieba.cut(sent, HMM=False)))

   word =  '' . join (seg)

   print( '%s Before: %s, After: %s' % (word, jieba.get_FREQ(word), jieba.suggest_freq(seg, True)))

   print( '/' . join (jieba.cut(sent, HMM=False)))

   print( "-" *40)

结果：

========================================

今天天气/不错

今天天气 Before: 3, After: 0

今天天气/不错

----------------------------------------

如果/放到/post/中将/出错/。

中将 Before: 763, After: 494

如果/放到/post/中/将/出错/。

----------------------------------------

我们/中/出/了/一个/叛徒

一个 Before: 142747, After: 454

我们/中/出/了/一/个/叛徒

----------------------------------------

>>> import jieba

>>> print( '/' . join (jieba.cut( '如果放到post中将出错。' , HMM=False)))

Building prefix dict  from the  default dictionary ...

Loading model  from cache C:\Users\cuitbnc\AppData\Local\Temp\jieba.cache

Loading model cost 1.069 seconds.

Prefix dict has been built succesfully.

如果/放到/post/中将/出错/。

>>> jieba.suggest_freq(( '中' ,  '将' ), True)

494

>>> print( '/' . join (jieba.cut( '如果放到post中将出错。' , HMM=False)))

如果/放到/post/中/将/出错/。

>>> print( '/' . join (jieba.cut( '「台中」正确应该不会被切开' , HMM=False)))

「/台/中/」/正确/应该/不会/被/切开

>>> jieba.suggest_freq( '台中' , True)

69

>>> print( '/' . join (jieba.cut( '「台中」正确应该不会被切开' , HMM=False)))

「/台中/」/正确/应该/不会/被/切开

>>

>>> import jieba.posseg  as pseg

>>> words = pseg.cut( "我爱北京天安门" )

>>>  for word, flag  in words:

...    print( '%s %s' % (word, flag))

...

我 r

爱 v

北京 ns

天安门 ns

原理和用法

原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升。 基于 python 自带的 multiprocessing 模块， 目前暂不支持 Windows。

用法：

jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数

jieba.disable_parallel() # 关闭并行分词模式

例子：https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py

实验结果：在 4 核 3.4GHz Linux 机器上，对金庸全集进行精确分词，获得了 1MB/s 的速度，是单进程版的 3.3 倍。

注意：并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt。

作者： 白宁超，工学硕士，现工作于四川省计算机研究院，研究方向是自然语言处理和机器学习。曾参与国家自然基金项目和四川省科技支撑计划等多个省级项目。著有《自然语言处理理论与实战》一书。

作者博客官网：

https://bainingchao.github.io/

作者公众号，欢迎关注：