自然语言处理综论第三版笔记1

# __*__ coding=utf-8 __*__
#create by Yanjun Qain @2.14.2019
import re

#先定义模式字符串
patternString = re.compile(r" re\w*")

#待搜索目标文件
searchStr = "I recall that you are a good boy. But I'll redial the telephone."
#找到匹配模式的字符串存入列表中
searchResult = re.findall(patternString,searchStr)
#输出符合模式的单词
for i in searchResult:
    print(i)

输出结果为：
     recall
     redial

从运行结果中可以看到，可以检索到所有满足条件的字符。需要注意的是，python正则表达式中并没有使用"\"标明是正则表达式标记，而是使用表达式前的字符r标识该表达式为正则表达式。
高级表达式
通配符：.单个字符。 \w 字母 \W非字母 \d 数字 \D非数字 \s 空格表示含义如[空白 \r \t \n \f]等 \S非空格字符。
个数表示字符： * 出现零次或者多次 +出现一次或多次 ？出现零次或一次{n}出现n次 {n,m}出现最少n最多m次 {n,}最少出现n次 {,m}最多出现m次
转义字符： \n换行 \t tab符号
书中给出了很多例子。我这里就不盗用了。
2.2 单词
讨论单词时很重要的两个内容一个是什么是单词，另外一个是单词数量和语料库大小的关系是什么。
什么是单词这个问题包含（1）标点符号是否是单词。在很多情况下标点符号发挥着很大作用比如，意群的划分，句子的语态（陈述、感叹、疑问等）。因此一般处理自然语言时，可以考虑将标点符号计入考虑范围。（2）同时在处理语音识别问题时断断续续（broken-off）的话语也需要考虑进来。（3）大小写有时可以表示专有名词，因此如果要进行语段规范化，也应充分考虑。（4）提取词干有助于减小词典数量。
与语料库对应的词典内单词数量是与语料库的大小呈正比关系的。可以用如下公式来表明这种关系：

其中V是词典内单词的数量，k为常系数，β为从0.67到0.75的一个参数。
2.3 语料库
语言不是凭空出现的(Words don't appear of nowhere.)。我们研究自然语言必须借助语料库（corpus），但是不同的语料库收到其来源的不同会有不同的风格，比如说受到文本题材的影响，作者的影响，时代的影响，来源国家的影响（不同的国家有不同的语言使用风格）。 因此，使用语料库进行训练学习时最好使用与目标数据相同风格的语料库进行训练
2.4 文本规范化（Text Normalization）
文本的规范化最基本的形式有以下几种：1、分词；2、词形规范化；3、断句。Unix操作系统给出了分词和规范化的一般工具， 我没有unix操作系统，所以没试。
我们在考虑分词时，还需要考虑到标点符号，因为有些标点符号的应用不是那么简单比如Ph.D这里的句号，就不是句子的分割，而是单词中的内容。这样的例子还有很多，都需要我们注意。另外在数字中也要很多需要注意的地方例如55.30这里的句号，55,555.00这里的逗号。
词性规范化要考虑词干的提取（不同的语态中）和缩写的还原如you're 可以分成you are。另外，分开写的单词不代表就是分开的两个单词如New York。这里可以使用命名实体检测（named entity detection）来找出代表姓名，日期，组织等名词的实体。对于同一单词的不同拼法，在词形归并中也要注意。例如USA和US基本可以认为等同。
应该注意的是，文本规范化的算法应该是能高效运行的。
中文分词与英文分词大不相同可以使用最大匹配算法。这是一个递归算法，最大匹配算法在英文分词中效果很差，但在中文分词中可以取得较好的效果。算法如下：

该算法在英文分词中效果不好的原因主要是英文的编辑距离太大。（编辑距离下个笔记专门介绍）。
词库缩减（collapsing words），词库缩减的方法主要是词形归并和词干提取，这里边用到的算法是BPE算法。算法如下：

连同下一节的最小编辑距离算法我们介绍一次Text Normalization算法专题。