内容简介:作为人工智能的一大关键,NLP(自然语言处理)技术正越来越多进入实际应用场景。尤其在法律、金融、教育等文本密集的领域,利用NLP技术处理和挖掘文本的需求越来越明显。今年5月,在最高人民法院信息中心的指导下,中国司法大数据研究院等共同举办了“中国法研杯”司法人工智能挑战赛。以刑事案件定罪量刑为背景,比赛设置了罪名预测、法律条款推荐、刑期预测三项任务,也迎来了微软、阿里巴巴等在内的600余支队伍参赛。
作为人工智能的一大关键,NLP(自然语言处理)技术正越来越多进入实际应用场景。尤其在法律、金融、教育等文本密集的领域,利用NLP技术处理和挖掘文本的需求越来越明显。
今年5月,在最高人民法院信息中心的指导下,中国司法大数据研究院等共同举办了“中国法研杯”司法人工智能挑战赛。以刑事案件定罪量刑为背景,比赛设置了罪名预测、法律条款推荐、刑期预测三项任务,也迎来了微软、阿里巴巴等在内的600余支队伍参赛。
其中,汉王科技也派出了以旗下汉王数字首席数据科学家聂昱为首的团队参赛, 基于NLP和深度学习技术,汉王从国内外600余支队伍中脱颖而出,在罪名预测、法律条款推荐和总分项目中斩获三座奖杯。
此次“法研杯”上的佳绩,也使得在NLP领域一向深藏不露的汉王科技,在司法应用上闯入了主流视野,跻身国内领先行列。
始于OCR,深入NLP自然语言处理
说起汉王科技,很多人的第一反应大概会是OCR领域的大佬。
自从80s,脱胎于中科院自动化所文字识别实验室,汉王科技很早就开始进行脱机手写汉字识别系统的研究,并在1995年研发出第一支电磁笔,1998年作为微软的中国技术供应商、向微软进行手写识别技术的授权。到2001年,汉王科技手写识别技术已获得国家科技进步一等奖,2006年,OCR技术获得国家科技进步二等奖……
作为业界最早致力于OCR识别技术研发和应用的公司之一,汉王科技其中一项重要应用就是文档电子化。 2013年,汉王科技将文档电子化的触角延伸至图书馆、档案馆,银行、医院、法院等多个国家级项目。
在OCR技术领域,汉王科技一直是积极探索的先行者。
但在这些具体项目的实施中,汉王科技也开始逐渐意识到,文档电子化的“江山”虽已打下,但这只是完成了知识、信息应用的一部分,形成的电子文本是非结构化数据。
也就是说,只有OCR是不够的。
OCR技术是光学字符识别的缩写,是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息,再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。
但仅仅将纸质文档变成数字化文本,这样的电子文档没有对文本进行挖掘、知识之间缺乏关联,被电脑检索也只是对比相同字符搜集信息。 要将海量的电子文档智慧化,就必须将文字信息形成结构化数据,只有形成结构化数据,信息和知识之间形成关联,才能为大数据应用服务。
作为汉王数字首席数据科学家,聂昱也认为,“静态的文字是没有生命的”,扫描出来了,但不能理解其中的意思,依旧无法进行智慧化的应用。
而要将文档的非结构化数据进行结构化处理,转化为技术术语,就要用到NLP自然语言处理技术,这也是未来计算机科学领域与人工智能领域中的一个重要方向。
赶上首班车,汉王科技抢先布局NLP领域
NLP研究人与计算机交互的语言问题。从语音识别,到语义理解,从而真正做到可以交互。业界普遍认为,NLP是人工智能中最难的部分,也是决定AI是否智能的关键因素。
2015年,得益于深度学习算法的快速进展,大规模社交文本数据以及语料数据的不断积累,NLP技术有了飞跃式的发展。在这一年,各大厂商致力于解决语音识别、语义理解、智能交互、搜索优化等领域更复杂、困难的问题,持续不断地对原有产品的算法、模型进行优化与革新。
汉王科技也在2016年,顺势开始了自己在NLP技术方面的布局。
2016年,汉王科技与武汉大学的自然语言处理团队联合进行文档大数据化研发工作,力图突破NLP技术,建立起自己的文档大数据库体系,开发各种新的应用,主攻包括文本分类、聚类、结构化数据抽取、知识抽取、知识图谱、机器阅读等在内的NLP技术。
(汉王科技的NLP技术积累)
具体而言, 文本分类, 可以推断出给定的文本(句子、文档等)的标签,如按照“体育”、“音乐”等标签进行划分; 文本聚类, 是指自动发现一些相似的文章,并聚合。聂昱介绍道,文本分类和聚类两项技术较为初级,目前已经很成熟。
结构化数据抽取,则是指计算机自动解析文本,并识别其中的关键要素。在金融、司法、教育等文本密集的行业,抽取关键信息就很有必要。如从上市公司的财报中,抽取财务数据、股东变更情况等给股民或投资机构,以便其直观阅读、分析等。
知识图谱,是从文字中获取知识,将其组织成知识图谱。相对各种机器学习算法在预测强、描述能力弱的特点,知识图谱的描述能力上占优势,可用于精准查询、信息聚合、分析推理。
机器阅读,即教会机器学会阅读理解文本数据。目前,汉王已将机器阅读应用到金融文本、档案、合同等方面,不仅可以完成基于阅读内容的问答,还可以把内容中的知识与信息做提炼与抽取,用于进一步的分析和挖掘。
推进NLP行业应用,汉王科技下了一盘人工智能大棋
不仅有技术,汉王科技高级副总裁李志峰表示,汉王在大数据方向的NLP技术积累,还通过各个子公司,应用到医疗、法院、银行及图书馆等领域。
2016年,汉王科技收购了在医疗和法院的文档信息化方面颇具竞争力的影研科技,布局医疗和法院文档大数据市场。
作为从事行业档案信息化与流程服务的公司,影研科技为司法、医疗、社保、不动产等领域内的千余家公司,提供了全业务链条的文档管理服务。
在对北京法院系统的服务上,影研科技采用基于模式识别和深度学习的OCR技术,对复印件、各种证照材料等复杂版面内容进行高准确率识别;依靠NLP技术,对卷宗内关键要素内容进行精准提取;依赖大数据技术,实现海量数据的高效检索。
在OCR、NLP和大数据技术的基础上,影研科技形成了诉讼档案随案同步生成、诉讼档案智能流转、集约归档、库房存储四大服务环节,实现了对北京三级法院的全覆盖。
而在此前古籍、文献识别的基础上,结合近年来在知识图谱方面深入拓展的技术优势,汉王也开始对文献资料进行智慧管理。
在对文史出版社丛书文献进行知识加工过程中,汉王通过从文献中碎片化抽取、清洗、归集、融合得到基础数据,深度加工挖掘得到人物、地点、机构、事件类的知识条目,再基于知识条目构建人物库、地点库、机构库、事件库等知识资源库,并通过关系定义实现跨类别的知识关联,提供了超越图书内容信息的深度知识服务。
(汉王科技知识图谱检索示例)
从2016年开始NLP的技术积累,到各子公司的行业应用,汉王科技在NLP领域,形成了从技术研发,到法院、医院、图书馆、档案馆、银行等多行业应用的闭环,各子公司也在技术和场景应用的协同中,形成了良好的联动效应。
对于汉王科技在NLP上的布局,李志峰也表示,近几年来,汉王科技在NLP投入很大,目前NLP方兴未艾,汉王科技的布局也是“小荷才露尖尖角”。 未来布局的优势,随着NLP技术和市场的打开,还会不断显现。
聂昱也认为,人工智能目前正处于从感知智能向认知智能过渡阶段。现在NLP领域的技术难点仍然很多,但对自然语言的深层次认知的追求也许会激励并引发算法技术的突破性进步。
据2018全球人工智能技术成熟度Gartner曲线,NLP、深度学习、机器学习等目前正处于顶峰期,并预计在未来5-10年内继续保持热度。
“乐观地期待,未来NLP会出现很大的技术进展,甚至出现突破深度学习框架的进展。语言比图像更复杂,语言处理好了,人工智能时代可能就真的到来了。”聂昱说道。
可以想象,随着NLP的技术发展,及场景的不断深入,文本应用上将产生新的变革:未来,法院法律文档大数据平台将可以为法律工作者提供海量的同类案例参考;而在文献资料上,可以通过知识图谱等提供超越档案内容信息的深度知识服务……在文档电子化上,汉王将带领人们先行触摸到人工智能的曙光。
版权声明
凡来源为亿欧网的内容,其版权均属北京亿欧网盟科技有限公司所有。文章内容系作者个人观点,不代表亿欧对观点赞同或支持。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- 三大圈层下,汉王科技的安防打法
- 不受限对抗样本挑战赛介绍
- 国双,从2018全球AI挑战赛归来
- 百度BSRC SQL注入挑战赛部分writeup
- CVPR 2019 CLIC 图像压缩挑战赛冠军方案解读
- 第五届大学生RDMA编程挑战赛正式开赛
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。