深度学习文本分类工具 CoolNLTK 发布

栏目: 软件资讯 · 发布时间: 6年前

内容简介:CoolNLTK 文本分类工具集 特点 多模型,相对统一的数据输入,方便效果对比 可直接用于生产 使用相对简单 已实现模型 TextCNN TextRNN CLstm 模型训练 1.train file 使用和fastText一样的数据输入 测试数据可以从fas...

CoolNLTK

文本分类 工具

特点

  1. 多模型,相对统一的数据输入,方便效果对比

  2. 可直接用于生产

  3. 使用相对简单

已实现模型

  1. TextCNN

  2. TextRNN

  3. CLstm

模型训练

1.train file

使用和fastText一样的数据输入

测试数据可以从fastText的代码中下载然后copy到./datasets/dbpedia目录下 具体方法, 参照fatText的文档,运行其中的classification-example.sh就能得到dbpedia.train 和dbpedia.test

注意:类别标签是从1开始的,因为在后面训练的时候需要做pad 0 的操作,为了避免混淆。

一个例子如下:

__label__7 , joseph purdy homestead
__label__13 , forever young ( 1992 film )
__label__11 , nepenthes ' boca rose
__label__6 , mv eilean bhearnaraigh

在train/main.sh指定相关的训练样本路径

TRAIN_FILE=./datasets/dbpedia/dbpedia.train
TEST_FILE=./datasets/dbpedia/dbpedia.test # 使用的模型 可选cnn, bilstm, clstm MODEL=cnn # 中间文件输出路径 DATA_OUT_DIR=./datasets/dbpedia/ # 模型输出路径 MODEL_OUT_DIR=./results/dbpedia/

2.embedding

生成word2vec的训练数据

./main.sh pre

训练词向量

./main.sh vec

3.map file

这一步产生需要的映射文件

./main.sh map

4.tfrecord

产生tfrecord 文件

./main.sh data

5.train

模型训练

./main.sh train

6.模型导出

导出成pb文件,可用Java,Go语言读取

./main export

模型使用

在predict.py中有例子,读取上面训练好导出的模型,和产生的vocab.json文件

TextRNN、TextCNN,CLstm 模型能共用这个模块

todo

  • 根据最新的tensorflow重构代码

  • 修改tfrecord 文件的格式,产生多分而不是一份

  • 添加tensorboard 

计划实现更多模型,包括但不限于下面这些

  1. HAM

  2. RCNN

  3. Recurrent Entity Network

  4. Dynamic Memory Network

[GitHub][码云]


【声明】文章转载自:开源中国社区 [http://www.oschina.net]


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Linux/Unix设计思想

Linux/Unix设计思想

甘卡兹 / 漆犇 / 人民邮电出版社 / 2012-3-28 / 39.00元

《Linux\Unix设计思想/图灵程序设计丛书》内容简介:将Linux的开发方式与Unix的原理有效地结合起来,总结出Linux与Unix软件开发中的设计原则。《Linux\Unix设计思想/图灵程序设计丛书》前8章分别介绍了Linux与Unix中9条基本的哲学准则和10条次要准则。第9章和第10章将Unix系统的设计思想与其他系统的设计思想进行了对比。最后介绍了Unix哲学准则在其他领域中的应......一起来看看 《Linux/Unix设计思想》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

SHA 加密
SHA 加密

SHA 加密工具

html转js在线工具
html转js在线工具

html转js在线工具