nodejs在自然语言处理中的一些小应用

栏目: Node.js · 发布时间: 6年前

内容简介:nodejs做自然语言处理是非常可行的,这次我做了一些小小的尝试,一起来体验一下吧。因为还保持着对自然语言处理的那份热爱,最近没事的时候会把毕业论文翻出来看(毕业论文的课题就是关于自然语言处理的),然后在我的新博客中加入了一些相关的处理,主要做了以下几个方面:下面给出自动输出内容标签的结果图:

nodejs做自然语言处理是非常可行的,这次我做了一些小小的尝试,一起来体验一下吧。

因为还保持着对自然语言处理的那份热爱,最近没事的时候会把毕业论文翻出来看(毕业论文的课题就是关于自然语言处理的),然后在我的新博客中加入了一些相关的处理,主要做了以下几个方面:

  1. 对每一篇文章进行快速的内容理解,根据标题和内容,输出多个内容标签;​

  2. 对文章按照内容进行自动分类,为文章聚类、文本内容分析等提供基础;​

  3. ​根据文章标题、用户自定义标签、以及人工智能获得到的标签,进行相似度计算;

  4. 在阅读一篇文章的时候,通过相似度计算的结果,推荐相关的文章給用户。

下面给出自动输出内容标签的结果图:

nodejs在自然语言处理中的一些小应用

博客系统

​运行环境:centos9 + docker

开发语言:nodejs​

数据库:MariaDB

开发框架:eggjs + ​nunjucks(模板引擎)

这次也是我第一次做后端渲染的博客,ajax的网站,做seo是真的不好做...

然后这次也是我第一次正儿八经的用了下阿里大佬们的eggjs,这种“洋葱模型”的框架,我真的是超级喜欢,不管是用es7优雅地处理js异步,还是经典的MVC,还是框架的插件机制等等。确实是超级赞的。如果有喜欢nodejs的同志,强力推荐此框架。

推荐系统

推荐系统是我们平时在用软件,或者网站中经常会遇见的,比如资讯类的,百度feed、头条、qq看点等;电商类的,阿里,京东等等,还有抖音什么的,很多很多。

一个好的推荐系统可以带来更多的收益,but一个不好的推荐系统往往会得到别人的吐槽。之前在脉脉看到某公司CTO收到脉脉推荐的安卓工程师的推荐职位,遭到吐槽。百度李彦宏某天因为没有在feed收到一条重要的科技资讯信息,而吐槽自家员工。这样的事情通常会很多。

我觉得一个好的推荐系统应该更“懂”人,假如我最近一个月前买了一部手机,我希望能给我推送一些手机配件,而不是在给我推送一部手机,这个时候我买手机配件的概率是远远大于在买一部手机的。现在很多推荐系统,都是通过用户画像,加上各种埋点,用户操作数据,从而进行分析推送的。我觉得未必不可以在此基础上加上情感分析,多一个维度,或许能够得到更准确的数据。

说了这么多,我觉得还是有很多瓶颈存在的:neutral_face:,现在的AI就像很多年前的移动互联网,正处于上升期。 我们还有很多事情可以做。

下面进入今天的真题..

这次做的文章推荐系统,分享一些细节给大家:

nodejs在自然语言处理中的一些小应用

图中右侧部分就是我们这个文章推送系统的推送结果,我们用不同的颜色标注了这篇文章和当前正在浏览的文章的关联度,颜色越深表示关联度越高,置信度越高,权重越大。

这个推荐系统中主要使用了上面所说的第三点:相似度计算;使用的数学模型为空间向量模型,空间向量模型能够将非结构化的文本数据转换成向量形式,表示成向量形式之后能为之后的处理过程打下良好的数学基础。

空间向量模型,帮助我们把每篇文档转化为一个多维的空间向量形式:

nodejs在自然语言处理中的一些小应用

其中,向量 W1i表示第一个词占文档 Ci的比重,向量 W2i表示第二个词占文档 Ci的比重,依次类推,向量 Wti表示第 t 个词占文档 Ci的比重。

那么两篇文章的相似度,我们就可以计算他们对应向量的夹角余弦值来进行计算:

nodejs在自然语言处理中的一些小应用

两个文档的余弦值越接近 1,这两个文档则越相似。

下面给出计算相似度的关键代码:

nodejs在自然语言处理中的一些小应用

以上所述就是小编给大家介绍的《nodejs在自然语言处理中的一些小应用》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

知识的边界

知识的边界

[美] 戴维·温伯格 / 胡泳、高美 / 山西人民出版社 / 2014-12-1 / 42.00元

大数据时代反思知识 因为事实不再是事实,专家随处可见 所有确定性都被连根拔起,话题再无边界,没有人对任何事情能达成一致。 在互联网的引领下,知识现在已经具有了社交性,流动且开放。温伯格向我们展示了这些特点如何可以为我们所用。 ——马克•贝尼奥夫(云计算之父,著有《云攻略》) 这本富有洞见的著作,奠定了温伯格作为数字时代最重要的思想家之一的地位。如果你想要理解信息洪流涌......一起来看看 《知识的边界》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器