nodejs在自然语言处理中的一些小应用

栏目: Node.js · 发布时间: 6年前

内容简介:nodejs做自然语言处理是非常可行的,这次我做了一些小小的尝试,一起来体验一下吧。因为还保持着对自然语言处理的那份热爱,最近没事的时候会把毕业论文翻出来看(毕业论文的课题就是关于自然语言处理的),然后在我的新博客中加入了一些相关的处理,主要做了以下几个方面:下面给出自动输出内容标签的结果图:

nodejs做自然语言处理是非常可行的,这次我做了一些小小的尝试,一起来体验一下吧。

因为还保持着对自然语言处理的那份热爱,最近没事的时候会把毕业论文翻出来看(毕业论文的课题就是关于自然语言处理的),然后在我的新博客中加入了一些相关的处理,主要做了以下几个方面:

  1. 对每一篇文章进行快速的内容理解,根据标题和内容,输出多个内容标签;​

  2. 对文章按照内容进行自动分类,为文章聚类、文本内容分析等提供基础;​

  3. ​根据文章标题、用户自定义标签、以及人工智能获得到的标签,进行相似度计算;

  4. 在阅读一篇文章的时候,通过相似度计算的结果,推荐相关的文章給用户。

下面给出自动输出内容标签的结果图:

nodejs在自然语言处理中的一些小应用

博客系统

​运行环境:centos9 + docker

开发语言:nodejs​

数据库:MariaDB

开发框架:eggjs + ​nunjucks(模板引擎)

这次也是我第一次做后端渲染的博客,ajax的网站,做seo是真的不好做...

然后这次也是我第一次正儿八经的用了下阿里大佬们的eggjs,这种“洋葱模型”的框架,我真的是超级喜欢,不管是用es7优雅地处理js异步,还是经典的MVC,还是框架的插件机制等等。确实是超级赞的。如果有喜欢nodejs的同志,强力推荐此框架。

推荐系统

推荐系统是我们平时在用软件,或者网站中经常会遇见的,比如资讯类的,百度feed、头条、qq看点等;电商类的,阿里,京东等等,还有抖音什么的,很多很多。

一个好的推荐系统可以带来更多的收益,but一个不好的推荐系统往往会得到别人的吐槽。之前在脉脉看到某公司CTO收到脉脉推荐的安卓工程师的推荐职位,遭到吐槽。百度李彦宏某天因为没有在feed收到一条重要的科技资讯信息,而吐槽自家员工。这样的事情通常会很多。

我觉得一个好的推荐系统应该更“懂”人,假如我最近一个月前买了一部手机,我希望能给我推送一些手机配件,而不是在给我推送一部手机,这个时候我买手机配件的概率是远远大于在买一部手机的。现在很多推荐系统,都是通过用户画像,加上各种埋点,用户操作数据,从而进行分析推送的。我觉得未必不可以在此基础上加上情感分析,多一个维度,或许能够得到更准确的数据。

说了这么多,我觉得还是有很多瓶颈存在的:neutral_face:,现在的AI就像很多年前的移动互联网,正处于上升期。 我们还有很多事情可以做。

下面进入今天的真题..

这次做的文章推荐系统,分享一些细节给大家:

nodejs在自然语言处理中的一些小应用

图中右侧部分就是我们这个文章推送系统的推送结果,我们用不同的颜色标注了这篇文章和当前正在浏览的文章的关联度,颜色越深表示关联度越高,置信度越高,权重越大。

这个推荐系统中主要使用了上面所说的第三点:相似度计算;使用的数学模型为空间向量模型,空间向量模型能够将非结构化的文本数据转换成向量形式,表示成向量形式之后能为之后的处理过程打下良好的数学基础。

空间向量模型,帮助我们把每篇文档转化为一个多维的空间向量形式:

nodejs在自然语言处理中的一些小应用

其中,向量 W1i表示第一个词占文档 Ci的比重,向量 W2i表示第二个词占文档 Ci的比重,依次类推,向量 Wti表示第 t 个词占文档 Ci的比重。

那么两篇文章的相似度,我们就可以计算他们对应向量的夹角余弦值来进行计算:

nodejs在自然语言处理中的一些小应用

两个文档的余弦值越接近 1,这两个文档则越相似。

下面给出计算相似度的关键代码:

nodejs在自然语言处理中的一些小应用

以上所述就是小编给大家介绍的《nodejs在自然语言处理中的一些小应用》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Ajax for Web Application Developers

Ajax for Web Application Developers

Kris Hadlock / Sams / 2006-10-30 / GBP 32.99

Book Description Reusable components and patterns for Ajax-driven applications Ajax is one of the latest and greatest ways to improve users’ online experience and create new and innovative web f......一起来看看 《Ajax for Web Application Developers》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器