如何通过人工智能“避开”内容安全的“坑”？

10月16日，2018年 AIIA人工智能开发者大会在苏州举办。会议邀请了国内外人工智能产业知名人物、国家政府主管部门、行业内顶尖企业、知名学者代表、开源社区优秀贡献团队及个人，共同交流了技术现状趋势、生态建设经验以及开源社区运营。

网易云易盾CTO朱浩齐

而基于深度学习模型的图像分类，则可以实现更高的准确率，以及图像、内容文本实时处理。实时图像处理的背后是这样的一个技术架构在支撑：下载集群和并行计算，然后再经过色情模型、暴恐模型、涉政模型、广告模型等判断处理，然后给出结果处理。这一套流程下来，平均时长仅在500ms以内。

在文本内容识别上，之前的传统技术存在着各种各样的问题：

• 变化多：垃圾变种形式多样，内容重复率低；规则系统需要及时维护庞大的规则库才能较好的拦截，人工审核量巨大。

• 内容短：1~2句话居多，词汇量少；常规的文本分类模型不适用。

• 多语义：部分敏感词有多重语义；容易误判正常语境下的内容

• 词序敏感：同样的词在不同词序下会有不同的语义；现有方法无法较好地处理这种问题。

而人工智能技术的应用则可以进行准确实时的文本处理，包括垃圾内容变种智能识别与修正、多意义上下文短文本垃圾检测、Deep Learning垃圾检测等。
具体是：

• 垃圾内容变种智能识别与修正，能够结合上下文，智能识别同音、拼音、形近、拆字、符号等变形内容。

通过事先收录的拼音库、形近字库、拆字库、符号库等字典，找出有变种嫌疑的内容，再结合上下文语境信息，使用Machine Learning技术判断是否变种并进行修正。

汉字有几万个，人工收集形近字耗时耗力，而且不全面。通过算法计算汉字的相似度，快速找出所有的形近字，再进行人工确认，保证精准度。

同样一个“威”信，一个是“威”信的变种，一个不是，必须结合上下文语境进行判断。

• 多意义上下文短文本垃圾检测，使用语义向量的方法识别垃圾语境，再结合垃圾关键词识别短文本垃圾，有效解决词汇量少、多义词等技术难点。

在这部分，基于深度学习模型的图像分类，易盾会使用自主研发的rankDoc算法自动挖掘出不同垃圾类别的数据集。另外，还会在不同垃圾类别的数据集上分别学习词向量模型，利用这些模型，结合机器学习方法在不同垃圾类别数据集上挖掘出每个词对应的上下文信息。
此外在检测时，对包含敏感词的文本会根据上下文信息和人工定制的规则，判断敏感词是否为垃圾语义，并进一步给出全文的检测结果。
检测样例如下所示：

为此，网易云易盾在人工智能技术的定制、算法、工程等方面进行了继续优化。

首先是提供了更为精细粒度的分类模型，筛选内容具体到 6 大类、 20+ 场景、 80+ 小类，在违规审查上更为严苛。此外，建立了人 - 物交互检测网络，关注人体有关部位及其附近物体，提取关键线索信息，能够较好地识别出“人 - 动作 - 物体”三元组信息。

如上所示，人-物交互检测模型在场景理解上的表现，包括视觉注意力机制（attention）、视觉关系检测（visual relationship detection）以及“人-物”交互检测（human-object interactions）。
通过持续的对抗训练，网易云易盾基于深度学习模型的图像分类技术不仅可以解决微小扰动对于神经网络的欺骗，而且可以对模型上线流程、对抗样本进行准确的稳定性评估。

图片来源：Beyond Adversarial Learning-Data Scaling Attacks in Deep Learning Applications

此外，音频处理也是其中的重要影响因素。图像分类技术能够基于不同的语音场景分类，对语音事件进行检测和识别，并且返回文本进行文本过滤。
基于以上的功能，网易云易盾还做了定制化的模型，根据业务需要，将图像处理分为预处理、模型、策略三阶段。预处理阶段输入图像特征分析或质量分析后，会根据需要进入基础服务阶段或定制服务阶段。模型阶段下，基础分类网络下数据将根据图像全局特征网略、一般网络、局部特征浅层网略进行模型整合和目标检测，定制分类网络则直接进入目标检测。

此外，网易云易盾也在语种识别、处理效率、安全标准提升、审核团队运营等方面不断实现能力提升，包括增加或即将增加藏语、维语、泰语、印度语等语种识别；提升直播、短视频的处理效率；密切配合监管部门，不断完善内容安全标准；并且不断优化审核系统、培养审核团队。

点击免费体验网易云易盾内容安全解决方案 。