“不变信息聚类”:满足你对无监督深度聚类的一点幻想,Invarient Information Clustering 深度网络...

栏目: 编程工具 · 发布时间: 5年前

内容简介:人类是如此擅长“无监督”,以至于我们经常用肤浅的认知作出荒谬的结论 — David 9人类擅长“无监督”,往往是因为“滥用”而强行结合传统聚类的深度学习方法,缺乏语义过滤,谁能保证选取的特征都是对聚类任务有意义的?(回过头还得做

人类是如此擅长“无监督”,以至于我们经常用肤浅的认知作出荒谬的结论 — David 9

人类擅长“无监督”,往往是因为“滥用” 过往的经验 妄下结论; 而AI模型的“无监督”,是对 数据 “妄下”的结论。自从有了深度网络的“大锤”,曾经传统聚类的钉子(k-means, 谱聚类等)似乎都被敲了一遍。

“不变信息聚类”:满足你对无监督深度聚类的一点幻想,Invarient Information Clustering 深度网络...
图像聚类和图像分割的无监督,来自:https://arxiv.org/pdf/1807.06653.pdf

而强行结合传统聚类的深度学习方法,缺乏语义过滤,谁能保证选取的特征都是对聚类任务有意义的?(回过头还得做 PCA 和白化)

别忘了, 人类妄下的结论,都是有语义因果(我们有内在逻辑) 。而机器对数据妄下的结论,缺乏因果联系。

为了摒弃传统聚类和神经网络的强拼硬凑, IIC(不变信息聚类) 被提出 。IIC没有用传统聚类,而是对CNN稍作改动,用 互信息最大化目标函数双输入two head )CNN的架构:

“不变信息聚类”:满足你对无监督深度聚类的一点幻想,Invarient Information Clustering 深度网络...
IIC架构,来自:https://arxiv.org/pdf/1807.06653.pdf

重要的地方有3点,

一, CNN网络用了 双输入 (不要误以为用了两个CNN,注意虚线部分是共享权重的)。为了做到无监督,模型每拿到一张图片 x ,都对这张图片做一次转换操作( 平移、旋转或crop )得到另一张图片 x’ 。因此,训练时是 两次正向传播 + 一次反向传播 的模式,把x,x’两张图片的两个输出 zz’ 一次性得到再做 loss 计算。

二, loss采用了 互信息最大化目标函数

“不变信息聚类”:满足你对无监督深度聚类的一点幻想,Invarient Information Clustering 深度网络...

为了让模型总能在图像中辨认出(过滤出)相同类别的对象,与交叉熵(cross entropy)不同的是, 最大互信息 诱导出的z不会是杂乱无章的(cross entropy是对所有位一起做loss惩罚的)。 最大互信息 会类似 one hot key诱导每一位独立代表一个类别

三,IIC可以用overclustering做类别更多的聚类(把那些难以聚类的对象放在更多的抽屉)。对IIC来说只要把输出的 z,z’ 维数进行扩大 。

综上,IIC极力让模型学到:“ 当对象类别一致时,网络输出z也应该非常相似 ”,而最大互信息使得 网络输出z 有了更强的语义(对应的类别)。

比较违反直觉的是,这种无监督纯粹是把每张图像平移,旋转或crop得到 成对图片 的,模型最后能在这些成对图片中找到较好的聚类模式:

“不变信息聚类”:满足你对无监督深度聚类的一点幻想,Invarient Information Clustering 深度网络...
来自:https://github.com/xu-ji/IIC

如果你有更深刻的见解,别忘了联系David,联系方式在下面二维码:

参考文献:

  1. Invariant Information Clustering for Unsupervised Image Classification and Segmentation
  2. https://github.com/xu-ji/IIC

本文采用 署名 – 非商业性使用 – 禁止演绎 3.0 中国大陆许可协议 进行许可。著作权属于“David 9的博客”原创,如需转载,请联系微信: david9ml,或邮箱:yanchao727@gmail.com

或直接扫二维码:

“不变信息聚类”:满足你对无监督深度聚类的一点幻想,Invarient Information Clustering 深度网络...

以上所述就是小编给大家介绍的《“不变信息聚类”:满足你对无监督深度聚类的一点幻想,Invarient Information Clustering 深度网络...》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

创新

创新

理查德·福斯特 / 王宇锋 / 中信出版社 / 2008-10 / 32.00元

《创新:进攻者的优势》内容简介:为什么一流企业突然间将它们的市场拱手让与新的竞争者?要避免这样的命运,需要无情地抛弃那些过去使它们成功的技能和产品,那么究竟哪些企业能够做到这一点呢?企业如果总是墨守成规、因循守旧,那么长期下去,必然无法以市场的速度及规模进行革新或创造价值。这样的企业会像得州仪器、施乐等市场领先者一样,被一些资源较少、技术较差、市场支配力较弱的竞争对手超越,而这些所谓进攻者的优势,......一起来看看 《创新》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具