从零开始实现穿衣图像分割完整教程（附python代码演练）

来源 | TowardsDataScience

译者 | 小韩

时装业是人工智能领域很有前景的领域。 研究人员可以开发具有一定实用价值的应用。 我已经在这里展示了我对这个领域的兴趣，在那里我开发了一个来自Zalando在线商店的推荐和标记服装的解决方案。

在这篇文章中，我们会开发一个提取连衣裙的应用。 它输入原始的图像（从网络上下载或用智能手机拍照），并提取图像中的连衣裙。 分割的难点在于原始图像中存在了大量的噪声，但是我们会在预处理期间通过一个技巧来解决这个问题。

最后，您还可以尝试将此解决方案与之前引用的解决方案合并。 这允许您通过外出和拍摄时拍摄的照片，开发一个实时推荐和标记服装的系统。

数据集

最近有一项关于服装视觉分析和分割的Kaggle比赛。 这是一个非常有趣的比赛，但它并不适合我们。 我们的目标是从图像中提取连衣裙，因此这个数据集不太适合我们，因为它包含了比较多的冗余。 我们需要的是包含连衣裙的图像，因此最好自己来构建数据集。

我收集了网络上的一些图片，其中包含了在不同场景穿着不同类型的连衣裙的人。 然后需要创建蒙版，它在每个对象分割任务中都是必要的。

下面是我们的数据样本。 我从互联网上收集了一些原始图像，经过进一步剪切，将人与衣服分开。

图像分割示例

因为我们要将背景、皮肤和连衣裙进行分离，首先要将它们区分出来。 背景和皮肤是本问题中最相关的噪声源，我们要尽量减少它们的干扰。

通过手动分割来创建蒙版，如下图所示，简单的对蒙版进行二值化。

蒙版示例

最后一步，我们将所有的蒙版图像合并为三维的单个图像。 这张照片表示了原始图像的相关特征。 我们的目的主要是分离背景，皮肤和连衣裙，因此这个图像非常适合！

最终蒙版

我们对数据集中的每个图像重复这个过程，为每个原始图像提供三维的对应蒙版。

模型

我们可以很容易的建立模型，过程非常简单：

我们需要训练这样一个模型，该模型输入原始图像，可以输出它的三维蒙版，即分离皮肤、背景和衣服。 训练完成之后，当一个新的图像输入时，我们就可以将它分成三个不同的部分： 背景、皮肤和衣服。 我们只关注感兴趣区域（连衣裙），这样蒙版结合原始图像，就可以裁剪出我们需要的连衣裙。

我们使用UNet建立该模型，它经常用于类似的分割任务，而且很容易在Keras中实现。

在开始训练之前，要对所有的原始图像进行均值标准化。

结果和预测

在预测期间，当遇到高噪声的图像（背景或皮肤模糊等）时，模型开始动荡。 这种问题可以简单地通过增加训练图像的数量进行解决。 但我们也开发了一个巧妙的方法来避免这种问题。

我们使用 OpenCV 提供的 GrubCut 算法。 该算法利用高斯混合模型分离前景和背景。 通过它可以帮助我们找到图像中的人物。

我们只实现了简单的功能。 假设感兴趣的人站在图像的中间。

python def cut(img): img = cv.resize(img,(224,224)) ¨K5K

执行GrubCut结果

下面是结合使用GrubCut和UNet之后的结果：

GrubCut与UNet相结合得到了优秀的结果。

总结

在这篇文章中，我们为连衣裙分割开发了一套解决方案。 为了达到这个目的，我们使用了GrubCut和UNet。 我们计划在真实照片中使用这个解决方案，并根据它构建一个视觉推荐系统。

公众号后台回复 关键字 “ 0704 ” 可获取 代码github链接~