【内含论文干货】让AI训练AI，阿里浙大 “AI训练师助手”成果被CVPR 2020接收

栏目: IT技术 · 发布时间: 4年前

内容简介：不久前，人力资源社会保障部发布了一种炙手可热的新职业：AI训练师。没想到，浙江大学与阿里安全的人工智能训练师马上创造出一个 “AI训练师助手”，高效打造AI深度模型，应对海量应用场景的增加，让AI训练模型面对新场景时不用从头学习，直接从已经存在的模型上迁移，迅速获得别人的知识、能力，成为全新的AI模型，而且能将模型周期从一个月缩短为一天。随后，阐述这种让AI训练AI，提升模型生产效率的论文被计算机视觉顶会CVPR 2020 接收(Oral)。现在，视频、直播成为互联网内容消费的重要载体，内容创作爆发，创作形

不久前，人力资源社会保障部发布了一种炙手可热的新职业：AI训练师。没想到，浙江大学与阿里安全的人工智能训练师马上创造出一个 “AI训练师助手”，高效打造AI深度模型，应对海量应用场景的增加，让AI训练模型面对新场景时不用从头学习，直接从已经存在的模型上迁移，迅速获得别人的知识、能力，成为全新的AI模型，而且能将模型周期从一个月缩短为一天。随后，阐述这种让AI训练AI，提升模型生产效率的论文被计算机视觉顶会CVPR 2020 接收(Oral)。

现在，视频、直播成为互联网内容消费的重要载体，内容创作爆发，创作形式自由度高带来了许多潜在安全威胁。好消息是，AI深度模型被大规模用于多媒体内容的识别、检测、理解上，用以狙击含有不良内容的传播。为了提升检测的准确性，面向不同场景必须使用不同的AI模型。但是，由于媒体场景、细分领域多，如何才能高效生产不同AI 深度模型?

目前实现这一目标最流行的方法是迁移学习。浙江大学和阿里安全发现，两个预训练深度模型所提取的特征之间的迁移能力可由它们对应的深度归因图谱之间的相似性来衡量。相似程度越高，从不同的预训练深度模型中获得的特征相关性就越大，特征的相互迁移能力也就越强。而且，“AI训练师助手”还知道从什么模型迁移知识，用模型的哪个部分迁移能最好地完成任务。也就是说，他们发现了让小白模型向AI深度模型学习的高效学习方法。

问题：如何才能取得最优迁移效果

得益于大量高质量标注数据、高容量的模型架构、高效率的优化算法以及高性能计算硬件的发展，过去十年里深度学习在计算机视觉、自然语言处理以及生物信息学等领域取得了举世瞩目的进步。随着深度学习取得了前所未有的成功，越来越多的科研人员和工业工作者愿意开源他们训练好的模型来鼓励业界进一步的研究。目前，预训练好的深度学习模型可以说是无处不在。

阿里安全图灵实验室高级算法专家析策认为，我们不仅处在一个大数据时代，同时也正在步入一个“大模型”时代。

与大数据相似，海量模型形成的模型仓库也蕴含了巨大的潜在价值。这些预训练的深度模型已经消耗了大量的训练时间以及大规模高质量的标注数据等昂贵的计算资源。如果这些预训练的模型能够被合理地重新使用，那么在解决新任务时的对训练时间以及训练数据的依赖就会显著降低。目前实现这一目标最流行的方法就是迁移学习。在基于深度模型的跨任务的迁移学习中，模型微调是一种使用最广泛并且有效的方法。

该方法以一个预先训练的模型作为起点，固定模型的一部分参数以降低模型优化空间，利用新任务有限的数据训练剩余的参数，使得模型能够在新任务上获得成功。

虽然这种方法在一些具体问题中取得了一定的成效，但是当前这些迁移学习方法忽略了两个重要的问题：面对海量的预训练好的深度模型，选择哪个模型解决当前任务能够取得最好的效果;给定一个预训练好的模型，应该固定哪些层的参数以及优化哪些层才能够取得最优的迁移效果。

目前的模型选择通常是盲目地采用ImageNet的预训练模型。然而，ImageNet预训练的模型并不总是对所有任务产生令人满意的性能，特别是当任务与ImageNet数据上定义的任务有显著差异时。而模型微调时参数优化临界点的选择往往依赖于经验。但是，由于最优的优化临界点取决于各种因素，如任务相关性和目标数据量等，依赖经验做出的选择往往很难保证最优。

不同任务下深度神经网络提取特征的可迁移性

为了解决上述问题，浙江大学和阿里安全发起了这项研究：在不同任务下训练的深度神经网络提取的特征之间的可迁移性。Zamir等人[1]对不同任务间的迁移关系作了初步的研究。他们提出了一种全计算的方法，称为taskonomy，来测量任务的可迁移性。然而，taskonomy中有三个不可忽视的局限性，极大地阻碍了它在现实问题中的应用。

首先，它的计算成本高得令人望而却步。在计算给定任务集合中两两任务之间的迁移关系时，计算成本会随集合中任务数量的增加而呈平方性地增长，当任务数量很大时，计算成本会变得非常昂贵。

第二个限制是，它采用迁移学习来建立任务之间的迁移关系，这仍然需要大量的标记数据来训练转移模型。然而，在许多情况下，我们只能获取训练好的模型，并不能够获取到相应的训练数据。最后，taskonomy只考虑不同模型或任务之间的可迁移性，而忽略了不同层之间的可迁移性，不能够用来解决微调模型时临界点的选择问题。

衡量从不同预训练深度模型中提取到特征间的可迁移性，主要障碍是深度模型自身的黑箱性质。由于从不同的预训练深度模型中学习到的特征是不可解释的，而且处在不同的嵌入空间中，直接计算特征间的可迁移性非常困难。

为了推导预训练深度模型中提取到特征间的可迁移性，研究者们首先给出了可迁移性的严格定义。

在该定义下，预训练模型的选择和模型微调时临界点的选择实际上是该迁移性定义下的两个特例。然后，这篇论文提出了深度归因图谱(DEeP Attribution gRAph， DEPARA)来表示在预训练深度模型中学习到的知识。在深度归因图谱中，节点对应于输入，并由模型在输入数据上归因形成的归因图[2]来表达。边表示输入数据之间的关联，通过它们在预训练深度模型特征空间中的相似度来度量，如图1所示。由于不同预训练深度模型中的深度归因图谱是在相同的输入集上定义的，它们实际上处于相同的空间内，因此两个预训练深度模型所提取的特征之间的迁移能力可直接由它们对应的深度归因图谱之间的相似性来衡量。相似程度越高，从不同的预训练深度模型中获得的特征相关性就越大，特征的相互迁移能力也就越强。这项研究通过大量实验证明了该方法应用于任务间迁移关系度量以及模型微调时临界点选择的有效性。