内容简介：通常来说模型训练完之后结构就是固定的，测试时图片沿着固定的通路进行计算。然而测试样本本身有不同的难度，简单的样本只需要少量的计算量就可以完成任务，困难的样本则需要更多的计算量， BranchyNet就实现了不同难度的样本在测试时运行不同网络的想法，其网络结构如下：
通常来说模型训练完之后结构就是固定的，测试时图片沿着固定的通路进行计算。然而测试样本本身有不同的难度，简单的样本只需要少量的计算量就可以完成任务，困难的样本则需要更多的计算量， BranchyNet就实现了不同难度的样本在测试时运行不同网络的想法，其网络结构如下：
如上图所示，它在正常网络通道上包含了多个旁路分支，这样的思想是基于观察到随着网络的加深，表征能力越来越强，大部分简单的图片可以在较浅层时学习到足以识别的特征，如上图中的Exit 1通道。 一些更难的样本需要进一步的学习，如上图中的Exit 2通道，而只有极少数样本需要整个网络，如Exit3通道。 这样的思想可以实现精度和计算量的平衡，对于大部分样本，可以用更小的计算量完成任务。
那么如何判断是否可以提前结束呢？ 采用分类信息熵就可以了，一旦该通道的分类信息熵低于某一个阈值，说明已经以很高的置信度获得了分类的结果，直到最终的通道。
在训练的时候，每一个通道都会对损失有贡献，越靠近浅层的网络权重越大。 多通道的损失不仅增强了梯度信息，也在一定程度上实现了正则化。
将BranchyNet的设计思想用于LeNet，AlexNet，ResNet结构后，在不同阈值下的精度，加速比统计如下：
对于拥有N个分支的网络，需要的就是N-1个阈值，因为最后一个分支不需要阈值。 从上表可以看出，在维持性能的前提下，加速效果明显，LeNet系列网络可以让超过90%的样本在第一个分支提前终止，AlexNet也超过一半，ResNet超过了40%。
更多的相关网络结构，请查阅知识星球最近的“网络结构1000变”的内容！
以上所述就是小编给大家介绍的《【知识星球】动态推理网络结构上新，不是所有的网络都是不变的》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
- 【知识星球】千奇百怪的网络结构板块更新到哪里了？
- 第1周 |「知识星球」高质量答疑 7 个问题
- 一套价值 99 元的干货课程，送给知识星球用户！
- V8十年故事：从农场诞生的星球最强JS引擎
- 代码审计知识星球二周年 && Code-Breaking Puzzles
- 【6月月报】新书加印与勘误，七大专栏齐上线，知识星球大改版！
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
500 Lines or Less
Amy Brown、Michael DiBernardo / 2016-6-28 / USD 35.00
This book provides you with the chance to study how 26 experienced programmers think when they are building something new. The programs you will read about in this book were all written from scratch t......一起来看看 《500 Lines or Less》 这本书的介绍吧!
