内容简介:同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流*延伸阅读
加入极市 专业CV交流群,与 6000+来自腾讯,华为,百度,北大,清华,中科院 等名企名校视觉开发者互动交流!更有机会与 李开复老师 等大牛群内互动!
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流 。 点击文末“ 阅读原文 ”立刻申请入群~
作者 | Amusi
本文转载自公众号CVer
本文要介绍的 LEDNet(Light Encoder-Decoder Network) 是由南京邮电大学和天普大学联合提出的用于实时语义分割的轻量级网络。
LEDNet 能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。实验表明,该算法在 CityScapes 数据集的速度和准确性权衡方面取得了SOTA。
目前 LEDNet 论文已被 ICIP 2019 录用,官方已经提供该算法的 github 链接,但并没有上传测试/训练源码,估计还在准备中。
《LEDNet: A Lightweight Encoder-Decoder Network for Real-Time Semantic Segmentation》
arXiv: https://arxiv.org/abs/1905.02423
github: https://github.com/xiaoyufenfei/LEDNet
作者团队:南京邮电大学和天普大学
注:2019年05月08日刚出炉的paper
Abstract:算力负担限制了移动设备中CNN在密集估计任务中的使用。在本文中,我们提出了一个轻量级网络来解决这个问题,即 LEDNet,它采用非对称(asymmetric)编码器 - 解码器架构来进行实时语义分割。更具体地说,编码器采用 ResNet 作为骨干网络,其中有两个新操作:channel split and shuffle,被应用在每个残余块中,以大大降低计算成本,同时保持更高的分割精度。 另一方面,在解码器中采用注意力金字塔网络(APN,attention pyramid network)以进一步减轻整个网络的复杂性。我们的模型参数不到1M,并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。全面的实验表明,我们的方法在 CityScapes 数据集的速度和准确性权衡方面取得了SOTA。
本文算法(LEDNet)流程图:不对称结构
本文三个创新点:
(1)LEDNet的 不对称结构(asymmetrical architecture) ,如上图所示,使得网络参数大大减少,加速了推理过程;
(2)残差网络中的 Channel split and shuffle 有强大的特征表示。此外, Channel shuffle 是differentiable,可以嵌入网络结构中进行端到端训练。
(3)在 decoder 端,采用特征金字塔的注意力机制来设计 APN ,进一步降低了整个网络的复杂性。
带有 Split and Shuffle Operations的残差模块
由下图可知,LEDNet引入:split-shuffle-bottleneck(SS-bt),其中可以看到整体结构还是ResNet,但额外引入 Channel Split、Concat层和 Channel Shuffle。
Channle Split 将输入分离成两个 lower-dimensional 分支(即各自一半channel),通过设计的3x1 和 1x3卷积,在将两个分支 Concat一起,并最后利用 ShuffleNet中的 Channel Shuffle操作。
APN Decoder
来直观看看 LEDNet 的参数设计:
实验结果
表 2 和表 3 直观的说明了对比结果,LEDNet 在准确性和效率方面实现了最佳可行的 trade-off,如 LEDNet 达到 70.6% class mIoU 和 87.1% category mIoU,并且 71 FPS,不到 1M参数。(测试GPU:单个GTX 1080ti)
官方已经给出LEDNet的github链接,期待早点将源码放出来~
arXiv: https://arxiv.org/abs/1905.02423
github: https://github.com/xiaoyufenfei/LEDNet
*延伸阅读
点击左下角 “ 阅读原文 ”, 即可申请加入极市 目标跟踪、目标检测、工业检测、人脸方向、视觉竞赛等技术交流群, 更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流, 一起来让思想之光照的更远吧~
觉得有用麻烦给个好看啦~
以上所述就是小编给大家介绍的《南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Design and Analysis of Distributed Algorithms (Wiley Series on P
Nicola Santoro / Wiley-Interscience / 2006-10-27 / USD 140.95
This text is based on a simple and fully reactive computational model that allows for intuitive comprehension and logical designs. The principles and techniques presented can be applied to any distrib......一起来看看 《Design and Analysis of Distributed Algorithms (Wiley Series on P》 这本书的介绍吧!