南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

栏目: 软件资讯 · 发布时间: 5年前

内容简介:同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流*延伸阅读

加入极市 专业CV交流群,与 6000+来自腾讯,华为,百度,北大,清华,中科院 等名企名校视觉开发者互动交流!更有机会与 李开复老师 等大牛群内互动!

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流 点击文末“ 阅读原文 ”立刻申请入群~

作者 | Amusi

本文转载自公众号CVer

本文要介绍的  LEDNet(Light Encoder-Decoder Network) 是由南京邮电大学和天普大学联合提出的用于实时语义分割的轻量级网络。

LEDNet 能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。实验表明,该算法在 CityScapes 数据集的速度和准确性权衡方面取得了SOTA。

目前 LEDNet 论文已被 ICIP 2019 录用,官方已经提供该算法的 github 链接,但并没有上传测试/训练源码,估计还在准备中。

《LEDNet: A Lightweight Encoder-Decoder Network for Real-Time Semantic Segmentation》

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

arXiv: https://arxiv.org/abs/1905.02423

github: https://github.com/xiaoyufenfei/LEDNet

作者团队:南京邮电大学和天普大学

注:2019年05月08日刚出炉的paper

Abstract:算力负担限制了移动设备中CNN在密集估计任务中的使用。在本文中,我们提出了一个轻量级网络来解决这个问题,即 LEDNet,它采用非对称(asymmetric)编码器 - 解码器架构来进行实时语义分割。更具体地说,编码器采用 ResNet 作为骨干网络,其中有两个新操作:channel split and shuffle,被应用在每个残余块中,以大大降低计算成本,同时保持更高的分割精度。 另一方面,在解码器中采用注意力金字塔网络(APN,attention pyramid network)以进一步减轻整个网络的复杂性。我们的模型参数不到1M,并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。全面的实验表明,我们的方法在 CityScapes 数据集的速度和准确性权衡方面取得了SOTA。

本文算法(LEDNet)流程图:不对称结构

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

本文三个创新点:

(1)LEDNet的 不对称结构(asymmetrical architecture) ,如上图所示,使得网络参数大大减少,加速了推理过程;

(2)残差网络中的  Channel split and shuffle 有强大的特征表示。此外, Channel shuffle 是differentiable,可以嵌入网络结构中进行端到端训练。

(3)在 decoder 端,采用特征金字塔的注意力机制来设计 APN ,进一步降低了整个网络的复杂性。

带有 Split and Shuffle Operations的残差模块

由下图可知,LEDNet引入:split-shuffle-bottleneck(SS-bt),其中可以看到整体结构还是ResNet,但额外引入 Channel Split、Concat层和 Channel Shuffle。

Channle Split 将输入分离成两个 lower-dimensional 分支(即各自一半channel),通过设计的3x1 和 1x3卷积,在将两个分支 Concat一起,并最后利用 ShuffleNet中的 Channel Shuffle操作。

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

APN Decoder

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

来直观看看 LEDNet 的参数设计:

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

实验结果

表 2 和表 3 直观的说明了对比结果,LEDNet 在准确性和效率方面实现了最佳可行的 trade-off,如 LEDNet 达到  70.6% class mIoU 和 87.1% category mIoU,并且 71 FPS,不到 1M参数。(测试GPU:单个GTX 1080ti)

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

官方已经给出LEDNet的github链接,期待早点将源码放出来~

arXiv: https://arxiv.org/abs/1905.02423

github: https://github.com/xiaoyufenfei/LEDNet

*延伸阅读

点击左下角 阅读原文 ”, 即可申请加入极市 目标跟踪、目标检测、工业检测、人脸方向、视觉竞赛等技术交流群, 更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流, 一起来让思想之光照的更远吧~

南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源

觉得有用麻烦给个好看啦~    南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源


以上所述就是小编给大家介绍的《南邮提出实时语义分割的轻量级网络:LEDNET,可达 71 FPS!70.6% class mIoU!即将开源》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

重新理解创业

重新理解创业

周航 / 中信出版集团 / 2018-10-20 / 58.00

易到用车创始人/顺为资本投资合伙人周航,首度复盘20年创业经历,全方位坦陈创业得与失。这不是一本创业成功手册,却是思想的一次出走。 20年创业经历的咀嚼与反思,从战略、品牌、竞争,到流量、领导力、团队管理等,多角度多维度的重新认知,如李开复所言,“都是真刀真枪打出来的经验,值得每一位创业者多读几遍,吸收内化”。 雷军、李开复、徐小平作序,梁建章、张志东、曾鸣推荐。一起来看看 《重新理解创业》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

URL 编码/解码
URL 编码/解码

URL 编码/解码

html转js在线工具
html转js在线工具

html转js在线工具