YOLO Caffe模型转换BN的坑

栏目: 数据库 · 发布时间: 6年前

内容简介:YOLO虽好,但是Darknet框架实在是小众,有必要在Inference阶段将其转换为其他框架,以便后续统一部署和管理。Caffe作为小巧灵活的老资格框架,使用灵活,方便魔改,所以尝试将Darknet训练的YOLO模型转换为Caffe。这里简单记录下YOLO V3 原始Darknet模型转换为Caffe模型过程中的一个坑。以CPU代码为例,在Darknet中,BN做normalization的操作如下,可以看到,Darknet中的BN计算如下:

YOLO虽好,但是Darknet框架实在是小众,有必要在Inference阶段将其转换为其他框架,以便后续统一部署和管理。Caffe作为小巧灵活的老资格框架,使用灵活,方便魔改,所以尝试将Darknet训练的YOLO模型转换为Caffe。这里简单记录下YOLO V3 原始Darknet模型转换为Caffe模型过程中的一个坑。

Darknet中BN的计算

以CPU代码为例,在Darknet中,BN做normalization的操作如下, normalize_cpu

void normalize_cpu(float *x, float *mean, float *variance, int batch, int filters, int spatial)
{
    int b, f, i;
    for(b = 0; b < batch; ++b){
        for(f = 0; f < filters; ++f){
            for(i = 0; i < spatial; ++i){
                int index = b*filters*spatial + f*spatial + i;
                x[index] = (x[index] - mean[f])/(sqrt(variance[f]) + .000001f);
            }
        }
    }
}

可以看到,Darknet中的BN计算如下:

而且,$\epsilon$参数是固定的,为$1\times 10^{-6}$。

问题和解决

然而,在Caffe(以及大部分其他框架)中,$\epsilon$的位置是在根号里面的,也就是:

另外,查看 caffe.proto 可以知道,Caffe默认的$\epsilon$值为$1\times 10^{-5}$。

所以,在转换为caffe prototxt时,需要设置 batch_norm_param 如下:

batch_norm_param {
  use_global_stats: true
  eps: 1e-06
}

另外,需要重新求解$\sigma^2$,按照layer输出要相等的等量关系,可以求得:

def convert_running_var(var, eps=DARKNET_EPS):
    return np.square(np.sqrt(var) + eps) - eps

这里调整之后,转换后的Caffe模型和原始Darknet模型的输出误差已经是$1\times 10^{-7}$量级,可以认为转换成功。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Beginning ASP.NET 4 in C# and Vb

Beginning ASP.NET 4 in C# and Vb

Imar Spaanjaars / Wrox / 2010-3-19 / GBP 29.99

This book is for anyone who wants to learn how to build rich and interactive web sites that run on the Microsoft platform. With the knowledge you gain from this book, you create a great foundation to ......一起来看看 《Beginning ASP.NET 4 in C# and Vb》 这本书的介绍吧!

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

html转js在线工具
html转js在线工具

html转js在线工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具