上海交大和厦门大学联合发布大规模驾驶策略学习数据集DBNet

近日，厦门大学 SCSC 实验室李军教授团队与上海交大 MVIG 实验室卢策吾教授团队联合发布大规模驾驶行为数据集 DBNet（DB 为 driving behavior 的缩写），为无人驾驶学术研究提供训练数据。

据了解，该数据集基于研究者被 CVPR 2018 录用的论文《DBNet: A Large-Scale Dataset for Driving Behavior Learning》。

研究介绍说，目前主要的无人驾驶学术研究数据集（如 KITTI [1,2]、Cityscape [3]、BDD100K [4]）大多是为研究无人驾驶环境感知如道路、行人、路牌的分类识别而设置的，而 DBNet 是专为研究驾驶行为的策略学习而设置的。DBNet 数据集记录了视频、激光雷达点云，以及对应的资深驾驶员（驾龄超过 10 年）的真实驾驶行为。DBNet 和当前主要无人驾驶学术数据集比较如下：

此外，DBNet 的数据量大小 1.61T, 供下载的是压缩后约 500G 的文件。这种数据规模约为 KITTI 的 10 倍，能为学习资深驾驶员的驾驶模型提供训练数据，用于评测模型预测的驾驶行为和资深驾驶员真实驾驶行为的差距。在 2015 年英伟达的研究员提出了一种端到端（end-to-end）的方法 [5], 但是一直缺乏一个有效的大规模数据集。DBNet 正是填补了这一空白。

如果在大量数据上，验证模型预测的驾驶行为和资深驾驶员的真实驾驶行为一致，则可以认为机器大概学会了驾驶。当然，在面对同一个场景正确驾驶行为是多解的，数据集中只是标注众多正确解之一，但是实现自动驾驶只需找到一个正确解。

这一技术途径的另一优点是，基于原始数据实现端对端驾驶行为判断。数据的产生只需要人们在驾驶的时候保留驾驶行为（方向盘、速度）与输入（视频、点云等），无需标注（车、人、道路），非常易于扩大数据规模。而且，也能从中学习各地的驾驶行为，比如北京和上海的驾驶行为测量可以使用不同模型。学习出来的模型可以和其他驾驶策略（比如，规则决策）一起融合提供高质量驾驶策略。

论文：DBNet: A Large-Scale Dataset for Driving Behavior Learning

• 论文链接：http://www.dbehavior.net/data/egpaper_release.pdf

• 数据集官网：www.dbehavior.net

• 源代码地址：https://github.com/driving-behavior/DBNet

摘要：学习自动驾驶策略是计算机视觉领域最具挑战也最有前途的任务之一。大部分研究人员认为，未来演讲和应用应该结合摄像头、视频记录仪和激光扫描器来综合掌握实时交通的语义理解。然而，由于缺乏包含精确激光雷达数据的基准，当前方法只能从大规模视频中学习。在此论文中，我们首次提出了驾驶行为网络（DBNet），提供了由 Veodyne 雷达扫描的大规模、高质量点云，行车记录仪拍摄的视频和标准的驾驶行为。大量的实验表明，附加的深度信息能够帮助网络决定驾驶策略。

参考文献

[1] A. Geiger, P. Lenz, and R. Urtasun. Are we ready for autonomous driving? the kitti vision benchmark suite. In Conference on Computer Vision and Pattern Recognition (CVPR), 2012.

[2] A. Geiger, P. Lenz, C. Stiller, and R. Urtasun. Vision meets robotics: The kitti dataset. International Journal of Robotics Research (IJRR), 2013.

[3] M. Cordts, M. Omran, S. Ramos, T. Rehfeld, M. Enzweiler, R. Benenson, U. Franke, S. Roth, and B. Schiele. The cityscapes dataset for semantic urban scene understanding. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016.

[4] H. Xu, Y. Gao, F. Yu, and T. Darrell. End-to-end learning of driving models from large-scale video datasets. In 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017.

[5] M. Bojarski, D.D. Testa, D. Dworakowski, B. Firner, B. Flepp, P. Goyal, L.D. Jackel, M. Monfort, U. Muller, J. Zhang, X. Zhang, J. Zhao, K. Zieba, 2016. End to end learning for self-driving cars, arXiv:1604.07316.