让深度学习飞向星辰大海，东京研究员将新型传感器送入太空

公众号/将门创投

From:东京工业大学 编译:Yulei

近日，来自日本东京工业大学的研究人员将基于深度学习的新型传感器送入太空。作为日本新型卫星技术验证计划的一部分，这一称为深度学习姿态传感器（Deep Learning Attitude Sensor，DLAS）的传感器利用深度学习算法来实现低成本、高精度、长在轨时间姿态传感器。它主要包含了地球传感器和星体追踪器两个部分，他们分别基于不同的深度学习算法来对进行三轴位姿估计。

地球传感器基于低成本的商业传感器和计算设备， 利用边缘计算平台和简单的图像分割算法实现了不同地表的识别，随后利用一种新颖的姿态估计算法从识别后的数据中估计出三轴位姿。

这一算法主要分为以下几个步骤，首先在轨道上对地表进行拍摄，并将拍摄的照片分别送入到图像识别网络和边缘检测器中；其中图像识别网络将根据不同的地表特征对图像进行分割，将图像中的太空、陆地、海洋和森林等区域识别出来；而送入边缘检测图像则先检测地球与太空的边缘，确定出两个中的姿态；随后利用地图映射得到陆地的分割结果；最后结合地表特征的分割结果和陆地的分割结果来实现模式匹配，最终得到三轴位姿的精确估计。

此外作为对比试验、研究人员还根据 模式识别以及匹配的方法开发出了星体跟踪器，通过持续追踪太空中的恒星位置来实现高精度姿态估计。 这一方法首先利用星体特征抽取获取太空中恒星的位置，随后利用模式匹配来寻找对应的恒星，最后根据匹配的几何关系实现三轴姿态估计。

DLAS的研究目标主要分为三个方面。首先是证明基于低成本、高性能商用元件构建的星体跟踪器可以在太空中稳定可靠的运行。该传感器将用来在各种条件下捕获轨道上的恒星图像，以校准传感器系统并根据新算法确定姿态，并进行为期一年的轨道测试。

其次是使用深度学习进行 实时图像识别的轨道测试 。通过使用两个紧凑型可见光摄像机对地表进行拍摄，通过处理估计出三轴位姿。具体来讲，将拍摄到的图像送入专门开发的高速、轻量级图像识别网络进行处理，目前可以在4秒内处理800万像素的图像、并根据地表特性的不同将地表分割的结果分为九大类，包括绿地，沙漠，海洋，云和外太空等。 这是首次使用深度学习在太空中进行实时的图像识别。

最后广泛研究这种图像识别技术的应用，并评估这种三轴姿态估计方法的准确性，特别是地表特征被云层遮挡的情况下的可靠性，并将它们与预先记录在星载计算机上的地图数据进行比较。

东京工业大学对于纳米微信的研发已经有很长的历史。自工程技术演示卫星CUTE-I以来，东工大的Kawai实验室和Matsunaga实验室的研究小组致力于纳米卫星空间科学观测，并通过开展，发射和运行纳米卫星，引领世界纳米卫星的发展。这次将深度学习技术应用于姿态估计领域也在开创了全新的研究领域。

由于目前天文学家主要的研究目标是发现如引力波源和未知天体物理事件等 短期 天体物理现象的初始活动迹象。而观测的主要波段 紫外线 却因为大气阻挡，使得星载设备成为了唯一的研究途径。

送上太空的观测设备同时还需要一个 稳定的观测平台 。要观测即遥远又微弱的星体，需要卫星保持较高的姿态稳定性。可以想象一下，在颠簸的汽车上我们是无法用相机拍出窗外的美景的，只有在平稳行驶的时候我们才有可能从容的拍摄下清晰的风景。

此外由于卫星通信链路的限制，难以将所有图像数据瞬时传送回地面，只有传输短小的报文信息才能使短期快速通信成为可能。为了充分结合天体综合的观测设备，实现联合观测，开发星载高速处理算法成为了有效观测的必由之路。

研究人员希望卫星可以对采集的图像进行分析，例如目标天体的 准确位置和亮度的分析结果 传送回地球。为了完成这样复杂的观测任务，需要开发高度精确的星体跟踪器以及高新能的星载计算机，同时还需要开发高性能、低功耗的自动图像分析技术。

这一星载地面图像识别方法最初的灵感来自地面天气识别测试。Kawai实验室在山梨县和冈山县建立了直径50厘米的机器人望远镜，以观察引力波现象，伽马射线爆发等。然而，由于日本的天气不稳定，观测经常被暂停。因此，为了提高观察效率，对基于深度学习的云识别器进行了研究。Kawai实验室与东京技术计算机学院教授合作开发的云识别器即使在最初的原型阶段也实现了极高的精度，并且可以应用于在轨卫星的瞬时图像识别。

到目前为止，使用AI分析卫星图像通常是指使用超级计算机详细分析地面数据服务器中累积的大量图像，但在轨道卫星上的实时图像识别，利用“星载边缘计算”将有可能极大地改变了纳米卫星平台的价值和运作方式。例如在防御，灾难监控和捕获碎片方面都将突破传统方法的限制实现卫星的自主探测。如果这一原型验证成功，将逐步改变目前航天产业高精度传感器高成本的趋势，更多质优价廉的传感器将如雨后春笋一般进入航天领域，也许人类大航天的时代将在深度学习的帮助下更早地到来。

ref:
http://lss.mes.titech.ac.jp/index_e.html
http://www.hp.phys.titech.ac.jp/webpage/gallery/
https://www.titech.ac.jp/english/news/2019/043370.html
http://fanfun.jaxa.jp/countdown/kakushin-epsilon4/pdf/kakushin01_press_kit_web.pdf
https://www.prnewswire.com/news-releases/deep-learning-attitude-sensor-provides-real-time-image-recognition-from-satellite-orbit-300778358.html

https://dribbble.com/shots/4795613-Succeed