伯克利研究人员“教会”显微镜如何更好的成像

公众号/将门创投

来源： BAIR 编译：T.R

计算成像系统架起了硬件和图像重建间的桥梁，让很多复杂的光学成像系统包括断层扫描、超分辨和相位成像等，都在计算成像的助力下得以通过对商业显微镜和计算重建的简单改造而实现。传统的方法要求用大量的测量来保证检测质量，但对于活细胞成像来说测量的次数则受到了细胞运动的限制，人们自然想知道什么样的测量方式是最为有效的？在最新发表的论文中，来自伯克利的研究人员利用深度学习的方法得到了一种能够最大化非线性计算成像系统的实验设计。

左图和中图为显微镜硬件附加了LED照明阵列，右图为LED的照明模式（工作频率100Hz）

如何设计更有效的成像方法？

标准的显微镜通过观察样本的吸收对比度来实现成像，但大多数生物细胞的组织吸收都很弱。虽然染料和色素可以提高对比度，但却会对活细胞长生不良影响。计算成像使得利用其它光学特性来获得强对比成像和定量测量成为可能（例如相位/折射率变化）

左边是显微镜观测细胞的吸收图像，右边是通过计算成像得到的细胞相位图像

同时可将显微镜的照相光源替换为可编程的LED阵列，在不同LED照明模式下的成像将会把样本的相位信息（空间谱）编码成强度信息来测量。在多次测量后(10~100)可利用这些信息定量地求解逆问题来重建样本的相位，并很有可能超过显微镜原有的分辨率，或者得到三维的信息。

但由于需要多次测量，需要权衡样本的重现质量与时间分辨率。当样本移动时，时间分辨率不足带来的模糊会造成成像质量下降。为了解决这一问题，研究人员们需要寻找如何在更少的测量下获得高精度的重建，从而改善成像的时间分辨率。但什么是LED阵列最好的照明模式？如何得到对信息最高效的编码方式呢？

上图是不同的照明模式下的测量结果，下部是用于图像重建正则化的逆问题。

为LED阵列设计照明模式是复杂的问题，很多计算成像系统都会在硬件编码信息和重建时引入非线性。传统的设计理论几乎都将这一过程视为了线性系统，但这样的假设却无法提高非线性系统的测量质量。

研究人员们从新的角度来思考了目前面临的问题，提出了基于物理的学习设计，通过学习来获得能够最大化系统性能的实验设计。在给定系统模型、计算重建和数据集的前提下学习出最佳系统配置来最大化系统性能。在这一系统中，LED照明阵列显微镜作为待优化的硬件，而正则化的相位恢复作为计算重建目标。由于包含了众多的非线性过程使得传统方法难以设计。

为了阐述本文的方法，研究人员利用小的仿真数据集来为量化相位成像系统学习出了优秀的实验设计，结果表明这种方法在使用小部分测量的情况下得到重建质量达到了更复杂方法所重建的水平。

优化实验设计和相位恢复

实验设计优化的目标在于最小化无偏估计器的方差（MSE）或者最大化信息。通常的方法基于方差统计信息的实值部分（行列式、迹）来进行优化，但这种方法只能对线性无偏估计器进行优化，但却无法充分优化非线性估计器。在本研究中，研究人员希望通过解正则化相位恢复问题来估计相位图像（非线性+有偏估计）。

具体来说就是希望通过最小化数据量D和先验p(稀疏性、总方差等)来从几次非线性测量 y 中得到样本的光学参数 x

损失函数可以利用基于梯度下降法的优化算法迭代优化，研究人员选择了加速近端梯度下降法(accelerated proximal gradient descent)：

其中x为当前估计，μ为加速项，w、z为中间变量，N为迭代次数。绿色为梯度更新、粉色为最邻近更新、橘色为加速更新。

基于物理的神经网络

本实验的目标是为非线性的计算成像系统学习出实验设计（如何最好的编码信息），但在传统方法不凑效的情况下，研究人员考虑将上述算法的迭代优化过程展开成神经网络，并将网络的每一层视为优化器的一个迭代过程。在每一个内包含了梯度优化、最邻近更新和加速更新过程如下图所示。基于此设计的网络结合了非线性成像过程和重建的先验信息。

基于物理展开的神经网络，输入多个相机测量结果C，输出重建相位图像x，并与基准x’比较得到损失。每一层神经元对应着一个优化迭代步骤。

值得一提的是近年来将图像重建中的迭代过程进行流程化展开已经出现了很多值得注意的工作。

基于物理过程学习的设计

在这一实验中，需要学习的是如何调制LED的照明方式来最小化重建误差，那么这一实验设计问题可以被转换为监督学习问题：

其中L2为相位图像的重建误差。为LED的照明集，即T个LED的M次照明模式集合。这些变量约束了算法生成解决方案在硬件上的可行性。由于神经网络需要学习的参数很少，这个网络可以在很小的数据集（100个样本）上高效的运行！研究中使用了投影梯度下降法来最小化损失。

实验验证

在实验中，研究人员利用了100个细胞样本来作为数据集（其中10个用于测试），最终结果表明只需要 两次测试 就可以学习到实验设计中的参数。在下图中研究人员比较了利用学习方法和传统方法构建出的相位图。在极少量测量(2次)下可以得到与多次测量的验证方法（69次）相比米的结果。而传统方法在相同测量条件下质量已经大幅下降了。

小鼠显微细胞的重建结果，实验显示利用基于学习的方法在仅仅两次测量下就得到了与多次测量相比拟的结果。

结论

这一工作探索了利用深度学习来优化非线性成像系统的可行性。研究人员利用监督学习和基于物理过程展开的神经网络。在未来研究人员还将探索更为复杂的系统和测量手段，结构化的方法来学习重建过程中的各个部分。这种方法启发实验设计的方法、特别是测量方法的设计，有希望大幅提高测量设备的时间和空间分辨率。

详细内容请参考：

Paper：https://arxiv.org/pdf/1808.03571.pdf

作者主页：

http://www.ciomp.ac.cn/xwdt/xshd/201007/t20100716_2904460.html