【澎湃】Light | 深度学习赋能下的光学计量

撰稿 | 左 超   钱佳铭

    光学计量技术将光的基本属性（如振幅、相位、波长、方向、频率、速度、偏振和相干性等）巧妙地用作被测物的信息载体，以实现对被测物的各种特征数据（如距离、位移、尺寸、形貌、粗糙度、应变和应力等）的获取¹。光学计量因其非接触、高速、高灵敏度、高分辨率、高精度等优势，在CAD /CAE、逆向工程、在线检测、质量控制、医疗诊断、文物保护、人机交互等领域得到了日益广泛的应用。在光学计量技术中，最常见信息载体为“条纹”与“散斑”。如大多数干涉测量法（经典干涉、光弹、数字散斑、数字全息等）所处理的图像是由物光和参考光相干叠加而成的干涉条纹，被测物理量被调制于干涉条纹的相位信息中²⁻⁵；此外，条纹图案还可以非干涉的方式生成，如条纹投影轮廓术（FPP）直接投影结构光条纹图案至被测物表面以测量物体的三维面型⁶。而在数字图像相关（DIC）中，所拍摄的图像则是样品表面形变前后的散斑图案，从中可获得被测物全场位移和形变分布⁷；将DIC与立体视觉或摄影测量相结合，基于多视散斑图像还可获取被测场景的深度信息⁸。图1总结了这些技术的图像生成过程及其对应的数学模型。

图1 传统光学计量技术中的图像生成过程及对应的数学模型

    传统光学计量离不开图像处理技术，对条纹/散斑的图像处理可以理解为由捕获的原始强度图像反演出所需的待测物理量的过程。通常情况下，该过程并非“一步到位”，而是由三个具有逻辑层次的图像处理步骤所构成——预处理、分析和后处理。每个步骤都包含一系列图像处理算法，这些算法层层叠加，形成一个“流水线”结构[图2]，其中每个算法对应于一个“映射”运算，其将图像/类似图像的矩阵输入转化为相应维度（或重采样的）的输出。

（3）后处理：图像后处理的目的是进一步优化测量得到的相位数据或散斑位移场，并最终将它们转化为待测物理量。光学计量中常见的后处理算法包括去噪¹⁶、误差补偿¹⁷、数字重聚焦¹⁸、参量转换¹⁹等。图3给出了光学计量图像处理层次结构的概貌以及不同层中分布的各种图像处理算法。

    图2 光学计量的典型图像处理过程（如条纹投影轮廓术）可分为三个主要步骤：预处理（如去噪、图像增强）、分析（如相位解调、相位展开）和后处理（如相位—深度映射）

图3 光学计量图像处理层次结构的概貌以及不同层中分布的各种图像处理算法

深度学习技术

    深度学习是机器学习领域的一个重要分支，它通过构建模拟人脑信息处理神经结构的人工神经网络（ANN），使机器能够从大量历史数据中进行自底向上的特征提取，从而实现对未来/未知样本的智能决策。ANN起源于McCulloch和Pitts在1943年建立的生物神经元的简化数学模型²⁰[图4a]。1958年，Rosenblatt等²¹受生物神经元模型的启发首次提出了可模拟人类感知能力的机器——单层感知机。如图4b所示，单层感知机由单个神经元构成，神经元以偏置（b）和权重（w）为参数，通过非线性激活函数将输入映射到输出。感知器的提出激发了大量研究人员对ANN的兴趣，对神经网络的发展具有里程碑式意义。然而，单层感知器只能处理线性分类问题的局限致使随后神经网络的发展停滞了近20年。80 年代，反向传播（BP）算法的提出使多层神经网络的高效训练成为了可能。其基于链式法则不断调节神经元间的权值以减小多层网络的输出误差，有效解决了非线性分类和学习的问题，引发了“浅层学习”的繁荣²²。1989年，LeCun等²³受哺乳动物视觉皮层结构启发提出了卷积神经网络（CNN）的思想，为现代计算机视觉与图像处理奠定了深度学习的基础。随后随着神经网络层数的增加，BP算法的梯度消失/爆炸问题日益凸显，致使90年代中期ANN的发展又陷入了停滞。2006年，Hinton等²⁴提出了一种深度置信网络（DBN）的训练方法来应对梯度消失问题；同时伴随着计算机硬件性能、GPU加速技术的发展以及大量标记数据集的出现，神经网络步入了第三次发展高潮，从“浅层学习”阶段迈入了“深度学习”阶段。2012年，基于CNN构架的AlexNet于ImageNet图像识别比赛中一举夺魁，使得沉寂20余年的CNN成为深度学习的主流框架之一²⁵。与此同时，一些新的深度学习网络架构及训练方法（如ReLU²⁶和Dropout²⁷）被提出以进一步解决梯度消失问题，促使了深度学习的爆炸式增长。2016 年，谷歌旗下AI公司DeepMind所开发的人工智能系统AlphaGo击败围棋世界冠军李世石，引发了全人类对深度学习技术的广泛关注²⁸。图4给出了人工神经网络和深度学习技术的发展历程与典型神经网络的结构示意图。

图4 深度学习与人工神经网络的发展历程及典型神经网络的结构示意图

图5 用于图像分类任务的典型CNN结构   
a) 典型的CNN包括输入层、卷积层、全连接层和输出层   b) 卷积运算   c) 池化操作

    上述单层感知机是最简单的ANN结构，仅由单个神经元构成[图4b]。深度神经网络（DNN）由多层神经元相互连接而成，相邻层间的神经元通常以全连接形式堆叠[图4g]。在网络训练期间，神经元将相应的输入乘以一个权重系数并与偏置值相加，通过非线性激活函数输出至下一层，同时网络损失被计算并反向传播以更新网络参数。不同于常规的全连接层，CNN使用卷积层对输入数据进行特征提取²⁹[图5a]。在每一层中，输入图像与一组卷积滤波器和添加的偏置进行卷积以生成一个新的输出图像[图5b]。CNN中的池化层利用图像的局部相关性原理对图像进行子抽样，在减少数据处理量的同时保留了有用信息[图5c]。这些特征使得CNN广泛应用于计算机视觉的任务中，如目标检测³⁰和运动跟踪³¹等。传统的CNN构架大多面向“分类”任务，在输出端舍弃了空间信息并产生了“向量”形式的输出。然而，对于光学计量技术中的图像处理任务，神经网络必须能够产生一个与输入相同的（甚至更高）全分辨率输出。为此应该使用没有全连接层的全卷积网络结构，这样的网络构架接受任意尺寸的输入，用回归损失进行训练，并产生像素级的矩阵输出。具有此类特征的网络称为“全卷积网络结构”的CNN，其网络架构主要包括以下三类：

上述全卷积网络结构的CNN能够将任意大小的输入图像转化为像素级的矩阵输出，这与光学计量任务中图像处理算法所对应的“映射”运算的输入输出特征完全吻合，因此可以非常方便地对传统图像处理任务进行“深度学习替换”，这为深度学习在光学计量领域的快速崛起奠定了基石。

图6 三种能够产生像素级图像输出的用于图像处理任务的代表性全卷积网络结构的CNN
a) SRCNN   b) FCN   c) U-Net。

深度学习下的光学计量

    在光学计量技术中，原始条纹/散斑图像与被测物理量间的映射可描述为从参数空间到图像空间的正向物理模型和测量噪声的组合，这可以解释光学计量中几乎所有原始图像的生成过程。但从原始图像中提取待测物理量是一个典型的“逆问题”。求解这样的逆问题面临着诸多挑战，如：未知或不精确的正向物理模型、误差累积和局部最优解以及逆问题的病态性等。在计算机视觉和计算成像领域，解决逆问题的经典方法是通过引入被测物的先验作为正则化手段限定解空间以使其良态化[图7]。而在光学计量领域，解决逆问题的思路则与之大相径庭。根本原因在于光学计量通常是在一个“高度可控”的环境中进行的，因此更倾向于通过一系列“主动策略”，如照明调制、物体调控、多次曝光等来“主动调整”图像的采集过程，这就可将原先的“病态逆问题”重塑为一个“良态且足够稳定的回归问题”。例如由单幅条纹图像解调绝对相位：由于正向物理模型中缺乏足够的信息可以用来唯一稳定地求解相应的逆问题，该逆问题是病态的。而对于光学计量的研究者来说，解决该问题的方法非常简单：我们可以进行多次测量，通过获取额外的多频相移条纹图像，绝对相位的获取问题就演化为了一个良态的回归问题。我们可以很容易地通过多步相移法¹³和时间相位展开法¹⁴来从这些条纹图像中恢复出被测物的绝对相位信息[图8]。

    图7 在计算机视觉中（如图像去模糊），由于从参数空间映射到图像空间的正向物理模型不理想，所产生的逆问题是病态的。典型的解决方案是加入一些有助于正则化的先验假设（平滑），将原始的病态问题重新表述为良态的优化问题

    图8 光学计量通过主动控制图像采集过程，将病态的逆问题转化为良态的回归问题。如在条纹投影轮廓术中，通过获取不同频率的额外相移条纹图像，绝对相位可以很容易地通过多频相移法和时间相位展开法来获取

（3）从“求解线性逆问题”到“直接学习伪逆映射”：深度学习利用复杂的神经网络结构和非线性激活函数来提取样本数据的高维特征，直接学习一个能够充分描述整个测量过程（从原始图像到待测物理量）的非线性伪逆映射模型（“重建算法”）。对于比传统方法的正则化函数或指定先验，深度学习所学习到的先验信息是针对真实实验数据的统计量身定制的，这原则上为求解反问题提供了更强、更合理的正则化。因此其绕过了求解非线性病态逆问题的障碍，可以直接建立输入与期望输出之间的伪逆映射关系。

图9 基于深度学习的光学计量技术   
a) 在基于深度学习的光学计量技术中，通过构建一个深度神经网络从数据集中学习图像空间到参数空间的映射关系   b) 通过实验或仿真获得训练数据集的过程。

图10 深度学习与传统算法在条纹投影领域的对比

    a) 条纹投影轮廓术的基本原理是基于光学三角测量法的三维重建（左）。其步骤一般包括条纹投影、相位恢复、相位展开和相位-高度映射   b) 基于深度学习的条纹投影轮廓术是由大量训练数据所驱动的，经训练后的网络模型可以直接从单帧条纹中预测出其中所编码的深度信息

深度学习在光学计量学中的应用

    由于上述优点，深度学习在光学计量中受到越来越多的关注，为光学计量技术的概念带来了颠覆性的变革。深度学习摒弃了对传统“正向物理模型”和“逆向重构算法”的严格依赖，以“样本数据驱动”的方式重塑了几乎所有光学计量技术中数字图像处理的基本任务，打破了传统光学计量技术的功能/性能疆界，从极少的原始图像数据中挖掘出更多场景的本质信息，显著提升了信息获取能力，为光学计量技术打开了一扇新的大门。图11回顾了在光学计量领域采用深度学习技术的典型研究工作。下面按照传统光学计量技术的图像处理层次列举深度学习在光学计量学中的具体应用案例。

    图11 光学计量中的深度学习：由于深度学习为光学计量技术从概念上所带来了重大改变，光学计量学中几乎所有任务的实现方式都被深度学习所革新

（1）图像预处理：早期将深度学习应用于光学计量的工作集中于图像预处理任务，如图像去噪³⁵、图像增强³⁶等。Yan等³⁵构建了一个由20个卷积层组成的CNN来实现条纹图像去噪[图12a]。由于无噪声的理想条纹图像很难通过实验获取，他们仿真了大量添加高斯噪声的条纹图像（网络输入）和相应的无噪声数据（真值）用作神经网络的训练集。图12d-图12e给出传统去噪方法——加窗傅里叶变换法（WFT³⁷）与深度学习方法的去噪结果。从结果中可见，基于深度学习的方法克服了传统WFT的边缘伪影，表现出更好的去噪性能。Shi等³⁶提出一种基于深度学习的条纹信息增强方法[图13a]。他们将真实场景中捕获的条纹图像和相应的质量增强图像（通过将两幅相移量为π的条纹图像相减获取）用作数据集训练神经网络，以实现对条纹图像到质量增强条纹信息之间的直接映射。图13b-图13d显示了传统傅里叶变换法（FT）³⁸和深度学习方法对运动的手的三维重建结果，从中可见深度学习方法在成像质量上明显优于传统方法。

图12 基于深度学习的条纹图像去噪方法及不同方法的去噪结果³⁵
a) 使用深度学习进行条纹去噪的流程：将带有噪声的条纹图像作为神经网络的输入，直接预测去噪后的图像   b) 输入噪声图像   c) 真实相位分布   d) 深度学习的去噪结果   e) WFT³⁷的去噪结果

图13 基于深度学习的条纹信息增强方法及不同方法下的三维重建结果³⁶
a) 使用深度学习进行条纹信息增加的流程：采集的原始条纹图像和质量增强图像被用来训练DNN，以学习输入条纹图像到输出质量增强条纹信息之间的映射   b) 输入条纹图像   c) 传统FT法38的三维重建结果   d) 深度学习方法的三维重建结果

（2）图像分析：图像分析是光学计量技术中最核心的图像处理环节，因此大多数应用于光学计量学的深度学习技术都是为了处理与图像分析相关的任务。对于相位测量技术，深度学习在相位解调和相位解包裹方面得到了广泛的探索。Zuo等³⁹首次将深度学习技术应用于条纹分析中，并有效提高了FPP的三维测量精度。该方法的思想在于仅采用一幅条纹图像作为输入，利用CNN来模拟传统相移法¹⁴的相位解调过程。如图14a所示，构建两个卷积神经网络（CNN1和CNN 2），其中CNN 1负责从输入条纹图像（I）中提取背景信息（A）；随后CNN 2利用提取的背景图像和原始输入图像生成所需相位的正弦部分（M）与余弦部分（D）；最后，将该输出的正余弦结果代入反正切函数计算得到最终的相位分布。相比于传统单帧相位解调方法 (FT³⁸和WFT³⁷)，基于深度学习的方法能够更为准确地提取相位信息，特别是针对具有丰富细节的物体表面，相位精度可提升50%以上，仅采用一幅输入条纹图像但总体测量效果接近于12步相移法[图14b]。该技术目前已被成功应用于高速三维成像,实现了速度高达20000Hz的高精度三维面型测量⁴⁰[图14c]。Zuo等还进一步将深度学习从相位解调推广至相位展开，提出一种用于单帧三维形貌测量的基于深度学习的几何相位展开方法⁴¹。如图15a所示，多视几何系统下捕获的立体条纹图像对及参考面信息被送入CNN中以确定条纹级次。图15b-图15e给出了传统几何相位展开方法⁴²⁻⁴⁴和深度学习方法获得的三维重建结果。这些结果表明，基于深度学习的方法在仅投影单帧条纹图像的前提下，可以在更大的测量体积内、更鲁棒地实现对稠密条纹图像的相位展开。

    图14基于深度学习的条纹分析方法及不同方法下的三维重建结果³⁹   a) 基于深度学习的条纹分析方法流程：首先通过CNN1从单帧条纹图像I中预测出背景图像A；然后采用CNN2实现条纹图案I、背景图像A与生成所需相位的正弦部分M和余弦部分D之间的映射；最后通过正切函数可以得到高精度包裹相位信息   b) 不同相位解调方法（FT³⁸、WFT³⁷、基于深度学习的方法和12步相移法¹³）的三维重建的比较   c) 使用深度学习方法对高速旋转的台扇的深度重建结果⁴⁰

    图15基于深度学习的几何相位展开方法及不同方法下的三维重建结果⁴¹   a) 由深度学习辅助的几何相位展开方法的流程：CNN1从立体条纹图像对中预测包裹相位信息，CNN2从立体条纹图像对及参考信息中预测条纹级次。通过预测的包裹相位和条纹级次可以恢复绝对相位，然后进行三维重建   b) 结合相移法¹³、三相机几何相位展开技术⁴²和自适应深度约束法⁴⁴获取的三维重建结果   c)结合相移法¹³、双相机几何相位展开技术⁴²获取的三维重建结果   d)基于参考面的几何约束方法⁴³获取的三维重建结果   e)深度学习方法获取的三维重建结果

    深度学习也被广泛应用于立体匹配，并获得比传统子集匹配和亚像素优化方法更好的性能。Zbontar和LeCun⁴⁵提出一种用于立体图像视差估计的深度学习方法[图16]。他们构建了一个暹罗型CNN，通过从两个图像块中学习相似度量来解决匹配成本计算问题。CNN的输出被用于初始化立体匹配成本，然后通过基于交叉的成本聚合和半全局匹配精炼初始成本进而实现视差图估计。图16d-图16h是由传统Census⁴⁶变换法和深度学习方法获取的视差图像，从中可以看出，基于深度学习的方法实现了更低的错误率和更好的预测结果。Pang等⁴⁷提出一种用于亚像素匹配的级联CNN架构。如图17a所示，首先通过带有上采样模块的DispFulNet从输入立体图像对中预测初始视差估计，然后通过沙漏结构的DispResNet生成多尺度的残余信号，综合两网络输出最终获取亚像素精度的视差图。图17d-图17g展示了由DispfulNet和DispResNet预测的视差图及误差分布情况。从实验结果可以看出，经过第二阶段DispResNet的优化，视差图的质量得到了明显的改善。

    图16   基于深度学习的子集匹配方法及不同方法的视差估计结果⁴⁵   a) 使用深度学习进行视差图估计的算法流程：暹罗型CNN被构建用于从两个图像块中学习相似度量以解决匹配成本计算问题，并通过一系列后处理最终实现视差估计   b-c) 输入的立体图像   d) 真值   e, g) Census⁴⁶和CNN获取的视差估计结果

    图17   a) 基于深度学习的亚像素匹配方法：首先通过DispFulNet从输入立体图像对中预测初始视差估计，然后通过沙漏结构的DispResNet生成多尺度的残余信号，综合两网络输出最终获取亚像素精度的视差图⁴⁷   b) 输入立体图像的左视角   c) 真值   d-g) DispfulNet和DispResNet预测的视差图及误差分布情况

（3）后处理：深度学习在光学计量的后处理阶段（相位去噪、误差补偿、数字重聚焦、相位-高度映射等）也发挥着重要作用。如图18a所示，Montresor等⁴⁸将噪声相位图像的正弦和余弦分量输入CNN中以预测去除噪声的高质量相位图像，预测的相位被再次反馈到CNN中进行迭代提炼以达到更好的去噪效果。图18b-图18e给出了传统WFT³⁷法和深度学习方法的相位去噪结果。实验结果表明CNN能够实现比WFT峰谷相位误差更低的去噪性能。

    图18   基于深度学习的相位去噪方法及不同方法的相位去噪结果⁴⁸   a) 使用深度学习进行相位去噪的流程：噪声相位图像的正弦和余弦分量被输入CNN以预测去除噪声的高质量相位图像，预测的相位被再次反馈到CNN中进行迭代提炼以达到更好的去噪效果   b) 输入噪声相位图像   c) WTF³⁷的去噪结果   d) 深度学习的去噪结果   e) WTF与深度学习方法去噪结果的对比

Li等⁴⁹提出了一种基于浅层BP神经网络的用于条纹投影轮廓术的相位-高度映射方法。如图19a所示，相机图像坐标及对应的投影仪图像水平坐标被用作网络输入以预测被测物的三维信息。为了获取训练数据，将圆点标定板固定于高精度位移台并在不同的深度位置处捕获标定板的条纹图像。通过提取标定板圆点的亚像素中心，并利用绝对相位计算每个标记中心对应的相机和投影仪图像的匹配点。图19c和图19d是由传统相高转换方法⁵⁰和神经网络方法获取的阶梯状标准件三维面型结果的误差分布情况，该结果表明基于神经网络的方法可以从大量数据中学习出更加准确的相高模型。

    图19   a) 基于学习的相位-深度映射方法：相机图像坐标及对应的投影仪图像的水平坐标被用作网络输入以预测被测物的三维信息⁴⁹   b) 基于学习的方法获取的阶梯状标准件的三维结果   c、d) 传统相高转换方法⁵⁰和神经网络方法获取的阶梯状标准件三维面型结果的误差分布情况   e、f) 复杂工件的输入相位图像及输出三维信息

(1)   深度学习作为一种数据驱动的技术，其网络输出的性能很大程度上取决于大量标记的训练数据。而大部分光学计量实验的数据采集过程较为复杂耗时，且往往数据采集后无法获取准确可靠的理想真值[图20]。

    图20   深度学习在光学计量中的挑战-——获取和标注训练数据的高昂代价。以条纹投影轮廓术为例，采用多频时间相位展开法以投影大量条纹图像为代价获取高质量训练数据。然而在实际操作中，硬件误差、环境光干扰、标定误差等因素使得通过传统的算法很难获取理想真值

(5)   由于信息并不会"无中生有"，深度学习所获得的结果不可能总是准确可靠的。这对于光学测量的许多应用领域而言往往是致命性的，如逆向工程、自动控制、缺陷检测等。在这些场合，测量结果的准确性、可靠性、可重复性以及可回溯性是首要考虑的因素。

    图21   深度学习在光学计量中的挑战——模型设计和算法选择的经验主义。以条纹投影轮廓术中的相位提取为例，同一任务可以由不同的神经网络模型以不同的策略来实现：通过DNN1可以将条纹图像直接映射到相应的相位图；也可通过DNN2从条纹图像和相应的背景图像中输出用于计算相位信息的正切函数的分子项和分母项；使用更强大的DNN，可直接从条纹图像中预测分子和分母

(3) 描述图像生成的先验知识与物理模型和从实验数据中学习的数据驱动模型二者间协同作用，能够将光学计量领域的更多专业知识引入深度学习框架中，为解决特定的光学计量问题提供更多高效且“物理上合理”的解决方案[图22]。

    图22   将物理模型引入深度学习可为特定光学计量问题提供更为“合乎情理”的解决方案。a) 基于端到端网络结构（DNN1）从条纹图像中直接预测包裹相位   b) 端到端策略很难精准复现2π相位截断，导致网络的损失函数训练时无法收敛   c) 将传统相移法的物理模型纳入深度学习，从条纹图像中预测用于计算相位信息的正切函数的分子项和分母项39   d) 结合物理模型的深度学习网络的损失函数训练时可稳定收敛

总结与展望

论文信息

参考文献