【钟声新闻网】基于贝叶斯卷积神经网络的条纹分析量化人工神经网络的不确定性

光学相位测量技术，如干涉测量、数字全息、电子散斑干涉、条纹投影轮廓术等，因非接触、高分辨、高速和全场自动化等优点，被广泛应用于工业检测、机器视觉、生物医学、纳米结构表征等科学研究和工程实践领域。该技术通过相干光干涉叠加或者非相干投影的方式在物体表面生成周期性的结构条纹，从而使得待测物体的相关物理量（如面形、位移、应变、粗糙度、缺陷尺寸等）直接或间接地反映在采集条纹图案的相位之中。如何从单帧条纹图案中准确、可靠地解调出所需的相位分布不仅是该技术所面临的核心难题，也是该领域研究人员不断追求的终极目标。

近年来，以深度学习为代表的人工智能技术已在机器视觉、语音识别、自动驾驶、医疗诊断等众多领域带来巨大的变革。在相位测量计算成像领域，基于深度学习的条纹图像分析方法也得到了越来越多的关注。目前，深度学习已逐渐“渗透”进了计算成像与光学测量这一学科中，并在条纹分析、相位恢复、相位展开等方面展现出令人惊叹的性能以及强大的应用潜力。然而不同于传统基于物理模型方法“透明式”推演过程，当前大多数基于深度学习方法的决策过程通常被认为是由训练数据所驱动的“黑匣子”。深度学习的成功通常取决于从训练样本中学习和提取的“共同”特征作为先验信息。因此，当人工神经网络面对“罕见样本”时，它极易给出一个错误的预测结果并且毫无察觉。这对于光学测量的许多应用领域而言往往是致命性的，如逆向工程、自动控制、缺陷检测等。在这些场合，测量结果的准确性、可靠性、可重复性以及可回溯性是首要考虑的因素。

2021年12月，南京理工大学电子工程与光电技术学院陈钱、左超教授课题组提出了一种基于贝叶斯卷积神经网络（BNN）的条纹分析技术，研究成果“Deep-learning-based fringe-pattern analysis with uncertainty estimation”以封面论文发表于Optica（如图1所示）。南京理工大学为该论文第一研究单位，第一作者为冯世杰副教授。该论文首次证明了通过构建贝叶斯卷积神经网络，不仅可从单幅条纹图案中解调相位信息，而且还可自动生成与该相位相对应的不确定图（uncertainty maps），进而揭示人工神经网络对于其自身预测结果的信任程度。实验结果表明当训练数据集缩小或待测样品十分罕见时，经过适当训练的贝叶斯卷积神经网络可准确地对其输出相位的可靠度进行量化，从而有助于避免对人工神经网络错误输出结果的盲目信任。

图1 基于贝叶斯卷积神经网络的条纹分析

该方法首先基于U-net神经网络和Concrete dropout技术构建了具有统计预测能力的贝叶斯卷积神经网络（图2）。该网络以单幅条纹图像作为输入，经训练后可输出相位的正弦项、余弦项以及它们的方差。在测试阶段，采用蒙特卡罗（Monte Carlo）抽样，获得关于输入条纹图像的一批预测结果（图3）。基于这些预测结果可以计算出正弦项均值、余弦项均值以及它们的不确定度（数据/模型不确定度）。最后利用反正切函数与不确定度传播函数，计算最终的相位信息以及相应的不确定度信息。

图2 贝叶斯卷积神经网络（BNN）结构图

图3 相位预测与不确定度的计算过程

为了验证该贝叶斯卷积神经网络的有效性与实际应用价值，研究团队利用该技术对一个具有螺纹结构的复杂工件进行了相位测量与三维重建。由于该工件自身的螺纹结构与照明在其表面的结构光光栅条纹碰巧耦合，从而在螺纹区域表面生成了低频的莫尔条纹（图4e）。传统的12步相移方法得益于时域多帧相移条纹的采集，可以对这种复合条纹准确解耦并获得准确的测量结果（图4q）。然而对于基于单帧条纹输入的深度学习技术而言，该“意想不到”的现象所导致的歧义性引发了神经网络的误判，致使该区域产生了较大的相位测量误差（图4h），最终的三维重建结果也出现了严重失真（图4r）。这说明在使用深度学习技术进行光学测量时，往往会面临“错而不觉”的风险，致使样品表面因网络误判而产生“无中生有”的缺陷。而本文所提出的贝叶斯卷积神经网络成功地察觉到了这一问题，并在生成的不确定图中的相关区域标记了较大的相位不确定度（图4c和4d）。更进一步，当神经网络在面临从未经历的条纹图像时，其误差与不确定度将被进一步扩大，如图4i至4p所示。由于神经网络的不确定度过大，这提示我们测量结果中的“缺陷”很可能来自于网络模型而非样品本身，因此需采用额外手段对其进行进一步排查确认以避免对此测试样品的形貌造成误判。

图4 带有螺纹的复杂工业零件的测量不确定度分析。（a）输入的条纹图像（空间频率f=160）。（b）BNN的绝对相位误差。（c）BNN的数据不确定性。（d）BNN的模型不确定性。（e）感兴趣区域的放大条纹图像，其中A表示内部光滑区域，B表示带有螺纹的区域。（f）该区域在均匀光照下拍摄的放大图像（无照明条纹）。（g）-（h）为区域A和区域B的相位误差和不确定度图。（i）-（p）利用频率f=160的光栅图像对BNN进行训练后，但输入频率为f =80对BNN进行测试得到的相应结果。（q）-（s）为12步相移法（标准方法）、BNN（输入光栅f=160）与BNN（输入光栅f=80）对应的三维重建结果。

目前深度学习技术在光学测量领域仍处于发展的早期阶段。该领域中相当一部分研究人员是严谨且理性的，他们对现阶段缺乏可解释性的“黑匣子”式的深度学习解决方案是抱有质疑的，且对其在工业检测和生物医疗等方面的应用是持观望态度的。虽然该项研究工作无法从根本上保证深度学习“不会犯错”，也无法对其进行“错误纠正”，但它在“盲目信任”与“全盘否定”之间给了研究人员另一种可能的选择，即“选择性”采纳。这也为人工智能在光学测量领域的广泛接受与采纳打开了一扇新的窗口——将使用者的“主观能动性”纳入决策链中，不妨放心大胆地去尝试深度学习吧：不可靠，可以不采纳，你并不会因此而损失什么！

文章链接：