【光电期刊】OES封面 | 深度学习辅助变分希尔伯特定量相位成像：让数字全息相位解调“更智能”【陈钱、左超教授团队与郜鹏教授团队】

第一作者：李卓识 博士研究生

通信作者：陈钱 教授，左超 教授，郜鹏 教授

点击文章标题查看全文

数字全息显微成像技术(Digital holographic microscopy, DHM)通过散射物光波与参考光波发生干涉，从而对完整光波前信息进行强度调制，并通过解码全息图的方式定量地反映出待测样品的相位延迟。该技术利用样品折射率作为内源性造影剂，对细胞等完全透明结构实现无标记定量相位成像。凭借无损伤、非侵入的成像优势与实时、高精度的成像特点，数字全息技术在无标记细胞形态学测量^[1,2]、纳米结构光学计量^[3]、体外药物释放探测^[4]等方面都取得了广泛应用。

然而在数字全息技术的研究过程中，由于受到共轭项和直流项的影响，全息记录需要有足够高的空间载频使得±1级谱与0级谱在傅里叶域得到有效分离。可是过高的空间载频极大地降低了探测器空间带宽利用率，限制了成像系统的空间带宽积(Space-bandwidth product, SBP)。微离轴数字全息结构通过减小相干夹角来降低全息记录空间载频，使得系统SBP得到优化，该结构在保证共轭项有效分离的情况下允许直流项的混叠。然而在利用传统傅里叶变换频域滤波的方法对微离轴数字全息系统下的低载频全息图进行相位恢复的过程中，由于受到混叠直流项的影响，相位结果存在严重的成像伪影。尽管目前已有许多微离轴数字全息解调方案被提出，但其成像效果依然受制于算法本身的图像频率成分提取不充分问题^[5]或是光强约束、频谱延拓等限制条件^[6]。因此高精度、无伪影的低载频全息解调问题亟需得到进一步的解决。

近日，南京理工大学陈钱、左超教授课题组与西安电子科技大学郜鹏教授提出了一种深度学习辅助变分希尔伯特定量相位成像方法。该方法利用残差补偿思想，将数据驱动的深度学习模型与物理模型相结合，在少量数据集驱动下，实现了高精度、无伪影的单帧低载频条纹解调。该成果作为封面文章以“Deep learning assisted variational Hilbert quantitative phase imaging”(DL-VHQPI) 为题发表于Opto-Electronic Science (OES，光电科学)2023年第4期。

研究团队所提出的深度学习辅助的变分希尔伯特定量相位成像技术，是一种针对微离轴数字全息系统下的低载频条纹解调技术。该技术通过残差补偿的思想将神经网络与物理方法进行了有机的结合，在仅仅使用了传统深度学习模型数据集的十分之一的情况下有效解决了传统物理方法在微离轴数字全息解调过程中的伪影残留问题。文章通过数值仿真与生物样品实验展示了该方法出色的伪影抑制表现，其相位重构精度达到0.0065 rad (平均绝对误差)。

图1 变分希尔伯特定量相位成像方法流程图

变分希尔伯特定量相位成像技术(VHQPI)作为方法的底层物理模型^[5]，首先通过非监督变分图像分解算法(unsupervised variational image decomposition, uVID)对低载频条纹图进行图像频率成分提取，得到的干涉条纹项由希尔伯特螺旋变换(Hilbert spiral transform, HST)构造复解析信号完成相位重构(如图1所示)。其中，uVID算法是在原有变分图像分解算法的基础上引入了BM3D去噪算法^[7]和修改的Chamboll’s投影算法^[8]，该算法无需预设参数即可迭代地实现图像频率成分提取。然而算法有限的提取能力使得图像频率成分提取不充分，相对背景真值存在残差项。

图2 深度学习辅助希尔伯特变换定量相位成像方法。(a)完整的算法流程，利用深度学习残差补偿思想将变分图像分解(uVID)与卷积神经网络相结合完成相位重建；(b)条纹图背景成分的初始估计；(c)条纹图背景成分的进阶提取

基于此，研究人员利用卷积神经网络(CNN)对残差项进行了“学习”，辅助物理模型对低载频条纹图背景成分进行了初始估计(如图2(b)所示)。为了进一步提高成像精度，初始估计得到的背景图作为特征引导，与原始全息图一起再次送入网络，对背景成分进行了进阶提取(如图2(c)所示)。最后，将得到的干涉条纹项利用希尔伯特螺旋变换构造复解析信号完成高精度、无伪影的相位恢复。完整过程如图2所示。

图3 数值仿真实验结果。(a-c)分别基于FT，VHQPI，DL-VHQPI三种方法的定量相位重构结果；(d)相位真值；(e-g)分别是三种成像结果相对真值的误差分布图；(h)定量误差分析图

图3展示了DL-VHQPI与传统物理方法(FFT算法以及VHQPI算法)的相位重构、误差分布与定量分析结果。实验结果表明：DL-VHQPI的相位重构精度相比于传统物理方法提高了10倍以上，重构结果的平均绝对误差仅为0.0065 rad。

此外，研究人员还与不加入物理模型的传统深度学习方法(DL-noPhy)进行了对比实验。结果如表1所示，DL-VHQPI在使用不足DL-noPhy数据集十分之一的情况下，表现出了更高的相位重构精度。这是由于物理模型(uVID)降低了数据集的信息熵，为深度学习模型提供了先验信息，使得DL-VHQPI即使在少量数据集的驱动下依然可以表现出良好的伪影抑制效果。

图4展示了微离轴数字全息系统下对人类宫颈癌细胞的定量相位恢复结果。单帧低载频干涉条纹图通过uVID提取频率成分之后，利用训练好的深度学习模型进行残差补偿，重构得到的定量相位结果如图4(b)所示。与传统基于傅里叶变换频域滤波的方法相比，DL-VHQPI表现出了更好的伪影抑制能力，展现出了更高的重构精度与相位成像细节。此外通过对活细胞样品的实验验证也说明了该技术在细胞生命科学研究中的应用价值。

图4 活细胞样本实验结果。(a)基于FFT的定量相位重构结果；(b)DL-VHQPI的相位重构结果；(c1-c4)FFT重构结果的感兴趣区域的局部放大；(d1-d4)DL-VHQPI重构结果的感兴趣区域的局部放大

该工作得到了国家自然科学基金(U21B2033, 61905115, 62105151, 62175109，62227818)；江苏省基础研究计划前沿引领专项(BK20192003)；江苏省青年基金项目(BK20190445, BK20210338)；江苏省科技计划生物医药竞争类项目(BE2022847)；江苏省科技计划重点国别产业技术研发合作项目(BZ2022039)；中央高校科研专项资助项目(30920032101)；江苏省光谱成像与智能感知重点实验室开放基金(JSGP202105, JSGP202201)；波兰国家科学中心(2020/37/B/ST7/ 03629)的支持。

本次工作提出了一种深度学习辅助的变分希尔伯特定量相位成像技术，该技术对微离轴数字全息系统下的低载频干涉条纹解调问题进行了研究。研究人员将低载频条纹解调过程视为一个非线性优化问题，利用深度学习辅助物理模型的方式实现了高精度、无伪影的定量相位重构。该工作的亮点在于：利用残差补偿思想将深度学习模型与物理模型进行有机结合，在少量数据集驱动下实现了高精度、无伪影的低载频全息条纹解调。随着深度学习技术的不断发展，这一强大的工具仍将会为计算成像带来更多的可能。而描述先验知识的物理模型与数据驱动的深度学习模型的协同作用，有望为计算成像提供更多有效的解决方案。