Smart Computational Imaging (SCI) Lab
智能计算成像实验室

文章简介

【IntelligentOptics】成像专题 | 合成孔径傅里叶叠层显微成像技术助力数字病理系统小型化与智能化 (Wiley LPR)

高效合成孔径傅里叶叠层显微成像技术助力数字病理系统小型化与智能化

Efficient Synthetic Aperture for Phaseless Fourier Ptychographic Microscopy with Hybrid Coherent and Incoherent Illumination


本期导读

高通量成像在许多生物医学应用中至关重要,尤其在病理诊断领域,高通量成像提供了高分辨率和大视场的“数字病理图像”,以根据病理组织的形态学特征和相关的辅助测试来进行最终的疾病确诊。理想的成像技术应该能够获取染色组织切片在大视场范围内细胞或亚细胞尺度的高分辨率细节。然而,现有高通量成像技术借助高精度机械扫描采集和图像拼接技术来获取大视场高分辨率图像,以牺牲时间带宽换取空间带宽的方式导致成像系统的时空带宽积降低,无法为快速病理诊断提供所需的时效性。

近日,来自南京理工大学的研究人员提出了一种全新的高效合成孔径傅里叶叠层显微成像技术(ESA-FPM)。通过建立非相干(明场)和相干(暗场)混合照明策略,提出明场反卷积结合暗场迭代重构策略,可保持低倍物镜下的大视场和大景深,以传统傅里叶叠层显微成像技术约百分之一的数据量获得超物镜衍射极限的高分辨率细节信息,实现了所见报道中的最高时空带宽积。除此之外,采用自主设计小型化高通量显微成像系统,获得2.19×1.46mm2的大视场内全宽分辨率486nm(等效数值孔径1.05)的高通量图像,空间带宽积达54.15Mpix。该技术将为细胞监测、药物筛选、病理诊断等高通量成像应用提供全新的技术方案。该成果发表于Wiley旗下期刊《Laser & Photonics Reviews》上,并被选为当期的封面论文。成果的合作单位包括美国康涅狄格大学、宁波江丰生物信息技术有限公司与宁波市临床病理诊断中心。


图片

图1. LPR封面文章

图片

技术背景

高通量成像技术要求获取生物细胞样品在大视场范围内细胞或亚细胞尺度的高分辨率信息,以实现对细胞族群中单个细胞物质组成及细胞形态分析。然而,传统光学显微镜的成像通量遵循拉格朗日不变量等因素,难以同时兼顾大视场与高分辨率成像,如图2所示。目前,大部分显微系统的空间带宽积在千万像素量级,这种有限的空间带宽积成为制约显微成像系统应对高通量成像应用的关键瓶颈。全视场切片扫描成像(WSI)是目前病理诊断中常用的高通量成像方法。它采用高倍物镜对病理切片成像,利用高精度机械扫描采集和图像拼接技术生成“全视场数字化病理切片”,大大提升了成像空间带宽积。然而,机械扫描与图像拼接降低了成像速度,这种以牺牲时间带宽换取空间带宽的方式导致成像系统的时空带宽积降低,从而无法为快速病理诊断提供所需的时效性。


图片

图2. 传统光学显微镜中大视场与高分辨率成像的成像矛盾


计算光学成像为突破光学显微系统物理限制,实现高通量成像提供了可能。傅里叶叠层显微(FPM)成像基于角度照明扫描和合成孔径算法,在保持低倍物镜的大视场和大景深下,获得超越物镜衍射极限的高分辨率细节信息。该技术突破了光学显微系统的空间带宽积限制,为病理诊断提供了一个有潜力的高通量成像方案。然而,尽管经过十年的发展,这一技术在系统鲁棒性、成像空间带宽积、算法收敛性等方面得到了极大地优化,但制约其在高通量成像应用广泛推广的两个关键瓶颈仍未被解决:1)需要采集大量的原始数据(通常几百幅),以牺牲时间带宽换取空间带宽,难以实现高时空带宽积成像;2)成像系统基于现有显微平台,空间带宽积受限于商业化物镜的数值孔径,难以满足病理诊断的信息通量需求。因此,如何有效突破成像系统的时空带宽积限制,实现高通量成像,是目前傅里叶叠层显微成像技术研究的一大重要方向。

图片

技术路线

为进一步发展大视场、高分辨、高效率的高通量成像技术,研究人员提出了一种高效合成孔径傅里叶叠层成像技术(ESA-FPM),实现病理诊断高通量成像性能指标的跨越式提升。如图3所示,该技术建立了非相干(明场)和相干(暗场)混合照明策略,提出明场反卷积结合暗场迭代重构的高效傅里叶叠层显微成像方法。研究人员通过分析不同照明下采集图像的信息分布特性,采用非相干照明替代传统的角度扫描照明,使单幅明场图像集成物镜数值孔径两倍带宽的信息;进一步基于弱相位物体光场信息的一致性,采用中心对称暗场稀疏照明策略大幅度减少暗场图像数量。由此,将傅里叶叠层显微成像技术所需图像数据减少两个数量级,突破了传统光学显微系统的时空带宽积限制。


图片

图2. 高效合成孔径傅里叶叠层成像技术的非相干(明场)和相干(暗场)混合照明原理示意图。(a)ESA-FPM系统示意图;(b)非相干(明场)和相干(暗场)混合照明策略;(c)混合照明模式下的合成频谱覆盖。


为探索ESA-FPM的最少数据需求,通过分析傅里叶叠层显微成像技术的数据冗余,提出了具有最大数据转换效率的高效合成孔径傅里叶叠层成像技术方案。这一方案将暗场照明的数值孔径确定为物镜数值孔径的两倍,采用该照明环形上均匀分布的12颗LED单元进行照明,中心对称的两颗LED单元同时点亮采集一幅暗场图像。由此,采集7幅原始图像实现相干衍射极限3倍的成像分辨率。最终,该方法其仅需要传统傅里叶叠层显微成像技术1.6%的图像数据,即可获得大视场下超物镜衍射极限的高分辨率样品细节特征。

此外,为了突破现有基于商业化显微平台实现的傅里叶叠层成像的空间带宽积限制,自主设计高通量显微物镜(低倍率6X,高数值孔径0.35NA)和高亮度LED阵列,构建了小型化高通量显微成像系统。如图4所示,该系统尺寸约为传统光学显微镜的三分之一,提供了2.19×1.46mm2的大视场范围内全宽分辨率486nm(等效数值孔径1.05)的高分辨率图像,成像空间带宽积达54.15Mpix。


图片

图4. 小型化高效合成孔径傅里叶叠层成像系统。

(a),(b)系统硬件配置;(c)自主设计的高通量显微物镜(低倍率6X,高数值孔径0.35NA);(d)高亮度LED阵列。


研究人员采用该小型化高通量显微成像系统对淋巴结转移鳞状细胞癌病理切片进行成像,结果如图5所示。与40×,0.65NA显微物镜获得的成像结果对比,该高通量显微成像系统的实验结果实现了更的高分辨率,并且成像视场是其44.5倍。结果表明,该研究成果大大提升了时空带宽积,突破了现有光学显微成像系统的成像通量,有望为病理诊断进行统计学和生物学上的准确病变分析提供高效的技术方案。


图片

图5. 淋巴结转移鳞状细胞癌切片的高通量实验结果。

(a)全视场明场图像;(b)白框中的感兴趣区域(ROI 1)的放大图像;(c)使用放大倍数为40倍、NA为0.65的物镜在传统明场显微镜下的成像结果;(d)相干照明、明场照明和ESA-FPM的感兴趣区域(ROI 2, ROI 3, ROI 4, ROI 5)的可视化结果对比。


简要小结该研究探讨了一种高效合成孔径傅里叶叠层显微成像方法(ESA-FPM),通过非相干和相干混合照明策略,采集7幅原始图像实现相干衍射极限3倍的成像分辨率。进一步自主设计小型化高通量显微成像系统的实验表明,该系统与40×、0.65NA显微物镜的成像结果对比,成像视场是其44.5倍,并且提供了更高分辨率的细节特征。其成果将有望革新病理诊断现有图像获取方式,为病理诊断提供及时准确的高通量成像技术方案。


论文信息:
  • Y. Fan, J. Sun, Y. Shu, Z. Zhang, G. Zheng, W. Chen, J. Zhang, K. Gui, K. Wang, Q. Chen,* and C. Zuo*, “Efficient Synthetic Aperture for Phaseless Fourier Ptychographic Microscopy with Hybrid Coherent and Incoherent Illumination,” Laser & Photonics Reviews, 202200201.


技术详见:
https://onlinelibrary.wiley.com/doi/10.1002/lpor.202200201

*该技术分享所涉及文字及图片源于发表论文和网络公开素材,不做任何商业用途。

来源 | IntelligentOptics

排版 | 孙菲

复审 | 左超

终审 | 徐峰


SCILab 官方公众号
SCILab 官方B站