Smart Computational Imaging (SCI) Lab
智能计算成像实验室

文章简介

突破相机帧率限制：基于三频彩色复用的高速三维成像技术

发表时间：2026-07-20 17:04

高速动态过程的三维观测是光学计量、智能制造、机器人感知和结构动力学分析中的重要需求。面对高速旋转部件、瞬态形变结构以及多目标非同步运动等复杂场景，研究人员不仅需要记录物体的二维外观变化，更需要在极短时间尺度内恢复其连续三维形貌。条纹投影轮廓术因具有非接触、高精度和全场测量等优势，已成为动态三维测量的重要技术路线。然而，传统条纹投影方法通常依赖“逐幅投影和逐帧采集”的同步机制，三维重建速度同时受限于投影器刷新率、相机采集帧率以及相位恢复所需的条纹数量。近年来，研究人员尝试通过单通道频域压缩和方向复用方法，将多个时刻的条纹信息叠加到单幅灰度图像中，再借助深度学习实现解复用和相位恢复，从而在一定程度上突破了相机原生帧率限制。但随着压缩倍率进一步提高，所有条纹信息被限制在单一图像通道内，频谱混叠、误差累积和频率选择受限等问题逐渐凸显，制约了时间分辨率和重建鲁棒性的继续提升。因此，如何在不显著增加硬件复杂度的前提下，拓展条纹信息的编码维度，将更多时间片段的三维信息高效压缩到有限采集数据中，并从中准确恢复高保真的动态三维形貌，成为高速三维成像亟待突破的关键问题。

为突破上述瓶颈，南京理工大学智能计算成像实验室陈钱、左超教授团队提出了一种三频彩色复用条纹投影轮廓术(Triple-Frequency Color-Multiplexed Fringe Projection Profilometry, TFCMFPP)。不同于已有单通道压缩方法将多组条纹信息全部叠加在一幅灰度图像中，该方法进一步引入彩色通道作为新的编码维度，将三种不同空间频率的条纹分别编码至红、绿、蓝通道，并结合多方向条纹设计与长曝光采集，在单幅彩色复用图像中同时封装多个时间片段的三维测量信息。随后，研究团队利用深度学习解码框架对复用图像中的颜色、频率、方向和时间信息进行分离与相位恢复，从而仅依靠低帧率彩色相机，实现了相当于相机原生帧率24倍的高速三维重建。相关成果以“Temporal Super-Resolution for High-Speed 3D Imaging Using Triple-Frequency Color-Multiplexed Fringe Projection”为题发表在《Laser & Photonics Reviews》上。南京理工大学硕士生刘苡帆和博士生陈文武为论文共同第一作者，左超、陈钱、冯世杰教授为共同通讯作者。

从单通道压缩到彩色多维复用：单次曝光实现三维时间超分辨

本研究的核心思路是将高速三维成像的速度提升从单纯依赖更高硬件帧率，转向对单次曝光信息容量的充分挖掘。研究团队利用彩色投影与彩色成像系统天然具有的通道维度，将低、中、高三种空间频率的条纹分别加载至红、绿、蓝三个颜色通道，并进一步结合多方向条纹设计，使不同时刻的条纹信息在颜色、空间频率和方向三个维度上形成可区分的编码结构。在高速投影与长曝光采集过程中，原本需要逐帧记录的多组时序条纹被压缩到单张彩色复用图像中，从而实现了多个时间片段三维信息的单次曝光压缩。虽然这类复用图像在空间域中呈现为高度混叠的复杂条纹，难以直接辨识每一瞬时状态，但其频谱结构仍保留了不同时刻条纹分量的可分离特征，为后续时间超分辨三维重建提供了物理基础。

TFCMFPP原理示意图：在一次长曝光中叠加多组彩色多频条纹，借助深度神经网络从复用频谱中解耦重建多个时间点的三维形貌

高压缩比信息复用也对解码算法提出了更高要求。单张长曝光图像中同时耦合了颜色、频率、方向和时间信息，不同条纹分量在空间域和频率域交织叠加，并受到零级背景、颜色串扰和频谱混叠等因素影响。为从这种高度压缩的观测中恢复可靠相位，研究团队构建了由“图像净化、条纹解复用、相位恢复”组成的三阶段深度学习框架。首先，零级背景与颜色串扰去除网络对原始复用图像进行预处理，抑制背景项和通道间干扰。随后，空间-频率分解网络结合图像纹理特征与频谱分布特征，将混合条纹分离为不同颜色、频率和方向对应的清晰条纹分量。最后，方向感知专家网络根据条纹方向自适应调用相应的相位恢复子模型，并结合投影距离最小化的多频相位展开策略，获得多个时间片段对应的绝对相位图。基于上述流程，系统能够从单张彩色复用图像中恢复多个时间片段的三维信息，实现连续动态过程的高时间分辨率三维重建。

本方法重建流程图：(a)零级背景与颜色串扰去除网络对原始复用图像进行预处理，空间-频率分解网络将混合条纹分离为不同颜色、频率和方向对应的清晰条纹分量。(b)方向感知专家网络根据条纹方向自适应调用相应的相位恢复子模型，并结合投影距离最小化的多频相位展开策略，获得多个时间片段对应的绝对相位图

高速动态三维测量实验结果

为验证该方法在高速动态场景中的测量能力，研究团队对高速旋转的转子发动机模型进行了三维重建实验。该模型尺寸为200 mm×197 mm，内部包含转子、定子等复杂结构，兼具高速周期运动和丰富几何细节。实验中，系统采用60 Hz彩色相机进行长曝光采集，并通过TFCMFPP实现24倍时间超分辨，将等效三维重建帧率提升至1440 Hz。研究团队从6幅彩色复用图像中解码出144幅不同方向的条纹，恢复出发动机转子在高速旋转过程中的连续三维形貌。实验结果表明，该方法即使在低帧率彩色相机条件下，也能够实现复杂高速机械结构的连续、稳定的三维动态测量。

高速旋转的转子发动机模型的动态三维测量结果

本方法通过颜色、频率、方向和时间等多维物理编码，将多个瞬时三维信息压缩到单次长曝光采集中，并借助深度学习实现高精度解复用与相位恢复，从而有效突破了相机原生帧率对三维重建速度的限制。相比单纯依赖高速相机、高速投影器等硬件资源的方案，该方法以更紧凑、成本更可控的系统形式提升了单次曝光的信息利用效率，为低帧率彩色相机实现高时间分辨率三维测量提供了新的思路。未来，这一技术有望服务于高速工业检测、机器人动态感知、结构动力学分析和瞬态过程观测等应用场景，并为低成本、高通量、高时间分辨率三维视觉系统的发展提供新的技术路径。

南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于“光学工程”国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队与首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授、国际光学工程学会/美国光学学会/英国物理学会会士（SPIE/Optica/IOP Fellow)。依托“极限环境光电动态测试技术与仪器”全国重点实验室、“先进光电成像技术与仪器”教育部工程研究中心、“计算光学成像与测量”科技部国家示范型国际科技合作基地等8个高层次科研创新平台，在国家重大需求牵引及重点项目支持下开展新型“智能计算成像”的机理探索、工程实践以及先进仪器的研制工作，推动信息光学、精密测量、先进材料与人工智能的深度交叉融合，并开拓其在生命科学、生物医药、智能制造、遥感监测以及国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文300余篇，其中50余篇论文被选作Light、Optica、AP、PhotoniX、LPR等期刊封面论文，30篇ESI高被引/热点论文，论文被引逾2.4万次。培养研究生6人获全国光学工程优秀博士论文/提名奖，6人获中国光学学会王大珩光学奖，4人获SPIE光学与光子学教育奖学金，获“挑战杯”、“创青春”等全国金奖16次，“互联网+”全国总冠军。获评“江苏青年五四奖章”集体、“中国大学生自强之星”科创团体等荣誉称号。人才培养事迹受到央视《焦点访谈》、人民日报、美国光学学会会刊Optics & Photonics News等百余家媒体专题报道。

论文信息

英文题目: Temporal Super-Resolution for High-Speed 3D Imaging Using Triple-Frequency Color-Multiplexed Fringe Projection

论文作者：Yifan Liu†, Wenwu Chen†, Shijie Feng*, Yutong Xiao, Jinyang Jiang, Shengqi Yu, Yiheng Liu, Wei Yin, Qian Chen*, Chao Zuo*

期刊全称：Laser & Photonics Reviews

DOI: 10.1002/lpor.202502920

原文链接：https://onlinelibrary.wiley.com/doi/10.1002/lpor.202502920

招生招聘进行时｜南京理工大学智能计算成像实验室