Smart Computational Imaging (SCI) Lab
智能计算成像实验室

文章简介

【光电汇OESHOW】iPhone 15 Pro“空间视频”+“3D结构光”技术浅析：为影像添加一个新维度

769
发表时间：2023-10-11 08:41作者：光电汇OESHOW来源：光电汇OESHOW网址：https://mp.weixin.qq.com/s/p2NNBMvN56Nx8_P95F3G_A


文   | 尹维、冯世杰、钱佳铭、李艺璇、左超，南京理工大学

苹果和华为的坚持——3D结构光

2023年8月29日，华为公司正式发售了搭载麒麟9000S的HUAWEI Mate 60系列手机。这款手机独特的“三开孔”前置中容纳了一颗3D深感摄像头，基于华为自主研发的高性能处理器麒麟9000S，可为用户带来更快捷、更安全的3D人脸支付体验。
而苹果公司于9月发布的iPhone 15 Pro沿用了iPhone X的Face ID功能，其采用的第二代“灵动岛”设计中也内藏了一颗3D深感摄像头用于面容识别。此外，iPhone 15 Pro还推出了一项新功能——“空间视频”录制，为视频拍摄增添了一个新维度。不同于我们日常拍摄的普通视频，iPhone 15 Pro通过将主摄像头与超广角摄像头相结合，实现了空间视频的拍摄，该功能将与苹果公司于今年6月发布的虚拟显示设备Vision Pro相结合，可再现和重温具有立体维度的美好回忆，如图1所示。

图片

图1 iPhone 15 Pro的“空间视频”效果图
从iPhone 15 Pro宣传片中拍摄者的动作来看，用户使用iPhone 15 Pro进行空间视频拍摄时仅需在适中的距离采用固定机位即可完成。“空间视频”的拍摄是基于人类的双目立体视觉原理，更接近于传统3D电影的制作方式[1]，如图2所示。人和动物通过自己的双眼来感知三维的世界（动图3），由于人的双眼在水平方向上有一定间距，因此双眼看到的画面具有一定视差，当两只眼睛分别形成的物体被转化成神经信号传输到大脑以后，大脑就会对它们进行综合加工处理，主观上可产生被视物体的厚度以及空间的深度或距离等感觉。

图片

图2   James Cameron拍摄Avatar 2时所用的双目相机[1]

图片

图3 人和动物通过自己的双眼来感知三维的世界
因此，为了实现“空间视频”的制作与再现，iPhone 15 Pro使用主摄像头与超广角摄像头模仿人眼采集具有一定水平视差的双目画面，结合Vision Pro设备上基于Micro-OLED的两块2,300万像素显示器和高效眼追踪系统（图4），将具备广色域和HDR的超高分辨率8K画质分别呈现给人的左眼和右眼，最终产生具有空间立体感的3D画面[2]。

图片

图4 Vision Pro设备外观与内部设计图

“空间视频”中采用的双目立体视觉原理也是一种广泛使用的光学三维成像技术。典型的光学三维成像技术主要包括光度立体视觉、双(多)目立体视觉、飞行时间法、激光线扫法、散焦恢复形状法、结构光投影法等，而结构光投影又包括条纹投影与散斑投影法等（图5）。

图片

图5 典型的光学三维成像技术
那么，在双目立体视觉中，两只眼睛到底是如何获取三维信息呢？这就需要提到三角测距原理：通过同一物点在两个视角投影之间的三角关系即可确定物体的深度，如图6所示。

图片

图6 双目立体视觉法示意图

人眼可以由大脑指挥实现自动对焦目标的功能，即使目标可能不那么容易分辨。例如一面白墙，如图7所示，人眼可以借助自己的先验知识或者借助精准控制的眼球转动推算出目标的大致距离。因为在看清不同距离的物体时，人的双眼之间的视角是不同的，对应到相机就是一个相机需要在另一个相机中匹配到同一物点才能判断其具体的位置。而相机却没有人眼那么“智能”，当拍摄一面白墙时，对于左视角中A点，右相机无法从其拍摄的图中去匹配同一个位置。而如果我们能够对目标物体添加“标识码”，即添加无规则的散斑图案，那么右相机就可以根据物体表面所特有的散斑特征判断A点所对应的点到底在哪里。

图片

图7 散斑结构光为场景中的每一点打上了独一无二的“标签”
散斑图案是结构光投影法中常用的投影图案之一。从本质上讲，结构光投影法是立体视觉法的一种改进形式，通过将立体视觉系统中一个摄像机替换成光源发生器（如投影仪）而实现。光源向被测物体投影按照一定规则和模式编码的图像（光栅条纹图案、线激光图案、随机散斑图案等），形成主动式三维形貌测量。编码图案受到物体表面形状的调制而产生形变，而带有形变的结构光被处于另一位置的相机拍摄到，通过相机与投影光源之间的位置关系和结构光形变的程度可以确定出物体的三维形貌。与立体视觉法相比，结构光投影法克服了由弱纹理区域引起的低匹配精度问题。
在结构光投影法中，投影图案的编码模式可时间编码（多帧测量）和空间编码（单帧测量），如图8所示。

图片

图8 几种常见的结构光图案。(a) 正弦条纹图案；(b) De Bruijn图案；(c) M-array图案；(d) 散斑图案。

时间编码将一系列特定编码的图案连续投影到物体表面，常见图案包括格雷码图案、时间n元码和正弦条纹图案。其中，基于正弦条纹图案投影的三维测量方法（条纹投影轮廓术）通过计算形变条纹图像的相位信息实现了高精度三维测量，广泛应用于工业检测与医学整形等领域，如图9所示。

图片

图9 结构光投影法原理（以条纹投影轮廓术为例）
不同于时间编码，空间编码的关键设计思想是如何保证局部图案相对于整个投影图案是全局唯一的。空间编码方法根据不同的空间编码策略可以分为三大类：非正规编码、De Bruijn序列编码和M-arrays编码。其中，M-arrays编码是一种二维编码方法，使用一系列小尺寸码字随机填充整个投影图案以形成伪随机图案，具有理论上最佳的全局唯一性。这种伪随机图案一般也称为随机散斑图案，基于伪随机图案投影的三维测量方法也被称为散斑投影轮廓术。
散斑图案的全局唯一性使得散斑投影轮廓术具有单帧三维重建优势，其在消费电子领域备受青睐，如微软公司的3D体感套件——Kinect、iPhone X的Face ID人脸识别功能和OPPO Find X的FaceKey人脸支付功能（图10）。基于散斑投影轮廓术的Kinect使用基于VCSEL的小型化散斑投影模组将数万个肉眼不可见的近红外光斑投影到被测场景，红外摄像头同步采集形变散斑图像，利用立体匹配技术得到视差图以实现三维成像，具有小型化、低成本、高测量效率的优势。

图片

图10 不同的三维光学传感设备。(a) Kinect；(b) iPhone X的Face ID人脸识别功能；(c) OPPO Find X的FaceKey人脸支付功能。
总而言之，基于结构光投影法的三维测量技术在测量精度和测量效率上具有潜在优势，尤其是条纹投影轮廓术和散斑投影轮廓术。下面我们来看看结构光三维成像技术的技术优势、典型应用和发展趋势。

结构光三维成像技术的技术优势及应用

结构光三维成像是一种主流的非接触式主动三维形貌测量技术，具有硬件配置简单、测量精度高、三维点云稠密等优势，广泛应用在工业检测、工业设计、生物识别、文物保护、生物医疗、虚拟现实等方面，如图11所示。

图片

图11 结构光三维成像在工业检测、人脸识别、文物保护、生物识别等方面的应用
  • 非接触：对于很多特殊的物体，如考古标本、博物馆藏品、私人收藏的高价值物品或者表面柔软的物体，接触式测量（如三坐标机）通常并不适用。而结构光技术使得测量这些物体成为可能，整个扫描过程不需要与检测对象进行任何物理接触。此外，在法医学和考古学领域，通常需要采用原位测量技术来测量物体，以保留其完整性以及周围的场景。
  • 速度快：结构光三维成像可实现全视场、快速三维成像。对于很多复杂的三维场景，传统的摄影测量方法、三坐标机或手动测量可能需要一整天的时间，而使用结构光三维扫描仪通常只需一两个小时即可完成。
  • 精度高：与游标卡尺、三坐标机等广泛使用的测量方法不同，结构光技术增强了复杂形面的三维测量能力。不仅仅是离散点和表面的线性延伸，结构光三维成像可用于不规则表面的测量，精度可达到微米级。
  • 对人体安全：结构光三维成像技术已在医疗保健领域得到了广泛的应用。与激光扫描仪（损失视力的风险）和CT扫描仪（辐射风险）不同，结构光技术通常采用的光源是白光或者红外光，而这对人体是安全无害的。

结构光三维成像技术的发展

01

结构光编码的理论研究

在结构光三维成像技术中，基于正弦条纹图案投影的三维测量方法（条纹投影轮廓术）通过计算形变条纹图像的相位信息实现了高精度三维测量，广泛应用于工业检测与医学整形等领域。为了实现无歧义的三维面型重建，通常需要将包裹相位展开为绝对相位。然而，传统的格雷码/时间相位展开法需要投影额外的多组格雷码/条纹图像，多帧成像的特性导致难以实现对动态场景的三维测量[3]。

为了减少重建所需的图像数量进而提高三维成像的效率，双频法[4]、2+2步相移法[5]、三角波复合相移法[6]、散斑复合傅里叶法[7]、微频移傅里叶变换法[8]等系列复合编码方法被提出，如图12所示，为实现实时、高速、高精度三维面型测量提供了数据基础。

图片

图12 基于复合编码的条纹投影轮廓术方法。(a) 2+2步相移法；(b) 三角波复合相移法；(c) 散斑复合傅里叶法；(d) 微频移傅里叶变换法。
1983年，傅里叶变换条纹投影轮廓术被提出，仅通过一幅高频条纹图像实现相位解调，使得单帧三维成像成为可能。针对此技术，研究人员展开深入系统的研究，实现了测量速度达kHz级别的单帧三维成像，先后提出了高速三维成像方法、基于频分复用的单帧三维成像方法、基于三通道彩色条纹复用的单帧三维成像方法，如图13所示。

图片

图13 基于傅里叶变换法的单帧结构光三维成像方法。(a) 傅里叶变换法的基本原理；(b) Su等[9]提出的高速三维成像方法对鼓面与微飞行器翅膀的三维成像结果；(c) Takeda等[10]提出的基于频分复用的单帧三维成像方法；(d) Zhang等[11]提出的基于三通道彩色条纹复用的单帧三维成像方法。

02

高速实时三维成像

近年来，面向运动场景的高速实时三维成像受到了越来越广泛的关注。相比于过去面向静态场景的测量，处理运动场景的三维成像技术对成像效率有着更为严格的要求。

为了提升三维测量效率，多种成像系统和技术被提出，如基于傅里叶变换轮廓术(FTP)的振动鼓膜表面快速测量[12]、基于2+1相移法实现的三维人脸成像[13]、基于双频复合相移法的三维成像系统[14]、基于2+2相移变换轮廓术与FPGA技术的120 Hz实时光栅投影三维成像系统[5]、基于立体相位展开(Stereo phase unwrapping, SPU)技术的四目实时三维成像系统[16]、将相移条纹图与格雷码图案相结合的结构光三维重建方法[17]、10000 Hz的瞬态三维传感技术[18]、5D高光谱三维成像技术[19]和热条纹投影三维成像技术[20]等，实现了更高精度的实时三维测量，包括人脸识别、气枪子弹出膛/气球爆炸的瞬态三维成像以及透明/半透明物体的快速三维成像等。

图片

图14 快速实时三维轮廓测量系统。(a) 鼓膜振动测量；(b) 基于2+1相移法实现的三维人脸成像；(c) 基于双频复合相移法的三维成像系统；(d) 120 Hz实时光栅投影三维成像系统；(e) 45 Hz四目实时高精度三维成像系统；(f) 积木坍塌等复杂、高噪声动态场景的三维形貌测量；(g) 子弹出膛的10000 Hz瞬态三维成像；(h)安全气囊弹出的瞬态三维成像。

03

与人工智能相结合

2022年底，ChatGPT大语言模型的横空出世在全球互联网上制造了一场人工智能的风暴。目前，人工智能技术也在光学成像、计算成像、全息显微等领域逐步渗透，且展现出巨大的潜力。对基于结构光投影的三维成像而言，人工智能技术已成功应用于结构光条纹图像的包裹相位求解[21]、空域/时域包裹相位展开、条纹去噪、超快三维测量等方面（图15）。这些应用向我们展现了，在人工智能的辅助下条纹投影技术在效率、精度等方面取得的新突破[22]。

图片

图15 基于深度学习的条纹结构光图像分析，可有效提升单帧条纹图像相位测量精度

04

消费电子与工业场景应用

结构光投影法，特别是条纹投影轮廓术(FPP)，是一种主流的高精度、非接触式三维成像技术，广泛用于智能制造、基础研究和工程应用。然而，基于条纹投影轮廓术的三维测量设备受限于高成本、低光功率和结构复杂的高分辨率空间光调制器件(DMD)，为小型化、低成本、远距离三维成像应用带来了巨大挑战。
另一方面，受益于先进的制造工艺，散斑投影轮廓术(SPP)采用基于垂直腔面发射激光器(VCSEL)的高集成化散斑投影器件，通过投影单帧散斑图案实现了快速三维重建，为三维场景重建和三维人脸识别等小型化移动深度传感应用开辟了新的途径[23]，如图16 (a)所示。
VCSEL已成为工业界常用的散斑投影器件核心光源，极大简化了散斑投影轮廓术的系统结构，具有小型化、高光功率、探测距离远等优点。然而，由于单帧散斑匹配精度低和被测表面的复杂反射特性，基于单帧散斑投影的三维传感设备在精度和分辨率方面的性能较差，因此iPhone X所拍摄到的3D人脸并不是我们想象的那般“3D”，而只是一个充满阶梯状的低分辨率的人脸轮廓而已，如图16 (b)所示。

图片

图16 面向消费电子的散斑投影轮廓术应用。(a) 基于VCSEL的小型化单帧散斑投影三维传感器及人脸面具的测量结果；(b) 理想中的高精度三维人脸数据与iPhone X所能获取到的三维人脸数据。
为了提升散斑投影轮廓术的测量精度以满足复杂工业场景的精密测量需求，基于VCSEL的三帧散斑投影三维传感器[24]被提出，利用一种由粗到精的时空散斑相关算法以提升测量精度、重建复杂物体的精细轮廓，实现了小目标金属零件的远距离三维测量，有望在零件分拣、机器人码垛等方面得以广泛应用，如图17 (a)所示。进一步，基于VCSEL的时空散斑投影三维传感器能够实现大尺寸汽车车门的高分辨率、高精度逆向三维建模，展示了其在工业检测、工件装配等领域的潜在应用，如图17 (b)所示。

图片

图17 面向工业场景的散斑投影轮廓术应用。(a) 基于VCSEL的三帧散斑投影三维传感器及小尺寸金属零件的测量结果；(b) 基于VCSEL的时空散斑投影三维传感器及大尺寸汽车车门的测量结果

小 结

从2010年微软公司发布全球第一款3D体感套件——Kinect，到2017年iPhone X的Face ID人脸识别功能，再到今年iPhone 15 Pro的“空间视频”录制功能，随着3D人脸识别、AR/VR、机器人码垛、3D缺陷检测等应用场景不断深入到人们的日常生活和工作中，消费电子与工业场景应用对三维数据获取与显示的需求必将促进结构光三维成像技术的蓬勃式发展。它们有望真正成为机器甚至智能手机的眼睛，使它们能够更准确地感知周围场景的真实几何形貌，并为后续的三维建模、检测与识别等方面提供重要的数据基础，广泛应用于工业在线检测、3D打印、虚拟现实、汽车无人驾驶、智能家居与安防等众多领域。



参考文献

[1] https://hackvision.pro/post/apple-vision-pro-spatial-computing-tech-stacks

[2] https://baijiahao.baidu.com/s?id=1776970942686256760&wfr=spider&for=pc

[3] Zuo, C., Huang, L., Zhang, M., Chen, Q. & Asundi, A. Temporal phase unwrapping algorithms for fringe projection profilometry: A comparative review. Opt. Lasers Eng. 85, 84–103 (2016).

[4] Zuo, C. et al. High-speed three-dimensional shape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulation fringe projection. Opt. Lasers Eng. 51, 953–960 (2013).

[5] Zuo, C., Chen, Q., Gu, G., Feng, S. & Feng, F. High-speed three-dimensional profilometry for multiple objects with complex shapes. Opt. Express 20, 19493–19510 (2012).

[6] Tao, T. et al. Real-time 3-D shape measurement with composite phase-shifting fringes and multi-view system. Opt. Express 24, 20253 (2016).

[7] Feng, S., Chen, Q. & Zuo, C. Graphics processing unit–assisted real-time three-dimensional measurement using speckle-embedded fringe. Appl. Opt. 54, 6865–6873 (2015).

[8] Zuo, C. et al. Micro Fourier Transform Profilometry ( μFTP): 3D shape measurement at 10,000 frames per second. Opt. Lasers Eng. 102, 70–91 (2018).

[9] Su, X. & Zhang, Q. Dynamic 3-D shape measurement method: a review. Opt. Lasers Eng. 48, 191–204 (2010).

[10] Takeda, M., Gu, Q., Kinoshita, M., Takai, H. & Takahashi, Y. Frequency-multiplex Fourier-transform profilometry: a single-shot three-dimensional shape measurement of objects with large height discontinuities and/or surface isolations. Appl. Opt. 36, 5347 (1997).

[11] Zhang, Z. H. Review of single-shot 3D shape measurement by phase calculation-based fringe projection techniques. Opt. Lasers Eng. 50, 1097–1106 (2012).

[12] Zhang, Q. & Su, X. High-speed optical measurement for the drumhead vibration. Opt. Express 13, 3110 (2005).

[13] Zhang, S. & Yau, S.-T. High-speed three-dimensional shape measurement system using a modified two-plus-one phase-shifting algorithm.Optical Engineering 46, 113603 (2007).

[14] Liu, K., Wang, Y., Lau, D. L., Hao, Q. & Hassebrook, L. G. Dual-frequency pattern scheme for high-speed 3-D shape measurement. Opt. Express 18, 5229–5244 (2010).

[15] Tao, T. et al. High-precision real-time 3D shape measurement based on a quad-camera system. J. Opt. 20, 014009 (2018).

[16] Qian, J., Tao, T., Feng, S., Chen, Q. & Zuo, C. Motion-artifact-free dynamic 3D shape measurement with hybrid Fourier-transform phase-shifting profilometry. Opt. Express 27, 2713 (2019).

[17] Wu, Z., Guo, W., Li, Y., Liu, Y. & Zhang, Q. High-speed and high-efficiency three-dimensional shape measurement based on Gray-coded light. Photon. Res. 8, 819 (2020).

[18] Zuo, C. et al. Micro Fourier transform profilometry (μFTP): 3D shape measurement at 10,000 frames per second. Opt. Lasers Eng. 102, 70–91 (2018).

[19] Heist, S. et al. High-speed three-dimensional shape measurement using GOBO projection. Opt. Lasers Eng. 87, 90–96 (2016).

[20] Landmann, M. et al. High-resolution sequential thermal fringe projection technique for fast and accurate 3D shape measurement of transparent objects. Appl. Opt. 60, 2362 (2021).

[21] Feng, S., Chen, Q., Gu, G., Tao, T., Zhang, L., Hu, Y., Yin, W. and Zuo, C. Fringe pattern analysis using deep learning. Adv. Photonics, 1(2), 025001-025001 (2019).

[22] Zuo, C., Qian, J., Feng, S., Yin, W., Li, Y., Fan, P., Han, J., Qian, K. and Chen, Q. Deep learning in optical metrology: a review. Light: Sci. & Appl., 11(1), 39 (2022).

[23] Yin, W. et al. Real-time and accurate monocular 3D sensor using the reference plane calibration and an optimized SGM based on opencl acceleration. Opt. Lasers Eng. 165, 107536 (2023).

[24]Yin, W. et al. Speckle structured-light-based 3D imaging technology and its sensor design using VCSEL projection array. Laser & Opto. Progress, 60(08), 0811005 (2023).

                                                                                                                                                       

                                                                                                                                            复审 | 左超

                                                                                                                                            终审 | 徐峰

文章分类： 现在文章
分享到：
SCILab 官方公众号
SCILab 官方B站