南昌大学成像与视觉表示实验室研究团队提出了一种由物理模型和人工智能驱动的真实世界场景的实时智能三维全息摄影系统，实现真实世界场景的高质量全息三维重建。该成果以“Real-time intelligent 3D holographic photography for real-world scenarios”为题发表于光学领域顶级国际期刊Optics Express。

南昌大学宋贤林副教授、硕士生董嘉庆为文章共同第一作者，刘且根教授为通讯作者。

三维显示相较于二维显示可以提供更加丰富的信息，对真实世界场景进行实时三维重建作为元宇宙和物联网领域的关键技术有着广阔的应用前景。全息三维显示被认为是一种理想的三维显示方案，提升三维全息图的计算速度和重建质量可以为实时三维重建提供坚实的支持。目前用于实现真实场景的全息三维重建的方法面临成像质量低、速度慢。因此，如何连续获取真实世界场景的三维信息并进行快速且高质量的全息三维重建是值得研究的问题。

研究团队利用深度相机获取真实场景的三维信息，采用层析法将其划分为30层。利用卷积神经网络（CNN）构建强度图和深度图到计算全息图（CGH）的映射。利用角谱算法的可微性实现CNN的自监督训练，使用复合损失函数计算重建图像与目标图像的损失以优化网络参数。训练好的CNN可以在14.5 ms内根据输入的强度图和深度图生成1024×1024的三维全息图。CGH被加载到空间光调制器上进行显示，可以用肉眼观察到具有明显深度变化的三维重建结果，所提系统的原理图和实物图如图1所示。

图1：所提系统的原理图和实物图

图2：所提卷积神经网络的训练流程图

所提卷积神经网络的训练流程图如图2所示。训练过程中，网络输入包含三维场景信息的强度图和深度图到Net1进行编码，Net1由Unet架构实现并输出目标振幅和相位场。使用角谱算法将目标振幅和相位场向前传播z0，得到全息平面的振幅和相位场。之后，将全息平面的振幅和相位场输入Net2并生成全息图，Net2由一个全卷积残差网络实现。使用角谱算法将全息图随机重建到三维物体的一层，计算并最小化重建图像与目标图像的损失。通过反向传播更新Net1和Net2的参数。训练中使用了由均方误差损失和感知损失组成的复合损失函数。

研究团队进行了数值模拟和光学实验，以验证所提方法的有效性。图3为三维实景采集与数值重建结果。可以观察到，随着重建深度增大，重建图像的在焦区域由三维物体的近端向远端移动，当重建距离为0.209 m时，数字“8”聚焦清晰，而数字“1”模糊。当重建距离为0.227 m时，数字“1”聚焦清晰，而数字“8”模糊。

图3. 三维实景采集与数值重建结果

图4为三维实景采集与光学重建结果。可以看到，三维物体的细节得到了很好的重建，在焦区域附近可以观察到相对清晰的画面，光学重建结果和数值重建结果较吻合。为了更加直观地展示重建图像的在焦区域随重建深度的变化，使用Tenengrad算子提取重建图像的在焦区域如图4（e1）-（n1）所示。随着重建距离的增大，提取出的在焦区域逐渐由三维物体的近端向远端移动。实验结果证明了所提方法对于不同深度物体的重建能力。

图4. 三维实景采集与光学重建结果

研究团队进一步验证了所提系统对运动的人体的三维采集与重建效果如图5所示。CCD相机拍摄三维场景远端的全息重建图像。可以看到由于人体躯干部分位于远端并保持不动，因此人的衣服的图案始终清晰。在t = 0 ms时，人的手部距离深度相机较近，图5（e）中黄色箭头指示的手部呈现出离焦模糊的效果。随着手部逐渐远离深度相机，手部的全息重建图像逐渐清晰。在t = 1400 ms时，手部移动到最远端，手部的全息重建图像呈现出最清晰的效果。从t = 1600 ms开始，手部开始接近相机，随着时间的推移，手部的全息重建图像逐渐模糊。

图5. 对运动人体的三维信息采集与全息三维重建结果

该研究提出了由物理模型和人工智能驱动的真实世界场景的实时智能三维全息摄影系统，系统的运行速度达到22 fps。在这项研究中，将三维场景根据层析法分为30层，并提出了一种用于快速生成全息图的CNN网络，通过将角谱模型融入网络的训练过程中实现了网络的自监督训练。使用深度相机连续采集包含真实场景三维信息的强度图和深度图，将强度图和深度图输入训练好的网络中后可以在14.5 ms内生成1024×1024分辨率的全息图，通过数值模拟和光学实验验证了该方法的可行性和有效性，该方法展现了不错的显示质量并显著提升了成像速度。该方法有助于实现用于本地和远程人员互动的新一代远程呈现系统，有望应用于远程协作和娱乐，以及教育、广告和康复等领域。