清华、上海交大等研究人员提出首个可渲染 HDR 场景的 3DGS：速度提升 1000 倍，效果还全面碾压

一项新研究提出了 HDR-GS 模型，可渲染高动态范围（HDR）自然光，用于新视角合成(NVS)。

该模型可根据用户的曝光时间调整场景光照，并直接渲染高动态范围场景，比HDR-NeRF算法快1000倍。

通常，RGB图像是低动态范围(LDR)，亮度范围在[0,255]之间。

人眼对亮度的感知范围要比RGB图像宽广得多，为[0,+∞]，导致LDR图像无法反映真实场景的亮度范围，而HDR图像具有更广的亮度范围。

NVS任务是在给定几张不同视角的图像和相机位置的情况下，合成其他新视角的场景图像。

相比于LDR NVS，HDR NVS能更好地拟合人类视觉，捕获更多场景细节，渲染更高质量的图片，在自动驾驶、图像编辑等领域有广泛应用。

目前主流的HDR NVS方法基于Neural Radiance Fields（NeRF），然而NeRF算法耗时较长，HDR-NeRF需要训练9小时，渲染一张400x400的图像需要8.2秒。

研究人员提出了HDR-GS方法，用于三维HDR成像，训练时间仅为现有NeRF方法的6.3%，实现了1000倍的渲染速度。

研究人员重新矫正了一个HDR多视角图像数据集用于支持3DGS类算法的研究，HDR-GS在性能上显著超过之前的方法。

一大波演示如下：

与最近的3D高斯点云分割相比，3DGS提高了训练和渲染速度，但仍存在挑战。

• 渲染的图片动态范围仍然为[0,255]，属于LDR；

• 直接使用不同光照的图片来训练3DGS可能导致模型不收敛，因为SH函数无法适应光照变化；

• 常规的3DGS无法改变场景亮度，限制了应用场景。

方法架构

研究人员使用Structure-from-Motion（SfM）算法矫正相机参数并初始化高斯点云，再利用有双动态范围的高斯点云模型拟合HDR和LDR颜色。

通过三个独立的MLP对RGB三通道进行色调映射，将HDR颜色转为LDR颜色，然后通过光栅化处理管线渲染HDR和LDR图像。

实验结果

定量结果

HDR-GS性能显著优于之前的方法，训练和推理速度分别提高了16倍和1000倍。

视觉结果

HDR-GS能够渲染更丰富、更清晰的图像细节，更好地捕获HDR场景，能够调整LDR场景的光照强度。

参考资料：

• https://arxiv.org/abs/2405.15125

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于提供更多信息，节省甄选时间，结果仅作参考。