一种图像处理方法及电子设备技术

一种图像处理方法及电子设备，涉及图像处理技术领域，该方法包括：电子设备获取多个第一场景图；从每个第一场景图中确定每个表面点的表面点坐标；采用预设神经辐射场从每个三维点的体密度信息、表面点坐标及每个第一拍摄视角中得到物体的反射信息、法向、光能见度及粗糙度；将反射信息、粗糙度及法向输入第一神经网络中，预测出物体表面的反射变化分布信息；生成在新光照条件下采用第二拍摄视角采集得到的基于反射变化分布信息、光能见度及法向渲染出的第二场景图。通过本申请可以实现在新光照条件下合成新的场景图像，且场景图像与画面融合结果更为协调、自然的效果。自然的效果。自然的效果。

【技术实现步骤摘要】
一种图像处理方法及电子设备


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法及电子设备。

技术介绍

[0002]近年来由于深度学习和人工智能技术的发展，使得对于图形学里经典的渲染任务，也可以通过神经网络实现。由此，重光照技术和新视角合成在计算机视觉及计算机图形学领域中发挥重要作用。
[0003]重光照技术是指将特定目标对象置于新的环境后，在该目标对象上体现出周围光照情况对它的影响，即重光照的目的在于恢复目标对象的光照属性，使得该光照属性能够根据不同的光照条件呈现出更真实的目标对象的图像信息。
[0004]新视角合成是指通过给定的一系列摄像头或者单个可以移动的摄像头拍摄出一个三维场景的一组图片，由这些图片来合成新的视点下这个三维场景的图片。新视角合成的发展省去了繁杂的三维(3 Dimensions，3D)建模过程，使得只需要给定多个视角的图像，就能生成视角可任意移动的3D物体。
[0005]目前，神经辐射场(neural radiance field，NeRF)及其改进方法成为新视角合成方法的主流，NeRF技术通过优化观察图像的体积几何和外观能够达到渲染逼真新视图的效果。但以NeRF技术合成的多个视角的视图在改变光照条件后，合成的新视图与新的光照条件符合度差，在新的光照条件下呈现的图像效果和真实感差，新视图与新的光照场景的融合结果不够协调和自然。也就是说目前NeRF技术存在的限制导致现有技术中还难以同时解决视图的新视角合成以及重光照问题。

技术实现思路

[0006]有鉴于此，本申请提供一种图像处理方法及电子设备，可以使合成的新视图与新的光照条件的场景图与真实场景的符合度高，在新的光照条件下呈现的图像效果较好、真实感较强。
[0007]第一方面，本申请提供一种图像处理方法，该方法可以应用于电子设备，该方法中，电子设备可获取多个第一场景图。电子设备通过神经辐射场网络得到第一场景图在三维空间中各三维点的体密度信息，根据该体密度信息确定物体的表面点。然后该电子设备采用神经辐射场网络，根据表面点、体密度信息及第一拍摄视角得到物体的反射信息、粗糙度、法向及光能见度。电子设备将反射信息、粗糙度和法向输入第一神经网络中，预测出物体表面的反射变化分布信息，其中，反射变化分布信息用于表示物体的任一粗糙度的表面受光照影响的反射变化分布情况。电子设备生成物体在第二光照条件下与至少一个第二拍摄视角对应的第二场景图，其中，第二场景图基于反射变化分布信息、法向及光能见度渲染得到。
[0008]其中，多个第一场景图由摄像头在第一光照条件下采用多个第一拍摄视角采集得到。示例性的，采集方式包括：第一场景图可以是电子设备拍摄得到的，也可以是由其他设
备拍摄，并由电子设备获取到的。
[0009]其中，反射信息是指与物体表面的反射程度相关的数据，反射信息可以包括反射率、反馈参数、出射方向、入射方向。
[0010]本申请中，以多个第一拍摄视角的第一场景图进行新视角合成及重光照处理，在渲染过程中，以粗糙度表示物体的材质特征，因此从粗糙度和反射信息中得到的反射变化分布信息可以反映不同材质的物体对光线的反射变化分布情况。这样电子设备便可模拟现实中在光照条件下物体表面不同区域对光线的反射程度会因为粗糙度不同而不同的效果。因此，本申请能够使新视角与新光照条件下渲染得到的第二场景图更加真实。
[0011]该设计方式中，在神经辐射场的第一处理阶段从三维坐标点中选取物体的表面点。以将这些表面上的单个点作为神经辐射场的第二处理阶段的输入，因此相比于输入第一场景图在三维空间中的三维点而言，能够大幅减少计算阴影和可见性的点的数量，使计算成本显著降低。
[0012]在第一方面的一种可能的设计方式中，电子设备将第一场景图映射到三维空间中，得到第一场景图在三维空间中的三维点。电子设备通过神经辐射场网络获取三维点的体密度信息。电子设备体密度信息从三维点中得到物体的表面点。
[0013]该设计方式根据体密度信息的大小来分辨表面点和非表面点，通过设置阈值，过滤比阈值小的点，得到的是表面点。
[0014]在第一方面的一种可能的设计方式中，神经辐射场网络包括第一组多层感知器；上述获取物体的反射信息、粗糙度、法向及光能见度的方法可以包括：电子设备采用第一组多层感知器，根据表面点、体密度信息及第一拍摄视角得到物体的原始反射信息、原始粗糙度、原始法向及原始光能见度。电子设备通过第一组多层感知器中内置的损失函数，对原始反射信息、原始粗糙度、原始法向及原始光能见度进行约束，得到反射信息、粗糙度、法向及光能见度。
[0015]该设计方式中，第一组多层感知器将物体表面任何3D位置的表面法向表示为由多层感知器参数化的连续函数，并训练这些连续函数接近于从预训练的神经辐射场网络中获得的值，也就是说对网络输出结果做约束，使结果在空间上保持平滑，从而得到去噪后的物体表面点的法向。该法向相比于原始法向噪声更小，因此用于后续重光照时能够得到更清晰的渲染图像。
[0016]基于相同的构思，光能见度、反射信息、粗糙度都可以通过第一组多层感知器对原始光能见度、原始反射信息、原始粗糙度进行约束，只获取网络输出结果中约束内的结果，而过滤了不符合约束条件的结果，因此减少了后续渲染时的高频伪影情况，从而可以提升渲染得到的图像质量。
[0017]在第一方面的一种可能的设计方式中，反射信息包括反射率及反馈参数，电子设备采用第一组多层感知器，根据表面点、体密度信息及第一拍摄视角得到物体的原始反射信息、原始粗糙度、原始法向及原始光能见度包括：电子设备将表面点、体密度信息输入第一组多层感知器中。第一组多层感知器根据表面点、体密度信息从物体的表面点中隐式提取物体的原始反射率、原始反馈参数、原始粗糙度、原始法向及原始光能见度，其中，第一组多层感知器以表面点、体密度信息作为输入，以目标渲染效果作为监督训练得到。
[0018]其中，反馈参数也可以采用Z
BRDF
表示，反馈参数是神经辐射场网络中为了能得到
目标渲染效果，所填充的网络参数，在第一组多层感知器中隐式提取该参数，使得以反射率、反馈参数及粗糙度和法向作为第一神经网络的输入特征，那么第一组多层感知器便可预测得到物体表面的反射变化分布信息。基于反射变化分布信息渲染得到的第二场景图能够更真实反映物体不同粗糙度的表面在新光照条件下的呈现情况。
[0019]该设计中第一组多层感知器并未采用带有目标框的样本进行监督，而是以目标渲染效果来反向传播以训练第一组多层感知器从表面点、体密度信息第一拍摄视角中学习得到物体的原始反射率、原始反馈参数、原始粗糙度、原始法向及原始光能见度。如此，经过训练得到的神经网络便可以具备在神经辐射场网络中隐式输出上述特征的能力。“隐式表达物体特征信息”能够减少标注样本带来的标注成本问题，因此具有提高模型训练速度的有益效果。
[0020]在第一方面的一种可能的设计方式中，反射信息包括入射方向及出射方向；上述生成第二场景图，包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：所述电子设备获取多个第一场景图，其中，所述多个第一场景图由摄像头在第一光照条件下采用多个第一拍摄视角采集得到；所述电子设备通过神经辐射场网络得到所述第一场景图在三维空间中各三维点的体密度信息，根据所述体密度信息确定所述物体的表面点；所述电子设备采用所述神经辐射场网络，根据所述表面点、所述体密度信息及所述第一拍摄视角得到所述物体的反射信息、粗糙度、法向及光能见度；所述电子设备将所述反射信息、所述粗糙度和所述法向输入第一神经网络中，预测出所述物体表面的反射变化分布信息，其中，所述反射变化分布信息用于表示所述物体的任一粗糙度的表面受光照影响的反射变化分布情况；所述电子设备生成所述物体在第二光照条件下与至少一个第二拍摄视角对应的第二场景图，其中，所述第二场景图基于所述反射变化分布信息、所述法向及所述光能见度渲染得到。2.根据权利要求1所述的方法，其特征在于，所述神经辐射场网络包括第二神经网络，所述电子设备通过神经辐射场网络得到所述第一场景图在三维空间中各三维点的体密度信息，根据所述体密度信息确定所述物体的表面点包括：所述电子设备将所述第一场景图映射到三维空间中，得到所述第一场景图在三维空间中的三维点；所述电子设备通过神经辐射场网络获取所述三维点的体密度信息；所述电子设备根据所述体密度信息从三维点中得到所述物体的表面点。3.根据权利要求1或2所述的方法，其特征在于，所述神经辐射场网络包括第一组多层感知器；所述电子设备采用神经辐射场网络，根据所述表面点、所述体密度信息及所述第一拍摄视角得到所述物体的反射信息、粗糙度、法向及光能见度，包括：所述电子设备采用所述第一组多层感知器，根据所述表面点、所述体密度信息及所述第一拍摄视角得到所述物体的原始反射信息、原始粗糙度、原始法向及原始光能见度；所述电子设备通过所述第一组多层感知器中内置的损失函数，对所述原始反射信息、所述原始粗糙度、所述原始法向及所述原始光能见度进行约束，得到所述物体的反射信息、粗糙度、法向及光能见度。4.根据权利要求3所述的方法，其特征在于，所述反射信息包括反射率及反馈参数，所述电子设备采用所述第一组多层感知器，根据所述表面点、所述体密度信息及所述第一拍摄视角得到所述物体的原始反射信息、原始粗糙度、原始法向及原始光能见度包括：所述电子设备将所述表面点、所述体密度信息及所述第一拍摄视角输入所述第一组多层感知器中；所述第一组多层感知器根据所述表面点、所述体密度信息及所述第一拍摄视角从所述物体的表面点中隐式提取所述物体的原始反射率、原始反馈参数、原始粗糙度、原始法向及原始光能见度，其中，所述第一组多层感知器以所述表面点、所述体密度信息及所述第一拍摄视角作为输入，以目标...

【专利技术属性】
技术研发人员：张心鸣，高崇军，姚洋，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：