【技术实现步骤摘要】
本申请涉及人工智能，尤其是一种图像渲染方法、网络的训练方法、设备及介质。
技术介绍
1、新视角合成是指通过给定的一系列摄像头或者单个可以移动的摄像头拍摄出一个三维场景的一组图片，由这些图片来合成新的视点下这个三维场景的图片。新视角合成的发展省去了繁杂的三维(3 dimensions，3d)建模过程，使得只需要给定多个视角的图像，就能渲染视角可任意移动的3d物体。
2、目前，神经辐射场(neural radiance field，nerf)及其改进方法成为新视角合成方法的主流，nerf技术通过优化观察图像的体积几何和外观能够达到渲染逼真新视图的效果。但以nerf技术合成的多个视角的视图在改变光照条件后，合成的新视图与新的光照条件符合度差，在新的光照条件下呈现的图像效果和真实感差，新视图与新的光照场景的融合结果不够协调和自然。
3、也就是说，目前nerf技术存在的限制导致现有技术中还难以同时解决视图的新视角合成以及重光照问题。
技术实现思路
1、本申请的目的是提供一种图像渲染方法、网络的训练方法、设备及介质，可以使新视角合成图与新的光照条件的场景图更符合真实场景，在新的光照条件下呈现的图像效果较好、真实感较强。
2、本申请实施例提供一种图像渲染方法，包括：
3、获取在具有散射介质的场景观测目标物体的目标观测位置和目标视角方向；
4、利用预设的神经辐射场网络，依据所述目标观测位置和所述目标视角方向，分别对所述目标物体和所述散射介
5、利用预设的散射体渲染公式，对所述体密度预测值和所述颜色预测值进行体渲染积分处理，得到所述目标物体和所述散射介质在三维空间中的颜色计算值；所述散射体渲染公式通过所述神经辐射场网络的体渲染公式对散射介质成像模型进行拟合推导得到，所述神经辐射场网络的体渲染公式通过对所述目标物体的体密度信息和颜色信息以及所述散射介质的体密度信息和颜色信息进行积分推导得到；
6、依据所述颜色计算值，渲染所述目标视角方向对应的输出图像。
7、在一些实施例中，所述神经辐射场网络包括编码模块、体密度预测模块和颜色预测模块；
8、所述利用预设的神经辐射场网络，依据所述目标观测位置和所述目标视角方向，分别对所述目标物体和所述散射介质进行体素预测处理，得到所述目标物体和所述散射介质在三维空间中的体密度预测值和颜色预测值，包括：
9、依据所述目标观测位置和所述目标视角方向，确定所述输出图像的成像平面，对所述目标观测位置与所述成像平面的像素点之间的射线进行位置采样处理，得到多个采样点；
10、利用所述编码模块，对所述采样点进行位置编码处理，得到位置特征向量；
11、利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值；
12、利用所述颜色预测模块，沿所述目标视角方向对所述体密度预测值和/或所述位置特征向量进行颜色预测处理，得到所述颜色预测值。
13、在一些实施例中，所述体密度预测模块包括第一预测层、第二预测层和第三预测层；
14、所述利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值，包括：
15、利用所述第一预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质对所述目标物体的体密度预测值；
16、利用所述第二预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质的体密度预测值；
17、利用所述第三预测层，对所述位置特征向量进行体密度预测处理，得到所述目标物体的体密度预测值；
18、或者是所述体密度预测模块包括第一预测层和第二预测层；
19、所述利用所述体密度预测模块，对所述位置特征向量进行体密度预测处理，得到所述体密度预测值，包括：
20、利用所述第一预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质对所述目标物体的体密度预测值；
21、利用所述第二预测层，对所述位置特征向量进行体密度预测处理，得到所述散射介质的体密度预测值。
22、在一些实施例中，所述颜色预测模块包括第四预测层和第五预测层；
23、所述利用所述颜色预测模块，沿所述目标视角方向对所述体密度预测值和/或所述位置特征向量进行颜色预测处理，得到所述颜色预测值，包括：
24、利用所述第四预测层，沿所述目标视角方向对所述目标物体的体密度预测值进行颜色预测处理，或者是沿所述目标视角方向对所述位置特征向量进行颜色预测处理，得到所述目标物体的颜色预测值；
25、利用所述第五预测层，沿所述目标视角方向对所述散射介质的体密度预测值进行颜色预测处理，得到所述散射介质的颜色预测值。
26、在一些实施例中，所述目标物体为不透明物体时，所述散射体渲染公式为：
27、，
28、，
29、，
30、其中，为目标观测位置与成像平面的像素点之间的射线，为目标物体在的第k个采样点的颜色计算值，为散射介质的体密度预测值，k为在上从相机到目标物体所需的采样步数，δ为采样步长，为目标物体在的第k个采样点的颜色预测值，为散射介质对目标物体的体密度预测值，为散射介质在的第i个采样点的颜色计算值，i为在上从相机到散射介质所需的采样步数，为的第i个采样点和第i+1个采样点之间的距离，为散射介质的颜色预测值，为对应的像素点的颜色计算值。
31、在一些实施例中，所述目标物体为半透明物体时，所述散射体渲染公式为：
32、 ，
33、 ，
34、 ，
35、其中，为目标观测位置与成像平面的像素点之间的射线，为目标物体在的第i个采样点的颜色计算值，为的第i个采样点，为在处之前的射线积累量，为散射介质对目标物体的体密度预测值，为目标物体在的第i个采样点的体密度预测值，为目标物体在的第i个采样点的颜色预测值，为散射介质在的第i个采样点的颜色计算值，为散射介质的体密度预测值，为目标物体在的第k个采样点的颜色预测值，为的第j个采样点和第j+1个采样点之间的距离，j∈[0,i-1]。
36、本申请实施例还提供一种神经辐射场网络的训练方法，包括：
37、获取多个样本图像及其对应的样本观测位置；所述多个样本图像在具有散射介质的场景中沿多个样本视角方向拍摄目标物体得到；
38、利用待训练的神经辐射场网络，依据所述样本观测位置和所述样本视角方向，分别对所述目标物体和所述散射介质进行体素预测处理，得到所述目标物体和所述散射介质在三维空间中的体密度样本预测本文档来自技高网...
【技术保护点】
1.一种图像渲染方法，其特征在于，包括：
2.根据权利要求1所述的图像渲染方法，其特征在于，
3.根据权利要求2所述的图像渲染方法，其特征在于，
4.根据权利要求2所述的图像渲染方法，其特征在于，
5.根据权利要求1所述的图像渲染方法，其特征在于，
6.根据权利要求1所述的图像渲染方法，其特征在于，
7.一种神经辐射场网络的训练方法，其特征在于，包括：
8.根据权利要求7所述的神经辐射场网络的训练方法，其特征在于，
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。
【技术特征摘要】
1.一种图像渲染方法，其特征在于，包括：
2.根据权利要求1所述的图像渲染方法，其特征在于，
3.根据权利要求2所述的图像渲染方法，其特征在于，
4.根据权利要求2所述的图像渲染方法，其特征在于，
5.根据权利要求1所述的图像渲染方法，其特征在于，
6.根据权利要求1所述的图像渲染方法，其特征在于，
7.一种神经辐射场网络的训练方法，其特征在于...
【专利技术属性】
技术研发人员：方顺，冯星，张志恒，崔铭，张亚男，吕艳娜，蔡和伦，单仝，丁剑，杜茂风，
申请(专利权)人：北京渲光科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。