【技术实现步骤摘要】
本公开涉及图像处理，具体地，涉及场景渲染模型的训练方法、场景渲染方法及相应装置。
技术介绍
1、相关技术中，通常仅通过样本场景的rgb(r代表红色red，g代表绿色green，b代表蓝色blue)图像对目标场景渲染模型进行训练。并将训练后得到的目标场景渲染模型用于对目标场景进行渲染，得到目标场景的渲染模型。但是如果仅通过rgb图像对目标场景渲染模型进行训练，当将该目标场景渲染模型用于对目标场景进行渲染时，可能会导致目标场景的渲染模型的质量差，且渲染的图像质量不清晰。
技术实现思路
1、本公开的目的是提供场景渲染模型的训练方法、场景渲染方法及相应装置，以解决上述相关技术问题。
2、为了实现上述目的，第一方面，本公开提供一种场景渲染模型的训练方法，所述方法包括：
3、确定样本场景的rgb图像和深度图像；
4、根据所述rgb图像，确定像素点射线上采样点的位置和方位视角，其中，所述像素点射线基于所述rgb图像对应的相机位姿得到；
5、将所述采样点的位置和方位视角输入目标场景渲染模型，得到预测场景信息；
6、至少根据所述预测场景信息、所述rgb图像和所述深度图像，确定目标损失值；
7、根据所述目标损失值更新所述目标场景渲染模型的参数。
8、可选地，所述将所述采样点的位置和方位视角输入目标场景渲染模型，得到预测场景信息，包括：
9、将所述采样点的位置和方位视角输入目标场景渲染模型的多层感知机，得到所
10、所述至少根据所述预测场景信息、所述rgb图像和所述深度图像，确定目标损失值，包括：
11、根据所述预测深度信息和所述深度图像中的深度信息，确定深度损失值，并根据所述预测像素值和所述rgb图像中各像素点的像素值，确定像素损失值；
12、至少根据所述深度损失值和所述像素损失值，确定所述目标损失值。
13、可选地，所述方法还包括：
14、将第一深度图像转换为第一点云数据，并将第二深度图像转换为第二点云数据，其中所述第一深度图像和所述第二深度图像为相邻的深度图像；
15、将所述第一点云数据转换到所述第二点云数据所在的坐标系，得到第三点云数据，并根据所述第三点云数据和所述第二点云数据，确定点云损失值；
16、所述至少根据所述深度损失值和所述像素损失值，确定所述目标损失值，包括：
17、至少根据所述深度损失值、所述像素损失值和所述点云损失值，确定所述目标损失值。
18、可选地，所述方法还包括：
19、对所述rgb图像进行相机位姿估计，得到相机位姿，并对所述rgb图像进行相机内参估计，得到相机内参估计；
20、根据所述相机内参估计与所述相机位姿，将所述第一点云数据投影到第一rgb图像上，得到第一投影图像，将所述第一点云数据投影到第二rgb图像上，得到第二投影图像，并根据所述第一投影图像和所述第二投影图像，确定灰度损失值，其中，所述第一rgb图像与所述第二rgb图像为相邻的rgb图像；
21、所述至少根据所述深度损失值、所述像素损失值和所述点云损失值，确定所述目标损失值，包括：
22、根据所述深度损失值、所述像素损失值、所述点云损失值和所述灰度损失值，确定所述目标损失值。
23、可选地，所述根据所述rgb图像，确定像素点射线上采样点的位置和方位视角，包括：
24、对所述rgb图像进行相机位姿估计，得到相机位姿，并根据所述相机位姿确定穿过相机中心的多条射线；
25、根据预设数量个采样点对所述多条射线进行采样，并确定每个所述采样点的位置与方位视角。
26、可选地，所述确定样本场景的深度图像，包括：
27、通过深度传感器采集所述样本场景的深度图像；或者，
28、通过深度估计模型对所述样本场景的rgb图像进行估计，得到所述样本场景的深度图像。
29、第二方面，本公开提供一种场景渲染方法，包括：
30、获取待渲染的目标rgb图像；
31、将所述待渲染的目标rgb图像输入到目标场景渲染模型中，得到目标场景的渲染模型，其中，所述目标场景渲染模型经本公开第一方面提供的任一所述场景渲染模型的训练方法得到。
32、第三方面，本公开提供一种场景渲染模型的训练装置，所述训练装置包括第一确定模块、第二确定模块、预测模块、第三确定模块以及更新模块；
33、所述第一确定模块，用于确定样本场景的rgb图像和深度图像；
34、所述第二确定模块，用于根据所述rgb图像，确定像素点射线上采样点的位置和方位视角，其中，所述像素点射线基于所述rgb图像对应的相机位姿得到；
35、所述预测模块，用于将所述采样点的位置和方位视角输入目标场景渲染模型，得到预测场景信息；
36、所述第三确定模块，用于至少根据所述预测场景信息、所述rgb图像和所述深度图像，确定目标损失值；
37、所述更新模块，用于根据所述目标损失值更新所述目标场景渲染模型的参数。
38、可选地，所述预测模块包括：
39、第一预测子模块，用于将所述采样点的位置和方位视角输入目标场景渲染模型的多层感知机，得到所述采样点对应的颜色和体密度，并将同一所述像素点射线上的所有采样点的颜色和体密度通过体渲染公式进行计算，得到预测像素值，根据所述采样点的体密度，确定预测深度信息；
40、所述第三确定模块包括：
41、第一确定子模块，用于根据所述预测深度信息和所述深度图像中的深度信息，确定深度损失值，并根据所述预测像素值和所述rgb图像中各像素点的像素值，确定像素损失值；
42、第二确定子模块，用于至少根据所述深度损失值和所述像素损失值，确定所述目标损失值。
43、可选地，所述训练装置还包括：
44、第一数据转换模块，用于将第一深度图像转换为第一点云数据，并将第二深度图像转换为第二点云数据，其中所述第一深度图像和所述第二深度图像为相邻的深度图像；
45、第二数据转换模块，用于将所述第一点云数据转换到所述第二点云数据所在的坐标系，得到第三点云数据，并根据所述第三点云数据和所述第二点云数据，确定点云损失值；
46、所述第三确定模块用于：
47、至少根据所述深度损失值、所述像素损失值和所述点云损失值，确定所述目标损失值。
48、可选地，所述训练装置还包括：
49、第一估计模块，用于对所述rgb图像进行相机位姿估计，得到相机位姿，并对所述rgb图像进行相机内参估计，得到相机内参估计；
50、第三确定子模块，用本文档来自技高网...
【技术保护点】
1.一种场景渲染模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述采样点的位置和方位视角输入目标场景渲染模型，得到预测场景信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-4任一所述的方法，其特征在于，所述根据所述RGB图像，确定像素点射线上采样点的位置和方位视角，包括：
6.根据权利要求1-4任一所述的方法，其特征在于，所述确定样本场景的深度图像，包括：
7.一种场景渲染方法，其特征在于，包括：
8.一种场景渲染模型的训练装置，其特征在于，所述训练装置包括第一确定模块、第二确定模块、预测模块、第三确定模块以及更新模块；
9.一种场景渲染装置，其特征在于，所述场景渲染装置包括图像获取模块以及渲染模块；
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述方法的
11.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种场景渲染模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述采样点的位置和方位视角输入目标场景渲染模型，得到预测场景信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-4任一所述的方法，其特征在于，所述根据所述rgb图像，确定像素点射线上采样点的位置和方位视角，包括：
6.根据权利要求1-4任一所述的方法，其特...
【专利技术属性】
技术研发人员：侯杰虎，李昊鑫，刘宁，浦建，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。