【技术实现步骤摘要】
本专利技术涉及图像处理，具体涉及三维图像重建方法、装置、计算机设备及存储介质。
技术介绍
1、近些年来，随着自动驾驶技术以及业务的蓬勃发展，三维重建在自动驾驶场景中的应用更加广泛。
2、在当前最新的方案中，引入了神经辐射场（neural radiance fields，nerf）来进行纯视觉的三维重建。传统nerf是一种基于深度学习的三维重建方法，依赖于大量数据进行模型的训练，其一般通过三维网格或点云模型来进行三维信息的标注，使用较为广泛。
3、自动驾驶的场景多为开阔场景，传统nerf更加关注场景中的中心物体，然而场景中的很多物体出现在画面的两边且出现频率不高，仅使用传统nerf无法对这些物体进行重建，重建精度较低。此外，传统nerf仅使用图像的像素颜色作为监督，更关注重建后的渲染图像，而不关注三维表面重建的精度，且由于缺少约束，模型的收敛速度并不高，大大增加了模型的训练成本。
技术实现思路
1、有鉴于此，本专利技术提供了一种三维图像重建方法、装置、计算机设备及存储介质，以解决传统模型的图像重建精度低，且训练成本高的问题。
2、第一方面，本专利技术提供了一种三维图像重建方法，该方法包括：
3、获取目标场景的多组图像，每组图像包括一对同时拍摄的左视角图像和右视角图像；
4、提取各组图像中左视角图像与右视角图像之间的共视区域，并获取各共视区域的像素信息；像素信息包括共视区域中像素的方位向量、深度、颜色、语义标签以及像素与最近物
5、基于各组图像的共视区域和共视区域的像素信息，对初始的三维图像重建模型进行训练，得到训练好的三维图像重建模型；其中在训练过程中的损失函数是基于像素的颜色、语义标签和有向距离获得的；
6、基于训练好的三维图像重建模型，对目标场景进行三维图像重建。
7、从而通过获取目标场景的多组左视角图像和右视角图像，提取各组左视角图像与右视角图像之间的共视区域的像素信息，滤除了画面中不必要的像素，接着基于这些像素信息对初始的三维图像重建模型进行训练，训练过程中的损失函数是基于像素的颜色、语义标签和有向距离获得的，从而加速模型的收敛，降低训练成本，提高模型精度，最后基于训练好的三维图像重建模型，对目标场景进行三维图像重建，得到目标场景的表面模型。
8、在一种可选的实施方式中，三维图像重建模型的训练过程包括：
9、基于各共视区域中像素的方位向量和深度对共视区域中的像素进行采样，将得到的多个像素采样点进行位置编码，得到各像素采样点的隐式表征；
10、基于各像素采样点的隐式表征，得到各像素采样点对应的颜色预测值、语义标签预测值以及有向距离预测值；
11、根据各像素采样点的颜色预测值的损失、语义标签预测值的损失以及有向距离预测值的损失，计算损失函数的值；
12、基于损失函数的值对三维图像重建模型的参数进行更新，得到训练好的三维图像重建模型。
13、从而通过获取像素的颜色、语义标签和有向距离分别对应的预测值，并基于像素的颜色、语义标签和有向距离的损失来计算损失函数，对初始的三维图像重建模型进行训练，加速模型的收敛，降低训练成本，提高模型精度。
14、在一种可选的实施方式中，基于各共视区域中像素的方位向量和深度对共视区域中的像素进行采样，将得到的多个像素采样点进行位置编码，得到各像素采样点的隐式表征，包括：
15、沿着深度增大的方向对方位向量在同一条射线上的像素进行采样；
16、基于得到的多个像素采样点的位置进行哈希编码，得到各像素采样点的隐式表征。
17、从而通过对采样点进行位置编码来得到采样点的隐式表征，以在后续对采样点的其他特征值进行预测。
18、在一种可选的实施方式中，基于训练好的三维图像重建模型，对目标场景进行三维图像重建，包括：
19、对目标场景对应的目标共视区域中的像素进行均匀采样，得到多个目标像素采样点；
20、将多个目标像素采样点输入训练好的三维图像重建模型，得到各目标像素采样点的目标有向距离预测值；
21、基于各目标像素采样点的目标有向距离预测值，对目标场景进行三维图像重建。
22、从而通过目标场景中各目标像素采样点的sdf预测值，即可得到每个点距离表面的距离，进而得到目标场景的表面模型，从而对目标场景进行三维图像重建。
23、在一种可选的实施方式中，获取目标场景的多组图像，包括：
24、通过第一图像采集装置获取目标场景的多个左视角图像，同时通过第二图像采集装置获取目标场景的多个右视角图像。
25、从而通过获取目标场景的多视角图像，提高模型的精度。
26、在一种可选的实施方式中，提取各组图像中左视角图像与右视角图像之间的共视区域，并获取各共视区域的像素信息，包括：
27、基于第一图像采集装置和第二图像采集装置分别对应的位姿、内部参数和外部参数，对各共视区域中的像素进行坐标系转换，得到各共视区域中像素在世界坐标系中的方位向量。
28、在一种可选的实施方式中，提取各组图像中左视角图像与右视角图像之间的共视区域，并获取各共视区域的像素信息，还包括：
29、将各组图像中左视角图像与右视角图像输入预设的神经网络，得到各共视区域的光流数据；光流数据包括左视角图像中的像素与右视角图像中的像素之间的对应关系；
30、基于第一图像采集装置和第二图像采集装置分别对应的外部参数，得到第一图像采集装置和第二图像采集装置之间的相对位置关系；
31、基于各共视区域的光流数据以及相对位置关系，得到各共视区域中像素的深度。
32、第二方面，本专利技术提供了一种三维图像重建装置，该装置包括：
33、获取模块，用于获取目标场景的多组图像，每组图像包括一对同时拍摄的左视角图像和右视角图像；
34、第一处理模块，用于提取各组图像中左视角图像与右视角图像之间的共视区域，并获取各共视区域的像素信息；像素信息包括共视区域中像素的方位向量、深度、颜色、语义标签以及像素与最近物体表面之间的有向距离；
35、第二处理模块，用于基于各组图像的共视区域和共视区域的像素信息，对预设的三维图像重建模型进行训练，得到训练好的三维图像重建模型；其中在训练过程中的损失函数是基于像素的颜色、语义标签和有向距离获得的；
36、第三处理模块，用于基于训练好的三维图像重建模型，对目标场景进行三维图像重建。
37、第三方面，本专利技术提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的三维图像重建方法。
38、第四方面，本专利技术提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，本文档来自技高网...
【技术保护点】
1.一种三维图像重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的三维图像重建方法，其特征在于，所述三维图像重建模型的训练过程包括：
3.根据权利要求2所述的三维图像重建方法，其特征在于，所述基于各共视区域中像素的方位向量和深度对共视区域中的像素进行采样，将得到的多个像素采样点进行位置编码，得到各像素采样点的隐式表征，包括：
4.根据权利要求1所述的三维图像重建方法，其特征在于，所述基于训练好的三维图像重建模型，对所述目标场景进行三维图像重建，包括：
5.根据权利要求1所述的三维图像重建方法，其特征在于，所述获取目标场景的多组图像，包括：
6.根据权利要求5所述的三维图像重建方法，其特征在于，所述提取各组图像中左视角图像与右视角图像之间的共视区域，并获取各共视区域的像素信息，包括：
7.根据权利要求5所述的三维图像重建方法，其特征在于，所述提取各组图像中左视角图像与右视角图像之间的共视区域，并获取各共视区域的像素信息，还包括：
8.一种三维图像重建装置，其特征在于，所述装置包括：>
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的三维图像重建方法。
...【技术特征摘要】
1.一种三维图像重建方法，其特征在于，所述方法包括：
2.根据权利要求1所述的三维图像重建方法，其特征在于，所述三维图像重建模型的训练过程包括：
3.根据权利要求2所述的三维图像重建方法，其特征在于，所述基于各共视区域中像素的方位向量和深度对共视区域中的像素进行采样，将得到的多个像素采样点进行位置编码，得到各像素采样点的隐式表征，包括：
4.根据权利要求1所述的三维图像重建方法，其特征在于，所述基于训练好的三维图像重建模型，对所述目标场景进行三维图像重建，包括：
5.根据权利要求1所述的三维图像重建方法，其特征在于，所述获取目标场景的多组图像，包括：
【专利技术属性】
技术研发人员：谢子锐，张如高，虞正华，
申请(专利权)人：魔视智能科技武汉有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。