【技术实现步骤摘要】
本申请涉及三维建模，尤其涉及一种三维重建方法、装置、设备及存储介质。
技术介绍
1、近年来，三维重建技术在计算机视觉、虚拟现实、增强现实等领域得到了广泛的应用。但对于具有复杂的地形和建筑物结构的城市场景，高精度三维重建较难。
2、相关技术中，在对城市等复杂场景下的对象进行三维重建时，是通过sift特征提取方法，提取对象对应的图像中的特征点；采用空间匹配法，将提取得到的图像中的特征点进行匹配，得到匹配点；稀疏重建，即根据目标物体对应的图像和图像之间的匹配点计算图像之间的本质矩阵，并根据图像之间的本质矩阵，得到图像之间的位置关系；通过三角化方法，根据图像之间的位置关系，获取匹配点对应的三维空间点；基于多视图立体几何方法，对三维空间点进行稠密重建，得到对象对应的深度图；并通过对深度图进行点云融合处理，得到与深度图对应的三维点云，将三维点云进一步转换为三维表面模型，得到对象的三维模型。
3、但上述三维重建的精度较低。
技术实现思路
1、本申请实施例提供一种三维重建方法、装置、设备及存储介质，用以提高三维重建的精度。
2、第一方面，本申请实施例提供一种三维重建方法，包括：获取在不同视角下拍摄待重建对象的多个目标图像和每个目标图像对应的相机参数；针对每个目标图像，根据目标图像和目标图像对应的相机参数，获得目标图像的渲染视图，并根据渲染视图的图像颜色和目标图像的图像颜色，确定目标图像中像素的置信度；根据置信度，对待重建对象的深度图进行双边滤波处理，得到待重建对
3、一种可能的实现方式中，根据置信度，对待重建对象的深度图进行双边滤波处理，得到待重建对象的目标深度图，包括：获取待重建对象的深度图中的数据点；根据数据点，确定滤波窗口；根据滤波窗口，确定目标图像中每一像素分别对应的权重；针对目标图像中每一像素，根据像素的置信度，调整像素的权重，得到像素对应的目标权重；根据目标权重，对深度图中的每个像素进行加权平均，得到目标深度图。
4、一种可能的实现方式中，根据渲染视图的图像颜色和目标图像的图像颜色，确定目标图像中像素的置信度，包括：针对目标图像中每个像素，计算像素在渲染视图的图像颜色和像素在目标图像的图像颜色之间的误差；根据误差，确定像素的置信度。
5、一种可能的实现方式中，根据目标图像和目标图像对应的相机参数，获得目标图像的渲染视图，包括：基于射线步进算法，根据目标图像和目标图像对应的相机参数，得到目标图像对应的射线上每个采样点的位置信息和视角信息；对视角信息进行频率编码，得到视角信息对应的第一编码结果；对位置信息进行多分辨率哈希位置编码，得到位置信息对应的第二编码结果；根据第一编码结果和第二编码结果，获得目标图像中像素的颜色和密度；对颜色和密度进行体渲染，得到目标图像的渲染视图。
6、一种可能的实现方式中，对位置信息进行多分辨率哈希位置编码，得到位置信息对应的第二编码结果，包括：将不同分辨率的空间进行规范化处理，得到目标图像对应的网格；基于预设哈希函数，将网格对应的顶点坐标转换为预设哈希表的索引值；确定与位置信息对应的相邻网格；基于哈希函数，根据索引值，确定相邻网格的顶点坐标对应的特征向量；对特征向量进行线性插值，得到位置信息对应的第二编码结果。
7、一种可能的实现方式中，根据第一编码结果和第二编码结果，获得目标图像中像素的颜色和密度，包括：将第一编码结果输入第一多层感知机网络，得到第一多层感知机网络输出的目标图像中像素的密度和隐向量；将隐向量和第二编码结果输入第二多层感知机网络，得到第二多层感知机网络输出的目标图像中像素的颜色。
8、一种可能的实现方式中，目标图像是通过以下方式获取的：在空中不同视角下拍摄待重建对象得到多个图像；对多个图像进行筛选处理，得到多个目标图像，该筛选处理用于删除与待重建对象不相关的图像和/或删除重复的图像。
9、第二方面，本申请实施例提供一种三维重建装置，包括：获取模块，用于获取在不同视角下拍摄待重建对象的多个目标图像和每个目标图像对应的相机参数；确定模块，用于针对每个目标图像，根据目标图像和目标图像对应的相机参数，获得目标图像的渲染视图，并根据渲染视图的图像颜色和目标图像的图像颜色，确定目标图像中像素的置信度；处理模块，用于根据置信度，对待重建对象的深度图进行双边滤波处理，得到待重建对象的目标深度图，并根据目标深度图，得到待重建对象的目标三维模型，该深度图是通过对目标图像进行稀疏重建和稠密重建得到的。
10、一种可能的实现方式中，处理模块具体用于：获取待重建对象的深度图中的数据点；根据数据点，确定滤波窗口；根据滤波窗口，确定目标图像中每一像素分别对应的权重；针对目标图像中每一像素，根据像素的置信度，调整像素的权重，得到像素对应的目标权重；根据目标权重，对三维建模结果中的每个像素进行加权平均，得到目标深度图。
11、一种可能的实现方式中，确定模块具体用于：针对目标图像中每个像素，计算像素在渲染视图的图像颜色和像素在目标图像的图像颜色之间的误差；根据误差，确定像素的置信度。
12、一种可能的实现方式中，确定模块还用于：基于射线步进算法，根据目标图像和目标图像对应的相机参数，得到目标图像对应的射线上每个采样点的位置信息和视角信息；对视角信息进行频率编码，得到视角信息对应的第一编码结果；对位置信息进行多分辨率哈希位置编码，得到位置信息对应的第二编码结果；根据第一编码结果和第二编码结果，获得目标图像中像素的颜色和密度；对颜色和密度进行体渲染，得到目标图像的渲染视图。
13、一种可能的实现方式中，确定模块还用于：将不同分辨率的空间进行规范化处理，得到目标图像对应的网格；基于预设哈希函数，将网格对应的顶点坐标转换为预设哈希表的索引值；确定与位置信息对应的相邻网格；基于哈希函数，根据索引值，确定相邻网格的顶点坐标对应的特征向量；对特征向量进行线性插值，得到位置信息对应的第二编码结果。
14、一种可能的实现方式中，确定模块还用于：将第一编码结果输入第一多层感知机网络，得到第一多层感知机网络输出的目标图像中像素的密度和隐向量；将隐向量和第二编码结果输入第二多层感知机网络，得到第二多层感知机网络输出的目标图像中像素的颜色。
15、一种可能的实现方式中，目标图像是通过以下方式获取的：在空中不同视角下拍摄待重建对象得到多个图像；对多个图像进行筛选处理，得到多个目标图像，该筛选处理用于删除与待重建对象不相关的图像和/或删除重复的图像。
16、第三方面，本申请实施例提供一种电子设备，包括：
17、至少一个处理器；
18、以及与至少一个处理器通信连接的存储器；
19、其中，存储器用于存储至少一个处理器可执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面本文档来自技高网...
【技术保护点】
1.一种三维重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述置信度，对所述待重建对象的深度图进行双边滤波处理，得到所述待重建对象的目标深度图，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述渲染视图的图像颜色和所述目标图像的图像颜色，确定所述目标图像中像素的置信度，包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述目标图像和所述目标图像对应的相机参数，获得所述目标图像的渲染视图，包括：
5.根据权利要求4所述的方法，其特征在于，所述对所述位置信息进行多分辨率哈希位置编码，得到所述位置信息对应的第二编码结果，包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一编码结果和所述第二编码结果，获得所述目标图像中像素的颜色和密度，包括：
7.根据权利要求1至3中任一项所述的方法，其特征在于，所述目标图像是通过以下方式获取的：
8.一种三维重建装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：>
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的三维重建方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，当所述指令被计算机运行时，实现如权利要求1至7中任一项所述的三维重建方法。
...【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述置信度，对所述待重建对象的深度图进行双边滤波处理，得到所述待重建对象的目标深度图，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述渲染视图的图像颜色和所述目标图像的图像颜色，确定所述目标图像中像素的置信度，包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述目标图像和所述目标图像对应的相机参数，获得所述目标图像的渲染视图，包括：
5.根据权利要求4所述的方法，其特征在于，所述对所述位置信息进行多分辨率哈希位置编码，得到所述位置信息对应的第二编码结果，包括：
6.根据权...
【专利技术属性】
技术研发人员：杜秀瑞，刘继超，王建民，王玮，金岩，詹慧媚，
申请(专利权)人：海纳云物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。