重建三维图像的方法、装置、电子设备及介质制造方法及图纸

本申请公开了一种重建三维图像的方法、装置、电子设备及介质。其中，本申请中，在获取目标共视图像，并基于目标共视图像确定按照对应连接边的权重总和进行依序排序的第一帧序列之后，可以获取第一帧序列中连接边权重总和值最高的图像帧的第一图像帧，并基于第一图像帧生成第一图像块，再基于第一图像块，得到目标数量的第二图像块，最后基于第一图像块以及目标数量的第二图像块，生成重建三维网格。通过应用本申请的技术方案，可以通过引入共视图建立重建次序，并根据视觉几何数学提出了新的图像块产生方法，因此可较好地解决匹配过程中的速度和精度问题。

【技术实现步骤摘要】
重建三维图像的方法、装置、电子设备及介质
本申请中涉及图像处理技术，尤其是一种重建三维图像的方法、装置、电子设备及介质。
技术介绍
图像三维重建是计算机视觉和计算机图形学的重要研究问题，指在已知多幅图像的运动恢复结构(structurefrommotion)的基础上，对场景进行稠密的mesh重建。尽管三维重建的方法因不同传感器而异，主流的基于图像重建的方法一般称为多视图立体重建(multi-viewstereo，MVS)。进一步的，由于根据场景表达形式(及数据格式)的不同，目前MVS方法主要有三大类：基于深度图的重建方法、基于点云的重建方法和基于体素的重建方法。一般来说，基于深度图的重建方法是依赖视角的，在大场景应用中有独特优势，但该方法通常计算量较大，不利于不同视觉的观察，多个深度图在统一坐标系下的融合也有待进一步研究；基于点云的方法在统一坐标系下重建稠密点云，具有非常良好的几何编辑、融合、渲染等特性，但该方法生成的点云往往噪声较大或存在孔洞；基于体素的方法将三维空间用体素表示，然后将采用马尔科夫随机场的思想对三维点云进行处理，一般还需采用八叉树结构以加速。然而，目前的三维图像重建方法仍然存在噪点多、运算量大的不足。因此，如何生成一种高性能的三维图像重建方法，成为了本领域技术人员需要解决的问题。
技术实现思路
本申请实施例提供一种重建三维图像的方法、装置、电子设备及介质，本申请实施例用于解决相关技术中存在的在三维图像噪点多、且其运算量大的问题。其中，根据本申请实施例的一个方面，提供的一种重建三维图像的方法，其特征在于，包括：获取目标共视图像，并基于所述目标共视图像确定第一帧序列，所述第一帧序列中的各个帧按照对应连接边的权重总和进行依序排序；获取所述第一帧序列中的第一图像帧，并基于所述第一图像帧生成第一图像块，所述第一图像帧为所述第一帧序列中，连接边权重总和值最高的图像帧；基于所述第一图像块，得到目标数量的第二图像块，所述第二图像块为与所述第一图像块相邻的图像块；基于所述第一图像块以及所述目标数量的第二图像块，生成重建三维网格。可选地，在基于本申请上述方法的另一个实施例中，在所述获取所述第一帧序列中的第一图像帧之后，还包括：获取所述第一图像帧的第一特征点集合，所述第一特征点集合至少包括角点检测特征以及高斯函数特征。可选地，在基于本申请上述方法的另一个实施例中，所述获取所述第一图像帧的第一特征点集合，包括：获取与所述第一图像帧相邻的第二图像帧集合；利用极线约束算法，获得所述第二图像帧集合中，每一图像帧对应的目标待匹配点；利用代价函数，计算各个目标待匹配点的相似度；基于所述各个目标待匹配点的相似度，得到多个候选匹配点；基于所述多个候选匹配点，得到所述第一图像帧的所述第一特征点集合。可选地，在基于本申请上述方法的另一个实施例中，在所述获取所述第一图像帧的第一特征点集合之后，还包括：利用前向交汇算法以及鲁棒函数算法，计算所述第一特征点集合中，每个第一特征点对应的三维空间坐标；计算所述第一特征点集合中，每个第一特征点对应的初始表观；利用单应性矩阵约束最小化的优化目标，并获取所述第一图像块的第一朝向；基于所述第一特征点集合中，每个第一特征点对应的所述三维空间坐标、所述初始表观以及所述第一朝向，生成所述第一图像块。可选地，在基于本申请上述方法的另一个实施例中，所述计算所述第一特征点集合中，每个第一特征点对应的初始表观，包括：计算所述第一特征点集合中，每个第一特征点与其他特征点的差异总和值；将差异总和值最小的特征点作为第二特征点，并将所述第二特征点的M*M邻域作为所述第一图像块的初始表观。可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第一图像块，得到目标数量的第二图像块，包括：将所述第一图像帧网格化，得到第二图像块；将所述第一图像块的三维坐标、朝向初值、基准帧作为所述第二图像块的三维坐标、朝向初值、基准帧；利用所述第二图像块的初值进行反向投影运算，根据光度差异获得有效特征集合；以此依序类推，直至计算出所述第一帧序列中所有图像帧对应的三维空间坐标、所述初始表观以及第二朝向。可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第一图像块以及所述目标数量的第二图像块，生成重建三维网格，包括：对所述第一图像块以及所述目标数量的第二图像块进行滤波，清除所述目标数量的第二图像块的野值点；根据所述进行滤波后的第一图像块以及所述目标数量的第二图像块，生所所述重建三维网格。根据本申请实施例的另一个方面，提供的一种重建三维图像的装置，包括：第一获取模块，被设置为获取目标共视图像，并基于所述目标共视图像确定第一帧序列，所述第一帧序列中的各个帧按照对应连接边的权重总和进行依序排序；第二获取模块，被设置为获取所述第一帧序列中的第一图像帧，并基于所述第一图像帧生成第一图像块，所述第一图像帧为所述第一帧序列中，连接边权重总和值最高的图像帧；第一生成模块，被设置为基于所述第一图像块，得到目标数量的第二图像块，所述第二图像块为与所述第一图像块相邻的图像块；第二生成模块，被设置为基于所述第一图像块以及所述目标数量的第二图像块，生成重建三维网格。根据本申请实施例的又一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；以及显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述重建三维图像的方法的操作。根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述重建三维图像的方法的操作。本申请中，在获取目标共视图像，并基于目标共视图像确定按照对应连接边的权重总和进行依序排序的第一帧序列之后，可以获取第一帧序列中连接边权重总和值最高的图像帧的第一图像帧，并基于第一图像帧生成第一图像块，再基于第一图像块，得到目标数量的第二图像块，最后基于第一图像块以及目标数量的第二图像块，生成重建三维网格。通过应用本申请的技术方案，可以通过引入共视图建立重建次序，并根据视觉几何数学提出了新的图像块产生方法，因此可较好地解决匹配过程中的速度和精度问题。下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。附图说明构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：图1为本申请提出的一种重建三维图像的方法的示意图；图2为本申请提出的重建三维图像的流程示意图；图3为本申请提出的又一种重建三维图像的方法示意图；图4为本申请重建三维图像的装置的结构示意图；图5为本申请显示电子设备结构示意图。具体实施本文档来自技高网...

【技术保护点】
1.一种重建三维图像的方法，其特征在于，包括：/n获取目标共视图像，并基于所述目标共视图像确定第一帧序列，所述第一帧序列中的各个帧按照对应连接边的权重总和进行依序排序；/n获取所述第一帧序列中的第一图像帧，并基于所述第一图像帧生成第一图像块，所述第一图像帧为所述第一帧序列中，连接边权重总和值最高的图像帧；/n基于所述第一图像块，得到目标数量的第二图像块，所述第二图像块为与所述第一图像块相邻的图像块；/n基于所述第一图像块以及所述目标数量的第二图像块，生成重建三维网格。/n

【技术特征摘要】
1.一种重建三维图像的方法，其特征在于，包括：
获取目标共视图像，并基于所述目标共视图像确定第一帧序列，所述第一帧序列中的各个帧按照对应连接边的权重总和进行依序排序；
获取所述第一帧序列中的第一图像帧，并基于所述第一图像帧生成第一图像块，所述第一图像帧为所述第一帧序列中，连接边权重总和值最高的图像帧；
基于所述第一图像块，得到目标数量的第二图像块，所述第二图像块为与所述第一图像块相邻的图像块；
基于所述第一图像块以及所述目标数量的第二图像块，生成重建三维网格。


2.如权利要求1所述的方法，其特征在于，在所述获取所述第一帧序列中的第一图像帧之后，还包括：
获取所述第一图像帧的第一特征点集合，所述第一特征点集合至少包括角点检测特征以及高斯函数特征。


3.如权利要求2所述的方法，其特征在于，所述获取所述第一图像帧的第一特征点集合，包括：
获取与所述第一图像帧相邻的第二图像帧集合；
利用极线约束算法，获得所述第二图像帧集合中，每一图像帧对应的目标待匹配点；
利用代价函数，计算各个目标待匹配点的相似度；
基于所述各个目标待匹配点的相似度，得到多个候选匹配点；
基于所述多个候选匹配点，得到所述第一图像帧的所述第一特征点集合。


4.如权利要求2或3所述的方法，其特征在于，在所述获取所述第一图像帧的第一特征点集合之后，还包括：
利用前向交汇算法以及鲁棒函数算法，计算所述第一特征点集合中，每个第一特征点对应的三维空间坐标；
计算所述第一特征点集合中，每个第一特征点对应的初始表观；
利用单应性矩阵约束最小化的优化目标，并获取所述第一图像块的第一朝向；
基于所述第一特征点集合中，每个第一特征点对应的所述三维空间坐标、所述初始表观以及所述第一朝向，生成所述第一图像块。


5.如权利要求4所述的方法，其特征在于，所述计算所述第一特征点集合中，每个第一特征点对应的初始表观，包括：
计算所述第一特征点集合中，每个第一特征点与其他特征点的差异总和值；
将差异总和值最小...

【专利技术属性】
技术研发人员：唐荣富，邓宝松，龙知洲，商尔科，李靖，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京;11