深度图像的融合方法、装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种深度图像的融合方法、装置和计算机可读存储介质，方法包括：获取至少一个深度图像以及位于至少一个深度图像中的一参考像素点；确定与至少一个深度图像中的一参考像素点相对应的候选队列，候选队列中存储有至少一个深度图像中未被融合的待融合像素点；在候选队列中确定与至少一个深度图像中的一参考像素点相对应的融合队列，并将候选队列中的待融合像素点压入到融合队列，融合队列中存储有至少一个深度图像中的已被选择融合像素点；获取融合队列中的已被选择融合像素点的特征信息；根据已被选择融合像素点的特征信息确定融合后像素点的标准特征信息；根据融合后像素点的标准特征信息生成与至少一个深度图像相对应的融合点云。

Depth image fusion method, device and computer readable storage medium

【技术实现步骤摘要】
【国外来华专利技术】深度图像的融合方法、装置和计算机可读存储介质
本专利技术涉及图像处理
，尤其涉及一种深度图像的融合方法、装置和计算机可读存储介质。
技术介绍
随着三维重建技术的不断发展，越来越多的三维重建需求开始出现。现阶段主要三维重建方式包括：使用图片利用多视点立体视觉multi-viewstereovison技术进行的大规模三维重建，使用激光雷达扫描场景的三维重建以及利用各种结构光扫描装置进行的三维重建。所有三维重建的核心产物之一就是点云数据，点云数据就是一个个离散的带颜色的三维坐标点，这些密集的三维点组合起来描述了整个被重建的场景。在重建过程中，场景的很多部分都会被多次观测或者扫描到，每一次观测或扫描就会产生很多描述该部分的点云，整个重建过程下来，场景的每个部分通常会有大量冗余的点，从而使得整个场景的点云量过大，不利于渲染显示，而且，这样生成的大量点云往往会伴有较多的噪声。
技术实现思路
本专利技术提供了一种深度图像的融合方法、装置和计算机可读存储介质，用于减少冗余的点云，同时保持场景中的各个细节部分，保证深度图像的显示质量和效率。本专利技术的第一方面是为了提供一种深度图像的融合方法，包括：获取至少一个深度图像以及位于至少一个所述深度图像中的一参考像素点；确定与至少一个所述深度图像中的一参考像素点相对应的候选队列，所述候选队列中存储有至少一个所述深度图像中未被融合的待融合像素点；在所述候选队列中确定与至少一个所述深度图像中的一参考像素点相对应的融合队列，并将所述候选队列中的所述待融合像素点压入到所述融合队列，所述融合队列中存储有至少一个所述深度图像中的已被选择融合像素点；获取所述融合队列中的所述已被选择融合像素点的特征信息；根据所述已被选择融合像素点的特征信息确定融合后像素点的标准特征信息；根据所述融合后像素点的标准特征信息生成与至少一个所述深度图像相对应的融合点云。本专利技术的第二方面是为了提供一种深度图像的融合装置，包括：存储器，用于存储计算机程序；处理器，用于运行所述存储器中存储的计算机程序以实现：获取至少一个深度图像以及位于至少一个所述深度图像中的一参考像素点；确定与至少一个所述深度图像中的一参考像素点相对应的候选队列，所述候选队列中存储有至少一个所述深度图像中未被融合的待融合像素点；在所述候选队列中确定与至少一个所述深度图像中的一参考像素点相对应的融合队列，并将所述候选队列中的所述待融合像素点压入到所述融合队列，所述融合队列中存储有至少一个所述深度图像中的已被选择融合像素点；获取所述融合队列中的所述已被选择融合像素点的特征信息；根据所述已被选择融合像素点的特征信息确定融合后像素点的标准特征信息；根据所述融合后像素点的标准特征信息生成与至少一个所述深度图像相对应的融合点云。本专利技术的第三方面是为了提供一种深度图像的融合装置，包括：获取模块，用于获取至少一个深度图像以及位于至少一个所述深度图像中的一参考像素点；确定模块，用于确定与至少一个所述深度图像中的一参考像素点相对应的候选队列，所述候选队列中存储有至少一个所述深度图像中未被融合的待融合像素点；所述确定模块，还用于在所述候选队列中确定与至少一个所述深度图像中的一参考像素点相对应的融合队列，并将所述候选队列中的所述待融合像素点压入到所述融合队列，所述融合队列中存储有至少一个所述深度图像中的已被选择融合像素点；所述获取模块，还用于获取所述融合队列中的所述已被选择融合像素点的特征信息；处理模块，用于根据所述已被选择融合像素点的特征信息确定融合后像素点的标准特征信息；生成模块，用于根据所述融合后像素点的标准特征信息生成与至少一个所述深度图像相对应的融合点云。本专利技术的第四方面是为了提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现上述第一方面所述的深度图像的融合方法。本专利技术提供的深度图像的融合方法、装置和计算机可读存储介质，通过获取融合队列中所有已被选择融合像素点的特征信息，实现了对深度图像中的逐个像素点进行融合；进一步根据所有已被选择融合像素点的特征信息确定融合后像素点的标准特征信息，从而可以根据融合后像素点的标准特征信息生成与至少一个深度图像相对应的融合点云，利用融合后像素点替代所有已被选择融合像素点生成点云数据，有效地减少了冗余的点云数据，同时可以保持场景中的各个细节部分，进一步保证了由深度图像合成点云数据的效率以及合成后点云数据的显示质量，提高了该方法的实用性，有利于市场的推广与应用。附图说明图1为本专利技术实施例提供的一种深度图像的融合方法的流程示意图；图2为本专利技术实施例提供的确定与至少一个所述深度图像中的一参考像素点相对应的候选队列的流程示意图；图3为本专利技术实施例提供的又一种深度图像的融合方法的流程示意图；图4为本专利技术实施例提供的再一种深度图像的融合方法的流程示意图；图5为本专利技术实施例提供的又一种深度图像的融合方法的流程示意图；图6为本专利技术实施例提供的另一种深度图像的融合方法的流程示意图；图7为本专利技术实施例提供的再一种深度图像的融合方法的流程示意图；图8为本专利技术应用实施例提供的一种深度图像的融合方法的流程示意图；图9为本专利技术应用实施例提供的重投影误差与法向量夹角之间的关系示意图；图10为本专利技术实施例提供的一种深度图像的融合装置的结构示意图一；图11为本专利技术实施例提供的一种深度图像的融合装置的结构示意图二。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本专利技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、同时存在A和B、单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。下面结合附图，对本专利技术的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。图1为本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种深度图像的融合方法，其特征在于，包括：/n获取至少一个深度图像以及位于至少一个所述深度图像中的一参考像素点；/n确定与至少一个所述深度图像中的一参考像素点相对应的候选队列，所述候选队列中存储有至少一个所述深度图像中未被融合的待融合像素点；/n在所述候选队列中确定与至少一个所述深度图像中的一参考像素点相对应的融合队列，并将所述候选队列中的所述待融合像素点压入到所述融合队列，所述融合队列中存储有至少一个所述深度图像中的已被选择融合像素点；/n获取所述融合队列中的所述已被选择融合像素点的特征信息；/n根据所述已被选择融合像素点的特征信息确定融合后像素点的标准特征信息；/n根据所述融合后像素点的标准特征信息生成与至少一个所述深度图像相对应的融合点云。/n

【技术特征摘要】
【国外来华专利技术】1.一种深度图像的融合方法，其特征在于，包括：
获取至少一个深度图像以及位于至少一个所述深度图像中的一参考像素点；
确定与至少一个所述深度图像中的一参考像素点相对应的候选队列，所述候选队列中存储有至少一个所述深度图像中未被融合的待融合像素点；
在所述候选队列中确定与至少一个所述深度图像中的一参考像素点相对应的融合队列，并将所述候选队列中的所述待融合像素点压入到所述融合队列，所述融合队列中存储有至少一个所述深度图像中的已被选择融合像素点；
获取所述融合队列中的所述已被选择融合像素点的特征信息；
根据所述已被选择融合像素点的特征信息确定融合后像素点的标准特征信息；
根据所述融合后像素点的标准特征信息生成与至少一个所述深度图像相对应的融合点云。


2.根据权利要求1所述的方法，其特征在于，所述确定与至少一个所述深度图像中的一参考像素点相对应的候选队列，包括：
在至少一个所述深度图像中确定一参考深度图以及位于所述参考深度图中的一参考像素点；
获取与所述参考深度图相对应的至少一个邻近深度图像；
根据所述参考像素点和至少一个所述邻近深度图像确定用于压入所述候选队列中的所述待融合像素点以及与所述参考像素点相对应的候选队列。


3.根据权利要求2所述的方法，其特征在于，根据所述参考像素点和至少一个所述邻近深度图像确定用于压入所述候选队列中的所述待融合像素点，包括：
将所述参考像素点投影到至少一个所述邻近深度图像上，获得至少一个第一投影像素点；
根据至少一个所述第一投影像素点检测至少一个所述邻近深度图像中的邻近像素点；
将所述第一投影像素点和所述邻近像素点确定为所述待融合像素点，并压入到所述候选队列。


4.根据权利要求3所述的方法，其特征在于，根据至少一个所述第一投影像素点检测至少一个所述邻近深度图像中的邻近像素点，包括：
根据至少一个所述第一投影像素点获取至少一个所述邻近深度图像中未被融合的像素点；
根据至少一个所述邻近深度图像中未被融合的像素点确定至少一个所述邻近深度图像中的邻近像素点。


5.根据权利要求4所述的方法，其特征在于，根据至少一个所述邻近深度图像中未被融合的像素点确定至少一个所述邻近深度图像中的邻近像素点，包括：
获取与至少一个所述邻近深度图像中未被融合的像素点相对应的遍历层级；
将所述遍历层级小于预设遍历层级的未被融合的像素点确定为所述邻近像素点。


6.根据权利要求3所述的方法，其特征在于，在将所述第一投影像素点和所述邻近像素点确定为所述待融合像素点，并压入到所述候选队列之后，所述方法还包括：
将被压入到所述候选队列的像素点的遍历层级加1。


7.根据权利要求2所述的方法，其特征在于，在获取与所述参考深度图相对应的至少一个邻近深度图像之前，所述方法还包括：
获取所述参考深度图像与其他深度图像之间存在的至少一个共同点云覆盖范围；
在所述参考深度图像与所述其他深度图像中的一深度图像之间存在的至少一个共同点云覆盖范围大于或等于预设的覆盖阈值范围时，则确定所述其他深度图像中的一深度图像为所述参考深度图像的第一邻近候选图。


8.根据权利要求7所述的方法，其特征在于，获取与所述参考深度图相对应的至少一个邻近深度图像，包括：
在所述第一邻近候选图中确定第一目标邻近候选图，所述第一目标邻近候选图与所述参考深度图像之间的共同点云覆盖范围大于或等于预设的覆盖阈值范围；
将所述第一目标邻近候选图按照与所述参考深度图像之间的共同点云覆盖范围的大小进行排序；
根据预设的最大邻近图像个数在经过排序后的所述第一目标邻近候选图中确定与所述参考深度图相对应的至少一个邻近深度图像。


9.根据权利要求7所述的方法，其特征在于，在获取与所述参考深度图相对应的至少一个邻近深度图像之前，所述方法还包括：
获取与所述参考深度图像相对应的参考中心坐标和与其他深度图像相对应的至少一个中心坐标；
根据所述参考中心坐标和所述其他深度图像中的至少一个中心坐标确定与所述参考深度图相对应的第二邻近候选图。


10.根据权利要求9所述的方法，其特征在于，根据所述参考中心坐标和所述其他深度图像中的至少一个中心坐标确定与所述参考深度图相对应的第二邻近候选图，包括：
获取至少一个三维像素点，所述三维像素点位于所述参考深度图像与所述其他深度图像中的一深度图像之间存在的共同点云覆盖范围内；
根据所述参考中心坐标与所述三维像素点确定第一射线；
根据至少一个所述中心坐标与所述三维像素点确定至少一个第二射线；
获取所述第一射线与至少一个所述第二射线之间所形成的至少一个夹角；
根据至少一个所述夹角确定与所述参考深度图相对应的第二邻近候选图。


11.根据权利要求10所述的方法，其特征在于，获取至少一个三维像素点，包括：
获取与所述参考深度图像相对应的世界坐标系下的第一摄像位姿信息和与其他深度图像中的一深度图像相对应的世界坐标系下的第二摄像位姿信息；
根据世界坐标系下的所述第一摄像位姿信息和第二摄像位姿信息确定至少一个所述三维像素点。


12.根据权利要求10所述的方法，其特征在于，根据至少一个所述夹角确定与所述参考深度图相对应的第二邻近候选图，包括：
在至少一个所述夹角中获取角度最小的目标夹角；
在所述目标夹角大于或等于预设的角度阈值时，则确定所述目标夹角相对应的深度图像为与所述参考深度图相对应的第二邻近候选图。


13.根据权利要求9所述的方法，其特征在于，获取与所述参考深度图相对应的至少一个邻近深度图像，包括：
在所述第一邻近候选图和第二邻近候选图中确定第二目标邻近候选图，所述第二目标邻近候选图与所述参考深度图像之间的共同点云覆盖范围大于或等于预设的覆盖阈值范围，且与所述第二目标邻近候选图相对应的目标夹角大于或等于预设的角度阈值；
将所述第二目标邻近候选图按照与所述参考深度图像之间的共同点云覆盖范围的大小进行排序；
根据预设的最大邻近图像个数在经过排序后的所述第二目标邻近候选图中确定与所述参考深度图相对应的至少一个邻近深度图像。


14.根据权利要求2所述的方法，其特征在于，所述方法还包括：
检测所述候选队列中的所述待融合像素点是否已全部压入到所述融合队列中；
在所述候选队列中的所述待融合像素点未全部压入到所述融合队列中时，检测所述候选队列中的所述待融合像素点是否满足预设的融合条件；
在所述待融合像素点满足所述融合条件时，将所述待融合像素点压入到所述融合队列中；
在所述参考像素点的所述候选队列中的所述待融合像素点已全部压入到所述融合队列中后，对至少一个深度图像中的其他参考像素点是否满足融合条件进行迭代检测处理。


15.根据权利要求14所述的方法，其特征在于，在检测所述候选队列中的待融合像素点是否满足预设的融合条件之前，所述方法还包括：
获取所述待融合像素点与所述参考深度图中的参考像素点的深度值误差；和/或，
获取所述待融合像素点与所述参考深度图中的参考像素点的法向量夹角；和/或，
获取所述待融合像素点的第二投影像素与参考深度图中的参考像素点的重投影误差；和/或，
获取所述待融合像素点的遍历层级。


16.根据权利要求15所述的方法，其特征在于，在获取所述待融合像素点的第二投影像素与所述参考深度图中的参考像素点的重投影误差之前，所述方法还包括：
将所述待融合像素点投影到所述参考深度图上，获得与所述待融合像素点相对应的第二投影像素。


17.根据权利要求15所述的方法，其特征在于，在获取所述待融合像素点的第二投影像素与所述参考深度图中的参考像素点的重投影误差之后，所述方法还包括：
获取所述候选队列里所有的待融合像素点之间的元素差异信息；
根据所述元素差异信息确定所述第二投影像素与所述参考像素点之间的最大重投影误差。


18.根据权利要求17所述的方法，其特征在于，所述元素差异信息包括向量夹角的差异信息；根据所述元素差异信息确定所述第二投影像素与所述参考像素点之间的最大重投影误差，包括：
计算所述候选队列里所有的待融合像素点之间的向量夹角；
在所有向量夹角中确定一最大向量夹角；
在所述最大向量夹角小于或等于预设的最大向量夹角阈值时，则确定所述最大重投影误差为预设的第一最大重投影误差；或者，
在所述最大向量夹角大于预设的最大向量夹角阈值时，则确定所述最大重投影误差为预设的第二最大重投影误差，其中，所述第二最大重投影误差小于所述第一最大重投影误差。


19.根据权利要求15所述的方法，其特征在于，检测所述候选队列中的待融合像素点是否满足预设的融合条件，包括：
检测所述深度值误差是否小于或等于预设的最大深度阈值、所述法向量夹角是否小于或等于预设的最大夹角阈值、所述重投影误差是否小于所述最大重投影误差、以及，所述遍历层级是否小于或等于预设的最大遍历层级；
在所述所述深度值误差小于或等于预设的最大深度阈值，所述法向量夹角小于或等于预设的最大夹角阈值，所述重投影误差小于所述最大重投影误差，并且，所述遍历层级小于或等于预设的最大遍历层级时，则确定所述候选队列中的待融合像素点满足预设的融合条件。


20.根据权利要求1所述的方法，其特征在于，所述特征信息包括坐标信息和颜色信息；根据所有所述已被选择融合像素点的特征信息确定融合后像素点的标准特征信息，包括：
将所有融合像素点的坐标信息中的中间值确定为所述融合后像素点的标准坐标信息；
将所有融合像素点的颜色信息中的中间值确定为所述融合后像素点的标准颜色信息。


21.根据权利要求1所述的方法，其特征在于，在确定与至少一个所述深度图像相对应的候选队列和融合队列之前，所述方法还包括：
清空所述候选队列和融合队列；
标记所有像素点为未融合像素点，并且所述所有像素点的遍历层级为零。


22.一种深度图像的融合装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：获取至少一个深度图像以及位于至少一个所述深度图像中的一参考像素点；确定与至少一个所述深度图像中的一参考像素点相对应的候选队列，所...

【专利技术属性】
技术研发人员：黄胜，梁家斌，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44