场景三维建模中的闭环检测方法、存储介质及电子设备技术

本发明专利技术实施例提供了一种场景三维建模中的闭环检测方法、存储介质及电子设备。其中，所述方法包括：从图像采集装置中获取当前场景图像，并对当前场景图像进行特征提取，获得当前场景图像的特征数据；基于特征数据，确定当前场景图像分别与第一关键帧集合中每个关键帧的相似度，每个关键帧为在当前场景图像之前获取的场景图像；若当前场景图像与每个关键帧的相似度均小于预设的相似度阈值，确定当前场景图像为第一关键帧集合的当前关键帧；将当前关键帧与第二关键帧集合中的所有关键帧进行闭环检测，获得闭环检测结果，其中，第二关键帧集合中的关键帧来源于第一关键帧集合。本发明专利技术实施例能够解决大场景、长时间三维建模的闭环检测实时性差的问题。

Closed Loop Detection Method, Storage Media and Electronic Equipment in Scene 3D Modeling

The embodiment of the present invention provides a closed-loop detection method, a storage medium and an electronic device for scene three-dimensional modeling. The method includes: acquiring the current scene image from the image acquisition device, extracting the features of the current scene image, and obtaining the feature data of the current scene image; determining the similarity between the current scene image and each key frame in the first key frame set, respectively, based on the feature data, and each key frame is the scene image acquired before the current scene image; The similarity between the current scene image and each key frame is less than the preset similarity threshold, and the current scene image is determined as the current key frame of the first key frame set. Closed-loop detection of the current key frame and all the key frames in the second key frame set is carried out to obtain the closed-loop detection results, in which the key frames in the second key frame set originate from the first key frame set. The embodiment of the invention can solve the problem of poor real-time performance of Closed-loop Detection in large scene and long time three-dimensional modeling.

【技术实现步骤摘要】
场景三维建模中的闭环检测方法、存储介质及电子设备
本专利技术实施例涉及图像处理
，尤其涉及一种场景三维建模中的闭环检测方法、存储介质及电子设备。
技术介绍
大场景三维建模是指便携式计算机携带RGB-D传感器或其它双目传感器在室内静态的、稳定的、未知的大环境下移动扫描，实时获取每帧RGB-D图像，并将实时获取的每帧RGB-D图像转化为三维点云数据，再计算每帧RGB-D图像的三维点云数据之间的变换关系、绘制周围环境的三维地图(一般为点云图)的过程，其核心技术为场景点云的配准和闭环检测。在场景三维建模中，计算每帧RGB-D图像的三维点云数据之间的变换(配准)关系存在着一定的误差，随着建模时间的逐渐增长和场景的逐渐变大，累计误差会越来越大。闭环检测则是在建模过程中判断当前获取的场景(图像)和之前已配准的场景之间的匹配关系(是否为同一场景)的过程，即在传感器移动扫描的过程中识别是否回到之前的场景，如果回到之前的场景，则将之前由于配准误差造成的位置有偏差的场景重新拉回到正确位置。由此可见，闭环检测可以显著地减少三维点云数据配准过程中的累计误差，得到全局一致的移动轨迹和三维地图，是场景三维建模中必不可少的一个重要环节。然而，在现有技术中大部分的闭环检测是将当前场景和之前的所有场景分别进行匹配计算，这样随着建模环境的逐渐扩展和建模时间的逐渐累积，需要参与匹配计算的场景会越来越多，消耗的计算时间也会越来越长，从而不能满足大场景、长时间三维建模条件下实时性的要求。
技术实现思路
本专利技术实施例的目的在于，提供一种场景三维建模中的闭环检测的技术方案。根据本专利技术实施例的第一方面，提供了一种场景三维建模中的闭环检测方法。所述方法包括：从图像采集装置中获取当前场景图像，并对所述当前场景图像进行特征提取，获得所述当前场景图像的特征数据；基于所述特征数据，确定所述当前场景图像分别与第一关键帧集合中每个关键帧的相似度，所述每个关键帧为在所述当前场景图像之前获取的场景图像；若所述当前场景图像与所述每个关键帧的相似度均小于预设的相似度阈值，确定所述当前场景图像为所述第一关键帧集合的当前关键帧；将所述当前关键帧与第二关键帧集合中的所有关键帧进行闭环检测，获得闭环检测结果，其中，所述第二关键帧集合中的关键帧来源于所述第一关键帧集合。可选地，所述对所述当前场景图像进行特征提取，获得所述当前场景图像的特征数据，包括：使用视觉词袋模型对所述当前场景图像进行特征提取，获得由不同视觉单词组成的特征集。可选地，所述使用视觉词袋模型对所述当前场景图像进行特征提取，获得由不同视觉单词组成的特征集之后，所述方法还包括：当所述特征集中视觉单词的数目小于预设的特征值阈值时，丢弃所述当前场景图像。可选地，所述基于所述特征数据，确定所述当前场景图像分别与第一关键帧集合中每个关键帧的相似度，包括：根据以下公式一计算所述当前场景图像分别与第一关键帧集合中每个关键帧的相似度：其中，St表示在t时刻获取的当前场景图像，Sm表示所述第一关键帧集合中在m时刻获取的关键帧，fsim(St，Sm)表示当前场景图像St和所述第一关键帧集合中的关键帧Sm的相似度，Np表示当前场景图像St和关键帧Sm中匹配的视觉单词的数目，Nft表示当前场景图像St的特征集中的视觉单词的数目，Nfm表示关键帧Sm的特征集中的视觉单词的数目。可选地，所述将所述当前关键帧与第二关键帧集合中的所有关键帧进行闭环检测，获得闭环检测结果，包括：通过使用离散贝叶斯滤波器模型，来估计所述当前关键帧与所述第二关键帧集合中的所有关键帧均不形成闭环的第一概率以及所述当前关键帧与所述第二关键帧集合中的每个关键帧形成闭环的第二概率；根据所述当前关键帧与所述第二关键帧集合中的每个关键帧形成闭环的第二概率确定所述第二概率的最大值；将所述第一概率和所述第二概率的最大值分别与预设的闭环阈值进行比较，获得比较结果；在根据所述比较结果得到所述第一概率小于所述预设的闭环阈值，且所述第二概率的最大值大于所述预设的闭环阈值时，确定所述第二关键帧集合中与所述当前关键帧形成闭环的第二概率为最大值的第一关键帧，与所述当前关键帧形成闭环。可选地，所述方法还包括：在确定所述当前关键帧与所述第二关键帧集合中的一个关键帧形成闭环之后，检测所述一个关键帧在时域上的相邻关键帧是否在所述第二关键帧集合中；若否，则从第三关键帧集合中将所述相邻关键帧取回到所述第二关键帧集合中，并将所述相邻关键帧的特征集中的视觉单词更新到闭环检测的视觉词典中。可选地，所述方法还包括：在获得闭环检测结果之后，确定闭环检测的消耗时间是否超过预设的时间阈值；若是，则将所述第二关键帧集合中重现系数最小，且保留时间最长的第二关键帧移出到第三关键帧集合中，并将所述第二关键帧的特征集中的视觉单词从闭环检测的视觉词典中移除。可选地，所述方法还包括：若所述当前场景图像与所述第一关键帧集合中的第三关键帧的相似度大于或等于预设的相似度阈值时，删除所述当前场景图像，并将所述第三关键帧的重现系数加一。根据本专利技术实施例的第二方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现本专利技术实施例第一方面所述的场景三维建模中的闭环检测方法的步骤。根据本专利技术实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行本专利技术实施例第一方面所述的场景三维建模中的闭环检测方法的步骤。根据本专利技术实施例提供的技术方案，从图像采集装置中获取当前场景图像，并对当前场景图像进行特征提取，获得当前场景图像的特征数据；基于所述特征数据，确定当前场景图像分别与第一关键帧集合中每个关键帧的相似度，其中，第一关键帧集合中的每个关键帧为在当前场景图像之前获取的场景图像；若当前场景图像与第一关键帧集合中每个关键帧的相似度均小于预设的相似度阈值，确定当前场景图像为第一关键帧集合的当前关键帧；并将当前关键帧与第二关键帧集合中的所有关键帧进行闭环检测，获得闭环检测结果，其中，第二关键帧集合中的关键帧来源于第一关键帧集合，可以解决大场景、长时间三维建模的闭环检测实时性差的问题，能够满足大场景、长时间三维建模下的实时性要求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。图1是根据本专利技术实施例一的一种场景三维建模中的闭环检测方法的流程图；图2是根据本专利技术实施例二的一种场景三维建模中的闭环检测方法的流程图；图3是根据本专利技术实施例二的一种场景三维建模中的闭环检测方法的示意图；图4是根据本专利技术实施例二的关键帧在内存中流动的示意图；图5是根据本专利技术实施例三的一种电子设备的结构示意图。具体实施方式下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本专利技术实施例的具体实施方式作进一步详细说明。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。本领本文档来自技高网...

【技术保护点】
1.一种场景三维建模中的闭环检测方法，其特征在于，所述方法包括：从图像采集装置中获取当前场景图像，并对所述当前场景图像进行特征提取，获得所述当前场景图像的特征数据；基于所述特征数据，确定所述当前场景图像分别与第一关键帧集合中每个关键帧的相似度，所述每个关键帧为在所述当前场景图像之前获取的场景图像；若所述当前场景图像与所述每个关键帧的相似度均小于预设的相似度阈值，确定所述当前场景图像为所述第一关键帧集合的当前关键帧；将所述当前关键帧与第二关键帧集合中的所有关键帧进行闭环检测，获得闭环检测结果，其中，所述第二关键帧集合中的关键帧来源于所述第一关键帧集合。

【技术特征摘要】
1.一种场景三维建模中的闭环检测方法，其特征在于，所述方法包括：从图像采集装置中获取当前场景图像，并对所述当前场景图像进行特征提取，获得所述当前场景图像的特征数据；基于所述特征数据，确定所述当前场景图像分别与第一关键帧集合中每个关键帧的相似度，所述每个关键帧为在所述当前场景图像之前获取的场景图像；若所述当前场景图像与所述每个关键帧的相似度均小于预设的相似度阈值，确定所述当前场景图像为所述第一关键帧集合的当前关键帧；将所述当前关键帧与第二关键帧集合中的所有关键帧进行闭环检测，获得闭环检测结果，其中，所述第二关键帧集合中的关键帧来源于所述第一关键帧集合。2.根据权利要求1所述的方法，其特征在于，所述对所述当前场景图像进行特征提取，获得所述当前场景图像的特征数据，包括：使用视觉词袋模型对所述当前场景图像进行特征提取，获得由不同视觉单词组成的特征集。3.根据权利要求2所述的方法，其特征在于，所述使用视觉词袋模型对所述当前场景图像进行特征提取，获得由不同视觉单词组成的特征集之后，所述方法还包括：当所述特征集中视觉单词的数目小于预设的特征值阈值时，丢弃所述当前场景图像。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述特征数据，确定所述当前场景图像分别与第一关键帧集合中每个关键帧的相似度，包括：根据以下公式一计算所述当前场景图像分别与第一关键帧集合中每个关键帧的相似度：其中，St表示在t时刻获取的当前场景图像，Sm表示所述第一关键帧集合中在m时刻获取的关键帧，fsim(St，Sm)表示当前场景图像St和所述第一关键帧集合中的关键帧Sm的相似度，Np表示当前场景图像St和关键帧Sm中匹配的视觉单词的数目，Nft表示当前场景图像St的特征集中的视觉单词的数目，Nfm表示关键帧Sm的特征集中的视觉单词的数目。5.根据权利要求1所述的方法，其特征在于，所述将所述当前关键帧与第二关键帧集合中的所有关键帧进行闭环检测，获得闭环检测结果，包括：通过使用离散贝叶斯滤波器模型，来估计所述当前关键帧与所述第二关键帧集合中的所有关键帧均不形...

【专利技术属性】
技术研发人员：陈松林，赵键，鲁敏，
申请(专利权)人：湖南拓视觉信息技术有限公司，
类型：发明
国别省市：湖南,43