用于同时定位与建图的特征空间分布管理制造技术

一种管理特征空间分布以进行定位与建图的方法可以包括采集3D空间的2D图像。该2D图像可以包括多个追踪的特征点。该方法还可以包括：从上述多个特征点中选择在上述2D图像中均匀分布的第一特征点子集，以及从点云中检索第一特征点子集的坐标。这些坐标定义了第一特征点子集在3D空间的全局坐标图中的位置。该方法还可以包括从第一特征点子集中选择在3D空间中均匀分布的第二特征点子集，基于摄像头姿势，对第二特征点子集的坐标进行优化，以及更新第二特征点子集在点云中的坐标。新第二特征点子集在点云中的坐标。新第二特征点子集在点云中的坐标。

【技术实现步骤摘要】
【国外来华专利技术】用于同时定位与建图的特征空间分布管理

技术介绍

[0001]增强现实(augmented reality，AR)将虚拟内容叠加在现实世界的用户视图上。随着AR软件开发工具包(software development kit，SDK)的发展，移动行业将智能手机AR引入主流。AR SDK通常提供六自由度(six degrees
‑
of
‑
freedom，6DoF)追踪能力。用户可以使用智能手机的摄像头扫描环境，智能手机实时执行视觉惯性里程计(visual inertial odometry，VIO)。在连续追踪摄像头姿势后，即可将虚拟物体放置到AR场景中，以创造一种真实物体和虚拟物体融合在一起的错觉。
[0002]尽管AR系统取得了进展，但本领域仍需要改进与用于定位与建图的特征空间分布管理相关的方法和系统。

技术实现思路

[0003]本公开一般涉及扩展现实技术，更具体地但非限制性地，涉及用于定位与建图的特征空间分布管理。
[0004]实施例可以包括一种管理特征空间分布以进行定位与建图的方法。在一些实施例中，该方法可以包括采集三维(three
‑
dimensional，3D)空间的二维(two
‑
dimensional，2D)图像。该2D图像包括先前已检测并追踪的多个特征点。该方法还可以包括从上述多个特征点中选择在上述2D图像中均匀分布的第一特征点子集。该方法还可以包括从点云中检索上述第一特征点子集的坐标。上述点云可以包括先前确定的坐标，上述先前确定的坐标定义了至少上述第一特征点子集在上述3D空间的全局坐标图中的位置。该方法还可以包括至少部分地基于检索到的上述坐标，从上述第一特征点子集中选择在上述3D空间中均匀分布的第二特征点子集。该方法还可以包括至少部分地基于采集上述2D图像的摄像头的姿势，对上述第二特征点子集的坐标进行优化。上述摄像头的姿势可以基于从惯性测量单元(IMU)接收的数据来确定，上述IMU用于追踪上述3D空间中的上述摄像头的姿势。该方法还可以包括使用优化后的上述第二特征点子集的上述坐标更新上述第二特征点子集在上述点云中的坐标。
[0005]在一些实施例中，上述多个特征点可以是第一多个特征点。该方法还可以包括检测上述2D图像中的第二多个特征点。该方法还可以包括从上述第二多个特征点中选择第三特征点子集，使得上述第一特征点子集和上述第三特征点子集的组合可以在上述2D图像中均匀分布。在一些实施例中，可以选择上述第三特征点子集，使得上述第一特征点子集和上述第三特征点子集的组合的数量可以在预定范围内。
[0006]在一些实施例中，该方法还可以包括在一个或多个后续采集的2D图像中追踪上述第三特征点子集。该方法还可以包括使用三角测量法确定上述第三特征点子集的坐标。该方法还可以包括将上述第三特征点子集以及上述第三特征点子集对应的上述坐标添加到上述点云。在一些实施例中，该方法还可以包括采集上述3D空间的另一2D图像。上述另一2D图像可以包括至少上述第二特征点子集的一部分或上述第三特征点子集的一部分。该方法还可以包括从至少上述第二特征点子集的一部分或上述第三特征点子集的一部分的组合
中选择在上述另一2D图像中均匀分布的第四特征点子集。该方法还可以包括从上述点云中检索上述第四特征点子集的坐标。该方法还可以包括从上述第四特征点子集中选择第五特征点子集，使得上述第五特征点子集可以在上述3D空间中均匀分布。该方法还可以包括至少部分地基于采集上述另一2D图像的摄像头的姿势，对上述第五特征点子集的坐标进行优化。
[0007]在一些实施例中，可以基于一个或多个先前采集的2D图像中的表示上述多个特征点中的每个的一个或多个邻近像素以及周围像素的颜色和/或颜色强度，检测上述多个特征点。在一些实施例中，该方法还可以包括将上述2D图像划分为大小相等的多个区域。上述第一特征点子集均匀分布在上述2D图像中可以指选择的特征点分布在上述多个区域中的不同区域。在一些实施例中，该方法还可以包括将与上述3D空间对应的上述全局坐标图中的空间划分为大小相等的多个体。上述第二特征点子集均匀分布在上述3D空间中可以指选择的特征点分布在上述多个体中的不同体。
[0008]实施例还可以包括一种电子设备，用于管理特征空间分布以进行定位与建图。该电子设备可以包括摄像头、一个或多个处理器、以及存储器。存储器可以具有指令，当由上述一个或多个处理器执行时，上述指令可以使上述电子设备执行：使用摄像头采集三维(3D)空间的二维(2D)图像。该2D图像可以包括先前已检测并追踪的多个特征点。当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：从上述多个特征点中选择在上述2D图像中均匀分布的第一特征点子集。当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：从点云中检索上述第一特征点子集的坐标。上述点云可以包括先前确定的坐标，上述先前确定的坐标定义了至少上述第一特征点子集在上述3D空间的全局坐标图中的位置。当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：至少部分地基于检索到的上述坐标，从上述第一特征点子集中选择在上述3D空间中均匀分布的第二特征点子集。
[0009]在一些实施例中，当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：至少部分地基于采集上述2D图像的摄像头的姿势，对上述第二特征点子集的坐标进行优化。摄像头的姿势可以基于从上述电子设备的传感器单元接收的数据来确定。传感器单元可以包括用于追踪上述3D空间中的上述摄像头的姿势的惯性测量单元(IMU)。当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：使用优化后的上述第二特征点子集的上述坐标更新上述第二特征点子集在上述点云中的坐标。
[0010]在一些实施例中，上述多个特征点可以是第一多个特征点。当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：检测上述2D图像中的第二多个特征点。当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：从上述第二多个特征点中选择第三特征点子集，使得上述第一特征点子集和上述第三特征点子集的组合可以在上述2D图像中均匀分布。
[0011]在一些实施例中，当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：在一个或多个后续采集的2D图像中追踪上述第三特征点子集。当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：使用三角测量法确定上述第三特征点子集的坐标。当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：将上述第三特征点子集以及上述第三特征点子集对应的上述坐标添加到上述点
云。
[0012]在一些实施例中，当由上述一个或多个处理器执行时，上述指令还可以使上述电子设备执行：将上述2D图像划分为大小相等的多个区域。上述第一特征点子集均匀分布在上述2D图像中可以指选择的特征点分布在上述多个区域中的不同区域。在一些实施例中，当由上述一个或多个处理器执行时，上本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种管理特征空间分布以进行定位与建图的方法，所述方法包括：采集三维(3D)空间的二维(2D)图像，其中，所述2D图像包括先前已检测并追踪的多个特征点；从所述多个特征点中选择在所述2D图像中均匀分布的第一特征点子集；从点云中检索所述第一特征点子集的坐标，其中，所述点云包括先前确定的坐标，所述先前确定的坐标定义了至少所述第一特征点子集在所述3D空间的全局坐标图中的位置；至少部分地基于检索到的所述坐标，从所述第一特征点子集中选择在所述3D空间中均匀分布的第二特征点子集；至少部分地基于采集所述2D图像的摄像头的姿势，优化所述第二特征点子集的坐标，其中，所述摄像头的姿势基于从惯性测量单元(IMU)接收的数据来确定，所述IMU用于追踪所述3D空间中的所述摄像头的姿势；以及使用优化后的所述第二特征点子集的所述坐标更新所述第二特征点子集在所述点云中的坐标。2.根据权利要求1所述的方法，其中，所述多个特征点是第一多个特征点，所述方法还包括：检测所述2D图像中的第二多个特征点；以及从所述第二多个特征点中选择第三特征点子集，使得所述第一特征点子集和所述第三特征点子集的组合在所述2D图像中均匀分布。3.根据权利要求2所述的方法，其中，选择所述第三特征点子集，使得所述第一特征点子集和所述第三特征点子集的组合的数量在预定范围内。4.根据权利要求2所述的方法，还包括：在一个或多个后续采集的2D图像中追踪所述第三特征点子集；使用三角测量法确定所述第三特征点子集的坐标；以及将所述第三特征点子集以及所述第三特征点子集对应的所述坐标添加到所述点云。5.根据权利要求4所述的方法，还包括：采集所述3D空间的另一2D图像，其中，所述另一2D图像包括至少所述第二特征点子集的一部分或所述第三特征点子集的一部分；从至少所述第二特征点子集的一部分或所述第三特征点子集的一部分的组合中选择在所述另一2D图像中均匀分布的第四特征点子集；从所述点云中检索所述第四特征点子集的坐标；从所述第四特征点子集中选择第五特征点子集，使得所述第五特征点子集在所述3D空间中均匀分布；以及至少部分地基于采集所述另一2D图像的摄像头的姿势，优化所述第五特征点子集的坐标。6.根据权利要求1所述的方法，其中，基于一个或多个先前采集的2D图像中表示所述多个特征点中的每个特征点的一个或多个邻近像素以及周围像素的颜色和/或颜色强度，检测所述多个特征点。7.根据权利要求1所述的方法，还包括：将所述2D图像划分成具有相同大小的多个区域，其中，所述第一特征点子集均匀分布
在所述2D图像中是指选择的特征点分布在所述多个区域中的不同区域。8.根据权利要求1所述的方法，还包括：将与所述3D空间对应的所述全局坐标图中的空间划分为具有相同大小的多个体，其中，所述第二特征点子集均匀分布在所述3D空间中是指选择的特征点分布在所述多个体中的不同体。9.一种电子设备，用于管理特征空间分布以进行定位与建图，所述电子设备包括：摄像头；一个或多个处理器；以及存储器，具有指令，当由所述一个或多个处理器执行时，所述指令使所述电子设备执行以下操作：使用所述摄像头采集三维(3D)空间的二维(2D)图像，其中，所述2D图像包括所述电子设备先前已检测并追踪的多个特征点；从所述多个特征点中选择在所述2D图像中均匀分布的第一特征点子集；从点云中检索所述第一特征点子集的坐标，其中，所述点云包括先前确定的坐标，所述先前确定的坐标定义了至少所述第一特征点子集在所述3D空间的全局坐标图中的位置；以及至少部分地基于检索到的所述坐标，从所述第一特征点子集中选择在所述3D空间中均匀分布的第二特征点子集。10.根据权利要求9所述的电子设备，其中，当由所述一个或多个处理器执行时，所述指令还使所述电子设备执行以下操作：至少部分地基于采集所述2D图像的摄像头的姿势，优化所述第二特征点子集的坐标，其中，所述摄像头的姿势基于从所述电子设备的传感器单元接收的数据来确定；所述传感器单元包括用于追踪所述3D空间中的所述摄像头的姿势的惯性测量单元(IMU)...

【专利技术属性】
技术研发人员：夏友杰，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：