视觉建图方法、装置、存储介质及计算机程序产品制造方法及图纸

本申请实施例提供了一种视觉建图方法、装置、存储介质及计算机程序产品，其中，所述视觉建图方法包括：获取相机拍摄的图像帧，以及图像帧对应的惯导观测数据；在图像帧中确定常规特征点和额外特征点；对相机位姿以及常规特征点在实际物理空间中的位置进行在线状态估计，并根据在线状态估计的结果建立在线地图数据；对额外特征点在实际物理空间中的位置进行离线状态估计，并根据离线状态估计的结果建立离线地图数据；将在线地图数据和离线地图数据进行合并得到完整地图数据。减少了在线实时定位和建图的运算量，保证了在线实时定位的效率，还保证了完整地图数据精度较高。还保证了完整地图数据精度较高。还保证了完整地图数据精度较高。

【技术实现步骤摘要】
视觉建图方法、装置、存储介质及计算机程序产品


[0001]本申请实施例涉及视觉
，尤其涉及一种视觉建图方法、装置、存储介质及计算机程序产品。

技术介绍

[0002]定位技术是增强现实(AR)、自动驾驶、机器人等领域普遍需要的关键技术。在定位技术中，视觉定位技术因其设备成本低、技术相对成熟而被广泛使用。
[0003]在视觉定位技术中，视觉同步定位与建图(V
‑
Simultaneous Localization And Mapping，V
‑
SLAM)相比于卫星定位、网络定位等技术，可以摆脱对卫星信号或者网络通信的依赖，实现对处于未知环境中的设备的自身位置、姿态和环境中其他要素的位置等进行状态估计，实时获得定位结果及环境地图。
[0004]在基于V
‑
SLAM技术的实际工作场景中，图像采集设备如相机时常因诸如遮挡、抖动等异常情况而导致无法有效定位，需要借助地图数据进行重定位实现连续的状态估计及定位。但是，在建立地图数据的过程中，需要提取特征点进行建图，如果特征点太多，运算量较大，耗费太多资源，且影响实时定位的效率，如果特征点太少，影响地图数据的精度，会导致重定位不准确。

技术实现思路

[0005]有鉴于此，本申请实施例提供一种视觉建图方法、装置、存储介质及计算机程序产品，以至少部分解决上述问题。
[0006]根据本申请实施例的第一方面，提供了一种视觉建图方法，包括：获取相机拍摄的图像帧，以及图像帧对应的惯导观测数据；在图像帧中确定常规特征点和额外特征点；基于常规特征点在图像帧中的位置的观测数据，以及图像帧对应的惯导观测数据，对相机位姿以及常规特征点在实际物理空间中的位置进行在线状态估计，并根据在线状态估计的结果建立在线地图数据；基于额外特征点在图像帧中的位置的观测数据，以及在线状态估计得到的相机位姿的状态数据，对额外特征点在实际物理空间中的位置进行离线状态估计，并根据离线状态估计的结果建立离线地图数据；将在线地图数据和离线地图数据进行合并得到完整地图数据。
[0007]根据本申请实施例的第二方面，提供了一种视觉建图装置，包括：获取模块，用于获取相机拍摄的图像帧，以及图像帧对应的惯导观测数据；特征点模块，用于获取相机拍摄的图像帧，以及图像帧对应的惯导观测数据；在线状态估计模块，用于基于常规特征点在图像帧中的位置的观测数据，以及图像帧对应的惯导观测数据，对相机位姿以及常规特征点在实际物理空间中的位置进行在线状态估计，并根据在线状态估计的结果建立在线地图数据；离线状态估计模块，用于基于额外特征点在图像帧中的位置的观测数据，以及在线状态估计得到的相机位姿的状态数据，对额外特征点在实际物理空间中的位置进行离线状态估计，并根据离线状态估计的结果建立离线地图数据；地图模块，用于将在线地图数据和离线
地图数据进行合并得到完整地图数据。
[0008]根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的视觉建图方法对应的操作。
[0009]根据本申请实施例的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的视觉建图方法。
[0010]根据本申请实施例提供的视觉建图方法、装置、存储介质及计算机程序产品，获取相机拍摄的图像帧，以及图像帧对应的惯导观测数据；在图像帧中确定常规特征点和额外特征点；基于常规特征点在图像帧中的位置的观测数据，以及图像帧对应的惯导观测数据，对相机位姿以及常规特征点在实际物理空间中的位置进行在线状态估计，并根据在线状态估计的结果建立在线地图数据；基于额外特征点在图像帧中的位置的观测数据，以及在线状态估计得到的相机位姿的状态数据，对额外特征点在实际物理空间中的位置进行离线状态估计，并根据离线状态估计的结果建立离线地图数据；将在线地图数据和离线地图数据进行合并得到完整地图数据。因为建立在线实时定位依赖于常规特征点，常规特征点并不是所有的特征点，减少了运算量，保证了在线实时定位的效率，而完整地图数据包含在线地图数据和离线地图数据，离线地图数据是基于额外特征点在离线状态下建立的，不占用在线实时定位的算力，又保证了完整地图数据精度较高。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0012]图1为根据本申请实施例一的一种视觉建图方法的流程图；
[0013]图2为根据本申请实施例一的一种常规特征点示意图；
[0014]图3为根据本申请实施例二的一种视觉建图方法的流程图；
[0015]图4为根据本申请实施例二的一种特征点示意图；
[0016]图5A为根据本申请实施例三的一种重定位方法的流程图；
[0017]图5B为图5A所示实施例中的一种特征点提取、跟踪与建图流程的示意图；
[0018]图5C为图5A所示实施例中的一种即时定位与常规特征点地图构建示意图；
[0019]图5D为图5A所示实施例中的一种额外特征点地图构建示意图；
[0020]图6为根据本申请实施例四的一种视觉建图装置的结构框图；
[0021]图7为根据本申请实施例五的一种电子设备的结构示意图。
具体实施方式
[0022]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施
例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0023]下面结合本申请实施例附图进一步说明本申请实施例具体实现。
[0024]实施例一
[0025]参照图1，示出了根据本申请实施例一的一种视觉建图方法的流程图。
[0026]本实施例的视觉建图方法包括以下步骤：
[0027]步骤S101：获取相机拍摄的图像帧，以及图像帧对应的惯导观测数据。
[0028]需要说明的是，惯导观测数据指的是基于惯性导航技术得到的数据，示例性地，惯导观测数据可以包含利用惯性导航技术所确定的相机位姿，惯导观测数据可以基于传感器如惯性测量单元(英文：Inertial Measurement Unit，IMU)获得。图像帧对应的惯导观测数据指的是与所述图像帧同一时间周期内测量得到的惯导观测数据的。一个时间周期可以是1秒、2秒或者5秒等，一个时间周期的长度可以预先自行设定。还需要说明的是，图像帧的数量可以是一个或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉建图方法，包括：获取相机拍摄的图像帧，以及所述图像帧对应的惯导观测数据；在所述图像帧中确定常规特征点和额外特征点；基于所述常规特征点在所述图像帧中的位置的观测数据，以及所述图像帧对应的惯导观测数据，对相机位姿以及所述常规特征点在实际物理空间中的位置进行在线状态估计，并根据在线状态估计的结果建立在线地图数据；基于所述额外特征点在所述图像帧中的位置的观测数据，以及在线状态估计得到的所述相机位姿的状态数据，对所述额外特征点在实际物理空间中的位置进行离线状态估计，并根据离线状态估计的结果建立离线地图数据；将所述在线地图数据和所述离线地图数据进行合并得到完整地图数据。2.根据权利要求1所述的方法，其中，所述在所述图像帧中确定常规特征点和额外特征点，包括：计算所述图像帧中点的响应值，将响应值大于预设的响应阈值的点确定为特征点；将所述图像帧划分为至少两个栅格区域，在所述栅格区域中将响应值从大到小排序的前Nc％的特征点确定为所述常规特征点，将所述栅格区域中剩余的特征点确定为所述额外特征点，Nc为大于0且小于100的数。3.根据权利要求1所述的方法，其中，所述基于所述常规特征点在所述图像帧中的位置的观测数据，以及所述图像帧对应的惯导观测数据，对相机位姿以及所述常规特征点在实际物理空间中的位置进行在线状态估计，并根据在线状态估计的结果建立在线地图数据包括：根据所述常规特征点在所述图像帧中的位置的观测数据，以及所述图像帧对应的惯导观测数据，计算所述相机位姿的估计数据和所述常规特征点在实际物理空间中的位置的估计数据；基于所述相机位姿的估计数据和所述常规特征点在实际物理空间中的位置的估计数据计算残差数据，针对于至少两个所述图像帧中的同一个常规特征点，将所述常规特征点的残差数据之和最小时，所述常规特征点在实际物理空间中的位置的估计数据作为所述常规特征点的状态数据；基于至少一个所述常规特征点的状态数据建立所述在线地图数据。4.根据权利要求3所述的方法，其中，所述方法还包括：针对于一个所述图像帧，将至少两个所述常规特征点的残差数据之和最小时，所述相机位姿的估计数据作为所述相机位姿的状态数据。5.根据权利要求3所述的方法，其中，所述残差数据包含时间窗口边缘化先验约束构成的残差、相邻两帧之间惯导观测数据的残差以及所述常规特征点的重投影残差中的至少一项。6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：肖中阳，韩冰，张涛，黄帅，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：