SLAM系统、方法、装置、设备、介质和程序产品制造方法及图纸

本公开涉及一种SLAM系统、方法、装置、设备、介质和程序产品。所述SLAM系统包括：硬件加速器，用于对SLAM任务中的并行任务集进行处理，得到所述并行任务集对应的任务处理结果集，其中，所述并行任务集包括至少一个并行任务；处理器，用于对所述SLAM任务中的第一串行任务集进行处理，得到所述第一串行任务集对应的任务处理结果集，其中，所述第一串行任务集包括至少一个串行任务；第一存储器，用于存储所述并行任务集对应的任务处理结果集中的至少部分任务处理结果和/或所述第一串行任务集对应的任务处理结果集中的至少部分任务处理结果。结果。结果。

【技术实现步骤摘要】
SLAM系统、方法、装置、设备、介质和程序产品


[0001]本公开涉及计算机视觉
，尤其涉及一种SLAM系统、方法、装置、电子设备、存储介质和程序产品。

技术介绍

[0002]SLAM(Simultaneous Localization And Mapping，同步定位与建图)算法可以使用相机采集的图像和IMU(Inertial Measurement Unit，惯性测量单元)传感器采集的测量数据，对周围环境进行感知和建模，输出未知环境的地图和当前所在的位置。
[0003]SLAM算法由于系统庞大，各个子模块之间的差异较大，且计算比较复杂，因此，通常运行于通用串行计算平台，例如CPU(Central Processing Unit，中央处理器)中。然而，由于CPU的通用性较强，执行特定运算的效率较低，因此带来了较大的功耗开销。

技术实现思路

[0004]本公开提供了一种同步定位与建图SLAM技术方案。
[0005]根据本公开的一方面，提供了一种同步定位与建图SLAM系统，包括：
[0006]硬件加速器，用于对SLAM任务中的并行任务集进行处理，得到所述并行任务集对应的任务处理结果集，其中，所述并行任务集包括至少一个并行任务；
[0007]处理器，用于对所述SLAM任务中的第一串行任务集进行处理，得到所述第一串行任务集对应的任务处理结果集，其中，所述第一串行任务集包括至少一个串行任务；
[0008]第一存储器，用于存储所述并行任务集对应的任务处理结果集中的至少部分任务处理结果和/或所述第一串行任务集对应的任务处理结果集中的至少部分任务处理结果。
[0009]本公开实施例通过在SLAM系统中增加硬件加速器，通过硬件加速器对SLAM任务中的并行任务进行处理，从而能够提高SLAM任务的运算效率，提高SLAM任务的运算速度。
[0010]在一种可能的实现方式中，所述硬件加速器还用于：
[0011]对所述SLAM任务中的第二串行任务集进行处理，得到所述第二串行任务集对应的任务处理结果集，其中，所述第二串行任务集包括至少一个串行任务。
[0012]在该实现方式中，通过硬件加速器对SLAM任务中的第二串行任务集进行处理，得到第二串行任务集对应的任务处理结果集，由此能够在硬件加速器中，针对第二串行任务集中的串行任务设计结构简单的核，从而能够提高第二串行任务集中的串行任务的运算速度。
[0013]在一种可能的实现方式中，所述第二串行任务集包括特征点坐标预测任务；
[0014]所述硬件加速器包括：第一核，用于获取特征点在上一帧图像中的图像坐标，以及惯性测量单元IMU传感器的当前位姿数据，并根据所述特征点在所述上一帧图像中的图像坐标以及所述当前位姿数据，确定所述特征点在当前帧图像中的图像坐标的预测值。
[0015]在该实现方式中，通过硬件加速器中的第一核获取特征点在上一帧图像中的图像坐标，以及IMU传感器的当前位姿数据，并根据所述特征点在所述上一帧图像中的图像坐标
以及所述当前位姿数据，确定所述特征点在当前帧图像中的图像坐标的预测值，由此利用硬件加速器中结构较简单的第一核进行特征点坐标预测，能够提高在当前帧图像中预测特征点的图像坐标的速度。
[0016]在一种可能的实现方式中，所述第二串行任务集还包括三维坐标修正任务；
[0017]所述硬件加速器包括：第二核，用于获取特征点在至少三帧图像中的图像坐标的修正值，以及所述至少三帧图像对应的相机的三维坐标，根据所述特征点在所述至少三帧图像中的图像坐标的修正值，确定所述至少三帧图像中所述特征点对应的三维坐标，并根据所述相机的三维坐标，以及所述至少三帧图像中所述特征点对应的三维坐标，修正所述相机的三维坐标和/或所述特征点对应的三维坐标。
[0018]在该实现方式中，通过硬件加速器的第二核获取特征点在至少三帧图像中的图像坐标的修正值，以及所述至少三帧图像对应的相机的三维坐标，根据所述特征点在所述至少三帧图像中的图像坐标的修正值，确定所述至少三帧图像中所述特征点对应的三维坐标，并根据所述相机的三维坐标，以及所述至少三帧图像中所述特征点对应的三维坐标，修正所述相机的三维坐标和/或所述特征点对应的三维坐标，由此利用硬件加速器中结构较简单的第二核进行相机的三维坐标和/或特征点对应的三维坐标的修正，能够提高修正三维坐标和/或特征点对应的三维坐标的速度。
[0019]在一种可能的实现方式中，所述第二核与第一核为同一个核。
[0020]在该实现方式中，通过硬件加速器中的同一个核执行特征点坐标预测任务和三维坐标修正任务，由此能够节省硬件加速器的空间，从而有助于缩小硬件加速器的芯片面积。
[0021]在一种可能的实现方式中，所述并行任务集包括IMU积分任务；
[0022]所述硬件加速器包括：第三核，用于获取IMU传感器采集的测量数据，对所述测量数据进行积分，得到所述IMU传感器的当前位姿数据。
[0023]在该实现方式中，通过硬件加速器中的第三核获取IMU传感器采集的测量数据，对所述测量数据进行积分，得到所述IMU传感器的当前位姿数据，由此能够利用硬件加速器中的第三核的并行处理能力，提高IMU积分的速度。
[0024]在一种可能的实现方式中，所述硬件加速器还用于：
[0025]存储所述当前位姿数据。
[0026]在该实现方式中，通过硬件加速器存储IMU传感器的当前位姿数据，由此能够提高硬件加速器中的核获取IMU传感器的当前位姿数据的速度。
[0027]在一种可能的实现方式中，所述并行任务集还包括特征点追踪任务；
[0028]所述硬件加速器包括：第四核，用于获取当前帧图像、特征点在所述当前帧图像中的图像坐标的预测值以及所述特征点对应的目标图像块，根据所述预测值和所述目标图像块，在所述当前帧图像中追踪所述特征点，得到所述特征点在所述当前帧图像中的图像坐标的修正值。
[0029]在该实现方式中，通过硬件加速器中的第四核获取当前帧图像、特征点在所述当前帧图像中的图像坐标的预测值以及所述特征点对应的目标图像块，并根据所述预测值和所述目标图像块，在所述当前帧图像中追踪所述特征点，得到所述特征点在所述当前帧图像中的图像坐标的修正值，由此能够利用硬件加速器中的第四核的并行处理能力，提高特征点追踪的速度。
[0030]在一种可能的实现方式中，所述硬件加速器还用于存储：所述特征点对应的目标图像块、所述特征点的图像坐标的最新值以及所述特征点对应的三维坐标的最新值。
[0031]在该实现方式中，通过硬件加速器存储所述特征点对应的目标图像块、所述特征点的图像坐标的最新值以及所述特征点对应的三维坐标的最新值，由此能够提高所述特征点对应的目标图像块、所述特征点的图像坐标的最新值以及所述特征点对应的三维坐标的最新值在硬件加速器内部的传输速度。
[0032]在一种可能的实现方式中，所述硬件加速器还用于：
[0033]从所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同步定位与建图SLAM系统，其特征在于，包括：硬件加速器，用于对SLAM任务中的并行任务集进行处理，得到所述并行任务集对应的任务处理结果集，其中，所述并行任务集包括至少一个并行任务；处理器，用于对所述SLAM任务中的第一串行任务集进行处理，得到所述第一串行任务集对应的任务处理结果集，其中，所述第一串行任务集包括至少一个串行任务；第一存储器，用于存储所述并行任务集对应的任务处理结果集中的至少部分任务处理结果和/或所述第一串行任务集对应的任务处理结果集中的至少部分任务处理结果。2.根据权利要求1所述的系统，其特征在于，所述硬件加速器还用于：对所述SLAM任务中的第二串行任务集进行处理，得到所述第二串行任务集对应的任务处理结果集，其中，所述第二串行任务集包括至少一个串行任务。3.根据权利要求2所述的系统，其特征在于，所述第二串行任务集包括特征点坐标预测任务；所述硬件加速器包括：第一核，用于获取特征点在上一帧图像中的图像坐标，以及惯性测量单元IMU传感器的当前位姿数据，并根据所述特征点在所述上一帧图像中的图像坐标以及所述当前位姿数据，确定所述特征点在当前帧图像中的图像坐标的预测值。4.根据权利要求2或3所述的系统，其特征在于，所述第二串行任务集还包括三维坐标修正任务；所述硬件加速器包括：第二核，用于获取特征点在至少三帧图像中的图像坐标的修正值，以及所述至少三帧图像对应的相机的三维坐标，根据所述特征点在所述至少三帧图像中的图像坐标的修正值，确定所述至少三帧图像中所述特征点对应的三维坐标，并根据所述相机的三维坐标，以及所述至少三帧图像中所述特征点对应的三维坐标，修正所述相机的三维坐标和/或所述特征点对应的三维坐标。5.根据权利要求4所述的系统，其特征在于，所述第二核与第一核为同一个核。6.根据权利要求1至5中任意一项所述的系统，其特征在于，所述并行任务集包括IMU积分任务；所述硬件加速器包括：第三核，用于获取IMU传感器采集的测量数据，对所述测量数据进行积分，得到所述IMU传感器的当前位姿数据。7.根据权利要求6所述的系统，其特征在于，所述硬件加速器还用于：存储所述当前位姿数据。8.根据权利要求1至7中任意一项所述的系统，其特征在于，所述并行任务集还包括特征点追踪任务；所述硬件加速器包括：第四核，用于获取当前帧图像、特征点在所述当前帧图像中的图像坐标的预测值以及所述特征点对应的目标图像块，根据所述预测值和所述目标图像块，在所述当前帧图像中追踪所述特征点，得到所述特征点在所述当前帧图像中的图像坐标的修正值。9.根据权利要求8所述的系统，其特征在于，所述硬件加速器还用于存储：所述特征点对应的目标图像块、所述特征点的图像坐标的最新值以及所述特征点对应的三维坐标的最新值。10.根据权利要求9所述的系统，其特征在于，所述硬件加速器还用于：

【专利技术属性】
技术研发人员：李思旭，高洋，章国锋，刘浩敏，杭蒙，焦明俊，
申请(专利权)人：上海商汤科技开发有限公司，
类型：发明
国别省市：