图像特征的跟踪方法、装置、计算机设备及存储介质制造方法及图纸

本公开提供了一种图像特征的跟踪方法、装置、计算机设备以及存储介质，其中，该方法包括：获取惯性测量单元IMU数据和图像传感器检测到的图像数据；通过IMU数据，确定图像数据中当前图像相对于上一帧图像的旋转角度，以及图像传感器采集当前图像时的角速度；根据角速度和旋转角度确定目标窗口尺寸下的光流窗口；利用确定出的光流窗口对当前图像和上一帧图像进行光流跟踪处理，得到对上一帧图像和当前图像进行特征跟踪时获取到的当前跟踪特征。本公开实施例通过角速度和旋转角度自适应确定相匹配的目标窗口尺寸下的光流窗口的方式，能够进一步降低光流跟踪的能耗，从而避免由于CPU消耗较大导致的掉帧问题。消耗较大导致的掉帧问题。消耗较大导致的掉帧问题。

【技术实现步骤摘要】
图像特征的跟踪方法、装置、计算机设备及存储介质


[0001]本公开涉及图像处理的
，具体而言，涉及一种图像特征的跟踪方法、装置、计算机设备以及存储介质。

技术介绍

[0002]目前，同时定位与地图构建(simultaneous localization and mapping，SLAM)系统是增强现实(augmented reality，AR)，虚拟现实(virtual reality，VR)和混合现实(mixed reality，MR)应用中最为核心的系统。
[0003]在移动设备上应用AR，VR，MR时要求移动设备的续航能力持久，如果移动设备消耗较多CPU资源，会因为功耗问题导致CPU温度过高，致使CPU工作频率降低。此时，CPU的图像处理速度下降，容易出现显示掉帧的情况。在现有技术中，SLAM系统通常使用特征点和描述子匹配，特征点和光流跟踪的方法对前后图像帧的图像像素进行特征跟踪处理。由于仅对图像像素进行处理，因此，现有技术的方法会导致SLAM系统所提取到的图像特征精度差，且上述所描述的方法中使用特征点和光流跟踪的方法长时间运行会出现因造成计算时间过长导致CPU消耗较大，从而出现掉帧的情况。

技术实现思路

[0004]本公开实施例至少提供一种图像特征的跟踪方法、装置、计算机设备以及存储介质。
[0005]第一方面，本公开实施例提供了一种图像特征的跟踪方法，包括：获取惯性测量单元IMU数据和图像传感器检测到的图像数据；通过所述IMU数据，确定所述图像数据中当前图像相对于上一帧图像的旋转角度，以及所述图像传感器采集所述当前图像时的角速度；根据所述角速度和所述旋转角度确定目标窗口尺寸下的光流窗口；利用确定出的光流窗口对所述当前图像和所述上一帧图像进行光流跟踪处理，得到对所述上一帧图像和所述当前图像进行特征跟踪时获取到的当前跟踪特征。
[0006]在本公开实施例中，在获取到SLAM系统检测到的IMU数据和图像数据之后，可以根据IMU数据和图像数据计算前后帧旋转角度以及图像传感器的角速度，相对于现有技术中仅对图像像素进行处理的方法，本公开实施例结合SLAM系统内部各个传感器检测到数据来确定SLAM系统的当前跟踪特征的方式，能够得到更加精准的特征；且在本公开实施例中，通过角速度和旋转角度自适应确定相匹配的光流窗口的尺寸的方式，能够进一步降低光流跟踪的能耗，从而避免由于CPU消耗较大导致的掉帧的问题。
[0007]一种可选的实施方式中，在通过所述IMU数据，确定所述图像数据中当前图像相对于上一帧图像的旋转角度，以及所述图像传感器采集所述当前图像时的角速度之前，还包括：对所述IMU数据和所述图像数据进行数据采集时间对齐处理。
[0008]在本公开实施例中，在对IMU数据和图像数据进行数据采集时间对齐处理之后，可以提高IMU数据和图像数据的数据精度，在提高IMU数据和图像数据的数据精度之后，在通
过对齐处理之后的IMU数据和图像数据进行特征追踪时，就可以提高SLAM系统的处理精度。
[0009]一种可选的实施方式中，所述对所述IMU数据和所述图像数据进行数据采集时间对齐处理，包括：将所述IMU数据中目标传感器的检测数据所对应的时间戳作为基准时间戳，利用所述基准时间戳对所述IMU数据中不同传感器的检测数据进行数据采集时间对齐处理；利用进行数据采集时间对齐之后的IMU数据，对所述图像数据进行数据采集时间对齐处理。
[0010]在本公开实施例中，对IMU数据和图像数据进行数据采集时间对齐处理之后，通过对齐处理之后的IMU数据确定上述旋转角度和角速度的方式，能够提升数据精度，在终端设备(特别是中低端设备)中能够进一步提升AR，VR和MR应用的稳定性能。
[0011]一种可选的实施方式中，所述IMU数据包括：加速度计数据、陀螺仪数据和磁力计数据；所述目标传感器为加速度计；所述利用所述基准时间戳对所述IMU数据中不同传感器的检测数据进行数据采集时间对齐处理，包括：确定所述陀螺仪数据和所述磁力计数据中，在所述基准时间戳的两侧分别采集到的目标陀螺仪数据和目标磁力计数据；根据在所述基准时间戳的两侧分别采集的所述目标陀螺仪数据和所述目标陀螺仪数据所对应的数据采集时间，确定与所述基准时间戳对应的对齐后陀螺仪数据；以及，根据在所述基准时间戳的两侧分别采集的所述目标磁力计数据和所述目标磁力计数据所对应的数据采集时间，确定与所述基准时间戳对应的对齐后磁力计数据。
[0012]在本公开实施例中，考虑SLAM系统中各种传感器的工作频率，选择加速度计的时间戳作为基准时间戳，在确定出基准时间戳之后，就可以分别对陀螺仪数据和磁力计数据进行数据采集时间对齐处理。在进行数据采集时间对齐处理时，可以确定基准时间戳和目标陀螺仪数据(或者目标磁力计数据)的数据采集时间之间的时间偏差，并确定该时间偏差所对应的数据偏差量，从而根据该数据偏差量确定基准时间戳所对应的陀螺仪数据(或者磁力计数据)，通过该方式，能够简化数据对齐处理的步骤，并提高数据对齐处理的精度。
[0013]一种可选的实施方式中，所述方法还包括：在获取惯性测量单元IMU数据之后，对所述IMU数据中的陀螺仪数据和/或磁力计数据进行零偏校正。
[0014]一种可选的实施方式中，所述对所述IMU数据中的陀螺仪数据进行零偏校正，包括：计算陀螺仪在每个数据采集时间检测到的陀螺仪数据与所述陀螺仪的漂移量之间的差值，并将所述差值确定为零偏校正之后的陀螺仪数据。
[0015]一种可选的实施方式中，所述对所述IMU数据中的磁力计数据进行零偏校正，包括：获取当前时刻的上一时刻陀螺仪各个轴的角偏差的估计值；以及获取当前时刻的上一时刻所述图像传感器的位姿数据；根据所述估计值和所述位姿数据，对所述磁力计数据进行零偏校正。
[0016]一种可选的实施方式中，所述方法还包括：获取对所述上一帧图像进行图像跟踪得到的目标跟踪特征；所述根据所述角速度和所述旋转角度确定目标窗口尺寸下的光流窗口，包括：若所述目标跟踪特征的数量大于或者等于第一数量，则在至少一个窗口尺寸中确定与所述角速度和所述旋转角度相匹配的目标窗口尺寸下的光流窗口。
[0017]在本公开实施例中，在确定出目标跟踪特征的数量小于第一数量时，表明当前跟踪的特征数量较少，也即当前时刻SLAM系统的跟踪效果差，为了保证跟踪质量，提高SLAM系统的跟踪性能，需要在确定出目标跟踪特征的数量较少时，选择使用较大的光流窗口进行
跟踪处理，从而提高特征跟踪的精度。
[0018]一种可选的实施方式中，所述方法还包括：若所述目标跟踪特征的数量小于所述第一数量，则确定所述光流窗口的尺寸为预设尺寸。
[0019]一种可选的实施方式中，所述根据所述角速度和所述旋转角度确定目标窗口尺寸下的光流窗口，包括：分别将所述角速度和所述旋转角度与对应的预设阈值进行比较，得到阈值比较结果，并根据所述阈值比较结果在至少一个窗口尺寸中确定与所述角速度和所述旋转角度相匹配的目标窗口尺寸。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征的跟踪方法，其特征在于，包括：获取惯性测量单元IMU数据和图像传感器检测到的图像数据；通过所述IMU数据，确定所述图像数据中当前图像相对于上一帧图像的旋转角度，以及所述图像传感器采集所述当前图像时的角速度；根据所述角速度和所述旋转角度确定目标窗口尺寸下的光流窗口；利用确定出的光流窗口对所述当前图像和所述上一帧图像进行光流跟踪处理，得到对所述上一帧图像和所述当前图像进行特征跟踪时获取到的当前跟踪特征。2.根据权利要求1所述的方法，其特征在于，在通过所述IMU数据，确定所述图像数据中当前图像相对于上一帧图像的旋转角度，以及所述图像传感器采集所述当前图像时的角速度之前，还包括：对所述IMU数据和所述图像数据进行数据采集时间对齐处理。3.根据权利要求2所述的方法，其特征在于，所述对所述IMU数据和所述图像数据进行数据采集时间对齐处理，包括：将所述IMU数据中目标传感器的检测数据所对应的时间戳作为基准时间戳，利用所述基准时间戳对所述IMU数据中不同传感器的检测数据进行数据采集时间对齐处理；利用进行数据采集时间对齐之后的IMU数据，对所述图像数据进行数据采集时间对齐处理。4.根据权利要求3所述的方法，其特征在于，所述IMU数据包括：加速度计数据、陀螺仪数据和磁力计数据；所述目标传感器为加速度计；所述利用所述基准时间戳对所述IMU数据中不同传感器的检测数据进行数据采集时间对齐处理，包括：确定所述陀螺仪数据和所述磁力计数据中，在所述基准时间戳的两侧分别采集到的目标陀螺仪数据和目标磁力计数据；根据在所述基准时间戳的两侧分别采集的所述目标陀螺仪数据和所述目标陀螺仪数据所对应的数据采集时间，确定与所述基准时间戳对应的对齐后陀螺仪数据；以及，根据在所述基准时间戳的两侧分别采集的所述目标磁力计数据和所述目标磁力计数据所对应的数据采集时间，确定与所述基准时间戳对应的对齐后磁力计数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：在获取惯性测量单元IMU数据之后，对所述IMU数据中的陀螺仪数据和/或磁力计数据进行零偏校正。6.根据权利要求5所述的方法，其特征在于，所述对所述IMU数据中的陀螺仪数据进行零偏校正，包括：计算陀螺仪在每个数据采集时间检测到的陀螺仪数据与所述陀螺仪的漂移量之间的差值，并将所述差值确定为零偏校正之后的陀螺仪数据。7.根据权利要求5所述的方法，其特征在于，所述对所述IMU数据中的磁力计数据进行零偏校正，包括：获取当前时刻的上一时刻陀螺仪各个轴的角偏差的估计值；以及获取当前时刻的上一时刻所述图像传感器的位姿数据；根据所述估计值和所述位姿数据，对所述磁力计数据进行零偏校正。
8.根据权利要求1～7任一所述的方法，其特征在于，所述方法还包括：获取所述定位与地图构建视觉惯性SLAM系统对所述上一帧图像进行图像跟踪得到的目标跟踪特征；所述根据所述角速度和所述旋转角度确定目标窗口尺寸下的光流窗口，包括：若所述目标跟踪特征的数量大于或者等于第一数量，则在至少一个窗口尺寸中确定与所述角速度和所述旋转角度相匹配的目标窗口尺寸下的光流窗口。9.根据权利要求8所述的方法，所述方法还包括：若所述目标跟踪特征的数量小于所述第一数量，则确定所述光流窗口的尺寸为预设尺寸。10.根据权利要求1～9中任一项所述的方法，其特征在于，所述根据所述角速度和所述旋转角度确定目标窗口尺寸下的光流窗口，包括：分别将所述角速度和所述旋转角度与对应的预设阈值进行比较，得到阈值比较结果，并根据所述阈值比较结果在至少一个窗口尺寸中确定与所述角速度和所述旋转角度相匹配的目标窗口尺寸。11.根据权利要求10所述的方法，其特征在于，所述根据所述阈值比较结果在至少一个窗口尺寸中确定与所述角速度和所述旋转角度相匹配的目标窗口尺寸，包括：若所述阈值比较结果为所述旋转角度大于最大旋转角度，和/或，所述角速度大于最大角...

【专利技术属性】
技术研发人员：陈常，王楠，陈丹鹏，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：