一种信息处理方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种信息处理方法、装置、电子设备和存储介质，所述方法包括：获取当前待处理的第一图像帧的采集时间；根据针对所述第一图像帧当前标定的时间偏移信息，对所述第一图像帧的采集时间进行校正，得到所述第一图像帧的标定时间；基于在所述标定时间获取的惯性传感信息和所述第一图像帧，对当前位置进行定位。本公开实施例可以对第一图像帧的采集时间进行标定，提高定位结果的准确性。提高定位结果的准确性。提高定位结果的准确性。

【技术实现步骤摘要】
一种信息处理方法、装置、电子设备和存储介质


[0001]本公开涉及视觉惯性导航
，尤其涉及一种信息处理方法、装置、电子设备和存储介质。

技术介绍

[0002]实时获得相机的六自由度空间位置是增强现实、虚拟现实、机器人和自动驾驶等领域的核心基础问题。多传感器融合是提升空间定位精度和算法鲁棒性的有效途径。传感器之间的时间偏移标定是实现多传感器融合的基础。
[0003]大部分移动设备(如手机、眼镜、平板电脑等)具备廉价的相机和传感器，相机和传感器之间的时间存在偏移，而且相机和传感器之间的时间偏移是动态变化的(如每次重启相机或传感器，或者随着使用时间而动态变化)，因此，这对利用相机和传感器相结合实时定位提出很大挑战。

技术实现思路

[0004]本公开提出了一种信息处理技术方案。
[0005]根据本公开的一方面，提供了一种信息处理方法，包括：
[0006]获取当前待处理的第一图像帧的采集时间；
[0007]根据针对所述第一图像帧当前标定的时间偏移信息，对所述第一图像帧的采集时间进行校正，得到所述第一图像帧的标定时间；
[0008]基于在所述标定时间获取的惯性传感信息和所述第一图像帧，对当前位置进行定位。
[0009]在一种可能的实现方式中，在所述第一图像帧为采集的第一个图像帧或第二个图像帧的情况下，当前标定的时间偏移信息为时间偏移初始值。这样，可以根据预先进行设置时间偏移初始值确定当前标定的时间偏移信息。
[0010]在一种可能的实现方式中，在所述第一图像帧为采集的第N个图像帧，且N为大于2的正整数的情况下，在根据针对所述第一图像帧当前标定的时间偏移信息，对所述第一图像帧的采集时间进行校正，得到所述第一图像帧的标定时间之前，还包括：
[0011]根据在所述采集时间之前采集的至少两个第二图像帧，确定针对所述第一图像帧当前标定的时间偏移信息。这样，如果当前待处理的第一图像帧为图像采集装置采集的第N个图像帧的情况下，针对第一图像帧当前标定的时间偏移信息，可以是根据在第一图像帧采集时间之前图像采集装置采集的第二图像帧进行确定的。
[0012]在一种可能的实现方式中，根据在所述采集时间之前采集的至少两个第二图像帧，确定针对所述第一图像帧当前标定的时间偏移信息，包括：
[0013]获取在所述采集时间之前采集的至少两个第二图像帧；
[0014]获取在每个所述第二图像帧的标定时间采集的惯性传感信息；
[0015]基于所述至少两个第二图像帧以及每个所述第二图像帧所对应的惯性传感信息，
确定针对所述第一图像帧当前标定的时间偏移信息。
[0016]这样，可以得到较为准确的时间偏移信息。
[0017]在一种可能的实现方式中，所述基于所述至少两个第二图像帧以及每个所述第二图像帧所对应的惯性传感信息，确定针对所述第一图像帧当前标定的时间偏移信息，包括：
[0018]确定至少两个第二图像帧中，匹配于相同图像特征的每组匹配特征点；其中，每组匹配特征点包括多个匹配特征点；
[0019]确定每个所述第二图像帧中匹配特征点的位置信息；
[0020]基于在每个所述第二图像帧的标定时间采集的惯性传感信息和所述匹配特征点的位置信息，确定针对所述第一图像帧当前标定的时间偏移信息。
[0021]这样，可以得到图像采集装置与惯性传感装置之间的时间偏移信息以及相应更加精确的经过时间偏移补偿后的第二图像帧对应的惯性状态。
[0022]在一种可能的实现方式中，所述基于在每个所述第二图像帧的标定时间采集的惯性传感信息和所述匹配特征点的位置信息，确定针对所述第一图像帧当前标定的时间偏移信息，包括：
[0023]确定每个第二图像帧中匹配特征点所对应的三维空间中空间点的位置；
[0024]根据在每个所述第二图像帧的标定时间采集的惯性传感信息，确定每个所述第二图像帧所在的投影平面；
[0025]根据所述空间点的位置和所述第二图像帧所在的投影平面，得到所述空间点的投影信息；
[0026]根据所述匹配特征点的位置信息和所述投影信息，确定针对所述第一图像帧当前标定的时间偏移信息。
[0027]这样，可以利用至少被两个第二图像帧观测到的匹配特征点的信息确定针对所述第一图像帧当前标定的时间偏移信息。
[0028]在一种可能的实现方式中，所述方法还包括：
[0029]根据每个所述第二图像帧中匹配特征点的位置信息以及图像采集装置的行曝光周期，确定每个所述第二图像帧中匹配特征点的曝光时间误差；
[0030]确定当前标定的时间偏移信息与前一个标定的时间偏移信息之间的标定时间误差；
[0031]根据所述曝光时间误差和所述标定时间误差，确定每个所述第二图像帧的标定时间与实际采集时间之间的时间差值；其中，所述图像采集装置用于采集所述第二图像帧；
[0032]根据所述时间差值和所述惯性传感信息，对所述图像采集装置的位姿信息进行估计，确定每个所述第二图像帧所对应的惯性状态。
[0033]这样，可以利用该时间差值结合第二图像帧的惯性传感信息，可以对图像采集装置的位姿信息进行估计，确定每个所述第二图像帧所对应的惯性状态中的位姿信息。
[0034]在一种可能的实现方式中，根据在所述采集时间之前采集的至少两个第二图像帧，确定针对所述第一图像帧当前标定的时间偏移信息，包括：
[0035]获取针对所述至少两个第二时间帧标定的前一时间偏移信息；
[0036]根据针对所述第一图像帧当前标定的时间偏移信息与所述前一时间偏移信息之间的标定时间误差，确定当前标定的时间偏移信息的限制值；
[0037]根据当前标定的时间偏移信息的限制值，确定针对所述第一图像帧当前标定的时间偏移信息。
[0038]这样，可以将当前标定的时间偏移信息表示为变量，限制值作为当前标定的时间偏移信息的约束条件。
[0039]在一种可能的实现方式中，所述根据针对所述第一图像帧当前标定的时间偏移信息与所述前一时间偏移信息之间的标定时间误差，确定当前标定的时间偏移信息的限制值，包括：
[0040]在所述标定时间误差小于或者等于预设时间误差的情况下，确定所述时间偏移信息的限制值为零；
[0041]在所述标定时间误差大于预设时间误差的情况下，根据所述标定时间误差和预设的时间偏移权重，确定所述时间偏移信息的限制值。
[0042]这样，可以限制时间偏移信息的变化幅度，保证时间偏移信息估计的准确性。
[0043]在一种可能的实现方式中，所述基于在所述标定时间获取的惯性传感信息和所述第一图像帧，对当前位置进行定位，包括：
[0044]基于所述第一图像帧和在所述采集时间之前采集的第二图像帧，确定表征图像采集装置的位置变化关系的第一相对位置信息；
[0045]基于在所述第一图像帧的标定时间获取的惯性传感信息以及所述第二图像帧对应的惯性状态，确定表征图像采集装置的位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，其特征在于，包括：获取当前待处理的第一图像帧的采集时间；根据针对所述第一图像帧当前标定的时间偏移信息，对所述第一图像帧的采集时间进行校正，得到所述第一图像帧的标定时间；基于在所述标定时间获取的惯性传感信息和所述第一图像帧，对当前位置进行定位。2.根据权利要求1所述的方法，其特征在于，在所述第一图像帧为采集的第一个图像帧或第二个图像帧的情况下，当前标定的时间偏移信息为时间偏移初始值。3.根据权利要求1或2所述的方法，其特征在于，在所述第一图像帧为采集的第N个图像帧，且N为大于2的正整数的情况下，在根据针对所述第一图像帧当前标定的时间偏移信息，对所述第一图像帧的采集时间进行校正，得到所述第一图像帧的标定时间之前，还包括：根据在所述采集时间之前采集的至少两个第二图像帧，确定针对所述第一图像帧当前标定的时间偏移信息。4.根据权利要求3所述的方法，其特征在于，根据在所述采集时间之前采集的至少两个第二图像帧，确定针对所述第一图像帧当前标定的时间偏移信息，包括：获取在所述采集时间之前采集的至少两个第二图像帧；获取在每个所述第二图像帧的标定时间采集的惯性传感信息；基于所述至少两个第二图像帧以及每个所述第二图像帧所对应的惯性传感信息，确定针对所述第一图像帧当前标定的时间偏移信息。5.根据权利要求4所述的方法，其特征在于，所述基于所述至少两个第二图像帧以及每个所述第二图像帧所对应的惯性传感信息，确定针对所述第一图像帧当前标定的时间偏移信息，包括：确定至少两个第二图像帧中，匹配于相同图像特征的每组匹配特征点；其中，每组匹配特征点包括多个匹配特征点；确定每个所述第二图像帧中匹配特征点的位置信息；基于在每个所述第二图像帧的标定时间采集的惯性传感信息和所述匹配特征点的位置信息，确定针对所述第一图像帧当前标定的时间偏移信息。6.根据权利要求5所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：陈丹鹏，王楠，杨镑镑，章国锋，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：