一种信息处理方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种信息处理方法、装置、电子设备和存储介质，其中，所述方法包括：获取非实时运动状态信息；基于当前采集的第一实时图像帧、惯性传感信息以及所述非实时运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息。本公开实施例可以保证实时估计的运动状态的准确性。计的运动状态的准确性。计的运动状态的准确性。

【技术实现步骤摘要】
一种信息处理方法、装置、电子设备和存储介质


[0001]本公开涉及即时定位
，尤其涉及一种信息处理方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能领域的发展，即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)技术逐步进入大众视野。SLAM技术是增强现实、虚拟现实、机器人和自动驾驶等领域的基础。利用SLAM技术可以对未知环境构建地图，并在可以根据位置估计以及构建的地图进行定位，实现终端设备的自主定位和导航。
[0003]SLAM技术可以应用在移动设备中，支持移动设备的自主定位和导航功能。但是，大部分移动设备(如手机、眼镜、平板电脑等)无法利用常规的SLAM技术进行实时定位。

技术实现思路

[0004]本公开提出了一种信息处理技术方案。
[0005]根据本公开的一方面，提供了一种信息处理方法，包括：
[0006]获取非实时运动状态信息；
[0007]基于当前采集的第一实时图像帧、惯性传感信息以及所述非实时运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息。
[0008]在一种可能的实现方式中，所述基于当前采集的第一实时图像帧、惯性传感信息以及所述非实时运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息，包括：
[0009]确定所述非实时运动状态信息所对应的运动状态时刻；确定当前时刻与所述非实时运动状态信息所对应的运动状态时刻之间的时间区间；基于在所述时间区间内获取的惯性传感信息和所述非实时运动状态信息，确定所述时间区间的第一运动状态信息；基于所述第一实时图像帧和所述第一运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息。这样，将第一运动状态信息与第一实时图像帧相结合，可以得到较为准确的实时运动状态信息。
[0010]在一种可能的实现方式中，所述基于在所述时间区间内获取的惯性传感信息和所述非实时运动状态信息，确定所述时间区间的第一运动状态信息，包括：
[0011]确定所述时间区间包括的至少一个采集时刻；根据在所述时间区间对所述惯性传感信息的积分操作，确定所述至少一个采集时刻的第一运动状态信息。这样，可以利用惯性传感信息的积分操作，对时间区间包括的采集时刻的第一运动状态进行估计，由第一运动状态得到当前的实时运动状态信息，从而对当前的运动状态进行实时并且较为准确的估计。
[0012]在一种可能的实现方式中，所述基于所述第一实时图像帧和所述第一运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息，包括：
[0013]获取在所述第一实时图像帧之前的采集的第二实时图像帧；根据所述第一实时图像帧中特征点的图像特征与所述第二实时图像帧中特征点的图像特征，确定匹配于相同图像特征的第一匹配特征点和第二匹配特征点；其中，第一匹配特征点为第一实时图像帧的特征点，第二匹配特征点为第二实时图像帧的特征点；根据第一匹配特征点的图像位置、第二匹配特征点的图像位置以及所述第一运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息。这样，综合第一匹配特征点和第二匹配特征点的图像位置以及两个投影平面的重投影信息，可以对当前的运动状态进行估计过程中的误差进行优化，确定当前的实时运动状态信息。
[0014]在一种可能的实现方式中，所述获取非实时运动状态信息，包括：
[0015]获取在非实时运动状态的确定周期内采集的第一非实时图像帧；基于所述第一非实时图像帧和所述确定周期内获取的惯性传感数据，对所述第一非实时图像帧的采集时刻的运动状态进行精度估计，获取存储的非实时运动状态信息。这样，可以对第一非实时图像帧的采集时刻的运动状态进行精度估计，得到该确定周期的非实时运动状态信息。
[0016]在一种可能的实现方式中，所述获取非实时运动状态信息，包括：
[0017]获取存储的最后一个非实时运动状态的确定周期得到的非实时运动状态信息。这样，可以保证当前的实时运动状态信息的准确性。
[0018]在一种可能的实现方式中，所述方法还包括：
[0019]基于所述实时运动状态信息，确定所述第一实时图像帧中特征点所对应的第一空间点在三维空间中的位置信息。这样，可以利用当前的实时运动状态信息，对图像采集装置拍摄的景物进行定位，构建未知三维空间的地图，为用户提供有效参考，方便用户出行。
[0020]在一种可能的实现方式中，所述方法还包括：
[0021]获取由非实时运动状态信息确定的第二空间点的三维位置信息；根据所述第二空间点的三维位置信息，对基于实时运动状态信息确定的第一空间点的三维位置信息进行优化。这样，由于第二空间点的三维位置信息较为精确，从而可以利用第二空间点的三维位置信息，对实时运动状态估计过程中得到的第一空间点的三维位置信息进行优化，从而可以提高保存的第一空间点的三维位置信息的准确度。
[0022]在一种可能的实现方式中，所述根据所述第二空间点的三维位置信息，对基于实时运动状态信息确定的第一空间点的三维位置信息进行优化，包括：
[0023]确定所述第二空间点所对应的特征点的图像特征；确定由实时运动状态信息确定的第一空间点所对应的特征点中，匹配于所述第二空间点所对应的特征点的图像特征的匹配特征点；将所述匹配特征点对应的第一空间点的三维位置信息更新为所述第二空间点的三维位置信息。这样，可以使得实时运动状态估计过程中保存的第一空间点的三维位置信息具有较高的精度。
[0024]在一种可能的实现方式中，所述方法还包括：
[0025]为优化后的所述第一空间点的三维位置信息设置权重，其中，所述权重用于表征所述第一空间点的三维位置信息的置信度。这样，可以根据三维位置信息的权重确定该三维位置信息的优化程度，确定通过由三维位置信息构建的地图的准确性。
[0026]根据本公开的一方面，提供了一种信息处理装置，包括：
[0027]获取模块，用于获取非实时运动状态信息；
[0028]估计模块，用于基于当前采集的第一实时图像帧、惯性传感信息以及所述非实时运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息。
[0029]在一种可能的实现方式中，所述估计模块，具体用于，
[0030]确定所述非实时运动状态信息所对应的运动状态时刻；
[0031]确定当前时刻与所述非实时运动状态信息所对应的运动状态时刻之间的时间区间；
[0032]基于在所述时间区间内获取的惯性传感信息和所述非实时运动状态信息，确定所述时间区间的第一运动状态信息；
[0033]基于所述第一实时图像帧和所述第一运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息。
[0034]在一种可能的实现方式中，所述估计模块，具体用于，
[0035]确定所述时间区间包括的至少一个采集时刻；
[0036]根据在所述时间区间对所述惯性传感信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，其特征在于，包括：获取非实时运动状态信息；基于当前采集的第一实时图像帧、惯性传感信息以及所述非实时运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息。2.根据权利要求1所述的方法，其特征在于，所述基于当前采集的第一实时图像帧、惯性传感信息以及所述非实时运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息，包括：确定所述非实时运动状态信息所对应的运动状态时刻；确定当前时刻与所述非实时运动状态信息所对应的运动状态时刻之间的时间区间；基于在所述时间区间内获取的惯性传感信息和所述非实时运动状态信息，确定所述时间区间的第一运动状态信息；基于所述第一实时图像帧和所述第一运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息。3.根据权利要求2所述的方法，其特征在于，所述基于在所述时间区间内获取的惯性传感信息和所述非实时运动状态信息，确定所述时间区间的第一运动状态信息，包括：确定所述时间区间包括的至少一个采集时刻；根据在所述时间区间对所述惯性传感信息的积分操作，确定所述至少一个采集时刻的第一运动状态信息。4.根据权利要求2或3所述的方法，其特征在于，所述基于所述第一实时图像帧和所述第一运动状态信息，对当前的运动状态进行估计，得到当前的实时运动状态信息，包括：获取在所述第一实时图像帧之前的采集的第二实时图像帧；根据所述第一实时图像帧中特征点的图像特征与所述第二实时图像帧中特征点的图像特征，确定匹配于相同图像特征的第一匹配特征点和第二匹配特征点；其中，第一匹配特征点为第...

【专利技术属性】
技术研发人员：李海，王楠，陈丹鹏，章国锋，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：