状态确定方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种状态确定方法、装置、设备及存储介质，其中，所述方法包括：在视觉惯性定位系统的运行过程中，从视觉惯性定位系统中获取待处理图像、参考跟踪点的跟踪信息和惯性信息；其中，待处理图像是通过视觉惯性定位系统中的视觉传感器采集的，参考跟踪点的跟踪信息是基于视觉传感器采集的历史处理图像确定的，惯性信息是通过视觉惯性定位系统中的惯性传感器采集的；确定待处理图像中与参考跟踪点匹配的目标跟踪点，以及目标跟踪点的位置信息；基于目标跟踪点的位置信息和参考跟踪点的跟踪信息，确定视觉传感器对应的位姿约束；基于位姿约束和惯性信息，确定所述视觉惯性定位系统中的状态量。性定位系统中的状态量。性定位系统中的状态量。

【技术实现步骤摘要】
状态确定方法、装置、设备及存储介质


[0001]本公开涉及但不限于计算机视觉
，尤其涉及一种状态确定方法、装置、设备及存储介质。

技术介绍

[0002]视觉惯性(跟踪)定位系统是计算机视觉、机器人、无人车、三维重建及增强现实等领域的重要底层技术。相关技术中，视觉惯性定位系统通过对采集得到的图像上的特征点进行三维构建处理，得到特征点的三维信息，继而基于三维信息更新视觉惯性定位系统中的状态；因此，视觉惯性定位系统中的状态的确定性与三维信息的精度高度相关。但相关技术中，利用三角化等方式确定特征点的三维信息，存在计算量较大、精度不高等问题。

技术实现思路

[0003]有鉴于此，本公开实施例至少提供一种状态确定方法、装置、设备及存储介质。
[0004]本公开实施例的技术方案是这样实现的：
[0005]一方面，本公开实施例提供一种状态确定方法，包括：在视觉惯性定位系统的运行过程中，从所述视觉惯性定位系统中获取待处理图像、参考跟踪点的跟踪信息和惯性信息；其中，所述待处理图像是通过所述视觉惯性定位系统中的视觉传感器采集的，所述参考跟踪点的跟踪信息是基于所述视觉传感器采集的历史处理图像确定的，所述惯性信息是通过所述视觉惯性定位系统中的惯性传感器采集的；确定所述待处理图像中与所述参考跟踪点匹配的目标跟踪点，以及所述目标跟踪点的位置信息；基于所述目标跟踪点的位置信息和所述参考跟踪点的跟踪信息，确定所述视觉传感器对应的位姿约束；基于所述位姿约束和所述惯性信息，确定所述视觉惯性定位系统中的状态量。
>[0006]另一方面，本公开实施例提供一种状态确定装置，包括：第一获取模块，用于在视觉惯性定位系统的运行过程中，从所述视觉惯性定位系统中获取待处理图像、参考跟踪点的跟踪信息和惯性信息；其中，所述待处理图像是通过所述视觉惯性定位系统中的视觉传感器采集的，所述参考跟踪点的跟踪信息是基于所述视觉传感器采集的历史处理图像确定的，所述惯性信息是通过所述视觉惯性定位系统中的惯性传感器采集的；第一确定模块，用于确定所述待处理图像中与所述参考跟踪点匹配的目标跟踪点，以及所述目标跟踪点的位置信息；第二确定模块，用于基于所述目标跟踪点的位置信息和所述参考跟踪点的跟踪信息，确定所述视觉传感器对应的位姿约束；第三确定模块，用于基于所述位姿约束和所述惯性信息，确定所述视觉惯性定位系统中的状态量。
[0007]再一方面，本公开实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
[0008]又一方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
[0009]又一方面，本公开实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机设备中运行时，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
[0010]又一方面，本公开实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
[0011]本公开实施例中，首先，通过在视觉惯性定位系统的运行过程中，从视觉惯性定位系统中获取待处理图像、参考跟踪点的跟踪信息和惯性信息；其中，待处理图像是通过视觉惯性定位系统中的视觉传感器采集的，参考跟踪点的跟踪信息是基于视觉传感器采集的历史处理图像确定的，惯性信息是通过视觉惯性定位系统中的惯性传感器采集的；其次，简单地确定待处理图像中与参考跟踪点匹配的目标跟踪点，以及目标跟踪点的位置信息；然后，基于目标跟踪点的位置信息和参考跟踪点的跟踪信息，快速准确地确定视觉传感器对应的位姿约束；这样，相较于相关技术中，通过确定目标跟踪点的三维信息，基于三维信息确定重投影误差等约束，可以通过直接利用目标跟踪点的位置信息确定位姿约束，可以减少确定三维信息的计算量，以及降低三维信息的准确度较低导致状态更新时精度较低的问题；最后，基于位姿约束和惯性信息，确定视觉惯性定位系统中的状态量，以实现快速准确地对视觉惯性定位系统中的状态量进行更新，得到更新后的状态量，有助于简化状态更新的复杂性、提高状态更新的效率等。
[0012]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
[0013]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0014]图1为本公开实施例提供的一种状态确定方法的实现流程示意图；
[0015]图2为本公开实施例提供的一种状态确定方法的实现流程示意图；
[0016]图3为本公开实施例提供的一种状态确定方法的实现流程示意图；
[0017]图4为本公开实施例提供的一种状态确定方法的实现流程示意图；
[0018]图5为本公开实施例提供的一种状态确定装置的组成结构示意图；
[0019]图6为本公开实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
[0020]为了使本公开的目的、技术方案和优点更加清楚，下面结合附图和实施例对本公开的技术方案进一步详细阐述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
[0021]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对
对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
[0022]除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开的目的，不是旨在限制本公开。
[0023]本公开实施例提供一种状态确定方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是机器人、无人车、无人机等移动设备，也可以是用户设备、用户终端、无绳电话、个人数字助理、手持设备、计算设备、车载设备、增强现实设置、虚拟现实设备、视觉惯性导航设备等具备状态确定能力的设备。图1为本公开实施例提供的一种状态确定方法的实现流程示意图，如图1所示，该方法包括如下步骤S101至步骤S104：
[0024]步骤S101，在视觉惯性定位系统的运行过程中，从所述视觉惯性定位系统中获取待处理图像、参考跟踪点的跟踪信息和惯性信息。
[0025]这里，视觉惯性定位系统可以是表示一类将图像信息(也可以称为视觉信息等)和惯性信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种状态确定方法，其特征在于，包括：在视觉惯性定位系统的运行过程中，从所述视觉惯性定位系统中获取待处理图像、参考跟踪点的跟踪信息和惯性信息；其中，所述待处理图像是通过所述视觉惯性定位系统中的视觉传感器采集的，所述参考跟踪点的跟踪信息是基于所述视觉传感器采集的历史处理图像确定的，所述惯性信息是通过所述视觉惯性定位系统中的惯性传感器采集的；确定所述待处理图像中与所述参考跟踪点匹配的目标跟踪点，以及所述目标跟踪点的位置信息；基于所述目标跟踪点的位置信息和所述参考跟踪点的跟踪信息，确定所述视觉传感器对应的位姿约束；基于所述位姿约束和所述惯性信息，确定所述视觉惯性定位系统中的状态量。2.根据权利要求1所述的方法，其特征在于，所述目标跟踪点的位置信息为所述目标跟踪点的归一化坐标；所述确定所述待处理图像中与所述参考跟踪点匹配的目标跟踪点，以及所述目标跟踪点的位置信息，包括：对所述待处理图像进行特征点检测，得到至少两个候选特征点；基于所述参考跟踪点的跟踪信息，从所述至少两个候选特征点中确定所述目标跟踪点，以及所述目标跟踪点的图像坐标；对所述目标跟踪点的图像坐标进行转换，得到所述目标跟踪点的归一化坐标。3.根据权利要求1或2所述的方法，其特征在于，所述参考跟踪点的跟踪信息包括所述目标跟踪点预设的三维信息和所述目标跟踪点预设的逆深度；所述基于所述目标跟踪点的位置信息和所述参考跟踪点的跟踪信息，确定所述视觉传感器对应的位姿约束，包括：利用所述视觉传感器的投影关系，基于所述位置信息、所述三维信息和所述逆深度，确定所述视觉传感器的位姿误差函数；其中，所述位姿误差函数用于表征所述视觉传感器对应的位姿约束，所述位姿误差函数用于确定所述视觉传感器的移动信息和旋转信息。4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：获取与所述待处理图像相邻的预设数量的所述历史处理图像；分别确定每一所述历史处理图像中与所述目标跟踪点匹配的历史跟踪点，以及每一所述历史跟踪点的图像坐标；基于每一所述历史跟踪点的图像坐标和所述目标跟踪点的图像坐标，分别从所述历史处理图像和所述待处理图像中获取预设尺度的图像区域；基于每一所述历史跟踪点的图像区域上像素点的像素值和所述目标跟踪点的图像区域上像素点的像素值，确定所述位姿约束的置信度；其中，所述位姿约束的置信度用于表征所述位姿约束的权重。5.根据权利要求4所述的方法，其特征在于，所述基于每一所述历史跟踪点的图像区域上像素点的像素值和所述目标跟踪点的图像区域上像素点的像素值，确定所述位姿约束的置信度，包括：分别确定每一所述历史跟踪点的图像区域和所述目标跟踪点的...

【专利技术属性】
技术研发人员：翟尚进，王楠，陈丹鹏，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：