使用惯性传感器和图像传感器的传感器融合制造技术

本发明专利技术提供了用于使用多个传感器来控制可移动物体的系统、方法和装置。在一方面，提供了一种用于标定具有处于初始配置中的多个传感器的可移动物体的一个或多个外部参数的方法。所述方法可以包括：检测所述多个传感器的所述初始配置已被修改；在所述可移动物体的操作期间，从至少一个惯性传感器接收惯性数据；在所述可移动物体的所述操作期间，从至少两个图像传感器接收图像数据；以及响应于检测到所述初始配置已被修改，基于所述惯性数据和所述图像数据来估计所述一个或多个外部参数，其中所述一个或多个外部参数包含处于所述经修改的配置中的所述多个传感器之间的空间关系。

【技术实现步骤摘要】
【国外来华专利技术】使用惯性传感器和图像传感器的传感器融合
技术介绍
诸如无人飞行器(UAV)等无人载具可以用于执行监视、侦察和勘探任务以供多种民用、商用和军事应用。无人飞行器可以由远程用户手动控制，或者能够以半自主或者全自主方式操作。此类无人飞行器可以包括传感器，所述传感器被配置成用于收集可在无人飞行器操作期间使用的数据，诸如状态信息。在一些情况下，用于数据收集和处理以供无人飞行器操作的现有方法可能不是最优的。例如，用于估计无人飞行器的状态信息的一些技术可能不够准确，这对于无人飞行器功能可能不利。
技术实现思路
本公开内容提供了涉及对诸如无人飞行器(UAV)等可移动物体的控制和操作的系统、方法和装置。在一些实施方式中，本文描述的系统、方法和装置利用传感器融合来支持以提高的准确性和灵活性来确定与无人飞行器操作有关的信息。例如，可以使用一个或多个惯性传感器以及一个或多个图像传感器的融合来改进初始化、错误恢复、参数标定和/或状态估计。从这些过程获得的信息可以用于帮助无人飞行器操作，例如，自主或半自主导航、避障、测绘等。在一方面，提供了一种用于使用多个传感器来确定可移动物体的初始化信息的方法。所述方法可以包括：借助于一个或多个处理器来检测所述可移动物体已经开始操作；在所述一个或多个处理器处从由所述可移动物体携带的至少一个惯性传感器接收惯性数据；在所述一个或多个处理器处从由所述可移动物体携带的至少两个图像传感器接收图像数据；以及借助于所述一个或多个处理器，基于所述惯性数据和所述图像数据来确定所述可移动物体的所述初始化信息，其中所述初始化信息包含当所述可移动物体开始操作时以下各项中的一项或多项：所述可移动物体的位置、所述可移动物体的速度或所述可移动物体相对于重力方向的朝向。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。检测所述无人飞行器已经开始操作可以包括检测所述无人飞行器已经开始飞行。所述无人飞行器可以从自由落体状态开始飞行以及/或者通过由用户投掷而开始飞行。检测所述无人飞行器已经开始操作可以包括检测所述无人飞行器已经从表面起飞，并且所述表面可以是倾斜的表面或无倾角的表面。在一些实施方式中，所述惯性数据包括指示出所述可移动物体的三维加速度和三维角速度的一个或多个测量值。所述惯性数据可以包括在从所述可移动物体开始操作时起算的时间间隔内，由所述至少一个惯性传感器获得的一个或多个测量值。在一些实施方式中，所述图像数据包括所述可移动物体周围环境的一个或多个图像。所述图像数据可以包括在从所述可移动物体开始操作时起算的时间间隔内，由所述至少两个图像传感器中的每一个获得的一个或多个图像。在一些实施方式中，所述确定步骤包括使用特征点检测算法来处理所述一个或多个图像。所述确定步骤可以包括使用光流算法来处理所述一个或多个图像。所述确定步骤可以包括使用特征匹配算法来处理所述一个或多个图像。所述确定步骤可以包括将由所述至少两个图像传感器中的第一图像传感器获得的一个或多个图像与由所述至少两个图像传感器中的第二图像传感器获得的一个或多个图像进行比较。在一些实施方式中，所述至少两个图像传感器被配置成用于同步地获得图像。或者，所述至少两个图像传感器可被配置成用于异步地获得图像。所述至少两个图像传感器包括多个图像传感器子集，所述多个图像传感器子集经由切换机构可切换地耦合至所述一个或多个处理器，所述切换机构被配置成用于一次将单个图像传感器子集耦合至所述一个或多个处理器。所述接收所述图像数据步骤可以包括：经由所述切换机构将第一图像传感器子集耦合至所述一个或多个处理器；从所述第一图像传感器子集接收图像数据；经由所述切换机构将第二图像传感器子集耦合至所述一个或多个处理器；以及从所述第二图像传感器子集接收图像数据。在一些实施方式中，所述初始化信息还包括当所述可移动物体开始操作时所述可移动物体的位置和速度。所述确定步骤可以包括：使用所述惯性数据来生成所述初始化信息的第一估计；使用所述图像数据来生成所述初始化信息的第二估计；以及组合所述第一估计和第二估计以获得所述可移动物体的所述初始化信息。可以使用线性优化算法来确定所述初始化信息。可以仅基于所述惯性数据和所述图像数据来确定所述初始化信息。在一些实施方式中，所述方法还包括使用所述可移动物体相对于重力方向的朝向来修正从所述至少一个惯性传感器获得的后续惯性数据。在另一方面，提供了一种用于使用多个传感器来确定可移动物体的初始化信息的系统。所述系统可以包括：至少一个惯性传感器，其由所述可移动物体携带；至少两个图像传感器，其由所述可移动物体携带；以及一个或多个处理器，其单独地或共同地被配置成用于：检测所述可移动物体已经开始操作；从所述至少一个惯性传感器接收惯性数据；从所述至少两个图像传感器接收图像数据；以及基于所述惯性数据和所述图像数据，确定所述可移动物体的所述初始化信息，其中所述初始化信息包含当所述可移动物体开始操作时以下各项中的一项或多项：所述可移动物体的位置、所述可移动物体的速度或所述可移动物体相对于重力方向的朝向。在另一方面，提供了一个或多个非暂时性计算机可读存储介质。所述一个或多个非暂时性计算机可读存储介质可以具有储存于其上的可执行指令，所述可执行指令在由用于确定可移动物体的初始化信息的计算机系统的一个或多个处理器执行时，使所述计算机系统至少：检测所述可移动物体已经开始操作；从由所述可移动物体携带的至少一个惯性传感器接收惯性数据；从由所述可移动物体携带的至少两个图像传感器接收图像数据；以及基于所述惯性数据和所述图像数据，确定所述可移动物体的所述初始化信息，其中所述初始化信息包含当所述可移动物体开始操作时以下各项中的一项或多项：所述可移动物体的位置、所述可移动物体的速度或所述可移动物体相对于重力方向的朝向。在另一方面，提供了一种用于使用多个传感器来执行针对可移动物体的错误恢复的方法。所述方法可以包括：借助于一个或多个处理器来检测在所述可移动物体的操作期间已经发生错误；在所述一个或多个处理器处从由所述可移动物体携带的至少一个惯性传感器接收惯性数据；在所述一个或多个处理器处从由所述可移动物体携带的至少两个图像传感器接收图像数据；以及借助于所述一个或多个处理器，基于所述惯性数据和所述图像数据来确定所述可移动物体的重新初始化信息，其中所述重新初始化信息包含当所述错误发生时以下各项中的一项或多项：所述可移动物体的位置、所述可移动物体的速度或所述可移动物体相对于重力方向的朝向。在一些实施方式中，所述可移动物体是无人飞行器(UAV)。在一些实施方式中，所述错误包括所述至少一个惯性传感器或所述至少两个惯性传感器之中的一个或多个中的故障。所述错误可以包括由所述可移动物体使用的状态估计模块中的故障。所述状态估计模块可以使用迭代状态估计算法，而所述故障可以包括所述迭代状态估计算法未能收敛于一个解。所述方法还可以包括使用所述重新初始化信息来重新初始化所述迭代状态估计算法。在一些实施方式中，所述惯性数据包括指示出所述可移动物体的三维加速度和三维角速度的一个或多个测量值。所述惯性数据可以包括在从所述错误发生时起算的时间间隔内，由所述至少一个惯性传感器获得的一个或多个测量值。在一些实施方式中，所述图像数据包括所述可移动物体周围环境的一个或多个图本文档来自技高网...

【技术保护点】
一种用于标定可移动物体的一个或多个外部参数的方法，所述可移动物体具有处于初始配置下的多个传感器，所述方法包括：借助于一个或多个处理器来检测所述多个传感器的所述初始配置已被修改，其中所述多个传感器包括至少一个惯性传感器和至少两个图像传感器；在所述可移动物体的操作期间，在所述一个或多个处理器处从所述至少一个惯性传感器接收惯性数据；在所述可移动物体的所述操作期间，在所述一个或多个处理器处从所述至少两个图像传感器接收图像数据；以及响应于检测到所述初始配置已被修改，借助于所述一个或多个处理器，基于所述惯性数据和所述图像数据来估计所述一个或多个外部参数，其中在所述可移动物体的所述操作期间使用迭代优化算法来估计所述一个或多个外部参数，并且其中所述一个或多个外部参数包含处于所述经修改的配置下的所述多个传感器之间的空间关系。

【技术特征摘要】
【国外来华专利技术】1.一种用于标定可移动物体的一个或多个外部参数的方法，所述可移动物体具有处于初始配置下的多个传感器，所述方法包括：借助于一个或多个处理器来检测所述多个传感器的所述初始配置已被修改，其中所述多个传感器包括至少一个惯性传感器和至少两个图像传感器；在所述可移动物体的操作期间，在所述一个或多个处理器处从所述至少一个惯性传感器接收惯性数据；在所述可移动物体的所述操作期间，在所述一个或多个处理器处从所述至少两个图像传感器接收图像数据；以及响应于检测到所述初始配置已被修改，借助于所述一个或多个处理器，基于所述惯性数据和所述图像数据来估计所述一个或多个外部参数，其中在所述可移动物体的所述操作期间使用迭代优化算法来估计所述一个或多个外部参数，并且其中所述一个或多个外部参数包含处于所述经修改的配置下的所述多个传感器之间的空间关系。2.根据权利要求1所述的方法，其中所述可移动物体是无人飞行器(UAV)。3.根据权利要求2所述的方法，其中所述无人飞行器的所述操作包括所述无人飞行器处于飞行中。4.根据权利要求2所述的方法，其中所述无人飞行器的所述操作包括所述无人飞行器上电。5.根据权利要求1所述的方法，其中所述空间关系包括所述至少两个图像传感器的相对位置和相对朝向。6.根据权利要求6所述的方法，其中相对于所述至少一个惯性传感器而确定所述至少两个图像传感器的所述相对位置和相对朝向。7.根据权利要求1所述的方法，其中基于所述一个或多个外部参数的初始值来估计所述一个或多个外部参数。8.根据权利要求7所述的方法，其中在所述可移动物体的所述操作之前确定所述一个或多个外部参数的所述初始值。9.根据权利要求8所述的方法，其中在所述可移动物体的所述操作之前，使用所述迭代优化算法来确定所述初始值。10.根据权利要求8所述的方法，其中在所述可移动物体的所述操作之前，由用户测量所述初始值。11.根据权利要求7所述的方法，其中从与所述可移动物体相关联的存储器装置接收所述一个或多个外部参数的所述初始值。12.根据权利要求7所述的方法，其中所述至少两个图像传感器在一个或多个固定位置处耦合至所述可移动物体，并且其中基于所述一个或多个固定位置而确定所述一个或多个外部参数的所述初始值。13.根据权利要求1所述的方法，其中通过从所述多个传感器中移除至少一个传感器来修改所述初始配置。14.根据权利要求1所述的方法，其中通过向所述多个传感器中添加至少一个传感器来修改所述初始配置。15.根据权利要求1所述的方法，其中通过改变所述多个传感器中的至少一个传感器的位置或朝向中的至少一个来修改所述初始配置。16.根据权利要求1所述的方法，其中在所述可移动物体的所述操作之前修改所述初始配置。17.根据权利要求1所述的方法，其中所述惯性数据包括指示出所述可移动物体的三维加速度和三维角速度的一个或多个测量值。18.根据权利要求1所述的方法，其中所述惯性数据包括由所述至少一个惯性传感器在至少两个不同时刻获得的一个或多个测量值。19.根据权利要求1所述的方法，其中所述图像数据包括所述可移动物体周围环境的一个或多个图像。20.根据权利要求1所述的方法，其中所述图像数据包括由所述至少两个图像传感器中的每一个在至少两个不同时刻获得的一个或多个图像。21.根据权利要求20所述的方法，其中所述估计步骤包括使用特征点检测算法来处理所述一个或多个图像。22.根据权利要求20所述的方法，其中所述估计步骤包括使用光流算法来处理所述一个或多个图像。23.根据权...

【专利技术属性】
技术研发人员：赵开勇，沈劭劼，林毅，刘天博，凌永根，杨振飞，
申请(专利权)人：深圳市大疆创新科技有限公司，香港科技大学，
类型：发明
国别省市：广东,44