姿态标定方法、设备及无人飞行器技术

一种姿态标定方法，该方法包括：获取拍摄设备(104)拍摄的视频数据(20)；根据视频数据(20)以及拍摄设备(104)在拍摄视频数据(20)过程中惯性测量单元(IMU)的旋转信息，确定拍摄设备(104)和惯性测量单元的相对姿势。根据视频数据以及IMU的旋转信息，确定出的拍摄设备和惯性测量单元的相对姿态的精确度较高，能够利用该标定方法的姿态标定设备和无人飞行器。

【技术实现步骤摘要】
【国外来华专利技术】姿态标定方法、设备及无人飞行器
本专利技术实施例涉及无人机领域，尤其涉及一种姿态标定方法、设备及无人飞行器。
技术介绍
现有技术中图像传感器通过感测射入该图像传感器的光线生成图像，在对图像进行处理时，还需要获取图像传感器的姿态信息、位置信息，通常使用惯性测量单元(Inertialmeasurementunit，简称IMU)检测图像传感器的姿态信息。目前，IMU输出的姿态信息通常是以IMU的坐标系为依据的，还需要将IMU输出的姿态信息转换到图像传感器的坐标系中，才可得到图像传感器的姿态信息。由于IMU的坐标系和图像传感器的坐标系存在一定的偏差，导致IMU和图像传感器之间存在一定的姿态关系。因此，需要对IMU和图像传感器之间的姿态关系进行标定。现有技术中，对IMU和图像传感器之间的姿态关系进行标定时需要将IMU设置在相对于图像传感器固定的位置，并使用装配工艺来保证图像传感器和IMU的坐标轴相互对齐。但是，通常很难保证图像传感器和IMU的坐标轴相互对齐，如果图像传感器和IMU的坐标轴无法对齐，将导致IMU和图像传感器之间的姿态关系的标定结果不精确。如果标定结果不精确,会导致IMU数据不可用,影响图像的后期处理,例如防抖动、同步定位与地图构建(Simultaneouslocalizationandmapping，简称SLAM)等。
技术实现思路
本专利技术实施例提供一种姿态标定方法、设备及无人飞行器，以提高拍摄设备和惯性测量单元的相对姿态的精确度。本专利技术实施例的第一方面是提供一种姿态标定方法，包括：获取拍摄设备拍摄的视频数据；根据所述视频数据，以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态。本专利技术实施例的第二方面是提供一种姿态标定设备，包括：存储器和处理器；所述存储器用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取拍摄设备拍摄的视频数据；根据所述视频数据，以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态。本专利技术实施例的第三方面是提供一种无人飞行器，包括：机身；动力系统，安装在所述机身，用于提供飞行动力；飞行控制器，与所述动力系统通讯连接，用于控制所述无人飞行器飞行；拍摄设备，用于拍摄视频数据；以及上述第二方面所述的姿态标定设备。本实施例提供的姿态标定方法、设备及无人飞行器，通过在拍摄设备拍摄视频数据的过程中，根据IMU的测量结果确定出拍摄设备在拍摄视频数据过程中IMU的旋转信息，由于视频数据和IMU的测量结果都是可以准确获取的，因此，根据视频数据以及IMU的旋转信息，确定出的拍摄设备和惯性测量单元的相对姿态的精确度较高，相比于现有技术通过对齐图像传感器和IMU的坐标轴以确定IMU和图像传感器之间的姿态关系，提高了相对姿态的精确度，避免了IMU和图像传感器的相对姿态不精确而导致IMU数据不可用，影响图像的后期处理的问题。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的姿态标定方法的流程图；图2为本专利技术实施例提供的视频数据的示意图；图3为本专利技术实施例提供的视频数据的示意图；图4为本专利技术实施例提供的姿态标定方法的流程图；图5为本专利技术实施例提供的姿态标定方法的流程图；图6为本专利技术另一实施例提供的姿态标定方法的流程图；图7为本专利技术另一实施例提供的姿态标定方法的流程图；图8为本专利技术另一实施例提供的姿态标定方法的流程图；图9为本专利技术实施例提供的姿态标定设备的结构图；图10为本专利技术实施例提供的无人飞行器的结构图。附图标记：20-视频数据21-图像帧22-图像帧31-图像帧32-图像帧90-姿态标定设备91-存储器92-处理器100-无人飞行器107-电机106-螺旋桨117-电子调速器118-飞行控制器108-传感系统110-通信系统102-支撑设备104-拍摄设备112-地面站114-天线116-电磁波具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。下面结合附图，对本专利技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。本专利技术实施例提供一种姿态标定方法。图1为本专利技术实施例提供的姿态标定方法的流程图。如图1所示，本实施例中的方法，可以包括：步骤S101、获取拍摄设备拍摄的视频数据。本实施例所述的姿态标定方法适用于标定拍摄设备和惯性测量单元(Inertialmeasurementunit，简称IMU)之间的姿态，IMU的测量结果表示IMU的姿态信息，IMU的姿态信息包括如下至少一种：IMU的角速度、IMU的旋转矩阵、IMU的四元数。可选的，拍摄设备和IMU设置在同一印制电路板(PrintedCircuitBoard，简称PCB)上，或者拍摄设备和IMU刚性连接，拍摄设备和IMU之间的相对姿态未知。拍摄设备具体可以是摄像机、相机等设备，通常情况下，根据拍摄设备的镜头参数可确定出拍摄设备的内参，或者，拍摄设备的内参也可通过标定的方法得到。在本实施例中，拍摄设备的内参是已知的，可选的，拍摄设备的内参包括如下至少一种：所述拍摄设备的焦距、所述拍摄设备的像素大小。另外，IMU的输出值是经过校准之后准确的数值。拍摄设备例如为相机，相机的内参记为g，图像坐标表示为[x,y]T，过相机光心的射线表示为[x',y',z']T，根据如下公式(1)可知，由图像坐标[x,y]T和相机的内参g可得到由[x',y',z']T表示的一条过相机光心的射线。根据图像公式(2)可知，由一条过相机光心的射线[x',y',z']T和相机的内参g可得到图像坐标[x,y]T。[x',y',z']T＝g([x,y]T)(1)[x,y]T＝g-1([x',y',z']T)(2)在本实施例中，拍摄设备和IMU可以设置在无人机上，也可以设置在手持云台上，还可以设置在其他的可移动设备上。拍摄设备和IMU可以同时工作，也就是说，拍摄设备在拍摄目标物体的同时IMU检测自身的姿态信息并输出测量结果。例如，在IMU输出第一个测量结果时刻拍摄设备拍摄第一帧图像。可选的，目标物体距离拍摄设备在3米之外的地方，例如，拍摄本文档来自技高网...

【技术保护点】
1.一种姿态标定方法，其特征在于，包括：获取拍摄设备拍摄的视频数据；根据所述视频数据，以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态。

【技术特征摘要】
【国外来华专利技术】1.一种姿态标定方法，其特征在于，包括：获取拍摄设备拍摄的视频数据；根据所述视频数据，以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态。2.根据权利要求1所述的方法，其特征在于，所述旋转信息包括如下至少一种：旋转角度、旋转矩阵、四元数。3.根据权利要求2所述的方法，其特征在于，所述根据所述视频数据，以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态，包括：根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧，以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态。4.根据权利要求3所述的方法，其特征在于，所述根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧，以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态，包括：根据所述视频数据中相邻的第一图像帧和第二图像帧，以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态。5.根据权利要求3所述的方法，其特征在于，所述根据所述视频数据中相隔预设帧数的第一图像帧和第二图像帧，以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态，包括：对所述视频数据中相隔预设帧数的第一图像帧和第二图像帧分别进行特征提取，得到所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点；对所述第一图像帧的多个第一特征点和所述第二图像帧的多个第二特征点进行特征点匹配，得到匹配的第一特征点和第二特征点；根据所述匹配的第一特征点和第二特征点，以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态。6.根据权利要求5所述的方法，其特征在于，所述根据所述匹配的第一特征点和第二特征点，以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态，包括：根据所述第一特征点，以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息，确定所述第一特征点在所述第二图像帧中的投影位置；根据所述第一特征点在所述第二图像帧中的投影位置，以及与所述第一特征点匹配的第二特征点，确定所述投影位置和所述第二特征点之间的距离；根据所述投影位置和所述第二特征点之间的距离，确定所述拍摄设备和所述惯性测量单元的相对姿态。7.根据权利要求6所述的方法，其特征在于，所述根据所述第一特征点，以及从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内所述惯性测量单元的旋转信息，确定所述第一特征点在所述第二图像帧中的投影位置，包括：根据所述第一特征点在所述第一图像帧中的位置、从所述第一曝光时刻到所述第二曝光时刻的时间内所述惯性测量单元的旋转信息、所述拍摄设备和所述惯性测量单元的相对姿态、以及所述拍摄设备的内参，确定所述第一特征点在所述第二图像帧中的投影位置。8.根据权利要求7所述的方法，其特征在于，所述拍摄设备的内参包括如下至少一种：所述拍摄设备的焦距、所述拍摄设备的像素大小。9.根据权利要求6-8任一项所述的方法，其特征在于，所述根据所述投影位置和所述第二特征点之间的距离，确定所述拍摄设备和所述惯性测量单元的相对姿态，包括：通过对所述投影位置和所述第二特征点之间的距离进行最优化，确定所述拍摄设备和所述惯性测量单元的相对姿态。10.根据权利要求9所述的方法，其特征在于，所述通过对所述投影位置和所述第二特征点之间的距离进行最优化，确定所述拍摄设备和所述惯性测量单元的相对姿态，包括：通过使所述投影位置和所述第二特征点之间的距离最小，确定所述拍摄设备和所述惯性测量单元的相对姿态。11.根据权利要求10所述的方法，其特征在于，所述拍摄设备和所述惯性测量单元的相对姿态包括第一自由度、第二自由度和第三自由度。12.根据权利要求11所述的方法，其特征在于，所述通过对所述投影位置和所述第二特征点之间的距离进行最优化，确定所述拍摄设备和所述惯性测量单元的相对姿态，包括：根据预设的第二自由度和预设的第三自由度，对所述投影位置和所述第二特征点之间的距离进行最优化，得到优化后的第一自由度；根据优化后的第一自由度和预设的第三自由度，对所述投影位置和所述第二特征点之间的距离进行最优化，得到优化后的第二自由度；根据优化后的第一自由度和优化后的第二自由度，对所述投影位置和所述第二特征点之间的距离进行最优化，得到优化后的第三自由度；通过循环优化第一自由度、第二自由度和第三自由度，直至优化后的第一自由度、第二自由度和第三自由度收敛，得到所述拍摄设备和所述惯性测量单元的相对姿态。13.根据权利要求11所述的方法，其特征在于，所述通过对所述投影位置和所述第二特征点之间的距离进行最优化，确定所述拍摄设备和所述惯性测量单元的相对姿态，包括：根据预设的第二自由度和预设的第三自由度，对所述投影位置和所述第二特征点之间的距离进行最优化，得到优化后的第一自由度；根据预设的第一自由度和预设的第三自由度，对所述投影位置和所述第二特征点之间的距离进行最优化，得到优化后的第二自由度；根据预设的第一自由度和预设的第二自由度，对所述投影位置和所述第二特征点之间的距离进行最优化，得到优化后的第三自由度；通过循环优化第一自由度、第二自由度和第三自由度，直至优化后的第一自由度、第二自由度和第三自由度收敛，得到所述拍摄设备和所述惯性测量单元的相对姿态。14.根据权利要求11-13任一项所述的方法，其特征在于，所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的欧拉角分量；或者所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的轴角分量；或者所述第一自由度、所述第二自由度和所述第三自由度分别用于表示所述惯性测量单元的四元数分量。15.根据权利要求6-13任一项所述的方法，其特征在于，所述距离包括如下至少一种：欧式距离、城市距离、马氏距离。16.根据权利要求1或2所述的方法，其特征在于，所述获取拍摄设备拍摄的视频数据之后，还包括：在所述拍摄设备拍摄所述视频数据的过程中，获取所述惯性测量单元的测量结果；根据所述惯性测量单元的测量结果，确定所述拍摄设备在拍摄所述视频数据过程中所述惯性测量单元的旋转信息。17.根据权利要求16所述的方法，其特征在于，所述惯性测量单元以第一频率采集所述惯性测量单元的角速度；所述拍摄设备在拍摄视频数据的过程中以第二频率采集图像信息；其中，第一频率大于第二频率。18.根据权利要求16或17所述的方法，其特征在于，所述根据所述惯性测量单元的测量结果，确定所述拍摄设备在拍摄所述视频数据过程中所述惯性测量单元的旋转信息，包括：对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分，得到所述时间内所述惯性测量单元的旋转信息。19.根据权利要求18所述的方法，其特征在于，所述对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分，得到所述时间内所述惯性测量单元的旋转信息，包括：对所述惯性测量单元的角速度在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分，得到所述时间内所述惯性测量单元的旋转角度。20.根据权利要求18所述的方法，其特征在于，所述对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分，得到所述时间内所述惯性测量单元的旋转信息，包括：对所述惯性测量单元的旋转矩阵在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分，得到所述时间内所述惯性测量单元的旋转矩阵。21.根据权利要求18所述的方法，其特征在于，所述对所述惯性测量单元的测量结果在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行积分，得到所述时间内所述惯性测量单元的旋转信息，包括：对所述惯性测量单元的四元数在从第一图像帧的第一曝光时刻到第二图像帧的第二曝光时刻的时间内进行连乘积分，得到所述时间内所述惯性测量单元的四元数。22.一种姿态标定设备，其特征在于，包括：存储器和处理器；所述存储器用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：获取拍摄设备拍摄的视频数据；根据所述视频数据，以及所述拍摄设备在拍摄所述视频数据过程中惯性测量单元的旋转信息，确定所述拍摄设备和所述惯性测量单元的相对姿态。23.根据权利要求22所述的姿态标定设备，其...

【专利技术属性】
技术研发人员：卢庆博，李琛，朱磊，王晓东，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44