无人机位姿确定方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及一种无人机位姿确定方法，该方法包括：获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像；根据所述惯性测量数据和所述视频帧图像确定两两视频帧图像之间的位姿变换矩阵；获取两个视频帧图像，将所述两个视频帧图像和所述两个视频帧图像之间的所述位姿变换矩阵作为位姿优化模型的输入，获取所述位姿优化模型输出的优化后的目标位姿变换矩阵；根据所述目标位姿变换矩阵确定所述无人机的位姿。该无人机位姿确定方法不仅提高了无人机位姿估计的准确度，而且提高了无人机位姿估计的实时性。此外，还提出了一种无人机位姿确定装置、计算机设备及存储介质。

Method, Device, Computer Equipment and Storage Medium for Determining Position and Attitude of Unmanned Aerial Vehicle

【技术实现步骤摘要】
无人机位姿确定方法、装置、计算机设备及存储介质
本专利技术涉及计算机
，尤其是涉及一种无人机位姿确定方法、装置、计算机设备及存储介质。
技术介绍
随着科学技术的发展，无人机日趋小型化、智能化，其飞行空间已扩展至丛林、城市甚至建筑物内。基于无人机飞行空间复杂多变，在室内或无GPS信号的未知环境中，主流的GPS组合导航系统无法正常使用。其中，实现自主导航最重要的环节是对无人机的位姿进行估计，传统的无人机的位姿估计方法要么准确度低，要么运算量大，导致实时性低。
技术实现思路
基于此，有必要针对上述问题，提供了一种准确度高且运算量小的无人机位姿确定方法、装置、计算机设备及存储介质。第一方面，本专利技术实施例提供一种无人机位姿确定方法，所述方法包括：获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像；根据所述惯性测量数据和所述视频帧图像确定两两视频帧图像之间的位姿变换矩阵；获取两个视频帧图像，将所述两个视频帧图像和所述两个视频帧图像之间的所述位姿变换矩阵作为位姿优化模型的输入，获取所述位姿优化模型输出的优化后的目标位姿变换矩阵；根据所述目标位姿变换矩阵确定所述无人机的位姿。第二方面，本专利技术实施例提供一种无人机位姿确定装置，所述装置包括：获取模块，用于获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像；矩阵确定模块，用于根据所述惯性测量数据和所述视频帧图像确定两两视频帧图像之间的位姿变换矩阵；优化模块，用于获取两个视频帧图像，将所述两个视频帧图像和所述两个视频帧图像之间的所述位姿变换矩阵作为位姿优化模型的输入，获取所述位姿优化模型输出的优化后的目标位姿变换矩阵；位置确定模块，用于根据所述目标位姿变换矩阵确定无人机的位置。第三方面，本专利技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像；根据所述惯性测量数据和所述视频帧图像确定两两视频帧图像之间的位姿变换矩阵；获取两个视频帧图像，将所述两个视频帧图像和所述两个视频帧图像之间的所述位姿变换矩阵作为位姿优化模型的输入，获取所述位姿优化模型输出的优化后的目标位姿变换矩阵；根据所述目标位姿变换矩阵确定所述无人机的位姿。第四方面，本专利技术实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像；根据所述惯性测量数据和所述视频帧图像确定两两视频帧图像之间的位姿变换矩阵；获取两个视频帧图像，将所述两个视频帧图像和所述两个视频帧图像之间的所述位姿变换矩阵作为位姿优化模型的输入，获取所述位姿优化模型输出的优化后的目标位姿变换矩阵；根据所述目标位姿变换矩阵确定所述无人机的位姿。上述无人机位姿确定方法、装置、计算机设备及存储介质，首先通过将惯性测量数据和视觉数据(视频帧图像)进行融合得到视频帧图像之间的位姿变换矩阵，然后通过位姿优化模型对位姿变换矩阵进行进一步优化，得到目标位姿变换矩阵，之后根据优化后的目标位姿变换矩阵确定无人机的位姿，大大提高了无人机位姿估计的准确度，且在这个过程中，只需要少量的计算即可实现，大大减少了运算量，提高了无人机位姿估计的实时性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为一个实施例中无人机位姿确定方法的流程图；图2为一个实施例中无人机位姿确定方法的示意图；图3为一个实施例中无人机位姿确定装置的结构框图；图4为另一个实施例中无人机位姿确定装置的结构框图；图5为又一个实施例中无人机位姿确定装置的结构框图；图6为一个实施例中计算机设备的内部结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，提出了一种无人机位姿确定方法，该无人机位姿确定方法应用于无人机或者与无人机连接的终端或服务器，本实施例中以应用于无人机为例说明，具体包括以下步骤：步骤102，获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像。其中，惯性测量单元(Inertialmeasurementunit，IMU)是测量物体三轴姿态角(或角速率)以及加速度的装置。将惯性测量单元作为无人机的惯性参数测量装置，该装置包含了三轴陀螺仪、三轴加速度和三轴磁力计。无人机可以直接读取惯性测量单元测量的测量数据，测量数据包括：角速度、加速度和磁力计数据等。视频帧图像是指无人机通过摄像头实时拍摄到的图像。在一个实施例中，相机采用双目视觉摄像机，比如，采用RGB-D相机。步骤104，根据惯性测量数据和视频帧图像确定两两视频帧图像之间的位姿变换矩阵。其中，将惯性测量单元测量得到的惯性测量数据和相机采集到的视觉数据进行融合计算得到两两视频帧图像之间的位姿变换矩阵。在获取到视频帧图像后，需要提取每个视频帧图像中的特征点，然后通过对特征点进行特征匹配得到视频帧图像之间的特征点匹配对。根据匹配得到的特征点匹配对和惯性测量数据就可以计算得到两两视频帧图像之间的位姿变换矩阵。位姿变换矩阵包括旋转矩阵R和平移向量t。步骤106，获取两个视频帧图像，将两个视频帧图像和两个视频帧图像之间的位姿变换矩阵作为位姿优化模型的输入，获取位姿优化模型输出的优化后的目标位姿变换矩阵。其中，为了提高位姿估计的准确性，对根据惯性测量数据和视频帧图像确定的视频帧图像之间的位姿变换矩阵进行进一步优化。通过将两个视频帧图像以及两个视频帧图像对应的位姿变换矩阵作为位姿优化模型的输入，获取位姿优化模型对位姿变换矩阵优化后的目标位姿变换矩阵。步骤108，根据目标位姿变换矩阵确定无人机的位姿。其中，位姿是指无人机的位置和姿态，一般采用6个量来表示，位置可以采用三维空间坐标(x，y，z)来表示，姿态可以采用与三个坐标轴的夹角(φ，θ，ψ)来表示，φ为滚转角，为围绕X轴旋转的角；θ为俯仰角，是围绕Y轴旋转的角；ψ为偏航角，是围绕Z轴旋转的角。在计算得到了视频帧图像之间的目标位姿变换矩阵后，就可以根据无人机的初始位置和视频帧图像之间的目标位姿变换矩阵计算得到无人机的位置。目标位姿变换矩阵是指两两视频帧之间的位姿相对关系。上述无人机位姿确定方法，首先通过将惯性测量数据和视觉数据(视频帧图像)进行融合得到视频帧图像之间的位姿变换矩阵，然后通过位姿优化模型对位姿变换矩阵进行进一步优化，得到目标位姿变换矩阵，之后根据优化后的目标位姿变换矩阵确定无人机的位姿，大大提高了无人机位姿估计的准确度，且在这个过程中，只需要少量的计算即可实现，大大减少了运算量，提高了无人机位姿估计的实时性。在一个实施例中，如图2所示，为无人机位姿确定方法的示意图。首先包括了两部分，分别本文档来自技高网...

【技术保护点】
1.一种无人机位姿确定方法，其特征在于，所述方法包括：获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像；根据所述惯性测量数据和所述视频帧图像确定两两视频帧图像之间的位姿变换矩阵；获取两个视频帧图像，将所述两个视频帧图像和所述两个视频帧图像之间的所述位姿变换矩阵作为位姿优化模型的输入，获取所述位姿优化模型输出的优化后的目标位姿变换矩阵；根据所述目标位姿变换矩阵确定所述无人机的位姿。

【技术特征摘要】
1.一种无人机位姿确定方法，其特征在于，所述方法包括：获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像；根据所述惯性测量数据和所述视频帧图像确定两两视频帧图像之间的位姿变换矩阵；获取两个视频帧图像，将所述两个视频帧图像和所述两个视频帧图像之间的所述位姿变换矩阵作为位姿优化模型的输入，获取所述位姿优化模型输出的优化后的目标位姿变换矩阵；根据所述目标位姿变换矩阵确定所述无人机的位姿。2.根据权利要求1所述的方法，其特征在于，所述位姿优化模型是基于卷积神经网络模型训练得到的；在所述将所述两个视频帧图像和所述两个视频帧图像之间的所述位姿变换矩阵作为位姿优化模型的输入之前，还包括：获取训练视频帧图像对样本集合，所述训练视频帧图像对样本集合中包括：多个训练视频帧图像对样本，所述训练视频帧图像对样本包括：两个训练视频帧图像和所述两个训练视频帧图像之间的位姿变换矩阵，所述位姿变换矩阵是通过惯性测量数据和训练视频帧图像确定的；获取训练视频帧图对样本对应的期望位姿变换矩阵；将所述训练视频帧图像对样本作为所述位姿优化模型的输入，将所述期望位姿变换矩阵作为期望的输出对所述位姿优化模型进行训练，得到训练好的位姿优化模型。3.根据权利要求1所述的方法，其特征在于，在获取无人机中惯性测量单元测量得到的惯性测量数据和相机拍摄得到的视频帧图像之后，还包括：将所述视频帧图像作为控制类别模型的输入，获取所述控制类别模型输出的控制类型，所述控制类型分为左转控制、右转控制和直行控制；根据所述控制类型对所述无人机的飞行方向进行调整。4.根据权利要求1所述的方法，其特征在于，所述根据所述根据所述惯性测量数据和所述视频帧图像确定两两视频帧图像之间的位姿变换矩阵，包括：根据所述测量数据计算得到视频帧图像之间的初始位姿变换矩阵；获取相机拍摄得到的视频帧图像，提取每个视频帧图像中的特征点，通过对特征点进行特征匹配得到视频帧图像之间的特征点匹配对；根据所述初始位姿变换矩阵和所述视频帧图像之间的特征点匹配对计算得到视频帧图像之间的位姿变换矩阵。5.根据权利要求4所述的方法，其特征在于，所述通过对特征点进行特征匹配得到视频帧图像之间的特征点匹配对，包括：采用颜色直方图特征匹配算法对视频帧图像之间的特征点进行匹配...

【专利技术属性】
技术研发人员：周翊民，陈鹏，吴庆甜，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44