基于局部特征的飞行器姿态跨视场估计方法及装置制造方法及图纸

本发明专利技术公开了一种基于局部特征的飞行器姿态跨视场估计方法及装置，对输入的RGB图像进行Tag识别，检测到Tag后，识别其位置，进行飞行器中心定位，基于深度信息，得到飞行器中心位置坐标。接着计算最大帧得分选择最佳输入图像，然后对输入的RGB图像提取特征点，并且结合深度图将特征点转化为三维点。使用光束平差法求得相机姿态后，再对相机姿态进行转换。最后，初始相机与飞行器之间的转换矩阵，将相机姿态转化为飞行器姿态，并将飞行器姿态转化为六自由度姿态输出。本发明专利技术满足了飞行器姿态估计的实时性需求，实时性好而且精度高。

【技术实现步骤摘要】
基于局部特征的飞行器姿态跨视场估计方法及装置
本专利技术涉及计算机视觉
，尤其涉及一种基于局部特征的飞行器姿态跨视场估计方法及装置。
技术介绍
在计算机视觉的工作中，飞行器姿态估计可被视作一项物体姿态估计的任务。物体姿态识别任务在计算机视觉中已经得到了广泛的研究。传统的物体姿态测量方法主要可分为模板匹配与特征匹配两种。模板匹配的方法通常应用于弱纹理场景。这种方法首先需要对三维物体进行建模，然后通过将真实场景与三维模型做匹配来寻找最佳姿态。比如经典的ICP算法与RANSAC算法就是通过最小化真实场景与模型之间的对应点的距离来求解当前姿态。特征匹配的方法，通常使用对象描述子进行识别，描述子又有全局和局部描述子两种。全局描述子是对物体整体状态的描述，通过描述子的匹配就可以得到当前姿态。而局部描述子则是基于点的匹配，计算得到当前物体相对于初始状态的位姿。也有一部分研究者认为在多数的计算机视觉应用场景中，由于基于特征或者模板的识别方法都有可能失效，对象的轮廓才是最可靠的信息。在风洞场景中，对自由飞的飞行器进行实时姿态估计需要克服很多难题。首先，飞行器在自由飞状态下很容易飞离单个相机的视场范围，因而需要多台相机协作，覆盖更大的视场。其次，在高动态的飞行状态下，模板和轮廓匹配的方法很难达到实时性需求，而且精度不高。
技术实现思路
本专利技术的目的是提供一种基于局部特征的飞行器姿态跨视场估计方法及装置，来解决跨视场问题并实时估计飞行器的姿态，该方法仅需获取多个相机的RGB-D输入，通过飞行器与初始相机的相对位置关系，就可以将相机的相对姿态转化为飞行器的相对姿态并且输出。为了实现上述目的，本专利技术技术方案如下：一种基于局部特征的飞行器姿态跨视场估计方法，所述飞行器上设置有对称的标签，在初始时飞行器位于初始相机的视场范围内，所述基于局部特征的飞行器姿态跨视场估计方法，包括：对场景内的所有深度相机进行标定，得到所有深度相机的内参、及各个深度相机相对于初始相机的转换矩阵；采用初始相机的视频图像作为输入，进行标签识别，根据标签在图像坐标系中的位置确定飞行器与初始相机的相对位置关系；以所有深度相机的视频图像作为输入，进行跨视场相机选取，将选取的深度相机的视频图像作为当前输入帧；对当前输入帧进行特征点提取，计算当前相机姿态；将当前相机姿态转换为初始相机姿态；根据飞行器与初始相机的相对位置关系，将相机姿态转化为飞行器姿态。进一步地，所述以所有深度相机的视频图像作为输入，进行跨视场相机选取，包括：对于所有深度相机集合N中的深度相机n，相应的有RGB图像和深度图前溯M帧，计算每帧时，各个深度相机的帧得分，帧得分表达为：其中，p[(x,y)是深度图在(x,y)位置满足深度阈值H的深度得分，表示深度图在(x,y)位置的深度值，h和w分别是当前帧的高和宽；将每帧最大帧得分对应的深度相机，放入一个集合根据最大帧得分从深度相机集合N中进行选择最佳输入相机ni：其中ψ(n)是一个比例计算函数，代表着深度相机n在集合中所占的比例。进一步地，所述将当前相机姿态转换为初始相机姿态，包括：所述将当前相机姿态转换为初始相机姿态，根据如下公式进行转换：{R,t}＝Tctc{R′,t′}其中，Tctc为切换前深度相机到切换后深度相机的变换矩阵，{R,t}为初始相机姿态，{R′,t′}为当前相机姿态。进一步地，所述根据飞行器与初始相机的相对位置关系，将相机姿态转化为飞行器姿态，转换公式如下：Tp＝Tc×T-tc其中，T为飞行器与初始相机的相对位置关系，Tc为前一步骤计算的到的相机姿态，Tp为飞行器姿态，tc为飞行器中心位置。本专利技术还提出了一种基于局部特征的飞行器姿态跨视场估计装置，所述飞行器上设置有对称的标签，在初始时飞行器位于初始相机的视场范围内，所述基于局部特征的飞行器姿态跨视场估计装置，包括：标定模块，用于对场景内的所有深度相机进行标定，得到所有深度相机的内参、及各个深度相机相对于初始相机的转换矩阵；标签识别模块，用于采用初始相机的视频图像作为输入，进行标签识别，根据标签在图像坐标系中的位置确定飞行器与初始相机的相对位置关系；相机选取模块，用于以所有深度相机的视频图像作为输入，进行跨视场相机选取，将选取的深度相机的视频图像作为当前输入帧；特征提取模块，用于对当前输入帧进行特征点提取，计算当前相机姿态；姿态转换模块，用于将当前相机姿态转换为初始相机姿态，根据飞行器与初始相机的相对位置关系，将相机姿态转化为飞行器姿态。进一步地，所述相机选取模块以所有深度相机的视频图像作为输入，进行跨视场相机选取，执行如下操作：对于所有深度相机集合N中的深度相机n，相应的有RGB图像和深度图前溯M帧，计算每帧时，各个深度相机的帧得分，帧得分表达为：其中，p(x,y)是深度图在(x,y)位置满足深度阈值H的深度得分，表示深度图在(x,y)位置的深度值，h和w分别是当前帧的高和宽；将每帧最大帧得分对应的深度相机，放入一个集合根据最大帧得分从深度相机集合N中进行选择最佳输入相机ni：其中ψ(n)是一个比例计算函数，代表着深度相机n在集合中所占的比例。进一步地，所述姿态转换模块将当前相机姿态转换为初始相机姿态，执行如下操作：所述将当前相机姿态转换为初始相机姿态，根据如下公式进行转换：{R,t}＝Tctc{R′,t′}其中，Tctc为切换前深度相机到切换后深度相机的变换矩阵，{R,t}为初始相机姿态，{R′,t′}为当前相机姿态。进一步地，所述姿态转换模块根据飞行器与初始相机的相对位置关系，将相机姿态转化为飞行器姿态，转换公式如下：Tp＝Tc×T-tc其中，T为飞行器与初始相机的相对位置关系，Tc为前一步骤计算的到的相机姿态，Tp为飞行器姿态，tc为飞行器中心位置。本专利技术提出了一种基于局部特征的飞行器姿态跨视场估计方法及装置，对输入的RGB图像进行Tag识别，检测到Tag后，识别其位置，进行飞行器中心定位，基于深度信息，得到飞行器中心位置坐标。接着计算最大帧得分选择最佳输入图像，然后对输入的RGB图像提取特征点，并且结合深度图将特征点转化为三维点。使用光束平差法求得相机姿态后，再对相机姿态进行转换。最后，初始相机与飞行器之间的转换矩阵，将相机姿态转化为飞行器姿态，并将飞行器姿态转化为六自由度姿态输出。本专利技术满足了飞行器姿态估计的实时性需求，而且精度高。附图说明图1为本专利技术基于局部特征的飞行器姿态跨视场估计方法流程图；图2本专利技术实施例的应用场景示意图；图3为本专利技术标签示意图。具体实施方式下面结合附图和实施例对本专利技术技术方案做进一步详细说明，以下实施例不构成对本专利技术的限定。如图1所示，本专利技术一种基于局部特征的飞行器姿态跨视场估计方法，所述飞行器上设置有对称的标签，在初始时飞行器位于初始相机的视场范围内，所述基于局部特征的飞行器姿态跨视场估计方法，包括：步骤S1、对场景内的所有深度相机进行标定，得到所有深度相机的内参、及各个深度相机相对于初始相机的转换矩阵。在本实施例的应用场景中，如图2所示，设置多台从下往上拍摄的深度相机，飞行器悬置于深度相机上空，飞行器的左右翼对称处，各放置一个大小已知且尺寸相同的标签Tag，如图3所示。选定任意一个相机作为初始相机，并让飞行器一开始完全处于初始相机的视本文档来自技高网...

【技术保护点】
1.一种基于局部特征的飞行器姿态跨视场估计方法，所述飞行器上设置有对称的标签，在初始时飞行器位于初始相机的视场范围内，其特征在于，所述基于局部特征的飞行器姿态跨视场估计方法，包括：对场景内的所有深度相机进行标定，得到所有深度相机的内参、及各个深度相机相对于初始相机的转换矩阵；采用初始相机的视频图像作为输入，进行标签识别，根据标签在图像坐标系中的位置确定飞行器与初始相机的相对位置关系；以所有深度相机的视频图像作为输入，进行跨视场相机选取，将选取的深度相机的视频图像作为当前输入帧；对当前输入帧进行特征点提取，计算当前相机姿态；将当前相机姿态转换为初始相机姿态；根据飞行器与初始相机的相对位置关系，将相机姿态转化为飞行器姿态。

【技术特征摘要】
1.一种基于局部特征的飞行器姿态跨视场估计方法，所述飞行器上设置有对称的标签，在初始时飞行器位于初始相机的视场范围内，其特征在于，所述基于局部特征的飞行器姿态跨视场估计方法，包括：对场景内的所有深度相机进行标定，得到所有深度相机的内参、及各个深度相机相对于初始相机的转换矩阵；采用初始相机的视频图像作为输入，进行标签识别，根据标签在图像坐标系中的位置确定飞行器与初始相机的相对位置关系；以所有深度相机的视频图像作为输入，进行跨视场相机选取，将选取的深度相机的视频图像作为当前输入帧；对当前输入帧进行特征点提取，计算当前相机姿态；将当前相机姿态转换为初始相机姿态；根据飞行器与初始相机的相对位置关系，将相机姿态转化为飞行器姿态。2.如权利要求1所述的基于局部特征的飞行器姿态跨视场估计方法，其特征在于，所述以所有深度相机的视频图像作为输入，进行跨视场相机选取，包括：对于所有深度相机集合N中的深度相机n，相应的有RGB图像fin和深度图前溯M帧，计算每帧时，各个深度相机的帧得分，帧得分表达为：其中，p(x,y)是深度图在(x,y)位置满足深度阈值H的深度得分，表示深度图在(x,y)位置的深度值，h和w分别是当前帧的高和宽；将每帧最大帧得分对应的深度相机，放入一个集合根据最大帧得分从深度相机集合N中进行选择最佳输入相机ni：其中ψ(n)是一个比例计算函数，代表着深度相机n在集合中所占的比例。3.如权利要求1所述的基于局部特征的飞行器姿态跨视场估计方法，其特征在于，所述将当前相机姿态转换为初始相机姿态，包括：所述将当前相机姿态转换为初始相机姿态，根据如下公式进行转换：{R,t)＝Tctc{R′,t′}其中，Tctc为切换前深度相机到切换后深度相机的变换矩阵，{R,t}为初始相机姿态，{R′,t′}为当前相机姿态。4.如权利要求1所述的基于局部特征的飞行器姿态跨视场估计方法，其特征在于，所述根据飞行器与初始相机的相对位置关系，将相机姿态转化为飞行器姿态，转换公式如下：Tp＝Tc×T-tc其中，T为飞行器与初始相机的相对位置关系，Tc为前一步骤计算的到的相机姿态，Tp为飞行器姿态，tc为飞行器中心位置。5.一种基于局部特征的飞行器姿态跨视场估计装置，所述飞行器上设置有对...

【专利技术属性】
技术研发人员：刘盛，沈康，王杨庆，冯缘，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33