一种基于图像标记的无人机视觉姿态和位置解算方法技术

技术编号:26421365 阅读:29 留言:0更新日期:2020-11-20 14:17
本发明专利技术公开了一种基于图像标记的无人机视觉姿态和位置解算方法,采集无人机航拍图像视频流,从图像中提取感兴趣区域,从感兴趣区域中提取角点坐标,求解单应性矩阵,基于成像原理求解无人机的相对位置和相对姿态角。考虑到全局进行角点检测存在时间较长的问题,因此利用检索圆环区域对圆环内部的区域进行角点检测,这样可以减少计算量,减少运算时间,提高位姿确定的实时性,还可以避免圆环外杂点的干扰,提高抗干扰能力,同时采用三个矩形,能够高效地提取目标角点,也便于对于角点进行标记和匹配。上述方法能够长时间保持较高航向测量精度和较高位置测量精度,适用于着舰等两个运动载体汇合时对无人机相对位置和姿态精度要求较高的应用场合。

【技术实现步骤摘要】
一种基于图像标记的无人机视觉姿态和位置解算方法
本专利技术涉及无人机导航
,尤其涉及一种基于图像标记的无人机视觉姿态和位置解算方法。
技术介绍
无人机导航技术是无人机系统实现自主飞行的关键技术之一。无人机常用的导航技术主要包括惯性导航、GPS导航、视觉导航、无线电导航和地形辅助导航等。无人机路径规划、实时避障、精准着陆、着舰和飞行控制等功能的实现需要导航模块提供持续全面的导航信息,其中着舰更是对导航技术要求极高的领域。无人机自主着舰不同于地面上的着陆。舰船相当于海上不停歇的移动机场,舰船甲板空间狭小,意味着无人机自主着舰控制技术是一项极其复杂且具有挑战性的项目研究。若要实现无人机高精度、安全可靠地着舰,需要充分理解设计无人机下落着舰的各项通道的反馈控制以及高精度的着舰方法。在自主着舰过程中,由于传统导航方式比如GPS等精度不够,无法确定与舰船的相对运动等,会给着舰带来未知的威胁,甚至导致着舰失败。而视觉导航恰好可以弥补此缺陷,提供机、舰相对位置和姿态信息,因此,可以给无人机安装视觉传感器(摄像机),利用视觉图像来引导无人机着舰,提高着舰精度及自主性。近年来,随着计算机视觉算法的改进、模式识别理论的进一步完善以及计算机计算和存储能力的提高,视觉图像算法的可靠性和实时性都得到了较大的进步。基于视觉的着舰方式具有自主实时、精度较高、成本低廉、抗干扰能力强等优点。但国内无人机视觉技术引导着舰控制技术研究还尚处于软件仿真和半实物仿真阶段,未能达到实用要求。
技术实现思路
有鉴于此,本专利技术提供了一种基于图像标记的无人机视觉姿态和位置解算方法,用以解决基于图像标记的无人机视觉姿态和位置解算问题。本专利技术提供的一种基于图像标记的无人机视觉姿态和位置解算方法,包括如下步骤:S1:采集无人机航拍图像视频流;S2:利用图像的饱和空间S对采集的图像进行分割,经过色彩空间转换后,通过自适应阈值对图像进行阈值二值化操作,从图像中寻找最大联通区域作为感兴趣区域;S3:使用一个固定窗口在所述感兴趣区域上进行任意方向上的滑动,比较滑动前后窗口中的像素灰度值;S4:判断是否任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值;若是,则所述窗口包含角点,执行步骤S5;若否,则所述窗口不包含角点,返回步骤S1;S5:从所述感兴趣区域中提取角点坐标;S6:根据提取的角点坐标,求解单应性矩阵;S7:根据所述单应性矩阵,基于成像原理求解无人机的相对位置和相对姿态角。在一种可能的实现方式中,在本专利技术提供的上述基于图像标记的无人机视觉姿态和位置解算方法中,步骤S5,从所述感兴趣区域中提取角点坐标,具体包括:Harris算子的基本公式如下:其中,Harris算子采用高斯窗口,(u,v)表示沿横纵两个方向的微小滑动量,E(u,v)表示尺寸为N*N的局部检测窗口沿横纵两个方向做微小滑动(u,v)时,窗口的平均能量变化值,N=3,4,…,10;w(x,y)表示高斯窗口的权重,(x,y)表示当前像素点坐标;I(x+u,y+v)表示窗口滑动后所包含的图像,I(x,y)表示窗口滑动前所包含的图像,Ix和Iy分别表示图像像素点在水平和垂直方向的梯度;令其中,M为协方差矩阵,采用如下公式对协方差矩阵M的特征值进行评估:R=det(M)-λ(trace(M))2(3)其中,det(M)=λ1λ2(4)trace(M)=λ1+λ2(5)其中,R的值越大,表示角点的响应程度越大;λ=0.04~0.08;λ1和λ2分别表示矩阵M的特征值;取R最大值的1%为阈值点,在以待判像素点为中心点的N*N矩阵窗口中提取R最大值点作为角点。在一种可能的实现方式中,在本专利技术提供的上述基于图像标记的无人机视觉姿态和位置解算方法中,步骤S6中,根据提取的角点坐标,求解单应性矩阵,具体包括:图像坐标系下图像与世界坐标系下图像的透射关系如下:其中,表示图像坐标系下点的深度;(xP,yP,1)表示图像坐标系下像素点p的坐标;表示世界坐标系下点的齐次坐标,表示以特征平面为基准的世界坐标系下点的齐次坐标;H为单应性矩阵;设单应性矩阵H为:由式(6)与式(7)联立得到:设h33=1,则式(8)和式(9)化为:由于单应性矩阵的自由度为8,因此,至少需要图像坐标系下四个角点坐标(xiP,yiP)及其对应点在世界坐标系下的齐次坐标求解单应性矩阵;根据式(12),利用线性求解方式求解单应性矩阵。在一种可能的实现方式中,在本专利技术提供的上述基于图像标记的无人机视觉姿态和位置解算方法中,步骤S7,根据所述单应性矩阵,基于成像原理求解无人机的相对位置和相对姿态角,具体包括:根据以下公式计算相对姿态角:其中,表示俯仰角,θ表示横滚角;f表示相机焦距;为的逆矩阵;在图像坐标系下的π1平面的y轴表示齐次坐标为:y0=(1,0,0)T(15)单应性矩阵与图像坐标系下π1平面的y轴的表示向量相乘得到:求得在世界坐标系下的π2平面的直线Lw为:Lw=(h11,h12,h13)T(17)利用Lw的齐次坐标的性质,求得Lw的斜率,为相对偏航角ψ;下面计算相对位置:由图像坐标系与世界坐标系的对应关系可知:其中,(Xw,Yw)表示世界坐标系下点的坐标;已知世界坐标系下原点Ow的坐标为(0,0,1)T,根据单应性矩阵对应在图像坐标系下的O'w点的坐标为:π1平面的像素点p点与π2平面的Xw轴无穷远处映射,得到:光源点Oc到O'w点的距离为:光源点Oc到p点的距离为:设q点在世界坐标系下的坐标为且经过q点投影到π1平面的无穷远处,根据单应性矩阵得到:其中,(xq,yq)表示q点在图像坐标系下的坐标;根据式(24)得到:根据三角形相似ΔOcO'wp~ΔOwOcq,得到如下等式:其中,OcOw表示光源点Oc与Ow点之间的距离,OcO'w表示光源点Oc与O'w点之间的距离,Ocp表示光源点Oc与p点之间的距离,|Xqw|表示Xqw的绝对值;根据式(26)得到:过Ow点做垂直于Zc轴的直线并交于O”点,OcO”为世界坐标系下原点Ow在相机坐标系下沿Zc方向的位置信息,得到:其中,OcO”表示光源点Oc与O”点之间的距离;根据计算的图像坐标系和相机坐标系的转换关系,得到:其中,(Xc,Y,Zc)表示p点在相机坐标系下的位置,将式(19)带入式(30)得到:根据标定相机的焦距和主点坐标、12个目标特征点在世界坐标系下的坐标以及透射到本文档来自技高网...

【技术保护点】
1.一种基于图像标记的无人机视觉姿态和位置解算方法,其特征在于,包括如下步骤:/nS1:采集无人机航拍图像视频流;/nS2:利用图像的饱和空间S对采集的图像进行分割,经过色彩空间转换后,通过自适应阈值对图像进行阈值二值化操作,从图像中寻找最大联通区域作为感兴趣区域;/nS3:使用一个固定窗口在所述感兴趣区域上进行任意方向上的滑动,比较滑动前后窗口中的像素灰度值;/nS4:判断是否任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值;若是,则所述窗口包含角点,执行步骤S5;若否,则所述窗口不包含角点,返回步骤S1;/nS5:从所述感兴趣区域中提取角点坐标;/nS6:根据提取的角点坐标,求解单应性矩阵;/nS7:根据所述单应性矩阵,基于成像原理求解无人机的相对位置和相对姿态角。/n

【技术特征摘要】
1.一种基于图像标记的无人机视觉姿态和位置解算方法,其特征在于,包括如下步骤:
S1:采集无人机航拍图像视频流;
S2:利用图像的饱和空间S对采集的图像进行分割,经过色彩空间转换后,通过自适应阈值对图像进行阈值二值化操作,从图像中寻找最大联通区域作为感兴趣区域;
S3:使用一个固定窗口在所述感兴趣区域上进行任意方向上的滑动,比较滑动前后窗口中的像素灰度值;
S4:判断是否任意方向上的滑动都使所述窗口中的像素灰度变化值大于阈值;若是,则所述窗口包含角点,执行步骤S5;若否,则所述窗口不包含角点,返回步骤S1;
S5:从所述感兴趣区域中提取角点坐标;
S6:根据提取的角点坐标,求解单应性矩阵;
S7:根据所述单应性矩阵,基于成像原理求解无人机的相对位置和相对姿态角。


2.如权利要求1所述的基于图像标记的无人机视觉姿态和位置解算方法,其特征在于,步骤S5,从所述感兴趣区域中提取角点坐标,具体包括:
Harris算子的基本公式如下:



其中,Harris算子采用高斯窗口,(u,v)表示沿横纵两个方向的微小滑动量,E(u,v)表示尺寸为N*N的局部检测窗口沿横纵两个方向做微小滑动(u,v)时,窗口的平均能量变化值,N=3,4,…,10;w(x,y)表示高斯窗口的权重,(x,y)表示当前像素点坐标;I(x+u,y+v)表示窗口滑动后所包含的图像,I(x,y)表示窗口滑动前所包含的图像,Ix和Iy分别表示图像像素点在水平和垂直方向的梯度;令



其中,M为协方差矩阵,采用如下公式对协方差矩阵M的特征值进行评估:
R=det(M)-λ(trace(M))2(3)
其中,
det(M)=λ1λ2(4)
trace(M)=λ1+λ2(5)
其中,R的值越大,表示角点的响应程度越大;λ=0.04~0.08;λ1和λ2分别表示矩阵M的特征值;取R最大值的1%为阈值点,在以待判像素点为中心点的N*N矩阵窗口中提取R最大值点作为角点。


3.如权利要求2所述的基于图像标记的无人机视觉姿态和位置解算方法,其特征在于,步骤S6中,根据提取的角点坐标,求解单应性矩阵,具体包括:
图像坐标系下图像与世界坐标系下图像的透射关系如下:



其中,表示图像坐标系下点的深度;(xP,yP,1)表示图像坐标系下像素点p的坐标;表示世界坐标系下点的齐次坐标,表示以特征平面为基准的世界坐标系下点的齐次坐标;H为单应性矩阵;
设单应性矩阵H为:



由式(6)与式(7)联立得到:






设h33=1,则式(8)和式(9)化为:






由于单应性矩阵的自由度为8,因此,至少...

【专利技术属性】
技术研发人员:王学运张京娟陈刚于泽龙
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1