一种无人机上基于视觉目标动向推理方法技术

技术编号:20364569 阅读:30 留言:0更新日期:2019-02-16 17:17
本发明专利技术提供了一种无人机上基于视觉目标动向推理方法,在目标位置推理过程中采用结合飞机自身飞行参数、相机与其关系角和图像上的目标补偿偏角进行推算的;在目标航向角推理中采用结合飞机航向角和两帧图像上目标位置偏移角进行推理;在目标航速推理中采用计算累积帧间平均速度方法推理。本发明专利技术无需将目标调整到视轴上即可对目标动态信息推理,图像任意位置上的目标都能进行直接推理计算,免除了目标调整至图像中心而产生的过程误差。

【技术实现步骤摘要】
一种无人机上基于视觉目标动向推理方法
本专利技术涉及一种目标动向动态推理技术,尤其涉及不在视轴上的目标动向动态推理技术。
技术介绍
近年来随着科学技术水平的进步,无人机已被广泛应用。在军用领域,无人机常用于侦察监视(某些侦察要求隐身静默)、目标打击、作战效能评估等;在民用领域,无人机常用于抢险救灾、地形勘测、物流运输等。在这些应用中,对地面移动目标的探测是重要方面,其中主要是探测目标的位置、行动速度和行动方向等动态动向信息。所以对无人机对地面目标的动向动态探测这项共性基础技术研究意义重大。对地面目标的动态动向探测首要任务是目标定位,对地面目标定位也是无人机视觉的重要功能之一,其目的为求取目标在大地坐标系下的三维坐标。无人机的目标定位根据其工作机制不同可以分为有源定位和无源定位。有源定位主要以基于姿态测量/激光测距定位模型为主,在这种定位模型下,飞行器需要装备激光测距机,要求飞行器具有较大载荷能力。有源定位精度较高,但需要测距仪等沉重的装备,而且主动发射测距电波,不利于自身的隐蔽。小型无人机由于受到载重和能耗的限制,一般使用无源定位。无源定位是通过摄像机采集目标图像,利用图像分析算法获取目标位置,主要方法有:1)基于图像匹配模式的目标定位,这种方法利用获取的多源图像,以预先装入的目标图像为基准,将经过校正的无人机电视图像与基准图片进行匹配,从而实现目标定位。该方法有较高的定位精度,但依赖大量基准图片,图片匹配泛化性和时效性较差,实用性不高;2)基于成像模型的目标定位,该方法需要获取飞行器的高程,以及摄像机的内外方位元素,根据共线条件方程计算地面目标位置。在实际使用中,该方法需要假定待测目标区域为平坦地面,目标定位精度较低。总之,当前基于视觉的目标定位方法是对相机光轴上的目标进行定位。如果目标不在光轴上,需要采用人工或云台伺服装置将目标调整到相机光轴上。但是,对于小型无人机,由于受制于载荷重量和能耗,被动无源探测方式仍不可行。
技术实现思路
为了克服现有技术的不足,本专利技术提供一种无人机上基于视觉目标动向推理方法,不限定位目标于光轴上,通过目标像素级补偿角度直接对目标位置推算,通过像素级偏移距推理目标动态动向信息,实现了图像上目标任意位置发现即可直接获取其动态动向信息功能。因此,本专利技术对于非视轴上目标,在无需调整图像目标至图像中心的条件下即可对其定位,省去云台伺服转动调整或人工处理,为助力无人机自主视觉探测技术发展提供支持,具有一定的现实意义。本专利技术解决其技术问题所采用的技术方案包括以下步骤:(1)采用fasterRCNN目标检测技术,从输入的图像中将所关注的目标检测识别出来,并确定目标中心在图像中的像素坐标(X,Y),获得目标属性和类别信息;(2)采用直线矫正算法对图像扭曲矫正;对矫正图像的目标像素偏移计算补偿偏角,包括俯仰补偿角和侧倾补偿角,俯仰补偿角根据目标区块中心到图像中心的纵向偏移像素点数确定,侧倾补偿角的计算根据目标区块中心到图像中心的横向偏移像素点数确定;(3)结合飞机自身飞行参数、相机与飞机关系角和图像上的目标补偿角进行目标位置推算,飞行参数包括飞机经纬高(PLon,PLat,Phei)和飞机俯仰角、横滚角、航向角(α,β,γ);假设相机垂直机身竖直朝下拍摄,相机与机身相对固定;对于水面目标,目标高度Thei=0;相机垂直于海平面时,若目标就在飞机平台正下方,则机身平台的经纬度就是目标经纬度,目标高度为零;若目标不在相机垂直视轴的正下方,则根据横向偏离像素距离δx和纵向偏离像素距离δy,计算出图像中心到目标的距离S=(Xδx+Yδy)1/2;然后根据机身平台的航向角γ计算得到目标相对机身平台的偏移距离,其中,经度偏移距离Dlon=Ssinγ,纬度偏移距离Dlat=Scosγ;相机倾斜于海平面情况时,相机光心线与飞机对海垂直线有夹角,包括沿机身方向的俯仰角α和垂直机身的侧倾角β;相机倾斜角映射在海面上,俯仰角产生了俯仰距L1=Pheiarctanα,侧倾角产生了侧倾距L2=Pheiarctanβ;则相机光芯轴线与海面的交点到飞机平台海平面投影点的距离然后根据机身平台的航向角γ,计算得到相机光轴与海平面交点与机身平台的偏移距离,包括经度偏移距离Mlon=Lsinγ和纬度偏移距离Mlat=Lcosγ;将图像上目标相对于相机光轴和海平面交点的偏移距离映射到机身长度方向上,根据图像像素与偏移距对应关系计算出偏移角度θ;计算偏移映射距离S′=Scosθ;然后计算图像上的目标相对于相机光轴和海平面交点的偏移距离,包括经度偏移距离dlon=S′sinγ和纬度偏移距离dlat=S′cosγ;目标相对机身平台投影点的经纬偏移距离包括经度偏移距离Dlon=Mlon+dlon和纬度偏移距离Dlat=Mlat+dlat;目标的经纬度就是机身平台经度加上经纬度偏移距离。本专利技术的有益效果是:无需将目标调整到视轴上即可对目标动态信息推理,图像任意位置上的目标都能进行直接推理计算,免除了目标调整至图像中心而产生的过程误差。具体来说,在目标位置推理过程中采用结合飞机自身飞行参数、相机与其关系角和图像上的目标补偿偏角进行推算的;在目标航向角推理中采用结合飞机航向角和两帧图像上目标位置偏移角进行推理;在目标航速推理中采用计算累积帧间平均速度方法推理,上述多方面的改进实现了非视轴上目标的动向信息推理。附图说明图1是视觉补偿偏角示意图。图2是目标偏移视轴距离情况下的位置推理示意图。图3是相机倾斜的情况下的目标位置推理示意图。图4是由目标偏移距获得绝对坐标值示意图。具体实施方式下面结合附图和实施例对本专利技术进一步说明,本专利技术包括但不仅限于下述实施例。本专利技术主要提供一种直接推理出非视轴上目标位置和动态动向信息的手段。本专利技术仅从相机图像中提取目标像素位置,根据飞机自身飞行参数和相机与其倾角参数,推理目标相关信息(包括目标地球坐标系中的位置(Tlon,Tlat,Thei)、航向Tcourse、航速Tspeed),不依赖与其它有源、主动探测等辅助传感器。为解决该问题,本专利技术采用从视觉补偿偏角角度对非视轴目标的动态动向推理,主要步骤概述如下:(1)图像目标检测首先采用fasterRCNN目标检测技术,从输入的图像中将所关注的目标检测识别出来,并确定目标中心在图像中的像素坐标(X,Y),获得目标属性和类别信息,为下一步的目标动向动态信息推理做好准备。(2)图像目标偏角补偿计算在摄像头投射视野下的场景图像中,目标在图中是局部很小的区块。该小区块不一定正好位于图像中心位置,所以目标与光心连线与光轴线有夹角,这需要在相机倾角参数中加以补偿。在计算目标偏角补偿之前,需要对图像扭曲矫正,矫正方法采用直线矫正算法:首先用霍夫线性变换得出图像中的所有直线,然后计算每条直线的扭曲角并计算平均值,再跟进平均扭曲值旋转图像,伸展曲线,矫正图像。本专利技术创新地提出对矫正图像的目标像素偏移计算补偿偏角,包括俯仰补偿角和侧倾(横滚)补偿角:1)俯仰补偿角计算,是目标区块沿图像纵向轴方向偏离横向轴的角度。目标区块偏离图像横轴越远表示俯仰补偿角就越大。沿图像纵轴正向的目标俯仰补偿角为正,反之为负。俯仰补偿角的计算可以根据目标区块中心到图像中心的纵向偏移像素点数确定。2)侧倾补本文档来自技高网
...

【技术保护点】
1.一种无人机上基于视觉目标动向推理方法,其特征在于包括下述步骤:(1)采用faster RCNN目标检测技术,从输入的图像中将所关注的目标检测识别出来,并确定目标中心在图像中的像素坐标(X,Y),获得目标属性和类别信息;(2)采用直线矫正算法对图像扭曲矫正;对矫正图像的目标像素偏移计算补偿偏角,包括俯仰补偿角和侧倾补偿角,俯仰补偿角根据目标区块中心到图像中心的纵向偏移像素点数确定,侧倾补偿角的计算根据目标区块中心到图像中心的横向偏移像素点数确定;(3)结合飞机自身飞行参数、相机与飞机关系角和图像上的目标补偿角进行目标位置推算,飞行参数包括飞机经纬高(PLon,PLat,Phei)和飞机俯仰角、横滚角、航向角(α,β,γ);假设相机垂直机身竖直朝下拍摄,相机与机身相对固定;对于水面目标,目标高度Thei=0;相机垂直于海平面时,若目标就在飞机平台正下方,则机身平台的经纬度就是目标经纬度,目标高度为零;若目标不在相机垂直视轴的正下方,则根据横向偏离像素距离δx和纵向偏离像素距离δy,计算出图像中心到目标的距离S=(Xδx+Yδy)1/2;然后根据机身平台的航向角γ计算得到目标相对机身平台的偏移距离,其中,经度偏移距离Dlon=Ssinγ,纬度偏移距离Dlat=Scosγ;相机倾斜于海平面情况时,相机光心线与飞机对海垂直线有夹角,包括沿机身方向的俯仰角α和垂直机身的侧倾角β;相机倾斜角映射在海面上,俯仰角产生了俯仰距L1=Pheiarctanα,侧倾角产生了侧倾距L2=Pheiarctanβ;则相机光芯轴线与海面的交点到飞机平台海平面投影点的距离...

【技术特征摘要】
1.一种无人机上基于视觉目标动向推理方法,其特征在于包括下述步骤:(1)采用fasterRCNN目标检测技术,从输入的图像中将所关注的目标检测识别出来,并确定目标中心在图像中的像素坐标(X,Y),获得目标属性和类别信息;(2)采用直线矫正算法对图像扭曲矫正;对矫正图像的目标像素偏移计算补偿偏角,包括俯仰补偿角和侧倾补偿角,俯仰补偿角根据目标区块中心到图像中心的纵向偏移像素点数确定,侧倾补偿角的计算根据目标区块中心到图像中心的横向偏移像素点数确定;(3)结合飞机自身飞行参数、相机与飞机关系角和图像上的目标补偿角进行目标位置推算,飞行参数包括飞机经纬高(PLon,PLat,Phei)和飞机俯仰角、横滚角、航向角(α,β,γ);假设相机垂直机身竖直朝下拍摄,相机与机身相对固定;对于水面目标,目标高度Thei=0;相机垂直于海平面时,若目标就在飞机平台正下方,则机身平台的经纬度就是目标经纬度,目标高度为零;若目标不在相机垂直视轴的正下方,则根据横向偏离像素距离δx和纵向偏离像素距离δy,计算出图像中心到目标的距离S=(Xδx+Yδy)1/2;然后根据机身平台的航向角γ计算得到目...

【专利技术属性】
技术研发人员:惠国保王志刚张倩
申请(专利权)人:中国电子科技集团公司第二十研究所
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1