一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法技术

一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法，对空间点像素坐标系和世界坐标系进行转换；根据ORB角点提取对空间某特征点进行相邻帧匹配；利用偏振光传感器测得偏航角和光流传感器获得一个相对位置的测量引导；计算光流矢量并利用光流矢量对运动物体和误匹配点进行剔除；进行BA优化，利用能量函数，将双目视觉传感器匹配点数据、偏航角数据和光流数据优化；利用BA优化后的参数求增广矩阵，解得变换矩阵，反求解矩阵得到姿态角和位移完成导航。本发明专利技术仿照昆虫利用偏振光、图像通过纯视觉进行导航定位，有着无线电导航和卫星导航等非自主导航方式所无法具有的隐蔽性、抗干扰性，具有高精度和较强的鲁棒性。性。性。

【技术实现步骤摘要】
一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法


[0001]本专利技术属于仿生组合导航领域，涉及一种仿昆虫组合导航系统及其定位方法，尤其涉及基于光流矢量、偏振光、双目视觉传感器组合导航系统测试平台搭建及定位方法。

技术介绍

[0002]目前的常见的导航技术主要有惯性导航、卫星导航、天文导航、地磁导航等。惯性导航属自主式导航，具有短时精度高、不受干扰等优点，但是由于积分过程会产生累积误差，并且时间越长，误差就会越大，因此不适合远距离、耗时长的导航；卫星导航是一种非自主式导航方式，具有全球性、全天候的特性，但是它易受干扰，在有高大建筑的街道、茂密的丛林中无法正常使用，目前常用的有GPS和北斗卫星导航；天文导航是一种可以根据已知天体位置来计算载体当前航向和所处位置的导航技术，属于自主式导航，这种导航方式最大的缺点是精度低、集成度不高；地磁导航是利用地磁场分布规律测量并计算得到载体姿态信息，属于自主式导航，无误差累积，但它很容易受周围磁性材料产生磁场的影响。现有技术中公开的专利号：(CN103323005A)，提出一种SINS/GPS/偏振光组合导航系统多目标优化抗干扰滤波方法，将SINS、GPS、偏振传感器以及环境中的干扰进行分类，对不同类型的干扰进行干扰建模，可建模干扰通过设计干扰观测器来抵消，通过设计干扰观测器的方法以及鲁棒技术对干扰进行干扰抵消和干扰抑制，可用于提高地球大气层内运载体的导航精度；现有技术中公开的专利号：(CN109916394A)，提出融合光流位置和速度信息的组合导航算法，利用光流传感器输出的位置和速度信息以及MEMS IMU、磁力计、气压高度计、激光测距传感器的数据，采用扩展卡尔曼滤波器完成数据融合，解算出载体的位置、速度和姿态信息，因为采用磁力计，很容易受周围磁性材料产生磁场的影响，抗干扰能力不强；现有技术中公开的专利号：(CN109470237A)，提出基于偏振光与地磁组合导航姿态测量方法，但只能求解姿态角α，β，γ，不具备定位导航功能；现有技术中公开的专利号：(CN108362288A)，基于无迹卡尔曼滤波的偏振光SLAM方法，利用偏振光信息和激光雷达信息匹配互补、不受其他外界干扰的特性，一定程度提高了无人机SLAM系统的稳定性和精度，但无法进一步解决误匹配给导航带来的影响。
[0003]生物学家研究发现昆虫具有良好的导航能力，比如蜜蜂复眼对微小时间间隔内视觉信息的变化非常敏感，这种特点更合适处理动态信号，当蜜蜂在环境中移动时，图像的运动会在他的视网膜上形成一系列连续变化的光的“流动”信息，蜜蜂正通过分析这种动态的光流来进行导航，通过光流可以获得很多有用的信息提供导航使用；比如蟋蟀，眼部DRA区域的小眼结构的神经感杆内绒毛具有轴向规则一致，径向相互垂直的特点，该结构特点使视神经细胞具有较高的偏振光敏感特性，偏振光是天然基本物理场，携带有方位信息，蟋蟀具有三类POL-neurons，其主响应方向分别为10
°
，60
°
和130
°
，蟋蟀通过对三类POL-neurons输出信号进行综合处理，即可得出体轴与太阳子午线的夹角，从而实现导航功能；再比如多数昆虫具有双眼，根据双目测距原理，从不同角度观察一个场景时可以很容易的得到关于
场景在距离上的感知。根据仿生导航原理当已知相机光心、两幅图片对应像素点及其距离时便可以很容易的通过三角关系得到实际场景中改点距离相机的距离，利用偏振光传感器，可以敏感的输出偏振方位角，具有不随时间累计等优点、自主性强，可以获得偏航角，通过光流可以测距，测速。
[0004]传统组合导航系统抗干扰能力比较弱，而无GPS或惯导组合的导航系统仅能测姿，无法定位，目前现有专利中仅将偏振光和双目传感器结合在一起使用，但并未加入光流模型和后端的优化。综上本文提出一种新型仿生组合导航方法，将双目视觉传感器、光流和偏振光传感器进行组合，提出一种新的组合导航方式，有着无线电导航和卫星导航等非自主导航方式所无法具有的隐蔽性、抗干扰性和更高的鲁棒性。

技术实现思路

[0005]针对现有导航系统的抗干扰能力弱，本专利技术提出一种新型的仿生组合导航方法，将偏振光传感器、光流和双目视觉传感器进行组合，利用卡尔曼滤波进行数据融合，后端通过BA优化，专利技术一款纯依靠视觉进行导航定位的方法，抗干扰性强，具有较强的鲁棒性。
[0006]本专利技术的技术方案：
[0007]一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法，包括以下步骤：
[0008]步骤1：基于双目视觉传感器测量得到点P的像素坐标为[u,v]T
，已知物理成像平面到小孔的距离为f(焦距)，设地球坐标系下点P坐标[X,Y,Z]T
，对应物理成像平面P'点的坐标为[X',Y',Z']T
，像素坐标在u轴上缩放了α倍，在v上缩放了β倍，原点平移了[c
x
,c
y
]T
，根据Z/f＝-X/X'＝-Y/Y'可得P'坐标与像素坐标[u,v]T
的关系为：
[0009][0010]设f
x
＝αf，f
y
＝βf，得到像素坐标到空间坐标的转换：
[0011][0012]步骤2：双目相机由左目和右目两个水平放置的相机，O
L
、O
R
为左右相机的光心，f为焦距，z为场景深度，u
L
、u
R
为成像平面的坐标，P
L
、P
R
为左右相机内成像平面上的图像点，根据相似关系可以得到：
[0013][0014]步骤3：根据相机在两帧图像I1、I2之间的相对运动关系为R与t，两帧图像对应特征点进行匹配，P点的空间齐次坐标为p＝[X,Y,Z,1]T
，点P在I2对应点投影到像素平面上的坐标为x1＝[u1,v1,1]T
，根据匹配点定义增广矩阵[R|t]，根据相邻图像之间的对应关系得到求解方程s
·
x＝[R|t]·
p。
[0015]步骤4：双目传感器直接得到的偏航角和位移误差比较大，使用偏振光对航向角进
行修正，基于多方向偏振光传感器检测单元得到的偏振角为在可以得到对应的偏振矢量矢量坐标为：组合导航系统初始时偏振光传感器测得的初始航向角为初始位姿为：R＝I、t＝0。当前偏振光传感器测得的航向角为组合导航平台的位姿关于地理正北方向的变化角为：将相邻两帧偏振光数据集记为
[0016]步骤5：在相邻两帧之间，得到t
k-1
到t
k
时刻之间导航系统所有特征点位移矢量为通过光流传感器获得t
k-1
到t
k
时刻光流矢量为设定阈值A，如果在和之间就认为是正确匹配的特征点，不在该范围内就认为是误匹配点或运动的物体进行剔除。
[0017]步骤6：BA优化，相机运动每帧图像可以恢复相机姿态为C1…
C
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法，其特征在于，包括以下步骤：步骤1：基于双目视觉传感器测量得到点P的像素坐标为[u,v]
T
，已知物理成像平面到小孔的距离为f，设地球坐标系下点P坐标[X,Y,Z]
T
，对应物理成像平面P'点的坐标为[X',Y',Z']
T
，像素坐标在u轴上缩放了α倍，在v轴上缩放了β倍，原点平移了[c
x
,c
y
]
T
，根据Z/f＝-X/X'＝-Y/Y'得P'坐标与像素坐标[u,v]
T
的关系为：设f
x
＝αf，f
y
＝βf，得到像素坐标到空间坐标的转换：把中间量组成的矩阵称为相机的内参矩阵，用K表示；步骤2：双目相机由左目和右目两个水平放置的相机，O
L
、O
R
为左右相机的光心，f为焦距，z为场景深度，u
L
、u
R
为成像平面的坐标，P
L
、P
R
为左右相机内成像平面上的图像点，根据相似关系得到：d＝u
L-u
R
步骤3：根据相机在两帧图像I1、I2之间的相对运动关系为R与t，两帧图像对应特征点进行匹配，P点的空间齐次坐标为p＝[X,Y,Z,1]
T
，点P在I2对应点投影到像素平面上的坐标为x1＝[u1,v1,1]
T
，根据匹配点定义增广矩阵[R|t]，根据相邻图像之间的对应关系得到求解方程s
·
x＝[R|t]
·
p；步骤4：双目传感器直接得到的偏航角和位移误差比较大，使用偏振光对航向角进行修正，基于多方向偏振光传感器检测单元得到的偏振角为在得到对应的偏振矢量矢量坐标为：组合导航系统初始时偏振光传感器测得的初始航向角为初始位姿为：R＝I、t＝0；当前偏振光传感器测得的航向角为组合导航平台的位姿关于地理正北方向的变化角为：将相邻两帧偏振光数据集记为步骤5：在相邻两帧之间，得到t
k-1
到t
k
时刻之间导航系统所有特征点位移矢量为通过光流传感器获得t
k-1
到t...

【专利技术属性】
技术研发人员：褚金奎，陈建华，李金山，张然，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：