一种基于互相关时延估计的在线双目视觉测距方法技术

本发明专利技术公开了一种基于互相关时延估计的在线双目视觉测距方法，通过功率谱互相关估计技术把左右图像的位移估计转化为时延估计，可以提高图像匹配的鲁棒性和实时性，并利用在线迭代技术改善响应速度。该双目测距方法包括以下步骤：首先对左右图像进行可快速傅里叶变换获得频域函数；接着对图像频域函数进行滤波，提取高纹理信息；然后利用在线递推技术得到左右图像的互功率谱；最后通过快速傅里叶逆变换得到时延估计，转换为位移估计之后即可以利用公式得到测距结果。本发明专利技术通过在线递推的功率谱互相关时延估计技术提高了图像匹配的鲁棒性和速度，算法简单、计算量小，适合嵌入式系统应用。

【技术实现步骤摘要】
一种基于互相关时延估计的在线双目视觉测距方法
本专利技术涉及无人机的
，具体的说是一种基于互相关时延估计的在线双目视觉测距方法。
技术介绍
随着无人机技术的快速发展，无人机在民用领域的应用越来越广泛。在无人机使用过程中，由于周围环境的复杂性和不确定性，无人机失误事件时常发生。因此，无人机测距避障技术的研究和使用迫在眉睫。目前，无人机常用的避障技术有超声波测距、红外或激光测距以及视觉测距。但超声波能有效测量的距离较短，且对障碍物反射面有一定要求，不适用于障碍物的测量与避障。红外或激光测距又称为TOF，其信号易受外界干扰，并且对于避障的范围有一定的局限性，不太适用于无人机避障。计算机视觉技术导航方式不受障碍物外观轮廓、外界信号干扰的影响，测量范围广泛，随着计算机硬件技术以及智能算法的快速发展，利用计算机视觉进行避障的反应速度也越来越快。同时视觉设备重量轻、体积小适合无人机载重较轻的特点。在视觉避障技术中，双目视觉技术应用前景最为广泛。双目视觉技术即运用人眼计算距离的原理，既能够得到障碍物的准确方位又能测得其距无人机的距离，用于无人机避障具有较高的准确性。图像匹配是双目测距中最关键的环节，图像匹配的精度、速度极大影响了测距的精度和实时性，立体匹配算法中准确性和实时性往往是不能兼顾的，大多数较为精确的立体匹配算法都采用全局算法，如图割算法、置信度传播、神经网络、小波算法等，但这些算法即使经过优化后，效率依然无法得到质的提高，且很难使用硬件进行优化，匹配速度较慢。在实际嵌入式平台上的应用中，现有的诸多图像匹配算法存在如下问题：匹配效率有待提高以满足系统的实时性，匹配结果受环境、光照等变化的影响大，对非规则形状对象的匹配尚不适应，受复杂背景的干扰等。功率谱互相关时延估计算法是信号处理中时延估计领域的经典算法，将空间域问题转化到频域内求解，具有较高的时延估计精度。功率谱互相关时延估计算法多用在无线射频信号、声学信号的分析，但是很少用在图像匹配环节，因为如果不采用硬件加速，傅里叶变换运算会消耗较大计算资源。由于嵌入式平台上DSP和FPGA很适合傅里叶变换运算，便于硬件加速运算，有利于将功率谱互相关运用到图像匹配环节，利用相机拍摄的基准图和匹配图进行相关运算，推出实时图在基准图中位置，算法具有抵抗噪声和抗畸变的强鲁棒性，且匹配精度高等优点。此外，图像功率谱属于频谱分析法中的一种，综合反映了图像的纹理特征，是描述信号功率随频率变化的函数，它的大小反映了图像各个空间频率分量的强度，因此对图像功率谱进行滤波运算，可以提取纹理信息，抑制噪声的干扰，滤波运算同样适合DSP和FPGA硬件加速，可以提高运算的实时性。为进一步适应嵌入式平台计算资源有限，实时性要求高的特点，还需要对匹配算法进行在线迭代递推的改造，利用相邻像素值的能量进行连续递推,即保证了计算速度，又大大节省了内存占用。经检索，中国专利号CN110211169A，公开日期：2019年9月6日，专利名称：基于多尺度超像素和相位相关的窄基线视差的重构方法，利用功率谱互相关计算用于图像匹配，但是需要预先进行超像素的提取，而且算法没有改造成在线递推方式，实时性得不到保证。中国专利号CN105812769B，公开日期：公开日期2016年9月7日，专利名称：基于相位相关高精度视差跟踪器，利用功率谱互相关计算用于图像匹配，但是需要预先用SURF算法提取特征，算法没有改造成在线递推方式，实时性也难以保证。
技术实现思路
本专利技术的目的是针对无人机平台上的双目测距结果不鲁棒，容易受干扰，算法复杂，计算资源需求大，在嵌入式平台上实时性不够的缺点，通过将功率谱互相关时延估计技术运用到双目相机摄取图像的位移估计上，提高了鲁棒性和抗干扰能力，并用在线递推技术减少了计算资源需求，提高了实时性要求。为实现上述目的，本专利技术所提供的技术方案为：基于互相关时延估计的在线双目视觉测距方法，其特征在于，包括以下步骤：S1、搭建无人机双目测距平台，左右两个摄像头获取左右视图，并进行快速傅里叶变换获得图像频谱；S2、将步骤S1得到的图像频谱进行滤波，提取高纹理特征，去除噪声；S3、利用在线递推技术将步骤S2得到的左右图像频谱进行互相关功率谱计算；S4、对步骤S3得到的互功率谱进行傅里叶逆向变换，得到时延估计并转化为位移估计；S5、对步骤S4得到的左右图像的位移差，推导出双目测距结果。进一步地，所述步骤S1具体过程如下：利用双目相机搭建无人机测距平台，双目相机的光轴前向平行，偏离一定距离，左右两个摄像头分别获取两幅图像，图像大小为M×N像素，左图像函数为IL(x，y)，右图像函数为IR(x，y)，x，y为像素坐标，左右图像之间存在位移量x0，即IR(x，y)＝IL(x-x0，y)，对左右图像进行傅里叶变换得到图像频谱：其中FL(u，v)为左图像的频谱，FR(u，v)为右图像的频谱，令Au＝[1，e-j2πu......e-j2πNu]∈CN和Av＝[1，e-j2πv......e-j2πMv]T∈CM，则傅里叶变换表达式可写为FL(u，v)＝AuILAv和FR(u，v)＝AuIRAv，IL与IR分别为左右图像函数。进一步地，所述步骤S2的具体过程如下：对傅里叶变换得到的图像频谱进行滤波，抑制噪声的干扰，提取高纹理结构信息，所使用的滤波器为滤波器参数可以通过来得到，D(eju，ejv)是所设定的理想幅频特性。于是，图像频谱的滤波结果可表示为：引入矩阵则(2)式可表示为进一步地，所述步骤S3的具体过程如下：对于公式(3)得到的滤波之后的图像频谱进行互相关计算，得到左右图像的互功率谱，式中R(u，v)为互功率谱，为的共轭形式。利用在线递推技术改造互相关计算，得到：式中K＝AuP，R(t)为t时刻的互相关计算结果，R(t+1)为t+1时刻的互相关计算结果。进一步地，所述步骤S4的具体过程如下：对公式(4)得到的互相关计算结果进行傅里叶逆向变换，得到的傅里叶逆向变换的峰值就对应了左右两个图像的时延差τ：式中Φu＝[1，ej2πu......ej2πnu]，Φv＝[1，ej2πv......ej2πmv]T，将时延估计转化为位移估计：其中k为实验数据回归得到的系数，x0为左右两个图像的位移估计结果。进一步地，所述步骤S5的具体过程如下：利用公式(6)得到的左右两个图像的位移估计x0，由如下公式获得双目测距的距离信息；其中T为左右两个相机之间的水平距离，f为相机焦距，Z为最终获得的双目测距距离。与现有技术相比，本方案原理及优点如下：本专利技术的有益效果为1、将功率谱互相关时延估计技术运用到双目相机摄取图像的位移估计上，提高了鲁棒性和抗干扰能力，改善了无人机平台上的双目测距结果不鲁棒，容易受干扰，算法复杂，计算资源需求大的缺点，同时频域计算易于使用硬件加速，可以提高响应速本文档来自技高网...

【技术保护点】
1.一种基于互相关时延估计的在线双目视觉测距方法，其特征在于，包括以下步骤：/nS1、搭建无人机双目测距平台，左右两个摄像头获取左右视图，并进行快速傅里叶变换获得图像频谱；/nS2、将步骤S1得到的图像频谱进行滤波，提取高纹理特征，去除噪声；/nS3、利用在线递推技术将步骤S2得到的左右图像频谱进行互相关功率谱计算；/nS4、对步骤S3得到的互功率谱进行傅里叶逆向变换，得到时延估计并转化为位移估计；/nS5、对步骤S4得到的左右图像的位移差，推导出双目测距结果。/n

【技术特征摘要】
1.一种基于互相关时延估计的在线双目视觉测距方法，其特征在于，包括以下步骤：
S1、搭建无人机双目测距平台，左右两个摄像头获取左右视图，并进行快速傅里叶变换获得图像频谱；
S2、将步骤S1得到的图像频谱进行滤波，提取高纹理特征，去除噪声；
S3、利用在线递推技术将步骤S2得到的左右图像频谱进行互相关功率谱计算；
S4、对步骤S3得到的互功率谱进行傅里叶逆向变换，得到时延估计并转化为位移估计；
S5、对步骤S4得到的左右图像的位移差，推导出双目测距结果。


2.根据权利要求1所述的基于互相关时延估计的在线双目视觉测距方法，其特征在于，所述步骤S1具体过程如下：
利用双目相机搭建无人机测距平台，双目相机的光轴前向平行，偏离一定距离，左右两个摄像头分别获取两幅图像，图像大小为M×N像素，左图像函数为IL(x，y)，右图像函数为IR(x，y)，x，y为像素坐标，左右图像之间存在位移量x0，即IR(x，y)＝IL(x-x0，y)，对左右图像进行傅里叶变换得到图像频谱：






其中FL(u，v)为左图像的频谱，FR(u，v)为右图像的频谱，令Au＝[1，e-j2πu......e-j2πNu]∈CN和Av＝[1，e-j2πv......e-j2πMv]T∈CM，则傅里叶变换表达式可写为FL(u，v)＝AuILAv和FR(u，v)＝AuIRAv，IL与IR分别为左右图像函数。


3.根据权利要求2所述的基于互相关时延估计的在线双目视觉测距方法，其特征在于，所述步骤S2的具体过程如下：
对步骤S1得到的图像频谱进行滤波，抑制噪声的干扰，提取高纹理结构信息，所使用的滤波器为
滤波器参数...

【专利技术属性】
技术研发人员：徐胜，苏成悦，陈元电，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44