System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于单目相机、IMU和UWB多传感器融合的无人机高精度室内定位方法技术_技高网

基于单目相机、IMU和UWB多传感器融合的无人机高精度室内定位方法技术

技术编号:40277556 阅读:15 留言:0更新日期:2024-02-02 23:05
本发明专利技术涉及一种基于单目相机、IMU和UWB多传感器融合的无人机高精度室内定位方法,包括:在室内环境中布置多个超宽带UWB锚点;对单目相机进行校准,对超宽带UWB锚点进行校准;飞行中的无人机发送单目相机所记录的视频帧信息、超宽带UWB的测距信息、惯性测量单元IMU记录的加速度和角速度信息至服务器,服务器对接收到的这三种数据进行预处理;根据数据预处理的结果,使用混合耦合优化方法实现无人机高精度定位。本发明专利技术避免了超宽带UWB定位受室内环境多径效应的影响,提高了超宽带UWB定位的精度,设计了混合耦合协同定位网络框架以融合单目相机、惯性测量单元IMU和超宽带UWB多种传感器,实现无人机复杂室内环境中高精度定位。

【技术实现步骤摘要】

本专利技术涉及在复杂室内环境下无人机定位,尤其是一种基于单目相机、imu和uwb多传感器融合的无人机高精度室内定位方法。


技术介绍

1、无人机已广泛应用于民用应用、目标跟踪、搜救、工业检查等多个领域,展现出巨大的潜力,在室内应用中,无人机的实时定位是制导、导航和控制系统的关键组成部分。几乎所有的无人机都配备了用于室外定位的全球导航卫星系统(gnss)接收器,然而,gnss在室内环境中由于建筑物、墙体等结构造成的信号衰减,导致其不可靠甚至不可用。因此,近十年来,无人机室内定位领域开展了广泛的研究,研究人员克服了室内环境的复杂性和gnss不可用的局限性,提出了各种创新的定位方法和技术,如wifi、rfid、蓝牙、激光雷达、惯性导航等。

2、其中,以单目相机和惯性测量单元imu为代表的视觉惯性定位方法定位精度高,但是漂移情况非常严重;基于超宽带uwb的定位方法定位精度较高,但是也存在着复杂室内环境中多径效应影响的情况,会导致定位精度的削弱。因此,急需研发一个多传感器融合定位的方法。


技术实现思路

1、为解决现有技术存在的漂移情况严重、定位精度弱的问题,本专利技术的目的在于提供一种实现了单目相机、惯性测量单元imu和超宽带uwb之间的优势互补,实现不同数据信息之间的混合耦合,定位精度高的基于单目相机、imu和uwb多传感器融合的无人机高精度室内定位方法。

2、为实现上述目的,本专利技术采用了以下技术方案:一种基于单目相机、imu和uwb多传感器融合的无人机高精度室内定位方法,该方法包括下列顺序的步骤:

3、(1)离线阶段:在室内环境中布置多个超宽带uwb锚点,记录超宽带uwb锚点在室内的位置(xi,yi,zi);

4、(2)传感器校准阶段:对单目相机进行校准,获取单目相机的内参矩阵k;对超宽带uwb锚点进行校准,获取每个超宽带uwb锚点的比例因子和偏差值;

5、(3)数据预处理阶段:飞行中的无人机发送单目相机所记录的视频帧信息、超宽带uwb的测距信息、惯性测量单元imu记录的加速度和角速度信息至服务器,服务器对接收到的这三种数据进行预处理,根据超宽带uwb锚点在室内的位置(xi,yi,zi),获取超宽带uwb全局定位信息,并且使用动态随机抽样一致性方法对其位置估计进行去噪;对视频帧提取harris特征点,通过harris特征点信息判断相邻两帧之间的运动情况,得到视觉追踪信息;通过惯性测量单元imu记录的加速度和角速度信息对相邻两帧进行预积分,得到imu预积分信息;

6、(4)无人机高精度定位阶段:根据数据预处理的结果,使用混合耦合优化方法实现无人机高精度定位,首先对harris特征点信息、相邻时刻间的超宽带uwb全局定位信息和imu预积分信息使用基于非线性优化的紧耦合方法获取无人机在相邻时刻内的位置和姿态的六自由度信息;然后对获得的六自由度信息和超宽带uwb全局定位信息使用基于粒子滤波的松耦合方法获取每一个时刻的高精度定位信息,进行无人机的定位追踪。

7、在步骤(1)中,所述多个超宽带uwb锚点处于不同直线上。

8、所述步骤(2)具体包括如下步骤:

9、(2a)对于单目相机进行校准:对于一个世界坐标系下的三维特征点p(x,y,z),将这个三维特征点p(x,y,z)投影到归一化成像平面中得到p'(x',y',1):

10、

11、其中,f是单目相机的焦距,设在物理平面上固定着一个像素平面o-u-v,在像素平面上得到了p'的像素坐标:[u,v]t;像素坐标系的定义方式是:原点o'位于图像的左上角,u轴向右与x轴平行,v轴向下与y轴平行;像素坐标系与成像平面之间,相差一个缩放和一个原点的平移;设像素坐标在u轴上缩放了α倍,在v轴上缩放了β倍,同时,原点平移了[cx,cy]t,那么p'的坐标与像素坐标[u,v]t之间的关系为:

12、

13、将式(1)代入式(2),再将αf合并成fx,把βf合并成fy,得到:

14、

15、其中,f的单位为米,α,β的单位为像素/米,所以fx、fy、cx、cy的单位为像素,将式(3)写成矩阵形式:

16、

17、将式(4)中的称为相机的内参矩阵k;

18、(2b)对超宽带uwb锚点进行校准:对测量数据(x1,x2,x3,...xm)和记录的真实数据(y1,y2,y3,...ym),使用最小二乘算法计算出来当前超宽带uwb锚点ui的比例因子ai和偏差值bi,获得所有超宽带uwb锚点的比例因子和偏差值;所述测量数据是指每一个超宽带uwb锚点ui与超宽带uwb标签之间的测量距离;所述真实数据是指每一个超宽带uwb锚点ui与超宽带uwb标签之间的真实距离。

19、所述步骤(3)具体包括如下步骤:

20、(3a)对视频帧信息进行处理:对传输到服务器的视频帧采用harris算法进行角点提取,并且使用klt光流算法进行角点的追踪,获得两帧内物体对应的图像像素的运动方向和速度,得到视觉追踪信息;

21、(3b)对惯性测量单元imu记录的加速度和角速度信息进行处理:采用预积分的方法计算相邻两视频帧内惯性测量单元imu所测得的位置的变化速度的变化姿态角的变化分别为:

22、

23、

24、

25、其中,是在imu坐标系下t时刻到bk时刻的旋转矩阵;和na分别是加速度计的测量值、零偏值和高斯白噪声;wt、bwi、nw分别是陀螺仪的测量值、零偏值和高斯白噪声;表示陀螺仪在imu坐标系下t时刻到bk时刻的变化;ω表示将计算出来的角速度写成旋转矩阵形式;

26、(3c)对于超宽带uwb的测距信息进行处理:利用自适应协方差加权最小二乘法,假设超宽带uwb锚点的位置(xi,yi,zi),无人机上超宽带uwb标签位置为(x,y,z),待定位无人机标签与超宽带uwb锚点的距离为:因此,存在如下的等式:

27、

28、使用最小二乘法,对未知位置进行估计:aγ=b,其中:

29、

30、

31、

32、最小二乘估计:γ=(ata)-1atb,定义当前时刻t最小二乘点到超宽带uwb锚点的距离为mt,时刻t下标签点到超宽带uwb锚点的距离为dt,现在构造出估计的三维位置和超宽带uwb锚点i的距离与测量距离的差的绝对值li:{|m1-d1|,|m2-d2|,……,|mt-dt|},当前时刻t的样本li的方差为σi,构造当前时刻t的自适应协方差权重矩阵:

33、

34、得到加权后的位置估计:为超宽带位置估计;

35、所述使用动态随机抽样一致性方法对其位置估计进行去噪具体是指:

36、对于超宽带uwb的位置估计,利用超宽带传感器的测量频率选择m个连续位置形成短期直线轨迹;所述动态随机抽样一致性方法根据这m个位置建立相应的直线模型本文档来自技高网...

【技术保护点】

1.一种基于单目相机、IMU和UWB多传感器融合的无人机高精度室内定位方法,其特征在于:该方法包括下列顺序的步骤:

2.根据权利要求1所述的基于单目相机、IMU和UWB多传感器融合的无人机高精度室内定位方法,其特征在于:在步骤(1)中,所述多个超宽带UWB锚点处于不同直线上。

3.根据权利要求1所述的基于单目相机、IMU和UWB多传感器融合的无人机高精度室内定位方法,其特征在于:所述步骤(2)具体包括如下步骤:

4.根据权利要求1所述的基于单目相机、IMU和UWB多传感器融合的无人机高精度室内定位方法,其特征在于:所述步骤(3)具体包括如下步骤:

5.根据权利要求1所述的基于单目相机、IMU和UWB多传感器融合的无人机高精度室内定位方法,其特征在于:所述步骤(4)具体包括如下步骤:

【技术特征摘要】

1.一种基于单目相机、imu和uwb多传感器融合的无人机高精度室内定位方法,其特征在于:该方法包括下列顺序的步骤:

2.根据权利要求1所述的基于单目相机、imu和uwb多传感器融合的无人机高精度室内定位方法,其特征在于:在步骤(1)中,所述多个超宽带uwb锚点处于不同直线上。

3.根据权利要求1所述的基于单目相机、imu和uwb多传感器融合的无...

【专利技术属性】
技术研发人员:张莉周旭
申请(专利权)人:合肥工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1