一种基于激光雷达和相机数据融合的无人机定点降落方法技术

本发明专利技术涉及无人机定位技术领域，具体涉及一种基于激光雷达和相机数据融合的无人机定点降落方法，包括：相机识别图像获得Aruco码二维点坐标并建立XOY平面；激光雷达扫描无人机下方，获得三维点云、反射强度数据及Aruco码三维点云坐标；计算变换矩阵M，将三维点云投影到XOY平面；计算Aruco码中心位置并将其作为坐标原点在XOY平面建立坐标系；将投影后的三维点云数据映射到坐标系上；识别Aruco码角点，计算无人机与Aruco码角点的相对位置，完成定点降落。本发明专利技术的有益技术效果包括：融合激光雷达与相机数据识别Aruco码角点，提高无人机定点降落的环境适应性，扩大测距范围。扩大测距范围。扩大测距范围。

【技术实现步骤摘要】
一种基于激光雷达和相机数据融合的无人机定点降落方法


[0001]本专利技术涉及无人机定位
，具体涉及一种基于激光雷达和相机数据融合的无人机定点降落方法。

技术介绍

[0002]旋翼无人机具有体积较小、结构简单、控制比较灵活等特点，能够垂直起降、自由悬停，还能够适应各种自然环境，具备自主飞行和自主降落等优点，可以在一些不适合人类进入的复杂和危险环境中进行作业，近年来在科研机构、政府机构、广播媒体、个人应用和军事领域都有着越来越重要的应用。而无人机定点降落是指无人机飞行在高空时，通过配备下视相机采集地面图像，通过人工在地面图像上选择一个降落目标点，无人机自动飞行到目标点上空并精确降落到设定的降落点。无人机定点降落可以应用到抢险救援、自动化物流对接、紧急情况下的无人机迫降等。
[0003]传统无人机只搭载相机识别落点参照物，而相机近距离视野窄，强光下过曝，无法接收夜光，因而存在应用场景单一、方法容易失效、夜间无法应用等问题。近几年，激光雷达逐渐发展小型化，成为众多功能无人机需携带的传感器。激光雷达以主动发射及接收激光术原理对三维环境进行感知，具有更大的空间覆盖能力，不受白天、黑夜、光线强度等自然因素影响，为无人机识别落点参照物提供了可靠的选择。
[0004]随机抽样一致算法(RANdom SAmple Consensus，RANSAC)在1981年由Fischler和Bolles首次提出,它采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。随机抽样一致算法是一个非确定性算法，在某种意义上说，它会产生一个在一定概率下合理的结果，而更多次的迭代会使这一概率增加，因此该算法常用于处理激光雷达点云，以形成估计平面。随机抽样性算法包括以下步骤：(1)在数据中随机选择几个点设定为内群；(2)计算拟合内群的模型；(3)把其它刚才没选到的点带入刚才建立的模型中，计算是否为内群；(4)记下内群数量；(5)重复以上步骤多做几次，比较哪次计算中内群数量最多，内群最多的那次所建的模型就是所要求的估计平面。
[0005]但目前无人机定点降落仍存在识别落点参照物不具有真实可见光色彩、点云密度低、测距范围短等技术问题。如Weimin Wang等人提出的反射强度辅助三维激光雷达和全景相机的印刷棋盘自动精确外部校准的无人机定点降落方法，该方法采用Velodyne激光雷达，但由于远距离点云密度过低，无法从中提取有效特征信息，所作实验的最远测距范围只有2.6米，限制了无人机的使用范围。为此，有必要研究能够提高落点参照物识别效果的无人机定点降落方法。
[0006]如中国专利CN113946157A，公开日2022年1月18日，一种基于多功能识别定位的定点降落无人机方法及系统。该方法通过无人机接收位于待降落平台上的控制端的自动返航指令，并根据GPS导航返回待降落平台上空的第一预设距离高度处悬停；通过双摄像头实时获取下方图像数据信息，并传输至控制端，控制端通过轮廓提取方法识别锁定待降落平台上的标靶，以引导无人机逐步降低，当无人机位于标靶中心上方第二预设距离高度时，自动
降落完成定点降落，实现了落点参照物识别精度较高、降落耗时短的无人机定点降落。但其技术方案并没有解决无人机定点降落易受环境因素影响、测距范围短的技术问题。

技术实现思路

[0007]本专利技术所要解决的技术问题：目前无人机在实现定点降落时，存在易受环境因素影响、测距范围短的技术问题。提出了一种基于激光雷达和相机数据融合的无人机定点降落方法，能够融合激光雷达与相机数据识别Aruco码角点，提高无人机定点降落的环境适应性，扩大测距范围。
[0008]解决上述技术问题，本专利技术采用如下技术方案：一种基于激光雷达和相机数据融合的无人机定点降落方法，用于采用livox激光雷达的无人机的降落，包括：
[0009]相机拍摄无人机下方图像，识别图像中的Aruco码，获得Aruco码的二维点坐标，根据二维点坐标建立XOY平面；
[0010]激光雷达扫描无人机下方，获得三维点云及反射强度数据，根据反射强度数据识别Aruco码，获得Aruco码的三维点云坐标；
[0011]计算出相机二维点坐标和激光雷达三维点云坐标之间的变换矩阵M，将三维点云投影到XOY平面；
[0012]根据投影后的三维点云，计算Aruco码的中心位置；
[0013]将中心位置作为坐标原点在XOY平面建立坐标系；
[0014]将投影后的三维点云数据映射到所述坐标系上；
[0015]识别Aruco码角点，计算无人机与Aruco码角点的相对位置，形成无人机移动数据；
[0016]重复上述步骤，直至无人机与Aruco码角点位置对齐，完成定点降落。
[0017]作为优选，根据反射强度数据识别Aruco码的方法包括：
[0018]R
L
为黑色图案反射强度的最大值，R
H
为白色图案反射强度的最小值；
[0019]定义一个中间区间[β1,β2]，β1＝((σ
‑
1)R
L
+R
H
)/σ,β2＝(R
L
+(σ
‑
1)R
H
)/σ,其中σ为预设常量值；
[0020]若三维点的反射强度小于β1，则将三维点纳入黑色图案区域，若三维点的反射强度大于β2，则将三维点纳入白色图案区域；
[0021]根据黑色图案区域和白色图案区域，识别出Aruco码。
[0022]作为优选，反射强度数据与Aruco码的图案颜色之间的成本函数为：
[0023][0024]其中，x
i
表示第i个三维点的反射强度，f1(x
i
)用于确定三维点反射强度是否在中间区间[β1,β2]的范围内，C表示Aruco码的正方形格子，表示三维点，用于确定正方形格子C是否包含了三维点用于确定正方形格子C是否包含了三维点V
i
表示第i个点对应的格子的四个顶点，c
i
表示根据反射强度x
i
估计的颜色值，
表示三维点对应的图案颜色，0表示黑色，1表示白色，f3用以确定三维点云映射错误的三维点位置，f3＝min(Δx1,Δx2)+min(Δy1,Δy2)。
[0025]作为优选，三维点云映射错误的三维点位置的确定方法为：
[0026]当点云错误落入白格时，通过f3＝min(Δx1,Δx2)+min(Δy1,Δy2)确定错误落入白格的点云位置，其中Δx1表示点云到V
i
确定的正方形格左边的距离，Δx2表示点云到V
i
确定的正方形格右边的距离，Δy1表示点云到V
i
确定的正方形格上边的距离，Δy2表示点云到V
i
确定的正方形格下边的距离；
[0027]当点云错误落入Aruco码外时，通过f3＝min(Δx1,Δx2)+min(Δy1,Δy2)确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光雷达和相机数据融合的无人机定点降落方法，用于采用livox激光雷达的无人机的降落，其特征在于，包括：相机拍摄无人机下方图像，识别图像中的Aruco码，获得Aruco码的二维点坐标，根据二维点坐标建立XOY平面；激光雷达扫描无人机下方，获得三维点云及反射强度数据，根据反射强度数据识别Aruco码，获得Aruco码的三维点云坐标；计算出相机二维点坐标和激光雷达三维点云坐标之间的变换矩阵M，将三维点云投影到XOY平面；根据投影后的三维点云，计算Aruco码的中心位置；将中心位置作为坐标原点在XOY平面建立坐标系；将投影后的三维点云数据映射到所述坐标系上；识别Aruco码角点，计算无人机与Aruco码角点的相对位置，形成无人机移动数据；重复上述步骤，直至无人机与Aruco码角点位置对齐，完成定点降落。2.根据权利要求1所述的一种基于激光雷达和相机数据融合的无人机定点降落方法,其特征在于，根据反射强度数据识别Aruco码的方法包括：R
L
为黑色图案反射强度的最大值，R
H
为白色图案反射强度的最小值；定义一个中间区间[β1,β2]，β1＝((σ
‑
1)R
L
+R
H
)/σ,β2＝(R
L
+(σ
‑
1)R
H
)/σ,其中σ为预设常量值；若三维点的反射强度小于β1，则将三维点纳入黑色图案区域，若三维点的反射强度大于β2，则将三维点纳入白色图案区域；根据黑色图案区域和白色图案区域，识别出Aruco码。3.根据权利要求1所述的一种基于激光雷达和相机数据融合的无人机定点降落方法,其特征在于，反射强度数据与Aruco码的图案颜色之间的成本函数为：其中，x
i
表示第i个三维点的反射强度，f1(x
i
)用于确定三维点反射强度是否在中间区间[β1,β2]的范围内，C表示Aruco码的正方形格子，表示三维点，用于确定正方形格子C是否包含了三维点用于确定正方形格子C是否包含了三维点V
i
表示第i个点对应的格子的四个顶点，c
i
表示根据反射强度x
i
估计的颜色值，估计的颜色值，表示三维点对应的图案颜色，0表示黑色，1表示白色，f3用以确定三维点云映射错误的三维点位置，f3＝min(Δx1,Δx2)+min(Δy1,Δy2)。4.根据权利要求3所述的一种基于激光雷达和相机数据融合的无人机定点降落方法,其特征在于，
三维点云映射错误的三维点位置的确定方法为：当点云错误落入白格时，通过f3＝min(Δx1,Δx2)+min(Δy1,Δy2...

【专利技术属性】
技术研发人员：李灵峰，孔令华，邹诚，
申请(专利权)人：福建工程学院，
类型：发明
国别省市：