基于5G网络的无人机视觉着陆方法及系统技术方案

本发明专利技术公开了一种基于5G网络的无人机视觉着陆方法及系统，该方法的步骤为：地面端系统发送着陆控制信号到无人机；无人机通过高清摄像头采集图像，通过无人机端5G网络通信模块传输到地面端系统，视觉导航模块进行图像识别，对采集的图像进行图像灰度化处理和图像边缘检测，检测到着陆信标时，视觉导航模块计算无人机与着陆信标相对位置；无人机主控模块调整无人机位置，直到高清摄像头光心与着陆信标中心重合；无人机着陆过程中采用超声波测距模块测量与着陆信标的垂直距离，下降至无人机与着陆信标距离小于设定值时，无人机停止运转，完成着陆。本发明专利技术完成无人机精准降落，基于5G网络进行信号传输，实现对无人机超高清实时视频传输。

Visual Landing Method and System of UAV Based on 5G Network

【技术实现步骤摘要】
基于5G网络的无人机视觉着陆方法及系统
本专利技术涉及无人机视觉导航
，具体涉及一种基于5G网络的无人机视觉着陆方法及系统。
技术介绍
随着无人机产业迅猛发展，无人机的应用涉及多个行业，而对无人机的操控也有多种方式，最常见的就是人工遥控器操控与地面站操控，这两种操控方式在控制无人机进行降落时都存在一定的缺陷，人工操控降落时有可能因为操作不当使无人机损坏；地面站操控降落时往往会因为定位存在误差使无人机无法完成精准降落。另外一方面，现有的无人机视觉着陆方法多是采用Wifi进行图像传输，有时会因信号原因造成图像传输延时，传输距离也受到很大的限制。
技术实现思路
为了克服现有技术存在的缺点与不足，本专利技术提供一种基于5G网络的无人机视觉着陆方法及系统，以解决人工操控降落时出现操控失误、传统无人机利用GPS系统进行导航存在定位不精确导致降落位置不准确的问题，本专利技术通过视觉算法与超声波传感器相互配合，完成无人机精准降落，基于5G网络进行信号传输，实现对无人机超高清实时视频传输。为了达到上述目的，本专利技术采用以下技术方案：本专利技术提供一种基于5G网络的无人机视觉着陆方法，包括下述步骤：S1：地面端系统发送着陆控制信号到无人机；S2：无人机通过高清摄像头采集图像，通过无人机端5G网络通信模块传输到地面端系统，视觉导航模块进行图像识别，对采集的图像进行图像灰度化处理和图像边缘检测，得到图像中的着陆信标；S3：检测到着陆信标时，视觉导航模块计算无人机与着陆信标相对位置；S4：无人机主控模块调整无人机位置，直到高清摄像头光心与着陆信标中心重合；S5：无人机着陆过程中采用超声波测距模块测量与着陆信标的垂直距离，下降至无人机与着陆信标距离小于设定值时，无人机停止运转，完成着陆。作为优选的技术方案，步骤S2中所述对采集的图像进行图像灰度化处理和图像边缘检测，所述图像灰度化处理采用加权平均法对图像进行灰度化处理，将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像；所述图像边缘检测采用Canny算法对灰度化处理后的图像进行边缘检测，包括对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向、对梯度幅值进行非极大值抑制、阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘。作为优选的技术方案，所述将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像，灰度图像具体的计算公式为：f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j)，其中，R(i,j)、G(i,j)、B(i,j)分别表示图像RGB三个分量。作为优选的技术方案，所述对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向，具体步骤为：所述对图像进行平滑滤波采用一维高斯函数对图像按行和列进行平滑滤波去噪，其中一维高斯滤波函数为：其中，一维高斯函数中的σ为标准差；所述计算图像梯度幅值、图像梯度方向，Canny算法通过求偏导得到图像梯度幅值和方向，采用2×2像素点内一阶偏导的有限差分，平滑滤波后图像(x,y)的一阶偏导如下式所示：其中，Px(x,y)为x的偏导数阵列，Py(x,y)为y的偏导数阵列，f(x,y)、f(x,y+1)、f(x+1,y)、f(x+1,y+1)为图像各点像素的灰度值，图像梯度幅值的计算公式为：去噪后的图像梯度方向的计算公式为：作为优选的技术方案，所述对梯度幅值进行非极大值抑制，具体步骤为：在3×3像素点内，中心像素点与相邻的两个像素点进行幅值比较，若中心像素点大于相邻像素点，则中心像素点是边缘点，若中心像素点小于相邻像素点，则中心像素点不是边缘点。作为优选的技术方案，所述阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘，具体步骤为：设定阈值上、下界，如果点(x,y)的梯度幅值小于阈值下界，则点(x,y)不是边缘点；如果点(x,y)的梯度幅值大于阈值上界，则点(x,y)是边缘点；如果点(x,y)的梯度幅值介于阈值上、下界之间，则寻找点(x,y)附近是否存在另一点大于阈值上界，如果有，则大于阈值上界的点是边缘点，否则不是边缘点，连接真实的边缘点得到图像中的着陆信标。作为优选的技术方案，步骤S3所述的视觉导航模块计算无人机与着陆信标相对位置，具体步骤为：S31：设定着陆信标坐标系、摄像头坐标系OcXcYcZc、载体坐标系、图像平面坐标系OfXfYf和图像像素坐标系Ocuv，所述着陆信标坐标系的原点为着陆信标的中心，所述摄像头坐标系OcXcYcZc的原点为高清摄像头的光心，所述载体坐标系的原点为无人机的质心，将摄像头坐标系与载体坐标系设置为相等的坐标系；S32：每个像素坐标(u，v)为以像素为单位的图像像素坐标系坐标，图像像素坐标系与图像平面坐标系的数学对应公式如下：其中，(x，y)为像素点在图像平面坐标系的坐标值，u0、v0为图像平面坐标系原点在图像像素坐标系中的坐标，dx、dy为单位像素在x轴与y轴的物理长度；S33：设定摄像头标定矩阵K：空间点P(XcYcZc)被映射到图像平面上的点p(Xf,Xf)，根据相似三角形定理，采用矩阵表达式表示为：其中，f为摄像头焦距，结合图像平面坐标系与图像像素坐标系的转换关系，可得：其中，ax、ay表示摄像头焦距在x,y轴方向上的单位长度；S34：计算无人机与着陆信标相对位置：设定摄像头坐标系与载体坐标系重合，摄像头坐标系与着陆信标坐标系的平移关系为无人机与着陆信标的相对位置信息，通过旋转矩阵S和平移矩阵T进行坐标变换，如下式：其中，T＝[TxTyh]，为图像的像素点在摄像头坐标系的坐标，为图像的像素点在着陆信标坐标系的坐标，λ＝Zc为图像的像素点在摄像头坐标系上的Z轴坐标；旋转矩阵S由四元数求得，q＝(θxyz)T为单位向量(xyz)旋转角度后得到的四元数，四元数求解旋转矩阵S的公式如下：平移矩阵T的求解步骤为：取着陆信标中心坐标为(0，0，0)，旋转矩阵S和平移矩阵T坐标变换的公式变换为：求解后得其中，f/d表示摄像头焦距长度，Q1、Q2表示着陆信标上的两个特征点，q1、q2表示两个特征点在图像坐标系下的映射点；求解平移矩阵T得到无人机降落的着陆信标位置，然后对检测到着陆信标特征圆的图像进行Harris角点检测，通过Harris角点检测获取图像平面的像素坐标，着陆信标坐标系的原点位于摄像头坐标系的三维坐标着陆信标在载体坐标系中的坐标作为优选的技术方案，步骤S34中所述Harris角点检测，具体步骤为：S341：建立图像灰度矩阵其中，Iy分别为图像像素点灰度值在x方向与y方向的梯度；S342：采用高斯函数进行平滑滤波，滤波后的图像矩阵M′为：S343：定义角点响应函数：CRF＝det(M′)/trace(M′)；其中，det(M′)为矩阵M′的行列式，trace(M′)为矩阵M′的迹；S344：设定阈值，当图像中像素点的CRF为局部极大值点且大于阈值，标记为角点。本专利技术还提供一种基于5G网络的无人机视觉着陆系统，包括：无人机端系统和地面端系统；所述无人机端系统包括：主控模块、高清摄像头、无人机端5G网络通信模块和超声波测距模块，所述高清摄像头、无人机端5G网络通信模块和超声波测距模块均与主控模块连接；所述主控模块用于接收地面端系统的控制信号，控制无人机运行状态，所述高清摄像头本文档来自技高网...

【技术保护点】
1.一种基于5G网络的无人机视觉着陆方法，其特征在于，包括下述步骤：S1：地面端系统发送着陆控制信号到无人机；S2：无人机通过高清摄像头采集图像，通过无人机端5G网络通信模块传输到地面端系统，视觉导航模块进行图像识别，对采集的图像进行图像灰度化处理和图像边缘检测，得到图像中的着陆信标；S3：检测到着陆信标时，视觉导航模块计算无人机与着陆信标相对位置；S4：无人机主控模块调整无人机位置，直到高清摄像头光心与着陆信标中心重合；S5：无人机着陆过程中采用超声波测距模块测量与着陆信标的垂直距离，下降至无人机与着陆信标距离小于设定值时，无人机停止运转，完成着陆。

【技术特征摘要】
1.一种基于5G网络的无人机视觉着陆方法，其特征在于，包括下述步骤：S1：地面端系统发送着陆控制信号到无人机；S2：无人机通过高清摄像头采集图像，通过无人机端5G网络通信模块传输到地面端系统，视觉导航模块进行图像识别，对采集的图像进行图像灰度化处理和图像边缘检测，得到图像中的着陆信标；S3：检测到着陆信标时，视觉导航模块计算无人机与着陆信标相对位置；S4：无人机主控模块调整无人机位置，直到高清摄像头光心与着陆信标中心重合；S5：无人机着陆过程中采用超声波测距模块测量与着陆信标的垂直距离，下降至无人机与着陆信标距离小于设定值时，无人机停止运转，完成着陆。2.根据权利要求1所述的基于5G网络的无人机视觉着陆方法，其特征在于，步骤S2中所述对采集的图像进行图像灰度化处理和图像边缘检测，所述图像灰度化处理采用加权平均法对图像进行灰度化处理，将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像；所述图像边缘检测采用Canny算法对灰度化处理后的图像进行边缘检测，包括对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向、对梯度幅值进行非极大值抑制、阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘。3.根据权利要求2所述的基于5G网络的无人机视觉着陆方法，其特征在于，所述将图像RGB三个分量采用不同的权值进行加权平均，生成灰度图像，灰度图像具体的计算公式为：f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)，其中，R(i，j)、G(i，j)、B(i，j)分别表示图像RGB三个分量。4.根据权利要求2所述的基于5G网络的无人机视觉着陆方法，其特征在于，所述对图像进行平滑滤波、计算图像梯度幅值、图像梯度方向，具体步骤为：所述对图像进行平滑滤波采用一维高斯函数对图像按行和列进行平滑滤波去噪，其中一维高斯滤波函数为：其中，一维高斯函数中的σ为标准差；所述计算图像梯度幅值、图像梯度方向，Canny算法通过求偏导得到图像梯度幅值和方向，采用2×2像素点内一阶偏导的有限差分，平滑滤波后图像(x，y)的一阶偏导如下式所示：其中，Px(x，y)为x的偏导数阵列，Py(x，y)为y的偏导数阵列，f(x，y)、f(x，y+1)、f(x+1，y)、f(x+1，y+1)为图像各点像素的灰度值，图像梯度幅值的计算公式为：去噪后的图像梯度方向的计算公式为：5.根据权利要求2所述的基于5G网络的无人机视觉着陆方法，其特征在于，所述对梯度幅值进行非极大值抑制，具体步骤为：在3×3像素点内，中心像素点与相邻的两个像素点进行幅值比较，若中心像素点大于相邻像素点，则中心像素点是边缘点，若中心像素点小于相邻像素点，则中心像素点不是边缘点。6.根据权利要求2所述的基于5G网络的无人机视觉着陆方法，其特征在于，所述阈值化和边缘连接，设定高低阈值去除假的边缘和连接真的边缘，具体步骤为：设定阈值上、下界，如果点(x，y)的梯度幅值小于阈值下界，则点(x，y)不是边缘点；如果点(x，y)的梯度幅值大于阈值上界，则点(x，y)是边缘点；如果点(x，y)的梯度幅值介于阈值上、下界之间，则寻找点(x，y)附近是否存在另一点大于阈值上界，如果有，则大于阈值上界的点是边缘点，否则不是边缘点，连接真实的边缘点得到图像中的着陆信标。7.根据权利要求1所述的基于5G网络的无人机视觉着陆方法，其特征在于，步骤S3所述的视觉导航模块计算无人机与着陆信标相对位置，具体步骤为：S31：设定着陆信标坐标系、摄像头坐标系OcXcYcZc、载体坐标系、图像平面坐标系OfXfYf和图像像素坐标系Ocu...

【专利技术属性】
技术研发人员：李伟华，雷英佳，杨皓然，张敏，佘佳俊，梁祖懿，张泽恒，谭铭濠，
申请(专利权)人：暨南大学，
类型：发明
国别省市：广东,44