利用单目摄像头实现无人机动态避障方法、装置及无人机制造方法及图纸

本发明专利技术提供一种利用单目摄像头实现无人机动态避障方法、装置及无人机，其中方法包括：通过毫米波雷达模块测量动态障碍物与无人机之间的距离；由单目视觉模块采集视频，获得动态障碍物在像素坐标系下的坐标信息；得到动态障碍物相对于无人机的位置信息；得到动态障碍物相对于无人机的速度；得出动态障碍物自身的速度；推算出动态障碍物的运动轨迹；将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞；根据是否发生碰撞的判断结果，选择是否调整飞行路径。本发明专利技术可达到无人机在复杂环境中对动态障碍物自动规避，实现无人机飞行过程安全监控，降低硬件成本，提高无人机的飞行安全性。人机的飞行安全性。人机的飞行安全性。

【技术实现步骤摘要】
利用单目摄像头实现无人机动态避障方法、装置及无人机


[0001]本专利技术涉及无人机
，特别涉及电力巡检中利用单目摄像头实现无人机动态避障方法、装置及无人机。

技术介绍

[0002]随着国家电力方面的发展，我国的电力线路越来越长，这对传统的人工巡检有着很大的挑战。伴随着无人机的异军突起，凭借其体积小、易部署和经济效益高等优势，在电力巡检中广泛应用，其中能自主飞行的电力巡检无人机成为了当下发展的新潮流。无人机在低空区域飞行时，存在着多种不确定因素，如鸟类、其他无人机等运动目标威胁。减少无人机撞上动态障碍物而引发炸机事故的关键，就是通过采集飞行数据和视频，让无人机具备自主避开飞行航迹中的动态障碍物的能力。因此，实现自主避障成为了电力巡检无人机自主安全飞行的一个重要条件。
[0003]目前，传统无人机普遍使用具有障碍物检测功能的传感器用于避障，其类型主要有超声波、雷达、激光、红外线等。伴随着深度学习的迅速发展，计算机视觉已经部署在各种应用场景，其中利用目标检测技术可以大幅提高感知能力。
[0004]中国专利申请公开号为CN113110562A，专利技术名称为“一种基于多个广角摄像头的无人机避障装置及其避障方法”，通过位于机身不同位置的广角摄像头获得场景中静态障碍物与自身的位置信息并进行避障。中国专利申请公开号为CN113419555A，专利技术名称为“一种基于单目视觉的无人机低功耗自主避障方法及系统”，提出一个低功耗自主避障算法,先设计一个轻量化的卷积神经网络用于从单目图像中预测障碍物距离,并设计控制算法将距离转化为无人机控制指令用来控制无人机的避障飞行。上述两种公开的技术，均是通过单目视觉测量障碍物深度进行避障，但只是针对静态障碍物进行设计的，但由于环境的复杂多变性，静态的避障寻路已经不能满足时刻变化的复杂环境。
[0005]中国专利申请公开号为CN110209184A，专利技术名称为“一种基于双目视觉系统的无人机避障方法”，通过双目视觉系统获得图像信息后得到深度图信息，与预先设定的阈值距离作比较后发出不同指令，无人机在准确的时机完成避障。中国专利申请公开号为CN113485450A，专利技术名称为“一种基于计算机视觉的无人机避障系统”，利用双目摄像头和毫米波雷达实现对动态障碍物的探测并自动规避。这两种现有技术的方案是利用双目视差信息得到环境深度信息,从而生成环境三维地图实现避障效果。但双目避障技术有效探测视野狭窄,双摄像头需要搭配处理双目视频数据的芯片,导致成本较高。

技术实现思路

[0006]本专利技术公开一种利用单目摄像头实现无人机动态避障方法、装置及无人机，可以解决现有技术中针对静态障碍物进行设计，不能满足时刻变化的复杂环境的问题，还可以解决双目避障技术有效探测视野狭窄，成本较高的问题。
[0007]本专利技术的目的是通过以下技术方案实现的：
[0008]第一方面，本专利技术提供一种利用单目摄像头实现无人机动态避障方法，包括以下步骤：
[0009]通过毫米波雷达模块检测到动态障碍物，并测量动态障碍物与无人机之间的距离；
[0010]由单目视觉模块采集视频，并通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；
[0011]根据动态障碍物在像素坐标系下的坐标信息和相对于无人机的距离得到动态障碍物相对于无人机的位置信息；
[0012]利用动态障碍物相对于无人机位置信息随时间的变化规律，得到动态障碍物相对于无人机的速度；
[0013]根据无人机自身的速度和动态障碍物相对于无人机的速度，得出动态障碍物自身的速度；
[0014]根据动态障碍物自身的速度和相对于无人机的位置信息，推算出动态障碍物的运动轨迹；
[0015]将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞；
[0016]根据是否发生碰撞的判断结果，选择是否调整飞行路径。
[0017]进一步的，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息的具体过程包括：
[0018]将广角摄像头拍摄的畸变视频进行畸变矫正，得到无畸变的视频数据；
[0019]对视频数据中的图像进行高斯滤波，改善明暗对比；
[0020]运用Canny边缘检测算法，获得图像中动态障碍物的边缘信息；
[0021]采用K
‑
means聚类算法对边缘信息做聚类识别，进而得到动态障碍物在像素坐标系下的坐标信息。
[0022]进一步的，得到动态障碍物相对于无人机的位置信息的具体过程包括：
[0023]在成像坐标系O
w
‑
XYZ中，已知毫米波雷达的坐标为H(X0,Y0,Z0)，单目视觉模块的摄像头光心坐标为C(0，0，L0)，毫米波雷达与动态障碍物的距离为D，设动态障碍物点P的坐标为(X
P
，Y
P
，Z
P
)；在像素坐标系o
‑
xy下，已知动态障碍物的像点P`的坐标为(u，v)，设一个像素点的尺寸为d0，则动态障碍物的像点P`在成像坐标系O
w
‑
XYZ中的坐标为(x`,y`,0)，其中O
w
是位于成像平面最中心的点，x`和y`的值为下式：
[0024][0025]其中，M和N分别表示成像平面的高和宽；
[0026]计算动态障碍物点P在成像坐标系O
w
‑
XYZ中的坐标(X
P
,Y
P
,Z
P
)，即动态障碍物点P相对于无人机的位置信息，计算公式如下：
[0027][0028]进一步的，得到动态障碍物相对于无人机的速度包括：
[0029]取T秒前动态障碍物相对于无人机的位置信息为坐标(X
T
,Y
T
,Z
T
)，当前时刻动态障碍物相对于无人机的位置信息为坐标(X
D
,Y
D
,Z
D
)；
[0030]根据当前时刻和T时刻的动态障碍物相对于无人机位置信息，可得T秒内动态障碍物相对于无人机的平均移动速度的大小为：
[0031]方向为
[0032]取当前时刻动态障碍物相对于无人机的速度为当前时刻前T秒内动态障碍物相对于无人机的平均移动速度。
[0033]进一步的，判断是否发生碰撞的过程如下：
[0034]分别获取动态障碍物和无人机的运动轨迹；
[0035]判断动态障碍物与无人机在同一时间点的相对距离是否小于限值N米，如果判断结果为是，则根据动态障碍物和无人机的运动速度和方位，预测其碰撞点；如果判断结果为否，则在X秒后再次判断是否发生碰撞。
[0036]进一步的，如果判断结果为无人机和动态障碍物将会发生碰撞，则通过栅格法局部调整无人机的飞行路径，避开预测的碰撞点。
[0037]第二方面，本专利技术提供一种利用单目摄像头实现无人机动态避障装置，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.利用单目摄像头实现无人机动态避障方法，其特征在于，包括以下步骤：通过毫米波雷达模块检测到动态障碍物，并测量动态障碍物与无人机之间的距离；由单目视觉模块采集视频，并通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息；根据动态障碍物在像素坐标系下的坐标信息和相对于无人机的距离得到动态障碍物相对于无人机的位置信息；利用动态障碍物相对于无人机位置信息随时间的变化规律，得到动态障碍物相对于无人机的速度；根据无人机自身的速度和动态障碍物相对于无人机的速度，得出动态障碍物自身的速度；根据动态障碍物自身的速度和相对于无人机的位置信息，推算出动态障碍物的运动轨迹；将动态障碍物的运动轨迹同无人机自身的运动轨迹对比，判断是否发生碰撞；根据是否发生碰撞的判断结果，选择是否调整飞行路径。2.根据权利要求1所述的利用单目摄像头实现无人机动态避障方法，其特征在于，通过图像处理的方法获得动态障碍物在像素坐标系下的坐标信息的具体过程包括：将广角摄像头拍摄的畸变视频进行畸变矫正，得到无畸变的视频数据；对视频数据中的图像进行高斯滤波，改善明暗对比；运用Canny边缘检测算法，获得图像中动态障碍物的边缘信息；采用K
‑
means聚类算法对边缘信息做聚类识别，进而得到动态障碍物在像素坐标系下的坐标信息。3.根据权利要求1所述的利用单目摄像头实现无人机动态避障方法，其特征在于，得到动态障碍物相对于无人机的位置信息的具体过程包括：在成像坐标系O
w
‑
XYZ中，已知毫米波雷达的坐标为H(X0,Y0,Z0)，单目视觉模块的摄像头光心坐标为C(0，0，L0)，毫米波雷达与动态障碍物的距离为D，设动态障碍物点P的坐标为(X
P
，Y
P
，Z
P
)；在像素坐标系o
‑
xy下，已知动态障碍物的像点P`的坐标为(u，v)，设一个像素点的尺寸为d0，则动态障碍物的像点P`在成像坐标系O
w
‑
XYZ中的坐标为(x`,y`,0)，其中O
w
是位于成像平面最中心的点，x`和y`的值为下式：其中，M和N分别表示成像平面的高和宽；计算动态障碍物点P在成像坐标系O
w
‑
XYZ中的坐标(X
P
,Y
P
,Z
P
)，即动态障碍物点P相对于无人机的位置信息，计算公式如下：4.根据权利要求1所述的利用单目摄像头实现无人机动态避障方法，其特征在于，得到
动态障碍物相对于无人机的速度包括：取T秒前动态障碍物相对于无人机的位置信息为坐标(X
T
,Y
T
...

【专利技术属性】
技术研发人员：卓少伟，陈海林，韦涛，杨钦，李维康，朱开放，李权，沈东升，陈一鸣，廖伟宁，
申请(专利权)人：广西电网有限责任公司崇左供电局，
类型：发明
国别省市：