一种基于双目视觉的无人机避障预警方法及装置制造方法及图纸

本发明专利技术公开了一种基于双目视觉的无人机避障预警方法及装置。该预警方法包括：先分割出障碍物外轮廓线，并投影变换到正规化成像平面，再选取正规化外轮廓线中像素横、纵坐标最小与最大的四点作为障碍物的四个特征点，最后确定无人机同障碍物之间的相对位置关系；计算出四个特征点原像在无人机的机身坐标系中的位置坐标；先确定航向角真值的取值范围，再确定安全距离，最后根计算出无人机的大概率碰撞区域；判断两条特征线段是否有点落在大概率碰撞区域内且计算圆心距数值，最后计算出预警概率；根据预警概率，对无人机进行预警。本发明专利技术可以降低无人机飞行过程中与障碍物碰撞的概率，可以借鉴应用到无人机自动巡航中，弥补了现有技术的空白。技术的空白。技术的空白。

【技术实现步骤摘要】
一种基于双目视觉的无人机避障预警方法及装置


[0001]本专利技术涉及视觉测距
的一种视觉测距方法，尤其涉及一种基于双目视觉的无人机避障预警方法，还涉及一种预警装置。

技术介绍

[0002]目前常见的无人机避障系统有距离传感与视觉传感两种方案。距离传感方案选择在前方或四个方向安装距离传感器，工作视角较小，对特殊表面、线杆型物体等不能很好预测与警示。未经简化的双目视觉方案计算耗费大，不宜用于实时性要求高的情形。无人机空间飞行轨迹等状态信息可结合GPS、气压计、陀螺仪、加速器等机载传感器获取，但不能解决周围物体的定位问题。基于卫星图像和轨迹预测的防碰撞预警系统则不能处理障碍物高度信息以及地面小型障碍物。

技术实现思路

[0003]为解决现有的无人机避障系统不能全面精确地对周围物体的定位的技术问题，本专利技术提供一种基于双目视觉的无人机避障预警方法及装置。
[0004]本专利技术采用以下技术方案实现：一种基于双目视觉的无人机避障预警方法，其包括以下步骤：
[0005]S1：先从无人机拍摄的视频图像中分割出同一障碍物的外轮廓线，并将所述外轮廓线投影变换到一个正规化成像平面，以获得正规化外轮廓线，再选取所述正规化外轮廓线中像素横、纵坐标最小与最大的四点作为所述障碍物的四个特征点，最后根据所述四个特征点，确定所述无人机同所述障碍物之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过所述障碍物的优先级；
[0006]S2：通过与视锥在左/右/上/下四个方向的切点作为所述障碍物的结构化表示，将所述四个特征点像点的一维信息代入一个双目视觉模型中，计算出所述四个特征点原像在所述无人机的机身坐标系中的位置坐标；
[0007]S3：先确定所述无人机的航向角真值的取值范围，再确定所述无人机的航行安全距离，最后根据所述航向角真值的取值范围以及所述航行安全距离，计算出所述无人机的大概率碰撞区域；
[0008]S4：根据所述四个特征点原像在所述机身坐标系中的位置坐标，判断由所述四个特征点构成的两条特征线段是否有点落在所述大概率碰撞区域内，且计算落在所述大概率碰撞区域内并距离所述大概率碰撞区域的圆心最近点的圆心距数值，最后根据所述圆心距数值计算出预警概率；以及
[0009]S5：根据所述预警概率，对所述无人机进行预警。
[0010]本专利技术通过简化的双目视觉模型计算移动摄像机所拍摄障碍物相对机身的位置，结合无人机大概率碰撞区域预测碰撞概率和躲避方向，对无人机安全飞行具有避障提示和精确预警功能，解决了无人机避障系统不能全面精确地对周围物体的定位的技术问题，得
到了可以防止无人机航行过程中，发生碰撞障碍物等现象，降低无人机的损毁概率的技术效果。
[0011]作为上述方案的进一步改进，所述步骤S5，先根据所述无人机的实际飞行数据，预设出一个低风险预警概率和一个高风险预警概率，再将所述预警概率分别与所述低风险预警概率、所述高风险预警概率比较，按照一个预设方案获得相应的预警等级。
[0012]作为上述方案的进一步改进，所述步骤S1，所述外轮廓线为通过前、背景分离从所述视频图像的第t帧图像中分割出t
‑
1帧中同一障碍物的外轮廓线，所述正规化成像平面为光轴与所述无人机前进方向平行且列方向与所述无人机旋翼转轴方向平行的成像平面。
[0013]作为上述方案的进一步改进，定义所述四个特征点分别为特征点l,r,u,d，机身坐标系的三维方向分别为X、Y、Z；所述特征点在t
‑
1时刻与t时刻分别在机载视频帧中成像，其像点像素坐标和无人机在t
‑
1时刻、t时刻的轨迹估计值；所述特征点原像在所述机身坐标系中的位置坐标的关系为：
[0014][0015][0016]其中，m，n选取x，y，z中的两项，p表示所述特征点；Δx
′
t
‑1,Δy
t
‑1′
,Δz
′
t
‑1是t
‑
1时刻到t时刻位移的机身坐标系的坐标表示，u
p1
,u
p2
为像素点相对成像面主点的位移，f为摄像机像面距。
[0017]作为上述方案的进一步改进，所述步骤S3中，Δθ
t
＝ξ(θ
t
‑
1测
‑
θ
t
‑1计)作为t时刻横摆航向角的估计极限误差值，作为俯仰航向角的估计极限误差值，ξ为误差系数。
[0018]作为上述方案的进一步改进，所述步骤S3中，定义所述车辆的最大制动减速度a
max
，v
t
为无人机速度；所述车辆的最小安全行驶距离L
min
的计算公式为：
[0019][0020]定义制动反应时间为T0，则反应距离L0：
[0021]L0＝v
t
T0[0022]所述行驶安全距离为：
[0023]L
s
＝η(L0+L
min
)
[0024]其中，L
s
为所述行驶安全距离，η为安全系数。
[0025]作为上述方案的进一步改进，使用t
‑
1时刻所述无人机的陀螺仪给出的直接观测值以及GPS、所述无人机气压计给出的按位移计算值的差值确定所述航向角真值的取值范围；其中，在机身坐标系中，在XZ平面上和YZ平面上分别定义以(0,0)为中心，以L
s
为半径，对称于Z
t
轴，角度范围为2Δθ
t
和的扇形为水平、竖直大概率碰撞区域。
[0026]作为上述方案的进一步改进，定义l,r,u,d点原像L,R,U,D在机身坐标系
‑
t中的位置L(x
L
,y
L
,z
L
),R(x
R
,y
R
,z
R
),U(x
U
,y
U
,z
U
),D(x
D
,y
D
,z
D
)；在所述步骤S4中，所述预警概率的计
算方法包括以下步骤：
[0027]如果所述大概率碰撞区域不与线段LR相交，则所述无人机的碰撞概率为0；
[0028]如果大概率碰撞区域与LR相交，则计算相交部分最靠近扇形圆心点N的圆心距Ro：
[0029][0030]所述预警概率为：
[0031][0032]P为所述预警概率。
[0033]作为上述方案的进一步改进，在所述步骤S5中，定义出一个低风险预警概率P0和一个高风险预警概率P1；
[0034]若P≤P0，则不进行碰撞提示，并提示正常飞行；
[0035]若P0＜P≤P1，则进行低等级风险碰撞提示，并提示谨慎飞行，建议避障飞行方向：系统按当前速度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉的无人机避障预警方法，其特征在于，其包括以下步骤：S1：先从无人机拍摄的视频图像中分割出同一障碍物的外轮廓线，并将所述外轮廓线投影变换到一个正规化成像平面，以获得正规化外轮廓线，再选取所述正规化外轮廓线中像素横、纵坐标最小与最大的四点作为所述障碍物的四个特征点，最后根据所述四个特征点，确定所述无人机同所述障碍物之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过所述障碍物的优先级；S2：通过与视锥在左/右/上/下四个方向的切点作为所述障碍物的结构化表示，将所述四个特征点像点的一维信息代入一个双目视觉模型中，计算出所述四个特征点原像在所述无人机的机身坐标系中的位置坐标；S3：先确定所述无人机的航向角真值的取值范围，再确定所述无人机的航行安全距离，最后根据所述航向角真值的取值范围以及所述航行安全距离，计算出所述无人机的大概率碰撞区域；S4：根据所述四个特征点原像在所述机身坐标系中的位置坐标，判断由所述四个特征点构成的两条特征线段是否有点落在所述大概率碰撞区域内，且计算落在所述大概率碰撞区域内并距离所述大概率碰撞区域的圆心最近点的圆心距数值，最后根据所述圆心距数值计算出预警概率；以及S5：根据所述预警概率，对所述无人机进行预警。2.如权利要求1所述的基于双目视觉的无人机避障预警方法，其特征在于，所述步骤S5，先根据所述无人机的实际飞行数据，预设出一个低风险预警概率和一个高风险预警概率，再将所述预警概率分别与所述低风险预警概率、所述高风险预警概率比较，按照一个预设方案获得相应的预警等级。3.如权利要求1所述的基于双目视觉的无人机避障预警方法，其特征在于，所述步骤S1，所述外轮廓线为通过前、背景分离从所述视频图像的第t帧图像中分割出t
‑
1帧中同一障碍物的外轮廓线，所述正规化成像平面为光轴与所述无人机前进方向平行且列方向与所述无人机旋翼转轴方向平行的成像平面。4.如权利要求3所述的基于双目视觉的无人机避障预警方法，其特征在于，定义所述四个特征点分别为特征点l，r，u，d，机身坐标系的三维方向分别为X、Y、Z；所述特征点在t
‑
1时刻与t时刻分别在机载视频帧中成像，其像点像素坐标和无人机在t
‑
1时刻、t时刻的轨迹估计值；所述特征点原像在所述机身坐标系中的位置坐标的关系为：计值；所述特征点原像在所述机身坐标系中的位置坐标的关系为：其中，m，n选取x，y，z中的两项，p表示所述特征点；Δx
′
t
‑1，Δy
t
‑1′
，Δz
′
t
‑1是t
‑
1时刻到t时刻位移的机身坐标系的坐标表示，u
p1
，u
p2
为像素点相对成像面主点的位移，f为摄像机像面距。5.如权利要求4所述的基于双目视觉的无人机避障预警方法，其特征在于，所述步骤S3中，Δθ
t
＝ξ(θ
t
‑
1测
‑
θ
t
‑
1计
)作为t时刻横摆航向角的估计极限误差值，
作为俯仰航向角的估计极限误差值，ξ为误差系数。6.如权利要求5所述的基于双目视觉的无人机避障预警方法，其特征在于，所述步骤S3中，定义所述车辆的最大制动减速度a
max
，v
t
为无人机速度；所述车辆的最小安全行驶距离L
min
的计算公式为：定义制动反应时间为T0，则反应距离L0：L0＝v
t
T0所述行驶安全距离为：L
...

【专利技术属性】
技术研发人员：周丽华，吴帆，方素平，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：