本发明专利技术公开一种基于改进ssd目标检测网络的无人机规避算法，1，制作障碍物的双目视角图像数据集；2，根据标定数据集建立目标检测模型；3，构建ssd目标检测网络，并使用数据集对网络参数进行训练；4，将测试集中的，每一对障碍物图片传入到训练好的ssd检测网络，输出神经网络预测的类别标签和位置标签；5，利用不同视角检测到障碍物的位置进行双目测距得到障碍物距离；6，将障碍物分类和距离反馈到无人机驾驶系统控制其自动避让。本发明专利技术结合了ssd目标检测算法和双目测距图像算法，使得结合后的检测结果既有效的得出了障碍物的种类，同时精确的计算出了障碍物在世界坐标位置中与无人机的矢量距离。
An unmanned aerial vehicle avoidance algorithm based on improved SSD target detection network
【技术实现步骤摘要】
一种基于改进ssd目标检测网络的无人机规避算法
：本专利技术涉及无人机规避领域，具体为一种基于改进ssd目标检测网络的无人机规避算法。
技术介绍
：随着科学技术的快速发展,无人机在军民领域都得到了广泛的应用,但是空域飞行活动量的增加接踵而至,事故机率也随之增大。这不仅会造成经济损失,甚至在飞行任务中产生严重影响。要保证无人机在执行各种任务时能够安全可靠,就离不开导航规避系统的协助。2015年大疆推出了Guidance感知避障系统，作为行业领先者，大疆的感知避障系统为复合型多方向避障，同时支持5个方向的规避，第二年推出的Matrice100便搭在了本系统，但是该系统规避方向并不全面，规避算法较为机械，从整体的市场应用效果来看，感知避让系统的研究尚未完善，作为安全保障的感知避让功能并不可靠，实现场景较为严苛，市场需求并为得到提供。由于传感器探测范围和精度有限，目前还不能实现真正意义上的全方位避障，存在盲区，且避障性能对环境要求过高，关于飞行环境的要求很多，即应用场景不够丰富，如何利用现有技术水平获取足够的场景属性从而对无人机工作规避障碍物提供有效的引导成为我国无人机规模化应用的重中之重。
技术实现思路
：本专利技术的目的是针对现有技术的缺陷，提供一种基于改进ssd目标检测网络的无人机规避算法，以解决上述
技术介绍
提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于改进ssd目标检测网络的无人机规避算法，包括：(1)：制作训练集和测试集，设定目标检测模型和双目测距对应的测试集：从VOC、COCO、SOGOU等数据集中抽取出障碍物相关的数据集作为目标检测数据集，其中5721张图片作为为训练集，取出500张图片作为测试集；从真实场景中固定两台摄像机的相对距离，拍摄成对障碍物图片200张，并测定障碍物与摄像机连线的矢量距离作为图片标签，将图片对和矢量距离标签对应制作为双目测距对应的测试集；(2)：根据标定数据集建立目标检测模型：(2a)：将每个图片中可能包含障碍物作为检测目标，记为{vj}；将每个障碍物的预测框坐标记为[xi,yi]；(2b)：在生成预测框阶段，目标检测模型先将所有经过卷积得到的预测偏移信息和与之对应的先验框进行解码，计算出预测框，解码公式为：xi＝(tx×wa)+xayi＝(ty×ha)+ya式中，[xa,ya]代表先验框坐标，[wa,ha]代表先验框的宽高，tx、ty为预测偏移信息；(2c)：预测框分类阶段，对每个预测框的置信度和不同障碍物类别的置信度对比，得出最高的置信度所述分类作为本预测框类别；(2d)：将剩下的预测框进行NMS处理；(3)：构建并训练ssd目标检测模型，具体步骤为：(3a)：在原来ssd前置网络VGG-16中，将conv3_ci，conv5_ci，conv9_ci，conv11_ci，conv12_ci作为预测特征层；(3b)：用空洞卷积操作对conv3_ci，conv5_ci进行下采样操作，生成特征图3、5与conv9_ci的特征图9具有相同的特征图尺度；(3c)：利用反卷积操作对conv11_ci，conv12_ci上采样操作，生成特征图11、12与conv9_ci的特征图9具有相同的特征图尺度；(3d)：将步骤(3b)所述特征图3、5与步骤(3c)的特征图11、12和特征图9进行连接，并加入BN层(batchnormalizationlayer)进行归一化处理,在经过1x1卷积核进行降维生成最终featuremap；(3e)：利用步骤(1)生成目标检测数据集对ssd目标检测网络模型进行训练；(4)：将测试集中的，每一对障碍物图片传入到训练好的ssd检测网络，输出神经网络预测的类别标签和位置标签；(5)：利用不同视角检测到障碍物的位置进行双目测距得到障碍物距离，其中双目测距的计算步骤为：(5a)：世界坐标和摄像机坐标的转换，假设某点在世界坐标系中的坐标为[Xw,Yw,Zw]，则摄像机坐标系和世界坐标系的转换公式为：式中，[u,v,1]T为点在图像坐标系中的坐标；式中，[Xc,Yc,Zc,1]T为点在摄像机坐标系中的坐标，K为摄像机内参数矩阵；(5b)：由两个相机的呈像像面坐标计算真实世界坐标：式中，[X,Y,Z]为目标像素点的世界真实坐标位置；式中，通过联立方程可求解[X,Y,Z]；(6)：将障碍物分类和矢量距离反馈到无人机驾驶系统控制其自动避让。作为本专利技术的一种优选技术方案，所述步骤(1)的障碍物的种类主要包括：高楼、鸟类、供电线路、信号天线、氢气球和其他无人机；每一种分类下的标注数据集数目保持一致。作为本专利技术的一种优选技术方案，所述步骤(2)中障碍物的置信度计算公式为：其中(A,B)分别表示目标检测中的预测框和先验框。作为本专利技术的一种优选技术方案，所述步骤(4)中的每一对测试图片的类别标签和位置标签一一对应，并且将每一个障碍物分别进行所述步骤(5)的距离计算，从而得到每一个障碍物与无人机的矢量距离。作为本专利技术的一种优选技术方案，所述步骤(5)中的某点代表障碍物检测的预测框四个拐点。作为本专利技术的一种优选技术方案，所述步骤(6)中的障碍物分类代表测试图片每一个障碍物所属分类。作为本专利技术的一种优选技术方案，所述步骤(6)中的矢量距离代表测试图片每一个障碍物的预测框四个拐点的矢量距离中距离无人机最近的那个矢量距离，矢量距离包括无人机、障碍物与世界坐标轴所构成夹角和距离。本专利技术的有益效果：本专利技术结合了ssd目标检测算法和双目测距图像算法，使得结合后的检测结果既有效的得出了障碍物的种类，同时精确的计算出了障碍物在世界坐标位置中与无人机的矢量距离。非常适用于场景多变的无人机自动飞行作业。针对无人机规避障碍物问题，本专利技术所提出基于改进ssd目标检测网络的无人机规避算法，首先通过目标检测判断出障碍物目标在多视角图像中的不同位置，并通过选中框上下边距和相互之间欧式距离进行双目测距计算，以此来估计障碍物目标到无人机之间的距离和方向矢量，最后通过反馈算法引导无人机进行避障。本专利技术提出基于改进ssd目标检测网络的无人机规避算法，感知设备只涉及双目摄像头，设备成本较低，相对于传统的主动式传感器避障方法,所占用无人机的体积大幅减小。通过仿真实验可以看出，该算法无论从准确性和有效性都对传统算法有明显的提高。附图说明：图1是本专利技术实施例提供的基于改进ssd目标检测网络的无人机规避算法的流程示意图；图2是本专利技术步骤(3)的改进网络结构图；图3是本专利技术步骤(5)的双目测距原理图。具体实施方式：下面结合附图对本专利技术的较佳实施例进行详细阐述，以使本专利技术的优点和特征能更易被本领域人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。请参阅图1-3，本专利技术提供一种技术方案：一种基于改进ssd目标检测网络的无人机规避算法：包括：(1)：制作训练集和测试集，设定目标检测模型和双目测距对应的测试集：从VOC、COCO、SOGOU数据集中抽取出障碍物相关的数据集作为目标检测数据集，其中5721张图片作为为训练集，取出500张图片作为测试集；从真实场景中固定两台摄像机的相对距离，拍摄成对障碍物图片200张，并测定障碍物与摄像机连线的矢量距离作为图片标签，将图片对和矢量距离标签对应制作为双目测距对应的测试集；(本文档来自技高网...
【技术保护点】
1.一种基于改进ssd目标检测网络的无人机规避算法，其特征在于，包括：(1)：制作训练集和测试集，设定目标检测模型和双目测距对应的测试集：从VOC、COCO、SOGOU数据集中抽取出障碍物相关的数据集作为目标检测数据集，其中5721张图片作为为训练集，取出500张图片作为测试集；从真实场景中固定两台摄像机的相对距离，拍摄成对障碍物图片200张，并测定障碍物与摄像机连线的矢量距离作为图片标签，将图片对和矢量距离标签对应制作为双目测距对应的测试集；(2)：根据标定数据集建立目标检测模型：(2a)：将每个图片中可能包含障碍物作为检测目标，记为{vj}；将每个障碍物的预测框坐标记为[xi,yi]；(2b)：在生成预测框阶段，目标检测模型先将所有经过卷积得到的预测偏移信息和与之对应的先验框进行解码，计算出预测框，解码公式为：xi＝(tx×wa)+xayi＝(ty×ha)+ya式中，[xa,ya]代表先验框坐标，[wa,ha]代表先验框的宽高，tx、ty为预测偏移信息；(2c)：预测框分类阶段，对每个预测框的置信度和不同障碍物类别的置信度对比，得出最高的置信度所述分类作为本预测框类别；(2d)：将剩下的预测框进行NMS处理；(3)：构建并训练ssd目标检测模型，具体步骤为：(3a)：在原来ssd前置网络VGG‑16中，将conv3_ci，conv5_ci，conv9_ci，conv11_ci，conv12_ci作为预测特征层；(3b)：用空洞卷积操作对conv3_ci，conv5_ci进行下采样操作，生成特征图3、5与conv9_ci的特征图9具有相同的特征图尺度；(3c)：利用反卷积操作对conv11_ci，conv12_ci上采样操作，生成特征图11、12与conv9_ci的特征图9具有相同的特征图尺度；(3d)：将步骤(3b)所述特征图3、5与步骤(3c)的特征图11、12和特征图9进行连接，并加入BN层(batch normalization layer)进行归一化处理,在经过1x1卷积核进行降维生成最终feature map；(3e)：利用步骤(1)生成目标检测数据集对ssd目标检测网络模型进行训练；(4)：将测试集中的，每一对障碍物图片传入到训练好的ssd检测网络，输出神经网络预测的类别标签和位置标签；(5)：利用不同视角检测到障碍物的位置进行双目测距得到障碍物距离，其中双目测距的计算步骤为：(5a)：世界坐标和摄像机坐标的转换，假设某点在世界坐标系中的坐标为[Xw,Yw,Zw]，则摄像机坐标系和世界坐标系的转换公式为：...
【技术特征摘要】
1.一种基于改进ssd目标检测网络的无人机规避算法，其特征在于，包括：(1)：制作训练集和测试集，设定目标检测模型和双目测距对应的测试集：从VOC、COCO、SOGOU数据集中抽取出障碍物相关的数据集作为目标检测数据集，其中5721张图片作为为训练集，取出500张图片作为测试集；从真实场景中固定两台摄像机的相对距离，拍摄成对障碍物图片200张，并测定障碍物与摄像机连线的矢量距离作为图片标签，将图片对和矢量距离标签对应制作为双目测距对应的测试集；(2)：根据标定数据集建立目标检测模型：(2a)：将每个图片中可能包含障碍物作为检测目标，记为{vj}；将每个障碍物的预测框坐标记为[xi,yi]；(2b)：在生成预测框阶段，目标检测模型先将所有经过卷积得到的预测偏移信息和与之对应的先验框进行解码，计算出预测框，解码公式为：xi＝(tx×wa)+xayi＝(ty×ha)+ya式中，[xa,ya]代表先验框坐标，[wa,ha]代表先验框的宽高，tx、ty为预测偏移信息；(2c)：预测框分类阶段，对每个预测框的置信度和不同障碍物类别的置信度对比，得出最高的置信度所述分类作为本预测框类别；(2d)：将剩下的预测框进行NMS处理；(3)：构建并训练ssd目标检测模型，具体步骤为：(3a)：在原来ssd前置网络VGG-16中，将conv3_ci，conv5_ci，conv9_ci，conv11_ci，conv12_ci作为预测特征层；(3b)：用空洞卷积操作对conv3_ci，conv5_ci进行下采样操作，生成特征图3、5与conv9_ci的特征图9具有相同的特征图尺度；(3c)：利用反卷积操作对conv11_ci，conv12_ci上采样操作，生成特征图11、12与conv9_ci的特征图9具有相同的特征图尺度；(3d)：将步骤(3b)所述特征图3、5与步骤(3c)的特征图11、12和特征图9进行连接，并加入BN层(batchnormalizationlayer)进行归一化处理,在经过1x1卷积核进行降维生成最终featuremap；(3e)：利用步骤(1)生成目标检测数据集对ssd目标检测网络模型进行训练；...
【专利技术属性】
技术研发人员：周封，谭晓东，卢松恒，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。