一种基于深度学习的机器人装甲板检测方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及一种基于深度学习的机器人装甲板检测方法，包括采集机器人装甲板图片；增加一条与网络浅层特征层相连的路径，增加一个对小目标预测尺度，并添加SPP模块，融合XNOR

【技术实现步骤摘要】
一种基于深度学习的机器人装甲板检测方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于深度学习的机器人装甲板检测方法。

技术介绍

[0002]近年来，机器人技术发展迅速，尤其随着人工智能技术的发展，机器人视觉感知技术也成为一个研究热点，其在许多领域具有广泛的应用前景。机器人大赛RoboMaster机甲大师是全球性的射击对抗类机器人比赛，作为全球性的机器人竞技平台，视觉算法在比赛里重要性不言而喻。为了赢得比赛，需要检测出机器人的装甲板。成功检测到装甲板后会将其坐标传给己方控制端，控制端会对云台进行控制，自动发射小球打到装甲板上，能否正确地识别装甲板是赢得比赛的关键。
[0003]在RoboMaster比赛中，选手往往使用颜色分离，提取轮廓，匹配轮廓的方式来识别装甲板并进行打击，但往往会花费大量时间在现场调整参数，并且极易受到光照和环境条件的影响使得装甲板误识别率增高。
[0004]对于机器人等嵌入式设备，其用于深度学习的空间与计算能力是远远不够的。因此，如何提高目标检测算法在实际比赛复杂场景下多尺度目标的检测精度以及如何将目标检测技术与机器人等嵌入式设备结合起来成为一大难题。因此对于基于卷积神经网络的目标检测，研究一种能够在保证检测精度的同时，提升检测速度的方法具有非常重要的意义。

技术实现思路

[0005]针对现有算法的不足，本专利技术能够在实际比赛的复杂场景下准确快速的检测到机器人装甲板，并且针对比赛的实际需求，可以搭载在嵌入式平台上进行实时检测。
[0006]本专利技术所采用的技术方案是：一种基于深度学习的机器人装甲板检测方法包括以下步骤：
[0007]S1、获取数据集；
[0008]采集不同比赛场景下的机器人装甲板图片，构建机器人装甲板数据集，对数据集进行预处理；
[0009]进一步的，包括如下步骤：
[0010]S11、采集不同比赛场景下的机器人装甲板图片，图片包括红色机器人装甲板，蓝色机器人装甲板和被比赛环境干扰的红蓝装甲板；
[0011]S12、将采集的数据集样本进行分类，按比例分为训练集和测试集；
[0012]S13、采集的数据集分辨率过大，增加计算负担，因此对数据集进行crop操作；
[0013]机器人装甲板识别场景需要第一视角的图片，经过crop操作后就获得类似于第一视角图像，方便后续图像检测；
[0014]S14、使用YOLO
‑
MARK工具对机器人红蓝装甲板图片进行标注，生成与图片对应的标签数据，标签包括机器人装甲板的坐标位置和种类，种类包括红装甲板和蓝装甲板；
[0015]S2、构建机器人装甲板检测网络；
[0016]在yolov4
‑
tiny网络中增加一条与网络浅层特征层相连的路径，增加一个对小目标检测能力强的输出预测尺度，并在网络模型骨干网络后的颈部添加SPP模块，并在yolov4
‑
tiny网络中融合XNOR
‑
Net，构建适用于机器人装甲板实时检测的改进yolov4
‑
tiny网络；
[0017]进一步的，构建机器人装甲板检测网络，包括：
[0018]S21、针对yolov4
‑
tiny网络，增加了一条与网络浅层特征层相连的路径，增加了一个对小目标检测能力强的输出预测尺度，在原有网络结构上通过上采样方式融合网络浅层与深层特征；增强对小目标的检测效果；
[0019]S22引入SPP模块，通过不同尺寸的内核得到了全局特征和局部特征，在网络模型中融合不同尺度感受野，丰富了特征信息。以很少的计算量为代价，获得更高的检测准确度；
[0020]S23、在yolov4
‑
tiny网络中融合XNOR
‑
Net，使用XNOR和bitcount代替传统卷积中的乘积运算，同时对权重和输入进行二值化操作，达到既减少网络存储空间，又加速网络的目的；
[0021]卷积操作使用卷积核点乘输入的某个区域得到最后的值，假设输入为X，卷积核为W，缩放因子α，β，二值激活H，二值权重B：
[0022]对激活输入进行量化：X≈βH
[0023]对权重进行量化：W≈αB
[0024]则得到：
[0025]X
T
W≈βH
T
αB
[0026]另外：
[0027]H,B∈{+1,
‑
1}
n
andβ,α∈R
+
[0028]因此得出如下优化公式：
[0029]α
*
,B
*
,β
*
,H
*
＝argmin
α,B,β,H
‖X
⊙
W
‑
βαH
⊙
B‖
[0030]通过优化公式计算出的输入和权值都为二值化最优值的解；
[0031]S3、对改进yolov4
‑
tiny网络设置网络参数；
[0032]进一步的，包括如下步骤：
[0033]S31、利用K
‑
means++算法针对机器人装甲板目标数据集重新聚类，得到更精确、更具代表性的锚框；
[0034]进一步的，包括如下步骤：
[0035]S311、从数据集中随机选取一个样本点作为初始聚类中心C1；
[0036]S312、首先计算每个样本与当前已有聚类中心之间的最短距离(即最近的聚类中心的距离)，用D(x)表示；接着计算每个样本点被选为下一个聚类中心的概率最后，按照轮盘法选择出下一个聚类中心；
[0037]S313、重复S311、S322直至选择出K个聚类中心；
[0038]S32、采用CIOU替代IOU作为回归优化损失函数；
[0039]进一步的，包括如下步骤：
[0040]与传统的损失函数交并比相比，CIOU可以避免预测框与真实框不相交而导致的损失函数IOU的值为0以及IOU无法精确反映预测框与真实框重合度大小的问题；采用CIOU度量目标框和预测框的距离与重合程度，协调目标与锚框之间的距离，重叠率、尺度以及惩罚项，使目标框回归变得更加稳定，不会像IOU和全面交并比GIOU一样出现训练过程中发散等问题，并将预测框长和宽的比值作为惩罚项，使预测框的效果更加稳定；
[0041]S33、设置网络输入图像的像素、batch size、mini
‑
batch、权值的衰减速率、初始学习率和迭代次数；
[0042]S4、搭建训练平台，将数据集放入改进yolov4
‑
tiny网络进行迭代训练；
[0043]S5、将训练好的网络迁移至机器人嵌入式平台Jetson TX2上进行装甲板检测测试；
[0044]进一步的，包括：
[0045]S51、NVIDIA Je本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的机器人装甲板检测方法，其特征在于，包括以下步骤：S1、采集不同比赛场景下的机器人装甲板图片，构建机器人装甲板数据集，对数据集进行预处理；S2、在yolov4
‑
tiny网络中增加一条与网络浅层特征层相连的路径，增加一个对小目标检测能力强的输出预测尺度，并在网络模型骨干网络后的颈部添加SPP模块，并在yolov4
‑
tiny网络中融合XNOR
‑
Net，构建改进yolov4
‑
tiny网络；S3、对改进yolov4
‑
tiny网络设置参数；S4、搭建训练平台，将数据集放入改进yolov4
‑
tiny网络进行迭代训练；S5、将训练好的改进yolov4
‑
tiny网络迁移至机器人嵌入式平台Jetson TX2上进行装甲板检测测试；S6、机器人通过改进yolov4
‑
tiny网络接收目标装甲板信息，利用PID控制方法控制云台瞄准目标装甲板并发射子弹击打目标。2.根据权利要求1所述的基于深度学习的机器人装甲板检测方法，其特征在于，所述步骤S1包括：S11、采集不同比赛场景下的机器人装甲板图片，包括红色机器人装甲板，蓝色机器人装甲板和被比赛环境干扰的红蓝装甲板；S12、将采集的数据集样本进行分类，按比例分为训练集和测试集；S13、对数据集进行crop操作；S14、使用YOLO
‑
MARK工具对机器人红蓝装甲板图片进行标注，生成与图片对应的标签数据。3.根据权利要求1所述的基于深度学习的机器人装甲板检测方法，其特征在于，所述步骤S2包括：S21、将yolov4
‑
tiny增加了一条与网络浅层特征层相连的路径，增加了一个对小目标检测能力强的输出预测尺度，在原有网络结构上通过上采样方式融合网络浅层与深层特征；S22、引入SPP模块，通过不同尺寸的内核得到了全局特征和局部特征，在网络模型中融合不同尺度感受野，丰富了特征信息；S23、在yolov4
‑
tiny网络中融合XNOR
‑
Net，使用XNOR和bitcount代替传统卷积中的乘积运算，同时对权重和输入进行二值化操作；卷积操作使用卷积核点乘输入的某个区域，假设输入为X，卷积核为W，缩放因子α，β，二值激活H，二值权重B：对...

【专利技术属性】
技术研发人员：储开斌，许嘉诚，张继，冯成涛，
申请(专利权)人：常州大学，
类型：发明
国别省市：