适用于登杆机器人的图像识别系统技术方案

本申请实施例提出了适用于登杆机器人的图像识别系统，包括基础单元，用于对基于深度卷积网络的图像分类网络改造得到，实现提取输入图像的特征信息；颈部单元，用于扩大模型的感受野和对不同大小的特征图进行特征融合；头部单元，用于根据前述两个网络模块提取的最终特征进行分类和包围框的回归，并得到最终的预测结果。通过记录作业人员作业过程，实现针对工作人员安全违规行为，进行实时检测，并及时示警。示警。示警。

【技术实现步骤摘要】
适用于登杆机器人的图像识别系统


[0001]本申请涉及图像识别领域，尤其涉及适用于登杆机器人的图像识别系统。

技术介绍

[0002]随着机器人技术的不断进步，其在医疗器械、电力巡检、农业生产等行业 的应用也越来越广泛。登杆机器人是电力行业配网自动化过程中的重要角色， 其与移动机器人有所不同，登杆机器人需要攀爬物体表面才能完成移动动作。 登杆过程中通过拍摄视频图像对其进行识别与处理，进而做出判断指令。但在 此过程中，对所得图像进行的违规行为的综合检测、分类定位是极具挑战的一 个任务。目前国内外都有相关研究，但对于机器人与识别违规行为两个方面的 研究都是相对独立的，一方面，将其系统的整合起来，并且根据登杆机器人的 特点进行改进，仍需要进一步深入探究；另一方面，在实际工程中拍摄到的视 频或图像存在现场因素影响，并且攀登过程与作业过程中姿势不断的转变，故 需要采用不同的技术处理不同的应用场景，进而降低光线、角度、天气等因素 的影响，同时实时捕捉不同状态下人的姿势信息。因此需要结合登杆机器人的 登杆特征，制定合适的图像识别与处理方法。
[0003]传统人力登杆作业，作业地点离散，时间随机，难以对作业人员进行有效 的临场督导以确保作业流程的标准化和规范化。

技术实现思路

[0004]本申请实施例提出了适用于登杆机器人的图像识别系统，通过智能化视觉 终端记录作业人员作业过程，实现针对工作人员安全违规行为，进行实时检测， 并及时示警。
[0005]本申请实施例提出的适用于登杆机器人的图像识别系统，包括：
[0006]基础单元，用于对基于深度卷积网络的图像分类网络改造得到，实现提取 输入图像的特征信息；
[0007]颈部单元，用于扩大模型的感受野和对不同大小的特征图进行特征融合；
[0008]头部单元，用于根据前述两个网络模块提取的最终特征进行分类和包围框 的回归，并得到最终的预测结果。
[0009]可选的，所述基础单元包括：
[0010]采用跨阶段局部瓶颈BottleneckCSP模块作为基础单元的基础模块，
[0011]C1和C2分别表示该模块的输入特征图和最终输出特征图的通道数；r为通 道扩张系数，默认为0.5，以减少参数量；n为该模块中Bottleneck子模块的堆 叠次数；[kxk,C]代表C个kxk大小的卷积核，默认步长为1；代表逐元素 相加，“concat”代表两个特征图在通道维度的拼接操作；BN代表批归一化 操作；Hardswish和LeakyReLU是两种常见的激活函数，表达式如下所示；
[0012][0013]LeakyReLU(x)＝max(0,x)+α*min(0,x)；
[0014]其中，默认取0.1。
[0015]可选的，所述基础单元包括：
[0016]跨阶段局部瓶颈BottleneckCSP模块将输入分离成两个分支；
[0017]一个分支通过一个1x1卷积改变输出特征图的通道数，用于后续的特征拼 接，增加模型训练时梯度回传的路径；
[0018]另一个分支经n个Bottleneck子模块操作，通过拼接和CBM操作将两个分 支合并。
[0019]可选的，所述基础单元包括：
[0020]采用Focus下采样模块，通过等间隔采样操作得到宽高为输入特征图的1/2、 通道数为4C1的特征图，再经过1x1卷积、BN和Hardswish操作输出通道数为 C2的特征图。
[0021]可选的，所述颈部单元包括空间金字塔池化模块，具体用于：
[0022]通过1x1卷积降低通道维数，减少计算量；
[0023]通过3个不同大小的最大池化操作得到3个不同感受野的特征图，并和原 始输入的特征图拼接，在保留原始输入特征信息的基础上增强模型多尺度检测 的能力；
[0024]经过1x1卷积、BN和Hardswish操作，进一步组合不同感受野的特征，得 到融合了丰富感受野的特征图，并可根据需要输出通道数为C2的特征图。
[0025]可选的，所述头部单元包括：
[0026]沿用YOLOv3的稀疏预测方式构建基于YOLOv5的登杆工作人员检测模型 的整体网络结构；
[0027]通过多个level特征图的充分融合，得到用于最终预测的特征图。
[0028]可选的，所述图像识别系统还包括损失函数构建单元，具体由分类损失、 置信度损失和坐标回归损失三单元组成；
[0029]根据头部单元的稀疏预测方式，分类损失和置信度损失均采用二元交叉熵 损失，采用Sigmoid函数将预测结果限制在[0,1]之间实现多标签分类，具体公 式如下所示：
[0030]BCELoss(x)＝
‑
ω[p
·
ylogσ(x)+(1
‑
y)log(1
‑
σ(x)]；
[0031][0032]其中，ω代表尺度系数，一般默认取1.0；p代表正样本加权系数，可根据 实际训练需要进行微调，一般而言，p>1增加模型的召回率，p<1增加模型的 精确率；y代表是否为正负样本，y＝1代表正样本，y＝0代表负样本。
[0033]可选的，所述图像识别系统还包括训练优化单元，具体包括：
[0034]预训练子单元，其中分类损失和置信度损失中BCELoss的正样本加权系数 p都取1.0，λ
obj
、λ
cls
、λ
box
分别取0.05、0.5和1.0，网络的训练周期设置为 300次，采用随机梯度下降方式更新参数，采用预热方式调整学习率大小，初始 学习率设置为0.01，动量项设置为0.937；
[0035]微调阶段，将登杆人员检测模型的基础单元权重冻结，仅更新颈部单元和 头部单元的权重参数，加快模型训练，分类损失和置信度损失中BCELoss的正 样本加权系数p分别取0.631和0.911，λ
obj
、λ
cls
、λ
box
分别取0.0296、0.243 和0.301，网络的训练周期设置为100次，采用随机梯度下降方式更新参数和 warm up方式调整学习率大小，初始学习率设置为0.0032，动量项设置为0.843。
[0036]有益效果：
[0037]基于YOLOv5、HRNet、ResNet18和SE通道注意力机制深度神经网络模型 着重对登杆现场作业风险、违规行为进行训练。通过智能化视觉终端记录作业 人员作业过程，同时配合智能图像识别系统，针对工作人员安全违规行为，进 行实时检测，并及时示警。
附图说明
[0038]为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.适用于登杆机器人的图像识别系统，其特征在于，所述系统包括：基础单元，用于对基于深度卷积网络的图像分类网络改造得到，实现提取输入图像的特征信息；颈部单元，用于扩大模型的感受野和对不同大小的特征图进行特征融合；头部单元，用于根据前述两个网络模块提取的最终特征进行分类和包围框的回归，并得到最终的预测结果。2.根据权利要求1所述的适用于登杆机器人的图像识别系统，其特征在于，所述基础单元包括：采用跨阶段局部瓶颈BottleneckCSP模块作为基础单元的基础模块，C1和C2分别表示该模块的输入特征图和最终输出特征图的通道数；r为通道扩张系数，默认为0.5，以减少参数量；n为该模块中Bottleneck子模块的堆叠次数；[kxk,C]代表C个kxk大小的卷积核，默认步长为1；代表逐元素相加，代表两个特征图在通道维度的拼接操作；BN代表批归一化操作；Hardswish和LeakyReLU是两种常见的激活函数，表达式如下所示；LeakyReLU(x)＝max(0,x)+α*min(0,x)；其中，默认取0.1。3.根据权利要求1所述的适用于登杆机器人的图像识别系统，其特征在于，所述基础单元包括：跨阶段局部瓶颈BottleneckCSP模块将输入分离成两个分支；一个分支通过一个1x1卷积改变输出特征图的通道数，用于后续的特征拼接，增加模型训练时梯度回传的路径；另一个分支经n个Bottleneck子模块操作，通过拼接和CBM操作将两个分支合并。4.根据权利要求3所述的适用于登杆机器人的图像识别系统，其特征在于，所述基础单元包括：采用Focus下采样模块，通过等间隔采样操作得到宽高为输入特征图的1/2、通道数为4C1的特征图，再经过1x1卷积、BN和Hardswish操作输出通道数为C2的特征图。5.根据权利要求1所述的适用于登杆机器人的图像识别系统，其特征在于，所述颈部单元包括空间金字塔池化模块，具体用于：通过1x1卷积降低通道维数，减少计算量；通过3个不同大小的最大池化操作得到3个不同感受野的特征图，并和原始输入的特征图拼接，在保留原始输入特征信息的基础上增强模型多尺度检测的能力；经过1x1卷积、BN和Hardswish操作，进一步组合不同感受野的特征，得到融合了丰富感受野的特征图，并可根据需要输出通道数为C2的特征图。6....

【专利技术属性】
技术研发人员：龚向阳，张明达，陈高辉，杨跃平，万能，王思谨，
申请(专利权)人：国网浙江省电力有限公司双创中心，
类型：发明
国别省市：