【技术实现步骤摘要】
本专利技术属于刀闸状态识别的，涉及一种基于视觉检测与掩码图方向向量的刀闸状态识别方法。
技术介绍
1、接触网系统是维持轨道交通正常运行的重要组成部分，需要大量的维护工作，其检修维护的作业安全成为重点。系统中存在数量众多的刀闸作为设备通断控制器，系统中这些刀闸显示的分合状态与实际情况是否相符关乎整个线网系统的稳定性。传统对刀闸的分合变位确认依赖人工进入变电站高压区域查看刀闸位置，存在安全风险。为满足接触网系统智能运维的需求，研究一种可以快速准确的从单视图图像中识别刀闸分合状态的方法是必要的，可以减小人工巡检的任务量与风险，保证接触网安全有效的运行。
2、刀闸状态识别的技术难点在于：工程现场存在多种与刀闸颜色纹理相似的设备，难以区分；不同场景下刀闸与相机的相对位置不同，无法在图像中框定目标区域；室外存在线缆等设备，图像中刀闸可能被部分遮挡导致识别失败。传统的刀闸状态识别方法通过从图像中提取感兴趣的点，用局部描述符描述这些点，并与数据集匹配的方式判断刀闸状态，如【张金锋等，基于改进亮度序描述子的刀闸状态识别. 计算技术与自动化. 2018】。然而这类方法依赖人工标注特征，且对光照、背景、杂波敏感，不适用于工程现场。
3、得益于许多深度学习框架在目标检测和分割任务中取得了优异的性能，基于深度学习的刀闸状态识别方法不断发展，如【康乙武等，基于改进yolov4的变电站刀闸状态自动识别方法. 办公自动化.2023】。但这种方法会因为物体部分被遮挡导致识别率下降。此外，由于神经网络的输入是整张rgb图，局部特征信息在整体
技术实现思路
1、本专利技术的专利技术目的是：克服现有刀闸状态识别方法存在的不足之处，结合视觉检测yolo-v8与注意力特征增强技术，通过掩码图方向向量判断刀闸分合状态，提供基于改进yolo-v8与掩码图方向向量的刀闸状态识别方法，具有更高的状态识别精准度。
2、为了实现上述目的，本专利技术所采用的技术方案为：一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，旨在从单张rgb图像中判断刀闸分合状态，包括以下步骤：
3、步骤1：从视频监控系统采集刀闸视频流，逐帧分解为rgb图像并标注；
4、步骤2：运用数据增强方法扩展数据集；
5、步骤3：划分刀闸数据集；
6、步骤4：融合通道注意力机制改进yolo-v8网络；
7、步骤5：训练改进后的网络检测刀闸实例对象并生成覆盖刀闸的掩码图像；
8、步骤6：构建基于掩码图像的最小外接矩形；
9、步骤7：计算掩码图方向向量获得刀闸角度；
10、步骤8：判断刀闸分合状态。
11、进一步的，步骤1中的刀闸视频流来自视频监控系统中的网络监控摄像机，采集不同时段、位置、角度的摄像机视频流数据，逐帧拆解为rgb图像以获得不同光照、背景、分合状态的刀闸图像数据集，随后沿刀闸外围轮廓用不规则多边形框标注图像中的刀闸。
12、进一步的，步骤2中的数据增强方法，实现方式为：在原有数据集中通过添加随机噪声、调整环境亮度、随机旋转的方式对图像进行处理，并自动生成对应标注信息，得到扩充后的数据集，规模约为原数据集的3倍。
13、进一步的，步骤3中划分刀闸数据集指的是将扩充后的刀闸数据集按照20:1:2的比例划分为训练集、测试集和验证集。
14、进一步的，步骤4中融合通道注意力机制改进yolo-v8网络，实现方式为：保留yolo-v8网络主体架构，在主干网络darknet-53的降采样过程中添加注意力机制模块。网络输入为640×640像素的rgb图像，经过4次conv卷积层与residual block残差块的串行叠加提取图像中的特征。其中将每个残差块输出维度为w×h×d的张量f作为注意力模块的输入，随后进行平均池化操作，通道注意力模块通过执行卷积核大小为n＝5的一维卷积来生成维度为1×1×d的信道权重。得到的权重通过激活函数处理和维度还原后得到结果f′，并将其作为下一个卷积层的输入。
15、进一步的，步骤4中融合通道注意力机制改进yolo-v8网络，将降采样后得到的密集特征放入pafpn模块，自顶向下将高层的强语义特征传递下来，同时添加一个自底向上的金字塔，将低层的强定位特征传递上去，达到对整个网络金字塔增强的目的。最后使用decoupled-head解耦头结构将分类任务与回归任务分离，经卷积后分别得到分类损失与回归损失。分类损失使用改进交叉熵损失vfl loss：
16、
17、其中q为预测框与真实框的交并比，p为得分；若预测框与真实框相交，即q>0，则判定为正样本；若两个框无相交，则令q=0，为负样本。回归损失使用distribution focalloss+ ciou loss，三种损失通过比例加权得到整体损失。
18、进一步的，步骤5中训练改进后的网络检测刀闸实例对象并生成覆盖刀闸的掩码图像，实现方式为：使用步骤3中划分后的刀闸数据集在步骤4中的改进yolo-v8网络上训练，得到训练权重模型。该模型输入整张rgb图像，可以检测图像中所有的刀闸实例对象，同时生成覆盖刀闸的掩码图像。
19、进一步的，步骤6中构建基于掩码图像的最小外接矩形，实现方式为：使用canny边缘检测方法提取步骤5中刀闸掩码图像的边缘点集合，即刀闸轮廓点。围绕刀闸轮廓点构造最小外接矩形，得到该矩形的中心点、长宽和顶点坐标信息。
20、进一步的，步骤7中计算掩码图方向向量获得刀闸角度，实现方式为：以图像左上角为原点构建平面直角坐标系；以步骤6中最小外接矩形的左上方顶点为旋转点，以x轴正方向为轴开始顺时针旋转，旋转重合的第一条边记为width；计算width边的法向量，即为刀闸掩码图方向向量；将向量起点平移到坐标系原点，由此得到刀闸在图像平面中的角度。
21、进一步的，步骤8中判断刀闸分合状态，实现方式为：对比预设的刀闸分合状态角度阈值与步骤7中获得的刀闸角度，判断刀闸的实际分合状态，归类为分、合、动作中三种状态。
22、与现有技术相比，本专利技术具有以下优点和有益效果：
23、1．本专利技术改进了yolo-v8网络，主要包括在卷积神经网络(cnn)降采样过程中添加通道注意力模块。卷积神经网络(cnn)模型因其卷积核大小和特征池化等原因会导致目标检测工作中存在一定的局限性。本专利技术引入通道注意力模块，能更好地提取图像中细节特征，并使网络更加聚焦与刀闸目标特征，提升了目标检测的识别效率与准确性。
24、2．本专利技术使用先检测刀闸，再判断刀闸分合状态的方式，既提升了检测速度，也解决了现有方法中依赖相机处于固定角度的问题。本专利技术不受光照、阴影等因素干扰，同时可较好本文档来自技高网...
【技术保护点】
1.一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：所述步骤1中摄像机视频流数据由视频监控系统中的网络监控摄像机在不同时段、位置、角度采集，逐帧拆解为RGB图像，筛选掉一些重复损坏的图像形成刀闸数据集，随后沿刀闸外围轮廓用不规则多边形框标注图像中的刀闸。
3.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：所述步骤2中数据增强方法指在原有刀闸数据集中通过添加随机噪声、调整环境亮度和随机旋转的方式对图像进行数据增强处理，并自动生成对应标注信息，得到规模为1800张包含640×640像素的RGB图像与对应标注信息的刀闸数据集。
4.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：所述步骤3中划分刀闸数据集指的是将刀闸数据集按照20:1:2的比例划分为训练集、测试集和验证集，并导出为YOLO-v8格式数据。
5.根据权利要求1所述的一种基于视觉检测与
6.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：步骤4中融合通道注意力机制改进YOLO-v8网络，将降采样后得到的密集特征放入PAFPN模块，自顶向下将高层的强语义特征传递下来，同时添加一个自底向上的金字塔，将低层的强定位特征传递上去，达到对整个网络金字塔增强的目的；最后使用Decoupled-Head解耦头结构将分类任务与回归任务分离，经卷积后分别得到分类损失与回归损失。
7.根据权利要求6所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：所述分类损失使用改进交叉熵损失VFL Loss：
8.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：步骤6中围绕刀闸轮廓点构造最小外接矩形，得到该矩形的中心点、长宽和顶点坐标信息。
9.根据权利要求8所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：步骤7中计算掩码图方向向量获得刀闸角度，实现方式为：以图像左上角为原点构建平面直角坐标系；以步骤6中最小外接矩形的左上方顶点为旋转点，以x轴正方向为轴开始顺时针旋转，旋转重合的第一条边记为width；计算width边的法向量，即为刀闸掩码图方向向量；将向量起点平移到坐标系原点，由此得到刀闸在图像平面中的角度。
10.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：步骤8中判断刀闸分合状态，实现方式为：对比预设的刀闸分合状态角度阈值与步骤7中获得的刀闸角度，判断刀闸的实际分合状态，归类为分、合、动作中三种状态。
...【技术特征摘要】
1.一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：所述步骤1中摄像机视频流数据由视频监控系统中的网络监控摄像机在不同时段、位置、角度采集，逐帧拆解为rgb图像，筛选掉一些重复损坏的图像形成刀闸数据集，随后沿刀闸外围轮廓用不规则多边形框标注图像中的刀闸。
3.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：所述步骤2中数据增强方法指在原有刀闸数据集中通过添加随机噪声、调整环境亮度和随机旋转的方式对图像进行数据增强处理，并自动生成对应标注信息，得到规模为1800张包含640×640像素的rgb图像与对应标注信息的刀闸数据集。
4.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：所述步骤3中划分刀闸数据集指的是将刀闸数据集按照20:1:2的比例划分为训练集、测试集和验证集，并导出为yolo-v8格式数据。
5.根据权利要求1所述的一种基于视觉检测与掩码图方向向量的刀闸状态识别方法，其特征在于：所述步骤4中，网络输入为640×640像素的rgb图像，经过4次conv卷积层与residual block残差块的串行叠加提取图像中的特征，其中将每个残差块输出维度为w×h×d的张量f作为注意力模块的输入，随后进行平均池化操作，通道注意力模块通过执行卷积核大小为n＝5的一维卷积来生成维度为1×1×d的信道权重；
6.根据权利要求1所述...
【专利技术属性】
技术研发人员：张文睿，李佑文，丁桃胜，蔡一磊，俞铭，杨航，
申请(专利权)人：南京国电南自轨道交通工程有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。