一种基于通道注意力机制的双目立体匹配检测方法及装置制造方法及图纸

本发明专利技术提出了一种基于通道注意力机制的双目立体匹配检测方法及装置，该方法依托已有的电力文本数据和通过作业人员携带的双目摄像机拍摄的带电作业的变电站图像视频，对变电站图像视频并进行图像预处理；根据电力文本数据、变电站图像视频数据构建变电站电力知识图谱；构建基于注意力机制的实时双目立体匹配模型对变电站电力知识图谱中的带电图像视频进行双目立体匹配，最后根据双目测距流程计算得到深度距离实现近电安全距离检测。本发明专利技术通过融合注意力机制进行特征提取和双目立体匹配，最后根据双目测距流程计算得到深度距离实现近电安全距离检测。近电安全距离检测。近电安全距离检测。

【技术实现步骤摘要】
一种基于通道注意力机制的双目立体匹配检测方法及装置


[0001]本专利技术涉及人工智能
，具体涉及一种基于通道注意力机制的双目立体匹配检测方法及装置。

技术介绍

[0002]随着计算机视觉双目立体匹配技术的发展，该技术逐步应用于国网电力业务中，实现细粒度近电安全距离的检测。由于触电事故时有发生，而“防触电”是防止人身安全事件最为典范和常见的安全管控要求之一，为提高电网安全风险防范能力，作业人员临近各电压等级设备时，由于周围设备处于带电状态，为保证作业人员的人身安全，需根据人员以及所持有的工具、材料等所处的环境计算安全距离红线范围。目前，判断带电设备距离的方式主要有两种，第一种是利用高压电场与传感器之间的电场耦合原理，第二种是利用超声波测距仪，直接对带电设备进行测距。但以上两种方法具有局限性，当前的变电站场景元素复杂，对带电设备和作业人员的实时信息要求较高。
[0003]针对变电业务场景数据类型复杂、数据量繁多和传统数据库方案难以适用的问题，研究基于多模共享融合的多模态数据知识图谱构建技术；基于构建的电力知识图谱，针对变电站人力巡检效率低、智能化手段差的弊端，研究基于通道注意力机制的多阶段双目立体匹配检测技术。依托变电站电力影像多模态数据库，并进行预处理获取高质量的带电作业双目图像视频监控，通过融合注意力机制进行特征提取和双目立体匹配，获取多尺度的图像视频特征，提高多阶段不同尺度物体的匹配准确度，最后只需根据双目测距流程计算得到深度距离实现近电安全距离检测。

技术实现思路

[0004]为了解决上述现有技术中的不足，本专利技术的目的在于提供一种基于通道注意力机制的双目立体匹配方法及装置，研究基于多模态的电力影像数据库技术，获取带电作业双目视频监控并进行预处理，构建电力影像知识图谱，通过融合注意力机制进行双目立体匹配。最后根据双目测距流程计算得到深度距离实现近电安全距离检测。
[0005]本专利技术公开了一种基于通道注意力机制的双目立体匹配检测方法，包括如下步骤：
[0006]步骤S1，依托已有的电力文本数据和通过作业人员携带的双目摄像机拍摄的带电作业的变电站图像视频，对变电站图像视频并进行图像预处理；
[0007]步骤S2，根据电力文本数据、变电站图像视频数据构建变电站电力知识图谱；
[0008]步骤S3，构建基于注意力机制的实时双目立体匹配模型，基于变电站电力知识图谱，利用注意力机制对变电站电力知识图谱中的带电图像视频进行双目立体匹配；基于注意力机制的实时双目立体匹配模型包括注意模块和视差优化模块；
[0009]所述注意模块依托变电站电力知识图谱中的视频图像数据集，利用通道注意力和空间注意力模块增强图像的特征，并使用残差模块提取图像帧的特征，输出是降采样图像
中每个像素处的特征向量，得到特征图；
[0010]视差优化模块利用得到的注意力特征图，继续使用二维卷积块进行计算，减少训练时的网络参数，使得基于注意力机制的实时双目立体匹配模型更轻量化，选择使用逐步放大视差图三步采样的方式，首先输入两张特征图，进行卷积操作，再通过残差块得到的预测结果与粗粒度视差预测相结合，最终得到高分辨率特征视差图，增加感受野，获得多尺度图像的上下文信息，提高基于注意力机制的实时双目立体匹配模型推理速度，满足实时性要求，同时获取高质量视差图；
[0011]步骤S4，近电安全距离检测：基于得到的高质量视差图，恢复出变电站作业人员的三维几何信息，利用三角测量计算图像中作业人员与变电设备的深度信息，形成三维点云，最终实现作业人员与变电设备的距离计算。
[0012]进一步地，所述图像预处理包括图像矫正、图像去噪、智能图像视频分析。
[0013]进一步地，所述图像矫正：将电力视频监控分解为多帧图像帧，针对边缘比较明显的图像帧，使用基于轮廓提取的矫正算法；针对边缘不明显，但是排列整齐的图像帧，使用基于霍夫直线探测的矫正算法。
[0014]进一步地，所述图像去噪：针对变电站图像视频中图像帧不清晰且有噪声问题，利用高斯滤波的方法处理。
[0015]进一步地，所述智能图像视频分析：根据已分解的多帧图像帧，对前景和背景像素级别进行建模，使用RGB像素的概率密度分布，当前景对象不出现变化时，通过连续的N帧进行建模生成背景模型，进而提取画面中处于运动状态的作业人员图像；同时基于已获得的前景作业人员图像，利用基于形状特征和基于色彩特征的模式识别技术识别特定物体，若检测作业人员距离电力设备超过设定的阈值，则进行违章行为的预警。
[0016]进一步地，构建变电站电力知识图谱如下：
[0017]S21.首先对变电站的作业人员信息、作业现场安全要求、变电设备运行参数等文本信息进行知识抽取操作，并实现电力跨模态数据的链接；
[0018]根据输入的电力文本数据、变电站图像视频数据进行自然语言处理，分词，词性标注，句法分析，选用基于学习的方式，利用序列标注后的电力文本数据采用长短期记忆网络算法进行实体关系的自动化抽取，并利用k
‑
means聚类算法将同一含义的实体进行合并实现实体消歧，最终以三元组形式保存数据；
[0019]对变电站图像视频数据进行标签化，将实体与关系型数据库中的变电站图像视频数据中相对应的通过关系数据库中的编号和名称链接，实现不同模态下的知识融合，形成电力知识库；
[0020]S22.专家对已经完成知识融合的电力知识库进行审查，按照专家审查意见进行修改完善；
[0021]S23根据完善后的变电站电力知识库，基于Neo4j图数据库可视化电力知识库，形成完整的变电站电力知识图谱。
[0022]进一步优选，所述注意模块首先对输入特征图的空间维度进行压缩，经过最大池化和平均池化操作，再进行图像帧的下采样，使用2个3
×
3的卷积核，保持通道数32，获得局部通道注意力交叉通道相关性，经过此通道注意力获得通道注意力特征图F1，注意力特征图F1与特征图相乘得到第一融合特征图，空间注意力则在第一融合特征图的基础上沿着通
道轴应用最大池化和平均池化操作，再将得到的特征输入进行卷积操作，最后利用激活函数得到空间注意力特征图F2，然后将空间注意力特征图F2与第一融合特征图相乘得到最终的注意力特征图。
[0023]本专利技术还提供了一种基于通道注意力机制的双目立体匹配检测装置，包括用于图像视频采集的双目摄像机，图像预处理模块、变电站电力知识图谱模块、双目立体匹配模块，近电安全距离计算模块和告警模块；
[0024]所述变电站电力知识图谱模块根据电力文本数据、变电站图像视频数据构建变电站电力知识图谱；
[0025]双目立体匹配模块内置基于注意力机制的实时双目立体匹配模型，双目立体匹配模块利用注意力机制对变电站电力知识图谱中的带电图像视频进行双目立体匹配；
[0026]所述近电安全距离计算模块基于得到的高质量视差图，恢复出变电站作业人员的三维几何信息，利用三角测量计算图像中作业人员与变电设备的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道注意力机制的双目立体匹配检测方法，其特征是，包括如下步骤：步骤S1，依托已有的电力文本数据和通过作业人员携带的双目摄像机拍摄的带电作业的变电站图像视频，对变电站图像视频并进行图像预处理；步骤S2，根据电力文本数据、变电站图像视频数据构建变电站电力知识图谱；步骤S3，构建基于注意力机制的实时双目立体匹配模型，基于变电站电力知识图谱，利用注意力机制对变电站电力知识图谱中的带电图像视频进行双目立体匹配；基于注意力机制的实时双目立体匹配模型包括注意模块和视差优化模块；所述注意模块依托变电站电力知识图谱中的视频图像数据集，利用通道注意力和空间注意力模块增强图像的特征，并使用残差模块提取图像帧的特征，输出是降采样图像中每个像素处的特征向量，得到特征图；视差优化模块利用得到的注意力特征图，继续使用二维卷积块进行计算，减少训练时的网络参数，使得基于注意力机制的实时双目立体匹配模型更轻量化，选择使用逐步放大视差图三步采样的方式，首先输入两张特征图，进行卷积操作，再通过残差块得到的预测结果与粗粒度视差预测相结合，最终得到高分辨率特征视差图，增加感受野，获得多尺度图像的上下文信息，提高基于注意力机制的实时双目立体匹配模型推理速度，满足实时性要求，同时获取高质量视差图；步骤S4，近电安全距离检测：基于得到的高质量视差图，恢复出变电站作业人员的三维几何信息，利用三角测量计算图像中作业人员与变电设备的深度信息，形成三维点云，最终实现作业人员与变电设备的距离计算。2.根据权利要求1所述的一种基于通道注意力机制的双目立体匹配检测方法，其特征是，所述图像预处理包括图像矫正、图像去噪、智能图像视频分析。3.根据权利要求2所述的一种基于通道注意力机制的双目立体匹配检测方法，其特征是，所述图像矫正：将电力视频监控分解为多帧图像帧，针对边缘比较明显的图像帧，使用基于轮廓提取的矫正算法；针对边缘不明显，但是排列整齐的图像帧，使用基于霍夫直线探测的矫正算法。4.根据权利要求2所述的一种基于通道注意力机制的双目立体匹配检测方法，其特征是，所述图像去噪：针对变电站图像视频中图像帧不清晰且有噪声问题，利用高斯滤波的方法处理。5.根据权利要求2所述的一种基于通道注意力机制的双目立体匹配检测方法，其特征是，所述智能图像视频分析：根据已分解的多帧图像帧，对前景和背景像素级别进行建模，使用RGB像素的概率密度分布，当前景对象不出现变化时，通过连续的N帧进行建模生成背景模型，进而提取画面中处于运动状态的作业人员图像；同时基于已获得的前景作业人员图像，利用基于形状特征和基于色彩特征的模式识别技术识别特定物体，若检测作业人员距离电力设备超过设定的阈值，则进行违章行为的预警。6.根据权利要求1...

【专利技术属性】
技术研发人员：徐波，华栋，刘嘉，林谋，
申请(专利权)人：国家电网有限公司广东珺桦能源科技有限公司，
类型：发明
国别省市：