基于数字孪生的变电站目标检测方法、系统、设备及介质技术方案

一种基于数字孪生的变电站目标检测方法、系统、设备及介质，方法包括采集变电站图像数据并构建训练数据集、验证数据集和测试数据集；利用训练数据集对预先建立的目标检测网络模型进行训练，目标检测网络模型基于MobileNetv2、YOLOv5和Openpose模型集成得到；利用验证数据集对训练后的目标检测网络模型进行验证，保存性能指标最优的目标检测网络模型；将测试数据集输入性能指标最优的目标检测网络模型，输出变电站目标识别结果。本发明专利技术可以准确识别变电站数字孪生系统的基本环境参数(即环境、设备和操作员)的实时状态，具有较好的准确性、鲁棒性和实时性，在变电站实际场景中实现物理设备与其虚拟表示之间的动态同步。步。步。

【技术实现步骤摘要】
基于数字孪生的变电站目标检测方法、系统、设备及介质


[0001]本专利技术属于智能变电站
，具体涉及一种基于数字孪生的变电站目标检测方法、系统、设备及介质。

技术介绍

[0002]在数字信息化的时代背景下，推进变电站数字孪生体系建设，使变电站运行、管理和服务由实入虚，并通过在虚拟空间的建模、仿真、演绎和操控，以虚控实，加强了变电站自我感知、自我决策和自我进化能力，推动了变电站数字化和智能化转型，是建设能源互联网企业的必然阶段和必要途径。
[0003]目前变电站的日常运维管理中存在大量的现场作业需求，人员调度较为频繁，因此，为保障生产安全，在构建变电站数字孪生模型时，需要将实际环境、设备和操作者共同视为数字模型的重要元素。变电站具有场地宽阔、环境复杂和设备众多等特点，同时操作者的行为具有高度的自主性和不确定性。受光照条件、拍摄距离和角度等因素的影响，在目标像素过小，特征信息稀疏的情况下，现有算法难以满足准确快速识别目标的需求。因此，智能变电站数字孪生体系建设需要一种大规模复杂场景下的高精度、高速度、高鲁棒性的多类型小目标检测算法来应对上述特点。

技术实现思路

[0004]本专利技术的目的在于针对上述现有技术中的问题，提供一种基于数字孪生的变电站目标检测方法、系统、设备及介质，能够在场地宽阔且设备众多的变电站实际场景中完成静态物体的检测以及操作者的人体姿态识别，具有较好的准确性、鲁棒性和实时性。
[0005]为了实现上述目的，本专利技术有如下的技术方案：
[0006]第一方面，提供一种基于数字孪生的变电站目标检测方法，包括：
[0007]采集变电站图像数据，并输入至目标检测网络模型，所述目标检测网络模型基于MobileNetv2、YOLOv5和Openpose模型集成得到；
[0008]由目标检测网络模型输出变电站目标识别结果。
[0009]优选的，通过采集到的变电站图像数据构建训练数据集、验证数据集和测试数据集；
[0010]利用所述训练数据集对预先建立的目标检测网络模型进行训练；
[0011]利用所述验证数据集对训练后的目标检测网络模型进行验证，保存性能指标最优的目标检测网络模型；
[0012]将所述测试数据集输入性能指标最优的目标检测网络模型，输出变电站目标识别结果；
[0013]所述变电站图像数据通过摄像设备对变电站环境进行多方位、多角度、多场景的拍摄，将图像大小调整为320
×
320，并完成数据标注。
[0014]优选的，所述目标检测网络模型中包括特征提取模块、特征融合模块、目标检测模
块和姿势识别模块；
[0015]特征提取模块使用MobileNetv2模型的深度可分离卷积网络，通过代替YOLOv5模型中的CSPDarknet53进行特征提取；特征融合模块将MobileNetv2网络的浅层卷积提取的特征图和深层卷积提取的特征图进行集成与融合；目标检测模块为YOLOv5模型，输入MobileNetv2网络提取的特征图，输出变电站静态物体识别结果；姿势识别模块采用Openpose模型，通过特征融合模块代替VGG
‑
19网络进行特征提取，输出变电站操作者姿态识别结果。
[0016]优选的，所述特征提取模块具有三个基本卷积模块，第一个是扩展卷积模块，使用1
×
1卷积来扩展输入数据中的通道数；第二个是深度卷积模块，使用不带池化层的3
×
3卷积模块来过滤来自上一模块的输入；第三个是投影卷积模块，使用1
×
1卷积将高维数据投影到低维数据中；
[0017]第一模块和第二模块使用线性激活函数代替ReLU激活函数。
[0018]优选的，所述特征融合模块中使用扩张卷积来减小浅层特征图的尺寸，计算表达式如下：
[0019][0020]式中，α是填充像素值，r是扩张率，l是步长，k是卷积核的大小，S
out
是输出特征图的大小，S
in
是输入特征图的大小；
[0021]并采用YOLOv5模型的标准反卷积来减少增加深层特征图的尺寸，同时按照下式来压缩特征图的通道数：
[0022][0023]式中，C
d
是特征图第d个通道的输出，E
dhw
是第d个通道的第h行和第w列中的像素，H
×
W是图片的尺寸；
[0024]通过重新分配权重将深层特征图与浅层特征图进行融合，拼接成一个新的特征图f
new
。
[0025]优选的，在所述目标检测模块中，MobileNetv2网络的最终输出为10
×
10特征图，YOLOv5模型根据MobileNetv2网络的特征图进行检测，输出为Pre
i1
；再将上述10
×
10特征图进行上采样，并与之前卷积层输出的20
×
20特征图融合，YOLOv5模型根据融合后的20
×
20特征图进行检测，输出为Pre
i2
；同样，将20
×
20特征图进行上采样，并与之前卷积层输出的30
×
30特征图融合，YOLOv5模型根据融合后的30
×
30特征图进行检测，输出为Pre
i3
，最后，由YOLOv5模型综合Pre
i1
、Pre
i2
和Pre
i3
输出变电站数字孪生场景中静态物体的识别结果。
[0026]优选的，所述姿势识别模块的Openpose模型包括并行的两个卷积网络，其中一个卷积网络Branch1，输出为Part Confidence Maps，用于定位人体的关键点；另一个卷积网络Branch2，输出为Part Affinity Fields，用于连接人体关键点以形成肢体；所述Openpose模型的整个网络包含多个stage，每个stage输出的结果均与label计算L2损失函数，整个网络的损失函数为每个stage计算得到的损失函数之和。
[0027]第二方面，提供一种基于数字孪生的变电站目标检测系统，包括：
[0028]变电站图像数据采集模块，用于采集变电站图像数据，并输入至目标检测网络模
型，所述目标检测网络模型基于MobileNetv2、YOLOv5和Openpose模型集成得到；
[0029]识别结果输出模块，用于由目标检测网络模型输出变电站目标识别结果。
[0030]优选的，所述变电站图像数据采集模块采集变电站图像数据并构建训练数据集、验证数据集和测试数据集；
[0031]利用所述训练数据集对预先建立的目标检测网络模型进行训练；
[0032]利用所述验证数据集对训练后的目标检测网络模型进行验证，保存性能指标最优的目标检测网络模型；
[0033]将所述测试数据集输入性能指标最优的目标检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生的变电站目标检测方法，其特征在于，包括：采集变电站图像数据，并输入至目标检测网络模型，所述目标检测网络模型基于MobileNetv2、YOLOv5和Openpose模型集成得到；由目标检测网络模型输出变电站目标识别结果。2.根据权利要求1所述基于数字孪生的变电站目标检测方法，其特征在于，通过采集到的变电站图像数据构建训练数据集、验证数据集和测试数据集；利用所述训练数据集对预先建立的目标检测网络模型进行训练；利用所述验证数据集对训练后的目标检测网络模型进行验证，保存性能指标最优的目标检测网络模型；将所述测试数据集输入性能指标最优的目标检测网络模型，输出变电站目标识别结果；所述变电站图像数据通过摄像设备对变电站环境进行多方位、多角度、多场景的拍摄，将图像大小调整为320
×
320，并完成数据标注。3.根据权利要求1所述基于数字孪生的变电站目标检测方法，其特征在于，所述目标检测网络模型中包括特征提取模块、特征融合模块、目标检测模块和姿势识别模块；特征提取模块使用MobileNetv2模型的深度可分离卷积网络，通过代替YOLOv5模型中的CSPDarknet53进行特征提取；特征融合模块将MobileNetv2网络的浅层卷积提取的特征图和深层卷积提取的特征图进行集成与融合；目标检测模块为YOLOv5模型，输入MobileNetv2网络提取的特征图，输出变电站静态物体识别结果；姿势识别模块采用Openpose模型，通过特征融合模块代替VGG
‑
19网络进行特征提取，输出变电站操作者姿态识别结果。4.根据权利要求3所述基于数字孪生的变电站目标检测方法，其特征在于，所述特征提取模块具有三个基本卷积模块，第一个是扩展卷积模块，使用1
×
1卷积来扩展输入数据中的通道数；第二个是深度卷积模块，使用不带池化层的3
×
3卷积模块来过滤来自上一模块的输入；第三个是投影卷积模块，使用1
×
1卷积将高维数据投影到低维数据中；第一模块和第二模块使用线性激活函数代替ReLU激活函数。5.根据权利要求3所述基于数字孪生的变电站目标检测方法，其特征在于，所述特征融合模块中使用扩张卷积来减小浅层特征图的尺寸，计算表达式如下：式中，α是填充像素值，r是扩张率，l是步长，k是卷积核的大小，S
out
是输出特征图的大小，S
in
是输入特征图的大小；并采用YOLOv5模型的标准反卷积来减少增加深层特征图的尺寸，同时按照下式来压缩特征图的通道数：式中，C
d
是特征图第d个通道的输出，E
dhw
是第d个通道的第h行和第w列中的像素，H
×
W是图片的尺寸；通过重新分配权重将深层特征图与浅层特征图进行融合，拼接成一个新的特征图f
new
。
6.根据权利要求3所述基于数字孪生的变电站目标检测方法，其特征在于，在所述目标检测模块中，MobileNetv2网络的最终输出为10
×
10特征图，YOLOv5模型根据MobileNetv2网络的特征图进行检测，输出为Pre
i1
；再将上述10
×
10特征图进行上采样，并与之前卷积层输出的20
×
20特征图融合...

【专利技术属性】
技术研发人员：李文琢，于若颜，常乃超，张炜，张金虎，张海燕，赵娜，刘筱萍，王化鹏，李亚蕾，李昂，纪欣，崔旭，姜佳宁，李劲松，沈艳，赵铭洋，南祎，刘洋，彭聪，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：