【技术实现步骤摘要】
本专利技术涉及局部放电信号处理，具体为基于多模态融合网络的局部放电信号标注精度增强方法。
技术介绍
1、随着工业生产的大力发展以及电网规模的不断扩大，更对电力设备被相关部门和机构投入规模化的使用和使用，用电安全问题逐渐得到大家的重视，尤其针对局部放电检测邻域做出了有关机构很多应对策略及方针，局部放电，是绝缘介质中的一种电气放电，从局部放电发生的位置、放电过程和现象来看，局部放电可以分为三种类型：内部放电、表面放电和电晕放电。这种放电仅限制在被测介质中一部分且只使导体间的绝缘局部桥接，这种放电可能发生或可能不发生于导体的临近，此外，绝缘体中存在水珠、导电杂质、电气设备内部存在悬浮电位体也会引起局部放电；液体绝缘内部也可能出现固体表面局部放电和电晕放电。电力设备绝缘中的某些薄弱部位在强电场的作用下发生局部放电是高压绝缘中普遍存在的问题。因此，设计高压电力设备绝缘时，要考虑在长期工作电压的作用下，不允许绝缘结构内发生较强烈的局部放电。对运行中的设备要加强监测，对每一次采集的局部放电信号图进行处理，以便后续研究。
2、一般对于后续局部放电信号图的处理涉及到分类，分割等，所以第一步对于图片部分地方的标注显得非常重要，标注对于后续机器视觉以及机器学习具有领导性作用，通过对标注的依赖进行学习、训练，使模型能够从未标注的图像中区分不同的局部放电类型，在对局部放电信号图进行标注之前我们，会对图片进行增强处理来提高标注精度的增强。对采集的局部放电信号图进行特征提取，尤其在图片中一些差异性很大的显著特征处，譬如，局部放电波形的波峰或者波谷
3、目前现代图片标注主要有两个方法，一个是手动标注，另一个是程序让计算机进行自动标注。手动标注逐渐被淘汰，对于特征不明显的或者肉眼无法察觉到差距的地方手动标注无法有效实施。另一种通过计算机标注一般都是通过卷积神经网络利用卷积层检测边缘特征从而提取图片特征进行标注。第一种手动标注的方法工作效率偏低，成本较大。第二种方法缺乏对比，仅仅只是提取了图片特征，并未针对图片标注精度加强起到明显作用。目前，针对图信号标注精度增强方面需要一个高效率，高精度，低成本的技术。
4、因此，提出基于多模态融合网络的局部放电信号标注精度增强方法来解决上述问题。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术提供了基于多模态融合网络的局部放电信号标注精度增强方法，具备对于不同的局部放电特征进行提取分类，将显著且存在差异性的显著特征通过自动标注模型进行标注等优点，解决了目前手动标注的方法工作效率偏低，成本较大，而计算机标注缺乏对比，仅仅只是提取了图片特征，并未针对图片标注精度加强起到明显作用的问题。
3、(二)技术方案
4、本专利技术解决上述技术问题的技术方案如下：基于多模态融合网络的局部放电信号标注精度增强方法，所述方法包括：
5、获得局部放电信号并进行预处理转换为h×w×c大小的局部放电图信号；
6、将预处理后的局部放电信号图输入到多模态融合网络中进行图像信号数据增强，得到增强后的图像特征；
7、将增强后的图像特征输入到局部信号标注模型中进行特征融合，局部信号标注模型根据融合特征进行自动标注，输出局部放电信号标签分类结果。
8、在上述技术方案的基础上，本专利技术还可以做如下改进。
9、进一步，所述多模态融合网络进行图像信号数据增强，得到增强后图像特征的具体操作包括：
10、多模态算法模型：对输入的局部放电图信号进行原图信号特征提取获得原图信号特征i；
11、遮掩重构算法模型：对输入的局部放电图信号进行随机遮掩，再重构图信号像素值，并提取重构图信号特征获得重构图信号特征i i；
12、遮掩预测结构算法模型：对输入的局部放电图信号进行遮掩，再重构图片，并提取重构后图片特征获得图像信号特征i i i；
13、所述遮掩重构算法模型及遮掩预测结构算法模型中提取特征均由多模态算法模型进行提取。
14、进一步，所述多模态算法模型包括vit算法和vit编码器，所述vit编码器由多头注意力机制组成。
15、进一步，所述多模态算法模型进行特征提取过程具体为：
16、1-1)、将[h,w,c]的三维局部放电图信号经过一个嵌入层对数据做变换，再将h×w×c的局部放电信号图分成p×p×c的小块获得n个图像块同时添加一个可学习的类别块用于与所有的图像小块进行交互；
17、1-2)、对图像小块进行扁平化操作组成n×(p×p×c)的二维向量，然后再对二维向量使用全连接层进行降维得到n×d的二维特征a，并对二维特征a加入位置编码；
18、1-3)、将预处理特征送入自注意力编码器中，通过编码器中的多头注意力层得到交互特征f(n×d)，并根据经编码得到的交互特征f(n×d)，从中抽取代表类别块的一维特征(1×d)用作后续标签分类。
19、进一步，所述遮掩重构算法模型对输入的局部放电图信号进行遮掩并重构图片的过程具体为：
20、2-1)、将输入的局部放电信号图分成不重叠的patch，并使用均匀分布的采样策略对这些patches随机采样一部分，同时遮掩掉剩余的一部分；
21、2-2)、先将图像从(b,c,h,w)维度重构成(b,n,p×p×c)，其中n和p分别为patch数量和patch大小将3通道的图像转换成n个维度大小为p×p×c的向量；
22、2-3)、通过全连接层线性映射将向量将其嵌入到指定维度空间大小，然后转换为token；
23、2-4)、对转换的token添加上位置嵌入，从而为各patch添加位置信息，得到可共享的，可学习的特征向量；
24、2-5)、将每个添加了位置信息的tokens经过全连接层将维度映射到符合解码器的要求，再输入到解码器中；
25、2-6)、解码器解码后取出被遮掩的tokens对应的部分输入到全连接层，对被遮掩的tokens的像素值进行预测，再将复原的局部放电图信号输入到多模态算法模型中提取特征ii。
26、进一步，所述遮掩重构(mat)算法模型中遮掩部分比例为75％。
27、进一步，所述遮掩预测算法模型对输入的局部放电图信号进行遮掩并重构图片的过程具体为：
28、3-1)、将输入的局部放电信号图拆分成若干个不同的图像patches，然后输入到自注意力中进行模型训练，并对局部放电信号图进行图像块遮掩；
29、3-2)、对遮掩处理后的图像进行扁平化操作，扁平化输入到beit编码器中，得到分类的结构特征；
30、3-3)、将输入的局部放电信号图通过自编码器将图像抽象成一个信息密集的载体，通过tokenizer将图像处理成固定本文档来自技高网...
【技术保护点】
1.基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述多模态融合网络进行图像信号数据增强，得到增强后图像特征的具体操作包括：
3.根据权利要求2所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述多模态算法模型包括vit算法和vit编码器，所述vit编码器由多头注意力机制组成。
4.根据权利要求2或3所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述多模态算法模型进行特征提取过程具体为：
5.根据权利要求2所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述遮掩重构算法模型对输入的局部放电图信号进行遮掩并重构图片的过程具体为：
6.根据权利要求5所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述遮掩重构算法模型中遮掩部分比例为75％。
7.根据权利要求2所述的基于多模态融合网络的局部放电信号标注精度增强方法，其
8.根据权利要求7所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述遮掩预测结构算法模型中对局部放电信号图进行图像块遮掩的遮掩比例为40％。
9.根据权利要求2所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述局部信号标注模型中进行特征融合并根据融合特征进行自动标注的过程具体为：
...【技术特征摘要】
1.基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述多模态融合网络进行图像信号数据增强，得到增强后图像特征的具体操作包括：
3.根据权利要求2所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述多模态算法模型包括vit算法和vit编码器，所述vit编码器由多头注意力机制组成。
4.根据权利要求2或3所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述多模态算法模型进行特征提取过程具体为：
5.根据权利要求2所述的基于多模态融合网络的局部放电信号标注精度增强方法，其特征在于：所述遮掩重构算法模型对输入的...
【专利技术属性】
技术研发人员：邓奕，刘嘉政，祝季楹，王磊，吴梓宜，朱奎虎，赵国瑾，乐展鹏，余烈，万仁卓，刘海，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。