多模态电力设备状态检测方法和模型技术

本申请涉及一种多模态电力设备状态检测方法和模块。所述方法包括：获取多模态数据，输入多模态信息处理模块，多模态信息处理模块对多模态数据进行位置编码和降维，获取降维数据；多模态数据包括不同地理场景下采集到的电力设备相关数据；通过令牌混合模块，根据降维数据获取以波函数形式表征的若干令牌，并对令牌进行动态聚合，获取令牌聚合数据；通过信道混合模块，对令牌聚合数据进行特征提取，获取特征信息；多层感知器网络对特征信息进行分类回归，获取电力设备状态的预测结果。采用本方法对输入几乎没有假设，同时可以实现所有级别的信息融合，利用更少的参数和计算成本实现了更高的性能。更高的性能。更高的性能。

【技术实现步骤摘要】
多模态电力设备状态检测方法和模型


[0001]本申请涉及电力设备监控的
，特别是涉及一种多模态电力设备状态检测方法和模型。

技术介绍

[0002]国内外针对不同的电力场景下检测任务的需求提出了众多状态检测方法，如应用于高压输电线路中的无人机巡检(通过采集可见光、红外图像、视频信号等数据进行分析)，应用于电气运输管道的振动分析、油中气体分析、局部放电监测、光纤采集数据分析等(通过采集振动频率信号、气体浓度信号、电流电压信号、管道局部敏感处的光强信号等数据进行分析)，应用于电力施工区域的激光雷达探测和异常声音监测等。
[0003]在实现智能自动化监测的进程中，目前人工智能深度学习中用到的感知模型包括单模态设计和多模态设计。其中模态是指事物发生或存在的方式，或者指某种类型的信息，或者是该信息的表示。单模态设计即指基于单一模态进行设计，多模态设计即指两个或两个以上模态各种形式的组合设计。单模态设计通常依赖于特定领域的假设，这些假设又被称为先验知识，如感知模型中的视觉模型所利用的局部网络结构。这些先验知识引入了有效的归纳偏差，但也将感知模型锁定在了单一模态，导致模型输出结果较为片面。随着状态监测传感技术的不断扩容，尤其在线路铺设跨度大、监测手段技术多的电力自动化监测领域，数据量越来越大且数据类型越来越丰富，导致单模态设计方式不再适用。
[0004]传统多模态设计聚合多模态数据信息，使得模型学习相较于单模态设计更加完备，但往往聚焦与模态传译和模态融合，却没有泛用性较好的数据表征范式。因此，面对丰富的数据类型，也很难特异性针对某几种数据去提出性能较好的感知方法。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种多模态电力设备状态检测方法和模型，对输入几乎没有假设，可以处理任意传感器配置，同时可以实现所有级别的信息融合，利用更少的参数和计算成本实现了更高的性能。
[0006]第一方面，本申请提供了一种多模态电力设备状态检测方法。该方法包括：
[0007]获取多模态数据，输入多模态信息处理模块，多模态信息处理模块对多模态数据进行位置编码和降维，获取降维数据；多模态数据包括不同地理场景下采集到的电力设备相关数据；
[0008]通过多层感知器网络中的令牌混合模块，根据降维数据获取以波函数形式表征的令牌，并对不同令牌进行动态聚合，获取令牌聚合数据；
[0009]通过多层感知器网络中的信道混合模块，对令牌聚合数据进行特征提取，获取特征信息；
[0010]多层感知器网络对特征信息进行分类或回归处理，获取电力设备状态的预测结果。
[0011]在其中一个实施例中，多模态信息处理模块包括位置编码层和交叉注意力层；
[0012]多模态信息处理模块对多模态数据进行位置编码和降维，获取降维数据包括：
[0013]位置编码层对多模态数据进行基于傅里叶特征的位置编码；
[0014]交叉注意力层获取第一序列和第二序列，第一序列和第二序列均为位置编码后的多模态数据的集合；根据第一序列获取键矩阵和值矩阵；根据第二序列获取查询矩阵；根据键矩阵和值矩阵获取注意力矩阵；将查询矩阵应用于注意力矩阵，获取降维数据。
[0015]在其中一个实施例中，令牌混合模块包括相位感知令牌混合层和信道全连接层；
[0016]通过多层感知器网络中的令牌混合模块，根据降维数据获取以波函数形式表征的令牌，并对不同令牌进行动态聚合，获取令牌聚合数据包括：
[0017]相位感知令牌混合层对降维数据进行全连接操作，获取令牌的幅值；根据降维数据和第一动态权重进行动态相位估计，获取令牌的相位；根据幅值和相位获取对应于各个令牌的波函数表达式；基于波函数表达式将不同令牌进行动态聚合，获取并输出聚合信息；
[0018]信道全连接层连接相位感知令牌混合层的输入和输出并进行通道全连接，获取并输出连接信息；
[0019]根据聚合信息和连接信息的总和获取令牌聚合数据。
[0020]在其中一个实施例中，基于波函数表达式将不同令牌进行动态聚合，获取并输出聚合信息包括：
[0021]相位感知令牌混合层基于波函数表达式对各个令牌进行动态聚合，获取波函数表示的聚合信息；
[0022]相位感知令牌混合层将波函数表示的聚合信息转化为复数形式表示的聚合信息，并对复数形式表示的聚合信息的实部和虚部进行基于第二动态权重的加权求和，获取最终的聚合信息。
[0023]在其中一个实施例中，信道混合模块包括信道全连接层和非线性激活函数；
[0024]通过多层感知器网络中的信道混合模块，对令牌聚合数据进行特征提取，获取特征信息包括：
[0025]信道全连接层对位于不同信道的令牌聚合数据进行聚合，获取聚合后的令牌聚合数据；
[0026]非线性激活函数对聚合后的令牌聚合数据进行特征提取，获取特征信息。
[0027]在其中一个实施例中，该方法还包括：
[0028]多层感知模型包括多个交替堆叠的令牌混合模块和信道混合模块，信道混合模块的输入为上一令牌混合模块的输出，信道混合模块的输出为下一令牌混合模块的输入；
[0029]相邻令牌混合模块与信道混合模块之间设置有归一化模块。
[0030]第二方面，本申请提供了一种多模态电力设备状态检测模型，模型包括：
[0031]获取模块，用于获取多模态数据，输入多模态信息处理模块，所述多模态信息处理模块对所述多模态数据进行位置编码和降维，获取降维数据；所述多模态数据包括不同地理场景下采集到的所述电力设备相关数据；
[0032]令牌混合模块，用于根据降维数据获取以波函数形式表征的令牌，并对不同令牌进行动态聚合，获取令牌聚合数据；
[0033]信道混合模块，用于对令牌聚合数据进行特征提取，获取特征信息；
[0034]预测模块，用于对特征信息进行分类或回归处理，获取电力设备状态的预测结果。
[0035]第三方面，本申请提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
[0036]获取多模态数据，输入多模态信息处理模块，多模态信息处理模块对多模态数据进行位置编码和降维，获取降维数据；多模态数据包括不同地理场景下采集到的电力设备相关数据；
[0037]通过多层感知器网络中的令牌混合模块，根据降维数据获取以波函数形式表征的令牌，并对不同令牌进行动态聚合，获取令牌聚合数据；
[0038]通过多层感知器网络中的信道混合模块，对令牌聚合数据进行特征提取，获取特征信息；
[0039]多层感知器网络对特征信息进行分类或回归处理，获取电力设备状态的预测结果。
[0040]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0041]获取多模态数据，输入多模态信息处理模块，多模态信息处理模块对多模态数据进行位置编码和降维，获取降维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态电力设备状态检测方法，其特征在于，所述方法包括：获取多模态数据，输入多模态信息处理模块，所述多模态信息处理模块对所述多模态数据进行位置编码和降维，获取降维数据；所述多模态数据包括不同地理场景下采集到的所述电力设备相关数据；通过多层感知器网络中的令牌混合模块，根据所述降维数据获取以波函数形式表征的令牌，并对不同所述令牌进行动态聚合，获取令牌聚合数据；通过所述多层感知器网络中的信道混合模块，对所述令牌聚合数据进行特征提取，获取特征信息；所述多层感知器网络对所述特征信息进行分类或回归处理，获取所述电力设备状态的预测结果。2.根据权利要求1所述的方法，其特征在于，所述多模态信息处理模块包括位置编码层和交叉注意力层；所述多模态信息处理模块对所述多模态数据进行位置编码和降维，获取降维数据包括：所述位置编码层对所述多模态数据进行基于傅里叶特征的位置编码；所述交叉注意力层获取第一数据集和第二数据集，所述第一数据集和所述第二数据集均为位置编码后的所述多模态数据的集合；根据所述第一数据集获取所述键矩阵和值矩阵；根据所述第二数据集获取所述查询矩阵；根据所述键矩阵和所述查询矩阵获取注意力矩阵；将所述值矩阵应用于所述注意力矩阵，获取降维数据。3.根据权利要求1所述的方法，其特征在于，所述令牌混合模块包括相位感知令牌混合层和信道全连接层；所述通过所述多层感知器网络中的令牌混合模块，根据所述降维数据获取以波函数形式表征的令牌，并对不同所述令牌进行动态聚合，获取令牌聚合数据包括：所述相位感知令牌混合层对所述降维数据进行全连接操作，获取所述令牌的幅值；根据所述降维数据和第一动态权重进行动态相位估计，获取所述令牌的相位；根据所述幅值和所述相位获取对应于各个所述令牌的波函数表达式；基于所述波函数表达式将不同所述令牌进行动态聚合，获取并输出聚合信息；所述信道全连接层连接所述相位感知令牌混合层的输入和输出并进行通道全连接，获取并输出连接信息；根据所述聚合信息和所述连接信息的总和获取所述令牌聚合数据。4.根据权利要求3所述的方法，其特征在于，所述基于所述波函数表达式将不同所述令牌进行动态聚合，获取并输出聚合信息包括：所述相位感知令...

【专利技术属性】
技术研发人员：李英，饶竹一，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：