一种基于电网调度的多模态知识图谱方法技术

本发明专利技术涉及一种基于电网调度的多模态知识图谱方法，将电网调度中的文本

【技术实现步骤摘要】
一种基于电网调度的多模态知识图谱方法


[0001]本专利技术涉及电网调度
，具体涉及一种基于电网调度的多模态知识图谱方法
。

技术介绍

[0002]多模态知识图谱在电网调度中有着广泛的应用
。
例如，通过对电力设备信息
、
监测数据和天气数据等多源数据进行融合和分析，可以实现对电力负荷的准确预测，从而优化电力供给
。
此外，多模态知识图谱还可以用于电力系统的安全控制和故障诊断等方面，提高电网的可靠性和安全性
。
[0003]如
CN115270881A《
一种基于多模态信息融合知识图谱的线路故障识别方法
》
公开了“包括以下步骤，
a、
多模态信息预处理，
b、
多模态信息向量化，基于深度神经网络对多模态信息进行编码，得到其分布式表示向量；
c、
多模态信息融合知识图谱构建，多模态信息融合知识图谱构建以线路设备为实体节点，按照“线路设备
‑
故障条件
‑
故障类型”三元组形式构建线路故障识别知识图谱；
d、
线路故障诊断，通过识别电网监控信号
、
气象信息和保护录波图像，基于知识图谱三元组知识组织形式在线推理相应的故障类型，本方法解决了现行依靠单一信号或者人工经验分析导致线路故障原因识别不准的问题，提高了线路故障原因诊断准确率”，但不同模态的特征通常具有不同的维度，且不同模态的特征在表示上可能存在差异，无法直接进行融合，不同模态的特征还可能具有不同的分布和数据特性，以上可能导致在融合过程中，某些模态的特征影响主导性强，而其他模态的特征则被掩盖或忽略，这可能导致融合后的特征表达不完整或存在偏差
。

技术实现思路

[0004]基于上述技术问题，本专利技术提供了一种基于电网调度的多模态知识图谱方法，具体步骤包括：
[0005]获取电网调度历史多模态数据集，包括文本数据集
、
图像数据集
、
音频数据集和视频数据集；
[0006]对所述电网调度历史多模态数据集进行标准化处理获得多模态样本数据集；
[0007]对多模态样本数据集进行特征提取，获得对应的特征集，引入自适应特征选择机制，对不同模态的特征表示进行特征融合获得多模态特征表示；
[0008]考虑不同模态数据之间的关系和相互作用，构建图结构信息；
[0009]构建图神经网络模型，学习节点的表示向量，利用节点的表示向量进行跨模态的关系推理，优化知识图谱中的关联关系
。
[0010]优选的，所述文本数据集包括电网历史调度指令和电网历史运维记录；所述图像数据集包括电网设备的热像图和故障现场照片；所述音频数据集包括电网设备运行音频；所述视频数据集包括发生故障时的电网设备和线路故障情况
。
[0011]优选的，对所述电网调度历史多模态数据集进行标准化处理具体为将不同模态的
电网调度历史多模态数据集转换为统一的格式，其中：
[0012]对文本数据集进行标准化处理包括去除特殊字符
、
标点符号和停用词，统一文本字母大小写；
[0013]对图像数据集进行标准化处理包括像素值归一化和尺寸调整；
[0014]对音频数据集进行标准化处理包括音频振幅归一化和采样率统一；
[0015]对视频数据集进行标准化处理包括视频帧率统一和视频尺寸调整
。
[0016]优选的，对多模态样本数据集进行特征提取，获得对应的特征集具体为：
[0017]使用词嵌入模型
Word2Vec
对文本样本数据集进行训练，学习单词的分布式表示；将每个文本数据中的单词替换为对应的词向量，并将词向量进行加权平均操作获得文本的特征表示；
[0018]使用多尺度空间感知图像特征提取算法对图像样本数据集进行特征提取获得图像的特征表示；
[0019]使用多分辨率时频深度学习特征提取算法对音频样本数据集进行特征提取获得音频的特征表示；
[0020]使用时空注意力卷积网络算法对视频样本数据集进行特征提取获得视频的特征表示
。
[0021]优选的，其特征在于，使用多尺度空间感知图像特征提取算法对图像样本数据集进行特征提取获得图像的特征表示具体为：
[0022]通过金字塔结构构建图像样本数据的多个尺度，每个尺度包含不同的图像细节信息，以公式表达为：
[0023][0024]式中，为在尺度
s
上的图像样本数据中位于位置
(i,j)
的像素值，为在尺度
s
上的高斯滤波器，
σ
s
为高斯滤波器的标准差；
[0025]在每个尺度上，对图像样本数据进行卷积操作，以公式表达为：
[0026][0027]式中，为在尺度
s
上的图像样本数据中位于位置
(i,j)
的卷积结果，为尺度
s
上的高斯滤波器；
[0028]将每个尺度上的卷积结果进行特征融合，获得不同尺度的图像样本数据的特征，以公式表达为：
[0029][0030]式中，
F
i,j
为对图像样本数据所有尺度上的特征进行融合后，在位置
(i,j)
的特征值；
[0031]对不同尺度的图像样本数据的特征进行非线性映射，获得图像的特征表示，以公式表达为：
[0032]F
i,j
＝
g(F
i,j
)
；
[0033]式中，
F
i,j
为经过非线性映射函数
g
处理后的特征值，即图像的特征表示
。
[0034]优选的，使用多分辨率时频深度学习特征提取算法对音频样本数据集进行特征提取获得音频的特征表示具体为：
[0035]将音频样本数据中的音频信号转换到时频域，以公式表达为：
[0036]X(n,k)
＝
∑
t
x(t)w(t
‑
n)e
‑
j2
π
kt/N
；
[0037]式中，
X(n,k)
为在时频域中位于时间帧
n
和频率带
k
的复数值，
x(t)
为原始的音频信号，
w(t
‑
n)
为窗口函数，
N
为
FFT
的点数，
k
为频率带的索引；
[0038]在时频域的不同分辨率上提取音频信号的局部和全局特征，将所述音频信号的局部和全局特征输入深度神经网络进行特征提取，通过多层卷积
、
池化和全连接层获得音频的深度学习特征，对所述深度学习特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于电网调度的多模态知识图谱方法，其特征在于，具体步骤包括：获取电网调度历史多模态数据集，包括文本数据集
、
图像数据集
、
音频数据集和视频数据集；对所述电网调度历史多模态数据集进行标准化处理获得多模态样本数据集；对多模态样本数据集进行特征提取，获得对应的特征集，引入自适应特征选择机制，对不同模态的特征表示进行特征融合获得多模态特征表示；考虑不同模态数据之间的关系和相互作用，构建图结构信息；构建图神经网络模型，学习节点的表示向量，利用节点的表示向量进行跨模态的关系推理，优化知识图谱中的关联关系
。2.
根据权利要求1所述的一种基于电网调度的多模态知识图谱方法，其特征在于，所述文本数据集包括电网历史调度指令和电网历史运维记录；所述图像数据集包括电网设备的热像图和故障现场照片；所述音频数据集包括电网设备运行音频；所述视频数据集包括发生故障时的电网设备和线路故障情况
。3.
根据权利要求2所述的一种基于电网调度的多模态知识图谱方法，其特征在于，对所述电网调度历史多模态数据集进行标准化处理具体为将不同模态的电网调度历史多模态数据集转换为统一的格式，其中：对文本数据集进行标准化处理包括去除特殊字符
、
标点符号和停用词，统一文本字母大小写；对图像数据集进行标准化处理包括像素值归一化和尺寸调整；对音频数据集进行标准化处理包括音频振幅归一化和采样率统一；对视频数据集进行标准化处理包括视频帧率统一和视频尺寸调整
。4.
根据权利要求3所述的一种基于电网调度的多模态知识图谱方法，其特征在于，对多模态样本数据集进行特征提取，获得对应的特征集具体为：使用词嵌入模型
Word2Vec
对文本样本数据集进行训练，学习单词的分布式表示；将每个文本数据中的单词替换为对应的词向量，并将词向量进行加权平均操作获得文本的特征表示；使用多尺度空间感知图像特征提取算法对图像样本数据集进行特征提取获得图像的特征表示；使用多分辨率时频深度学习特征提取算法对音频样本数据集进行特征提取获得音频的特征表示；使用时空注意力卷积网络算法对视频样本数据集进行特征提取获得视频的特征表示
。5.
根据权利要求4所述的一种基于电网调度的多模态知识图谱方法，其特征在于，其特征在于，使用多尺度空间感知图像特征提取算法对图像样本数据集进行特征提取获得图像的特征表示具体为：通过金字塔结构构建图像样本数据的多个尺度，每个尺度包含不同的图像细节信息，以公式表达为：
式中，为在尺度
s
上的图像样本数据中位于位置
(i,j)
的像素值，为在尺度
s
上的高斯滤波器，
σ
s
为高斯滤波器的标准差；在每个尺度上，对图像样本数据进行卷积操作，以公式表达为：式中，为在尺度
s
上的图像样本数据中位于位置
(i,j)
的卷积结果，为尺度
s
上的高斯滤波器；将每个尺度上的卷积结果进行特征融合，获得不同尺度的图像样本数据的特征，以公式表达为：式中，
F
i,j
为对图像样本数据所有尺度上的特征进行融合后，在位置
(i,j)
的特征值；对不同尺度的图像样本数据的特征进行非线性映射，获得图像的特征表示，以公式表达为：
F
i,j
＝
g(F
i,j
)
；式中，
F
i,j
为经过非线性映射函数
g
处理后的特征值，即图像的特征表示
。6.
根据权利要求5所述的一种基于电网调度的多模态知识图谱方法，其特征在于，使用多分辨率时频深度学习特征提取算法对音频样本数据集进行特征提取获得音频的特征表示具体为：将音频样本数据中的音频信号转换到时频域，以公式表达为：
X(n,k)
＝
∑
t
x(t)w(t
‑
n)e
‑
j2
π
kt/N
；式中，
X(n,k)
为在时频域中位于时间帧
n
和频率带
k
的复数值，
x(t)
为原始的音频信号，
w(t
‑
n)
为窗口函数，
N
为
FFT
的点数，
k
为频率带的索引；在时频域的不同分辨率上提取音频信号的局部和全局特征，将所述音频信号的局部和全局特征输入深度神经网络进行特征提取，通过多层卷积
、
池化和全连接层获得音频的深度学习特征，对所述深度学习特征进行非线性映射获得音频的特征表示
。7.
根据权利要求6所述的一种基于电网调度的多模态知识图谱方法，其特征在于，使用时空注意力卷积网络算法对视频样本数据集进行特征提取获得视频的特征表示具体为：通过
...

【专利技术属性】
技术研发人员：李强，林钊，庄莉，赵峰，王秋琳，宋立华，张晓东，陈江海，王燕蓉，
申请(专利权)人：福建亿榕信息技术有限公司，
类型：发明
国别省市：