一种基于卷积自注意力Transformer模型的电网参数辨识方法技术

本发明专利技术涉及电网参数辨识技术领域，具体是一种基于卷积自注意力Transformer模型的电网参数辨识方法，包括模型训练阶段和模型预测阶段，所述模型训练阶段包括以下步骤：获取输电系统数据集，将处理后的多元数据进行归一化；构建卷积自注意力Transformer模型，将时间序列数据送入卷积自注意力Transformer模型中，开始模型训练过程；所述模型预测阶段包括以下步骤：获取真实的输电系统数据集，将处理后的多元数据进行归一化；将数据送入训练好的卷积自注意力Transformer模型中，经过运算后给出预测结果，该模型利用因果卷积在自注意力层生成Q、K，从而得到局部上下文的Q、K匹配，如形状，可以帮助模型实现较低的训练损失并进一步提高其预测准确性。高其预测准确性。高其预测准确性。

【技术实现步骤摘要】
其中，X为原始数据，表示标准化后数据，表示归一化后数据，表示每列中的最小值组成的行向量，表示每列中的最大值组成的行向量，表示要映射到的区间最大值，默认是1，表示要映射到的区间最小值，默认是0。
[0008]优选的，所述步骤A2中，卷积自注意力Transformer模型由卷积自注意力替代原生的Transformer自注意力构成。
[0009]优选的，所述卷积自注意力是使用卷积核大小为k（k大于1）与步长为1的因果卷积来将输入转换为Q和K，因果卷积确保当前位置永远无法访问未来信息，所述卷积自注意力Transformer模型包括编码器和解码器，使用Relu函数作为激活函数，Dropout的比率为0.1。
[0010]优选的，所述步骤B1中，从中国电力科学研究院获取真实的输电系统数据集，数据集由1635组数据组成，记录仪每1分钟记录一次数据。
[0011]优选的，从所述数据集中选择1200组数据作为训练集，200组数据作为验证集，其余235组数据作为测试集。
[0012]优选的，所述步骤B2中，模型训练过程中设置模型的迭代次数为200，训练批次大小为100，使用Adam作为优化器，学习率为0.0001；在训练阶段，采用MSELoss作为损失函数，其表达式如下：；其中m表示测试集的数量，对于每一次迭代过程，首先进入卷积自注意力Transformer模型，通过位置编码层提取并保存时序信息，将带有时序信息的序列送入编码器进行编码，编码器中原生的自注意力由卷积自注意力代替，编码的结果送入解码器，得到解码数据，将结果反归一化得到最终预测值，将预测值与标签值比对并计算MSELoss值，继续迭代直至模型达到最优，即MSELoss值最小。
[0013]本专利技术通过改进在此提供一种基于卷积自注意力Transformer模型的电网参数辨识方法，与现有技术相比，具有如下改进及优点：其一：本专利技术使用基于Transformer架构的模型来预测电网数据，利用了其时间序列数据全局特征提取的能力，根据电网数据的历史信息精确的进行参数辨识。
[0014]其二：本专利技术通过使用因果卷积在自注意力层中产生Q和K来提出卷积自注意力，知道局部上下文的Q、K匹配，可以帮助模型实现较低的训练损失并进一步提高其预测准确性。
[0015]其三：本专利技术中的Transformer不受逐个计算的约束，输入的序列被并行处理，由此带来更快的训练速度。
附图说明
[0016]下面结合附图和实施例对本专利技术作进一步解释：图1为本专利技术电网参数辨识的训练流程图；
图2为本专利技术卷积自注意力和原自注意力的架构图对比；图3为本专利技术卷积自注意力Transformer模型的编码器解码器架构图；图4为本专利技术未改进和改进自注意力模块的预测结果对比图。
具体实施方式
[0017]下面对本专利技术进行详细说明，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]本专利技术通过改进在此提供一种基于卷积自注意力Transformer 模型的电网参数辨识方法，本专利技术的技术方案是：如图1
‑
图4所示，一种基于卷积自注意力Transformer模型的 电网参数辨识方法，包括模型训练阶段和模型预测阶段，所述模型 训练阶段包括以下步骤：步骤A1、获取输电系统数据集，将处理后的多元数据进行归一 化；步骤A2、构建卷积自注意力Transformer模型，将时间序列数 据送入卷积自注意力Transformer模型中，开始模型训练过程；所述模型预测阶段包括以下步骤：步骤B1、获取真实的输电系统数据集，将处理后的多元数据进 行归一化；步骤B2、将数据送入训练好的卷积自注意力Transformer模型 中，经过运算后给出预测结果。
[0019]其中，数据集来自中国电力科学研究院采集的实际电网数据，数据集由1635组数据组成，记录仪每1分钟记录一次数据。其中，选择1200组数据作为训练集，200组数据作为验证集，其余235组数据作为测试集。根据电网支路的特点，本专利技术的目标是预测每条支路的支路电导g的真实值。对于输电系统的给定支路，i和j分别表示第k个支路两端的节点。可以得到支路两端的实测有功功率和，第k个支路的实测无功功率和，第k个支路的实测电压和，以及第k个支路的接地电阻。第k个分支输入，根据由型等效电路导出的方程（1），我们可以计算分支电导g的标签值。
[0020]（1）使用MinMaxScaler函数对数据进行归一化处理，将数据的范围限定在[0,1]之间。
[0021]数据送进卷积自注意力Transformer模型中，该模型架构如图3所示，时间序列数据首先经过一个输入映射层，维度记为dmodel，接着进行位置编码，再进入编码层，编码层由多头自注意力层和前馈神经网络构成，其中多头自注意力由h=8个卷积自注意力组成，每个子层经过运算后都要进行残差连接并应用层归一化。注意力层的输入由Q、K、V三个部分组成，用注意力函数来表示：
多头注意力函数就是把h个自注意力拼接起来，整个多头注意力函数可以写成：多头注意力函数就是把h个自注意力拼接起来，整个多头注意力函数可以写成：解码器的结构和编码器相似，除了多头自注意力层和前馈神经网络外，解码层中还有一个“编码器到解码器”的交叉多头注意力层，它能够从目标序列和输入序列中抽取出相关信息，并在此基础上建立起一种动态的相关性和运算方式。然后，利用一个完整的序列全连接层，把每个时刻的特征映射到dmodel维。编码器的输出序列的长度与目标序列的长度一致。
[0022]在时间序列中，往往存在着某些异常点，而一个观察结果是否被视为一个异常，在很大程度上要依赖于其周围的环境。然而，在原生的Transformer的自注意力层中，Q和K之间的相似性是基于它们的逐点值计算的，而没有充分利用像形状这样的局部上下文，如图2（a）（b）所示，之前的注意力仅仅是单时间点之间关联的体现，图2（a）中间的黑点只关注到与它值相近的另一单时间黑点，而没有考虑到变化趋势。本专利技术提出卷积自注意力来缓解这个问题，所提出的卷积自注意力的架构如图2（c）（d）所示，使用卷积核大小为k（k大于1）与步长为1的因果卷积将输入转换为Q和K，因果卷积确保当前位置永远无法访问未来信息。通过使用因果卷积，生成的Q和K可以更了解局部上下文，因此可以通过它们的局部上下文信息来计算它们的相似性，例如局部形状，而不是逐点值，这有助于准确预测。
[0023]最后将目标序列进行反归一化，即可得到需要预测的电网数据，为了评估所训练的卷积自注意力Transformer模型对电网数据的预测能力及精确度，本专利技术使用MSELoss作为损失函数，具体包括：，MSELoss的值越小，说明训练的卷积自注意力Transformer模型的预测值与真实值越接近，即模型精确度越高。在测试阶段为了评估我们模型的质量，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积自注意力Transformer模型的电网参数辨识方法，其特征在于：包括模型训练阶段和模型预测阶段，所述模型训练阶段包括以下步骤：步骤A1、获取输电系统数据集，将处理后的多元数据进行归一化；步骤A2、构建卷积自注意力Transformer模型，将时间序列数据送入卷积自注意力Transformer模型中，开始模型训练过程；所述模型预测阶段包括以下步骤：步骤B1、获取真实的输电系统数据集，将处理后的多元数据进行归一化；步骤B2、将数据送入训练好的卷积自注意力Transformer模型中，经过运算后给出预测结果。2.根据权利要求1所述的一种基于卷积自注意力Transformer模型的电网参数辨识方法，其特征在于：所述步骤A1中，将处理后的数据进行归一化处理，具体包括：使用MinMaxScaler函数对获取的数据在特征维度上进行归一化，将数据的范围限定在[0,1]之间；所述MinMaxScaler函数，其公式表达如下：nMaxScaler函数，其公式表达如下：其中，X为原始数据，表示标准化后数据，表示归一化后数据，表示每列中的最小值组成的行向量，表示每列中的最大值组成的行向量，表示要映射到的区间最大值，默认是1，表示要映射到的区间最小值，默认是0。3.根据权利要求1所述的一种基于卷积自注意力Transformer模型的电网参数辨识方法，其特征在于：所述步骤A2中，卷积自注意力Transformer模型由卷积自注意力替代原生的Transformer自注意力构成。4.根据权利要求3所述的一种基于卷积自注意力Transformer模型的电网参数辨识方...

【专利技术属性】
技术研发人员：宋公飞，王琳鹏，汪梦龙，王明，杜鹏，谢佳杰，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：