一种基于变分自编码器的动态系统运行状态建模方法技术方案

本发明专利技术提出了一种基于变分自编码器的动态系统运行状态建模方法。基于节点嵌入、边嵌入、编码器模块、解码器模块和Gumbel约束将系统各部件上的传感器监测的数据使用图的形式建立连接，利用编码器结合Gumbel约束学习到边的拟合函数。然后通过该拟合函数结合上一时刻的系统运行状态推断出下一时刻的系统运行状态。采用BP算法反向传播推断的状态与真实状态的差异来学习最优的表达函数来对系统状态进行预测。

【技术实现步骤摘要】
一种基于变分自编码器的动态系统运行状态建模方法
本专利技术涉及互联网领域，具体为一种基于变分自编码器的动态系统运行状态建模方法。
技术介绍
动态系统运行状态建模方法可以为多主体的复杂系统之间建立有效的模拟，学习主体与主体之间复杂的动态交互关系。解决针对复杂系统状态的有效演化分析。对于交通系统、人群行为、物理系统等可以抽象为图结构的系统具有很好的解释效果。在此基础上，可以为强化学习提供演化环境的支持，作为针对系统状态预测有需求的技术的支撑。最接近本专利技术的技术有：(1)、堆叠自编码器技术：将多个自编码器逐个堆叠起来形成堆叠自编码器，其逐层学习抽象特征，接收输入数据，然后经过堆叠自编码器对其进行重构，属于典型的神经网络黑箱，适用于任意系统。(2)、变分自编码器技术：它使用神经网络模型将观测数据中的某种分布转换为独立的正态分布，再转换回去。VAE模型训练完成后可以单独取出解码器使用，在解码器中输入正态分布生成所需数据。(3)、深度置信网技术：将受限玻尔兹曼机逐层堆叠形成深度置信网络，逐层训练，使用更少的神经元重构上一层的输入来学习隐含的数据之间的规则，最后通过全局微调来避免陷入局部最优的情况，适用于复杂系统规则学习。其中，堆叠自编码器适用于任何系统，但是在实际使用中它的表现效果并不是太好。针对于具体问题，堆叠自编码器需要针对性优化才能够实际应用，然而优化则需要对其结构等进行修改。变分自编码器则是对自编码器进行了进一步优化，对其压缩状态进行了约束和特征分离，效果要优于自编码器。但是其预测能力不足。针对的是重构数据。深度置信网络同样预测能力不足，其针对的是从数据中学习规则，然而其使用场景限定在了对于数据的合理性判断上。
技术实现思路
为了解决现有技术中的缺点和不足，本专利技术提出了一种基于变分自编码器的动态系统运行状态建模方法。把动态系统建模分为两部分，一部分将多主体之间动态关系的学习，另一部分基于学习到的关系对于系统状态进行预测。最后使用预测出来的系统状态和真实的系统状态进行对比来对神经网络进行权重调整，规则优化。本专利技术的技术方案为：一种基于变分自编码器的动态系统运行状态建模方法。基于节点嵌入、边嵌入、编码器模块、解码器模块，包括以下步骤：步骤(1)、基于图神经网络设计节点嵌入和边嵌入神经层。步骤(2)、基于节点嵌入、边嵌入和变分自编码器设计本文提出的建模方法。步骤(3)、使用编码器对多维时间序列数据建模，学习维度(节点)与维度节点之间的关系(边分布函数)，即传感器与传感器之间的关系。步骤(4)、边分布函数近似拟合Gumbel分布特征。为边分布添加Gumbel噪声。步骤(5)、基于边分布函数和上一个时刻的系统状态预测下一时刻的系统状态。步骤(6)、多个预测步骤叠加在一起形成解码器，针对具体需求预测时间长度来确定预测步数。步骤(7)、单独使用解码器对未来系统状态进行预测，通过输入初始系统状态来预测未来固定时间的系统状态变化情况。本专利技术的有益效果：(1)通过使用图神经网络，有效的对不同数据维度之间的关系进行建模表示(线性相关性或者非线性相关性)。(2)使用变分自编码器结构来实现对于边分布函数的学习，控制输入和输出的形式，有效的从数据中挖掘出来不同节点之间的模式信息。(3)通过单独使用解码器，可以在已知初始状态的条件下对于动态系统未来状态进行预测，其对于现实物理系统的抽象，可以被有效的应用于强化学习等深度学习模型训练中。附图说明图1为本专利技术基于变分自编码器的动态系统运行状态建模方法的系统结构图图2为需要学习到传感器之间的关系图。图3为图神经网络的构建的基本单元，信息从节点传递到边再传递到节点。图4为解码器内部构造图，多个单步预测的堆叠形成多步预测。图5为本专利技术基于变分自编码器的动态系统运行状态建模方法的总体流程图具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术的基于变分自编码器的动态系统运行状态建模方法的系统结构包含三个模块：编码器、Gumbel采样、解码器。下面结合图1、图2、图3和图4，对基于变分自编码器的动态系统运行状态建模方法的具体流程进行详细说明：步骤(1)、对输入数据进行预处理，剔除熵值低于一定阈值的数据维度，然后对数据进行清洗，缺失值补全，异常值剔除，归一化等操作，提高数据质量。步骤(2)、通过节点嵌入将数据的各个属性转化为一个向量。步骤(3)、通过边嵌入将节点与节点之间的边的潜在关系向量化。步骤(4)、使用基于神经网络的层与层之间的连接将每一个节点和对用的边与节点建立连接，最后一层为隐层边向量。步骤(5)、往隐层边向量上添加Gumbel约束构建Gumbel分布函数，更准确的模拟真实分布。步骤(6)、基于学习到的边相连，使用输入数据的第一个时刻的数据作为初始状态，对接下来的系统状态进行预测，产生预测数据。步骤(7)、基于预测数据和真实数据的误差，对模型进行迭代优化。本专利技术的基于变分自编码器的动态系统运行状态建模方法，通过使用图神经网络对主体与主体之间的关系进行建模(线性相关性或者非线性相关性)。使用变分自编码器结构来实现对于边分布函数的学习，控制输入和输出的形式，有效的从数据中挖掘出来不同节点之间的模式信息。使用Gumbel分布更加符合真实系统的数据分布特征。通过单独使用解码器，可以在已知初始状态的条件下对于动态系统未来状态进行预测，其对于现实物理系统的抽象，可以被有效的应用于强化学习等深度学习模型训练中。以上所述仅为本专利技术的较佳实施例而已，并不用以限制本专利技术，凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于变分自编码器的动态系统运行状态建模方法。主要包含以下步骤：步骤(1)、基于图神经网络设计节点嵌入和边嵌入神经层。步骤(2)、基于节点嵌入、边嵌入和变分自编码器设计本文提出的建模方法。步骤(3)、使用编码器对多维时间序列数据建模，学习维度(节点)与维度节点之间的关系(边分布函数)，即传感器与传感器之间的关系。步骤(4)、边分布函数近似拟合Gumbel分布特征。步骤(5)、基于边分布函数和上一个时刻的系统状态预测下一时刻的系统状态。步骤(6)、多个预测步骤叠加在一起形成解码器。步骤(7)、单独使用解码器对未来系统状态进行预测。

【技术特征摘要】
1.一种基于变分自编码器的动态系统运行状态建模方法。主要包含以下步骤：步骤(1)、基于图神经网络设计节点嵌入和边嵌入神经层。步骤(2)、基于节点嵌入、边嵌入和变分自编码器设计本文提出的建模方法。步骤(3)、使用编码器对多维时间序列数据建模，学习维度(节点)与维度节点之间...

【专利技术属性】
技术研发人员：张卫山，张亚飞，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37