一种基于物理信息神经网络的模型训练方法及相关装置制造方法及图纸

本申请公开了一种基于PINNs的模型训练方法，该PINNs中包括第一神经网络和偏微分方程，该第一神经网络包括至少两个残差网络通道，在模型训练过程中，可以使用至少两个残差网络通道对训练样本进行处理，而且每个残差网络通道对应的系数不同，用不同的系数乘上相同的训练样本，就可以将一个数据扩展为多个数据，而且还可以通过多个残差网络通道捕捉不同频率的信号，从而提高了提高模型训练的精确度。从而提高了提高模型训练的精确度。从而提高了提高模型训练的精确度。

【技术实现步骤摘要】
一种基于物理信息神经网络的模型训练方法及相关装置


[0001]本申请涉及计算机
，具体涉及一种基于物理信息神经网络的模型训练方法及相关装置。

技术介绍

[0002]电磁仿真是各类天线及天线阵列设计、优化、分析的主要技术，通过电磁仿真可以计算出所仿真天线的一些性能指标，如回波损耗、天线能量效率等，从而可以指导天线的设计或优化。
[0003]传统的电磁仿真的性能指标的计算方法可以是对天线的仿真域先进行网格划分，然后在离散的网格上求解麦克斯韦方程，计算得到全量的电磁场从而进行下一步的优化分析。统计结果表明，离散网格划分通常耗时几十分钟到几个小时不等，对于千万级左右的计算网格，控制方程的求解则需耗时4到8个小时，这种计算方法耗时过多。
[0004]目前也有通过物理信息神经网络(Physical Informed Neural Networks，PINNs)模型计算电磁仿真的性能指标的方案，但目前训练得到的PINNs模型所计算出的电磁仿真的性能指标的精度不高，不利于天线的优化。

技术实现思路

[0005]本申请提供一种基于物理信息神经网络(Physical Informed Neural Networks，PINNs)的模型训练方法，用于提升模型训练的准确度。本申请还提供了相应的装置、计算机设备、计算机可读存储介质和计算机程序产品等。
[0006]本申请第一方面提供一种基于物理信息神经网络PINNs的模型训练方法，该物理信息神经网络包括第一神经网络和偏微分方程，第一神经网络包括至少两个残差网络通道，该方法包括：从天线的仿真域获取多个采样点数据，多个采样点数据包括有源区的采样点数据、无源区的采样点数据、仿真域的边界的数据，以及仿真域的初始数据，仿真域包括有源区和无源区；向第一神经网络的每个残差网络通道输入多个训练样本中每个训练样本与每个残差网络通道对应系数的乘积，每个训练样本包括一个采样点数据和仿真域对应的隐向量，每个残差网络通道对应的系数不同；通过第一神经网络对输入每个残差网络通道中的数据进行处理，以得到输出数据集，其中，输出数据集包括有源输出数据、无源输出数据、边界输出数据和初始输出数据；通过偏微分方程对输出数据集进行处理，以得到总损失函数，总损失函数与有源损失函数、无源损失函数、边界损失函数和初始损失函数有关；根据总损失函数更新第一神经网络中的参数，以得到第二神经网络；将第二神经网络作为第一神经网络，迭代执行上述训练过程，直到第二神经网络达到收敛条件，以得到用于天线的电磁仿真的目标物理信息神经网络模型。
[0007]本申请中，PINNs就是把物理方程作为限制加入神经网络中使训练的结果满足物理规律。而这个限制其实就是通过把物理方程迭代前后的残差加到神经网络的损失函数里，让物理方程也“参与”到了训练过程。这样，神经网络在训练迭代时候优化的不仅仅的网
络自己的损失函数，还有物理方程每次迭代的残差，使得最后训练出来的结果满足物理规律。
[0008]本申请中，第一神经网络用于表示一次迭代前的神经网络，第二神经网络用于表示一次迭代后的神经网络。第一神经网络包括多个残差网络通道，本申请中的多个包括两个或两个以上。每个残差网络通道都可以将输入数据转换为电磁形式的输出数据。
[0009]本申请中，偏微分方程可以是点源麦克斯韦方程。
[0010]本申请中，天线的仿真域指的是模拟出的天线电磁波的覆盖区域。天线可以理解为是终端的天线，也可以是网络设备的天线。不同终端或网络设备的天线通常不同，所以，不同天线的仿真域也不同。
[0011]本申请中，仿真域包括有源区、无源区和边界，有源区指的是模拟在天线阵列中加入激励源，被激励源影响的包含激励源在内的近源区域，边界指的是仿真域的边沿，无源区指的是仿真域中除有源区和边界之外的区域。仿真域的边界通常有反弹边界或吸收边界，不同类型的边界对电磁仿真的结果影响很大。
[0012]本申请中，天线的仿真域可以包括多个不同天线各自的仿真域，每个仿真域对应的隐向量可以不相同。
[0013]本申请中，采样点数据指的是采样点对应的数据。采样点数据有四种类型，有源区的采样点数据、无源区的采样点数据、仿真域的边界的数据以及仿真域的初始数据。仿真域的初始数据通常指仿真域初始状态(通常指的是时间维度上t＝0时)的电场数据和磁场数据，初始状态的仿真域的电场数据和磁场数据通常为零。采样点数据通常是四维的，包括采样点的三维空间坐标，以及采样点的一维时间信息，采样点数据的形式可以表示为U＝(x，y，z，t)。
[0014]本申请中，训练样本指的是用于训练模型的样本数据。该训练样本中不仅包括采样点数据，还包括仿真域对应的隐向量Z。训练样本可以表示为X＝(Z,U)的形式。
[0015]本申请中，隐向量Z用来表征不同电磁仿真场景的参数设置。本申请中，隐向量Z采用低维向量，常用的维度选择可以是16，32，64，128等。
[0016]本申请中，因为采样点数据有四种类型，所以训练样本也有四种类型，分别为包含有源区的采样点数据的训练样本，包含无源区的采样点数据的训练样本，包含仿真域的边界的数据的训练样本，包含仿真域的初始数据的训练样本。
[0017]本申请中，将每种类型的训练样本逐个输入每个残差网络通道中，每个残差网络通道都会得到该种类型的输出数据，然后再将每个残差网络通道的输出数据汇总，就可以得到对应输入的一个输出数据。因此，输出数据也有四种类型，分别为有源输出数据，无源输出数据，边界输出数据和初始输出数据。另外，每个残差网络通道的系数不同，这样可以对同一个训练样本进行差异化变化，从而提高模型训练精度。
[0018]本申请中，因为训练样本有四种类型，所以输出数据也有四种类型，损失函数也有四种类型，通过四种类型的损失函数得到总损失函数再更新第一神经网络中的参数，以得到第二神经网络。
[0019]本申请中，可以采用梯度下降的方法更新第一神经网络中的参数。
[0020]本申请中，目标PINNs模型是相对于开始模型训练前的初始PINNs模型来说的，初始PINNs的第一神经网络中参数通常是较大的，在模型训练过程中，通过训练样本，不断的
更新第一神经网络中的参数，直到达到收敛条件，得到第二神经网络，这时第二神经网络中的参数可以理解为固定下来，这时的整个模型称为目标PINNs模型。
[0021]由以上第一方面的描述可知，因为PINNs的第一神经网络中包括多个残差网络通道，而且每个残差网络通道对应的系数不同，这样，在模型训练阶段就可以用不同的系数乘上相同的训练样本，就可以将一个数据扩展为多个数据，而且还可以通过多残差网络通道捕捉不同频率的信号，从而提高了模型训练的准确度。
[0022]在第一方面的一种可能的实现方式中，有源区是仿真域中，以激励源对应的点源为中心，以第一长度为半径的区域，第一长度与连续概率密度函数中的第一参数相关，连续概率密度函数趋近于狄拉克函数，点源的函数为连续概率密度函数与激励源的信号的乘积；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物理信息神经网络PINNs的模型训练方法，其特征在于，所述物理信息神经网络包括第一神经网络和偏微分方程，所述第一神经网络包括至少两个残差网络通道，所述方法包括：从天线的仿真域获取多个采样点数据，所述多个采样点数据包括有源区的采样点数据、无源区的采样点数据、所述仿真域的边界的数据，以及所述仿真域的初始数据，所述仿真域包括所述有源区和所述无源区；向所述第一神经网络的每个残差网络通道输入多个训练样本中每个训练样本与所述每个残差网络通道对应系数的乘积，所述每个训练样本包括一个采样点数据和所述仿真域对应的隐向量，所述每个残差网络通道对应的系数不同；通过所述第一神经网络对输入所述每个残差网络通道中的数据进行处理，以得到输出数据集，其中，所述输出数据集包括有源输出数据、无源输出数据、边界输出数据和初始输出数据；通过所述偏微分方程对所述输出数据集进行处理，以得到总损失函数，所述总损失函数与有源损失函数、无源损失函数、边界损失函数和初始损失函数有关；根据所述总损失函数更新所述第一神经网络中的参数，以得到第二神经网络；将所述第二神经网络作为所述第一神经网络，迭代执行上述训练过程，直到所述第二神经网络达到收敛条件，以得到用于所述天线的电磁仿真的目标物理信息神经网络模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述有源区是所述仿真域中，以激励源对应的点源为中心，以第一长度为半径的区域，所述第一长度与连续概率密度函数中的第一参数相关，所述连续概率密度函数趋近于狄拉克函数；所述无源区是所述仿真域中除所述有源区和所述仿真域的边界之外的区域。3.根据权利要求1或2所述的模型训练方法，其特征在于，所述有源输出数据为所述多个训练样本中的一个训练样本包含所述有源区的采样点数据时所述每个残差网络通道的输出数据之和；所述无源输出数据为所述多个训练样本中的一个训练样本包含所述无源区的采样点数据时所述每个残差网络通道的输出数据之和；所述边界输出数据为所述多个训练样本中的一个训练样本包含所述仿真域的边界的数据时所述每个残差网络通道的输出数据之和；所述初始输出数据为所述多个训练样本中的一个训练样本包含所述初始数据时所述每个残差网络通道的输出数据之和。4.根据权利要求1
‑
3任一项所述的模型训练方法，其特征在于，所述每个残差网络通道包括正弦周期性激活函数；所述正弦周期性激活函数用于将所述每个残差网络通道中的数据转换为电场参数和磁场参数作为所述每个残差网络通道的输出数据。5.根据权利要求1
‑
4任一项所述的模型训练方法，其特征在于，所述每个残差网络通道对应的系数按照指数级递增。6.根据权利要求1
‑
5任一项所述的模型训练方法，其特征在于，所述通过所述偏微分方程对所述输出数据集进行处理，以得到总损失函数，包括：
每次将所述输出数据集中的一个输出数据作为所述偏微分方程的已知量，对所述偏微分方程进行运算，以得到所述一个输出数据对应的损失函数；对所述输出数据集中的每个输出数据对应的损失函数按照预设关系进行累加，以得到所述总损失函数。7.根据权利要求6所述的模型训练方法，其特征在于，所述预设关系中包括可学参数和超参数，与所述总损失函数有关的不同损失函数对应的可学参数不同，所述可学参数会随着所述第一神经网络中的参数更新而更新，所述超参数用于辅助所述可学参数加权对应的损失函数。8.根据权利要求7所述的模型训练方法，其特征在于，所述根据所述总损失函数更新所述第一神经网络中的参数时，所述方法还包括：更新所述仿真域的隐向量，以及所述预设关系中的所述可学参数。9.一种增量学习的方法，其特征在于，包括：获取来自于待优化天线的仿真域的多个采样点数据，所述多个采样点数据包括有源区的采样点数据、无源区的采样点数据、所述仿真域的边界的数据，以及所述仿真域的初始数据，所述仿真域包括所述有源区和所述无源区；向目标物理信息神经网络输入多个样本数据，其中，每个样本数据包括一个采样点数据和所述仿真域的第一隐向量，所述目标物理信息神经网络为上述权利要求1
‑
8任一项的模型训练方法得到的目标物理信息神经网络；通过所述目标物理信息神经网络得到与所述每个样本数据对...

【专利技术属性】
技术研发人员：刘红升，时北极，翁冰雅，杨康，王紫东，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：