一种基于Transformer的电磁超材料复杂光谱高精度预测方法技术

本发明专利技术公开了一种基于Transformer的电磁超材料复杂光谱高精度预测方法，预测方法的构建基于Transformer神经网络模型，利用严格耦合波分析法RCWA在给定的电磁超材料物理模型结构参数范围内随机组合计算得到样本数据，将样本数据按4：1分为训练集和验证集，用于神经网络模型的训练和验证，输入训练集至Transformer神经网络模型进行训练，验证集用于验证神经网络模型性能。能根据输入的电磁超材料结构参数准确快速的预测光学响应，克服传统数值模拟方法求解麦克斯韦方程组复杂耗时的缺点，可以做到对光谱实时准确预测，降低时间和硬件成本。能极大加快电磁超材料设计周期，易于推广其它电磁超材料模型中。易于推广其它电磁超材料模型中。易于推广其它电磁超材料模型中。

【技术实现步骤摘要】
一种基于Transformer的电磁超材料复杂光谱高精度预测方法


[0001]本专利技术涉及电磁超材料与人工智能
，具体为一种基于Transformer的电磁超材料复杂光谱高精度预测方法。

技术介绍

[0002]电磁超材料超是具有微结构的人造复合材料，它们具有天然材料所不具备的非凡物理特性，能够在纳米尺度实现对电磁波相位、振幅和偏振灵活有效的调控。基于电磁超材料的器件具备体积小、灵敏度高、灵活度高等优势，广泛应用于传感、检测、能量存储和热辐射等。
[0003]电磁超材料器件尺寸在纳米级别，其制备依赖精密的加工手段，需要在加工前对光学响应进行精确模拟以优化器件结构。时域有限差分法(FDTD)或者有限元法(FEM)是两种模拟电磁超材料光学响应的通用数值计算方法。这些方法往往需要较大的计算时间成本和硬件成本，且随着器件结构复杂度增加，计算过程将变得越来越困难。
[0004]随着机器学习的发展，深度学习在语音识别、图像识别、自然语言处理等领域已经展现出其强大的能力，深度学习是一种数据驱动算法，通过大量数据的训练，可以表示数据之间复杂的非线性关系，与数值计算方法相比可以在毫秒级时间内给出计算结果，且计算时间成本和硬件不随器件结构复杂度增加而增加。
[0005]深度学习辅助电磁超材料设计引起了不少研究者关注，并且已经成功被应用于电磁学多个领域。目前基于深度学习的电磁超材料设计方案主要有两类网络：1.根据电磁超材料结构参数预测光学响应，即正向网络；2.根据目标光学响应预测电磁超材料结构参数，即逆向网络。正向网络不仅可以替代数值计算方法高效快速的预测光学响应而且对逆向网络的训练至关重要，例如通过训练好的正向网络协助逆向网络来训练以解决光谱和结构参数之间存在的非唯一映射问题。目前常用于正向网络的深度学习模型包括多层感知机(MLP)、卷积神经网络(CNN)、自编码器(AE)等。这些模型在训练样本量充足或光谱复杂度不高的情况下通常具有较好的预测精度。
[0006]特别的，电磁超材料训练数据的收集不可避免的会使用到数值计算方法，可获得的数据量有限，这要求神经网络模型要在低样本量的情况下，尽可能多的提升学习能力，充分利用已有训练集。针对复杂的光谱曲线，传统的神经网络模型在光谱变化较大的位置往往具有较大的预测误差，而这些位置往往蕴含着重要的物理信息，提升正向网络对复杂光谱的预测精度是至关重要的。

技术实现思路

[0007]针对现有技术存在的不足，本专利技术提出了一种基于Transformer的电磁超材料复杂光谱高精度预测方法，旨在解决现有技术对复杂光谱预测一致性不高的问题。
[0008]本专利技术提供了如下的技术方案：一种基于Transformer的电磁超材料复杂光谱高
精度预测方法，所述预测方法的构建基于Transformer神经网络模型，利用严格耦合波分析法RCWA在给定的电磁超材料物理模型结构参数范围内随机组合计算得到样本数据，将样本数据按照4：1分为训练集和验证集，用于神经网络模型的训练和验证，输入训练集至Transformer神经网络模型进行训练，验证集用于验证神经网络模型性能，根据训练完成的Transformer神经网络模型预测得到电磁超材料结构参数对应的光学响应。
[0009]优选的，使用严格耦合波分析法RCWA在给定的层状金属/电介质结构参数范围内随机组合计算得到对应的反射率，用于Transformer神经网络模型的训练与验证，使Transformer神经网络模型能得到层状金属/电介质结构参数与反射率之间复杂的非线性映射关系。
[0010]优选的，所述的层状金属/电介质结构由多层垂直周期性交替金属/电介质层状纳米结构单元构成，几何形状是长方形、椭圆形、三角形几何图案中的任意一种，每个单元中的左右柱子宽度分别为w1和w2，基底的金属层厚度为h，所述金属为氧化铝、二氧化硅、氟化镁、锗、金、银、铝、或钛中的任一种或多种复合，所述电介质层的材质为二氧化硅、一氧化硅、氟化镁、氧化铝中的任意一种材料，该结构能在近红外波段实现丰富的滤波电路功能。
[0011]优选的，所述Transformer神经网络模型包括依次设置的输入层、位置编码层、8个串联Transformer编码器、非线性层、输出层；
[0012]输入层作用为矩阵维度变化，输入的10个结构参数分别通过10个长度为512的全连接层，输入数据的矩阵维度由64
×
10变为64
×
10
×
512；
[0013]位置编码层由维度为1
×
10
×
512的可学习矩阵构成，与每个输入矩阵相加，为输入数据添加位置信息；
[0014]Transformer编码器包括多头注意力机制模块、残差连接、归一化层、Dropout随机丢弃层、前向反馈层；
[0015]多头注意力机制模块的输出表达式为：
[0016][0017]其中Q、K、V为三个可学习矩阵W
iq
、W
ik
、W
iv
分别与位置编码层的输出相乘得到，W
q
、W
k
、W
v
均为一个整体的标识符号，i表示多头注意力机制中第几个头；d
k
表示一个整体的标识符，代表一个缩放因子；q、k、v不是一个单独的参量，分别与W
q
、W
k
、W
v
组成符号；
[0018]非线性层由一个长度为1024的全连接层和一个ReLU激活函数构建；
[0019]输出层由一个长度为100的全连接层构建，将输出数据变为与光谱采样点大小一致的矩阵。
[0020]具体训练方法如下：
[0021]初始化参数，批次大小batch size设置为64，总的学习次数epoch设置为600，学习率设置为0.0001，每30个epoch学习率下降80％，使用Adam作为梯度下降优化器，均方差作为损失函数，整个神经网络模型使用ReLU作为激活函数；
[0022]在输入层，输入的64
×
10二维矩阵被扩张为64
×
10
×
1的三维矩阵，然后经过10个1
×
512全连接层得到64
×
10
×
512的三维矩阵，然后送入位置编码层；
[0023]所述位置编码层由一个三维的可学习矩阵构建，矩阵大小为1
×
10
×
512，与输入
数据相加得到位置编码层输出；
[0024]所述位置编码层输出被送入上述Transformer编码器，经过N个串联的所述Transformer编码器后会再经过一个由1024大小的全连接层和ReLU激活函数组成的非线性单元，最终计算结果将被送入最后的输出层；
[0025]使用一层全连接网络作为输出层，输出层输出单元个数为100，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的电磁超材料复杂光谱高精度预测方法，其特征在于，所述预测方法的构建基于Transformer神经网络模型，利用严格耦合波分析法RCWA在给定的电磁超材料物理模型结构参数范围内随机组合计算得到样本数据，将样本数据按照4：1分为训练集和验证集，用于神经网络模型的训练和验证，输入训练集至Transformer神经网络模型进行训练，验证集用于验证神经网络模型性能，根据训练完成的Transformer神经网络模型预测得到电磁超材料结构参数对应的光学响应。2.根据权利要求1所述的一种基于Transformer的电磁超材料复杂光谱高精度预测方法，其特征在于，使用严格耦合波分析法RCWA在给定的层状金属/电介质结构参数范围内随机组合计算得到对应的反射率，用于Transformer神经网络模型的训练与验证，使Transformer神经网络模型能得到层状金属/电介质结构参数与反射率之间复杂的非线性映射关系。3.根据权利要求2所述的一种基于Transformer的电磁超材料复杂光谱高精度预测方法，其特征在于，所述的层状金属/电介质结构由多层垂直周期性交替金属/电介质层状纳米结构单元构成，几何形状是长方形、椭圆形、三角形几何图案中的任意一种，每个单元中的左右柱子宽度分别为w1和w2，基底的金属层厚度为h，所述金属为氧化铝、二氧化硅、氟化镁、锗、金、银、铝、或钛中的任一种或多种复合，所述电介质层的材质为二氧化硅、一氧化硅、氟化镁、氧化铝中的任意一种材料。4.根据权利要求2所述的一种基于Transformer的电磁超材料复杂光谱高精度预测...

【专利技术属性】
技术研发人员：朱锦锋，熊健凯，高源，
申请(专利权)人：厦门大学，
类型：发明
国别省市：