【技术实现步骤摘要】
本专利技术属于材料发现，具体涉及一种基于transformer的材料多维属性预测方法。
技术介绍
1、现有技术中，大多数材料属性预测模型为单维度属性预测，针对某些在不同条件下会发生改变的属性，该类模型效率低且未能捕捉预测属性潜在的变化关系，多维属性预测方法(hclmp)提供了一种多维属性预测思路，但对多维属性预测的预测能力仍有待提高。
2、材料的多维属性预测旨在同时预测多个目标域的相关值，这种方法可以对多个目标使用独立的单属性预测模型，然而传统的材料多维属性预测效率低且不能很好地利用输入元素与属性的功能映射之间的关系。
3、在目标领域内可供的训练数据往往不足以开展大规模训练，hclmp等模型所提出的迁移学习方法是一种比较好的方法，但对迁移学习模块的训练以及生成的伪数据存在优化空间。
4、transformer已经成为自然语言处理任务的首选，也被用于化学或生物学应用。本专利技术将化合物视为系统，将元素视为该系统内的小项，学习化合物内元素间的相互作用。本专利技术利用transformer模型，利用transformer的注意力机制，来学习不同元素之间的相互作用，并利用最终不同元素的贡献与预测的不确定性，获得多个维度的材料属性值，提高材料多维属性预测的效率和预测能力。
技术实现思路
1、本专利技术的目的在于提供一种基于transformer的材料多维属性预测方法，以解决上述
技术介绍
中提到的技术问题。
2、为了实现上述目的，本专利技术公开了一
3、s1：主任务模块：获取待预测材料的元素组成和与预测属性相关的属性；
4、s2：辅助任务模块：确定辅助任务材料的元素组成和辅助任务材料的预测属性；
5、s3：利用辅助任务模块生成更多可用数据，作为主任务模块的输入；
6、s4：利用多元高斯模型学习元素组合与属性之间的关系；
7、s5：利用基于软量化权重的transformer模型学习元素之间的相互关系；
8、s6：主任务模块与辅助任务模块进行联合训练，在辅助任务模块，transformer的输出经过生成器生成伪数据，并由判别器判断；在主任务模块中，经过一个mlp层输出预测属性的数值。
9、进一步的，s1中获取待预测材料的元素组成和与预测属性相关的属性的具体流程，以及s2中获取辅助任务材料的元素组成和辅助任务材料的预测属性的具体流程均包括：通过网站获取具有元素组成信息的json文件、以及实验数据或者模拟数据的json文件，其中元素组成信息包括原子组成和化学式，实验数据或者模拟数据包括分子的基本性质、电子性质、拓扑性质以及与分子对应的材料的性质。
10、进一步的，s3中，利用辅助任务模块对与主任务模块中预测属性相关但是不同的属性进行预测，包括主任务模块预测光学性质，辅助任务模块预测光学相关的性质，生成的数据作为主任务模块输入数据的扩充，利用相似属性，对原有元素组合中的属性值数据进行扩充。
11、进一步的，s4中的利用多元高斯模型学习元素与属性之间的关系，包括利用两个共享的协方差矩阵促使模型生成的嵌入中表现出元素组成与属性之间的相关性，帮助模型在没有可用训练数据的新的元素组成空间中准确预测非线性的元素组成与属性之间的关系。
12、进一步的，所述多元高斯模型的输入为三元组{v，c，p}，其中v表示构成元素的原子矩阵，c表示对应元素的分数矩阵，p表示与预测属性相关的属性值。
13、进一步的，s5中，利用基于软量化权重的transformer模型学习元素之间的相互关系，在针对小型数据集上，模型缺少足够的数据来学习节点之间的紧密关系，获取到的全局信息会导致过拟合和训练不稳定的情况时，利用软量化权重来离散注意力权重，将阶跃函数更换为sigmoid函数，此种权重计算公式如下：式中：αi是第i个量化区间，β为量化区间个数，τ为可调节参数。
14、进一步的，s6中，利用辅助任务模块执行预测任务，并产生预测损失lossa，主任务模块也产生相应的预测损失lossm，最终的目标函数是最小化这两个损失函数，l＝λ1lossa+λ2lossm，式中：λ1与λ2是用于平衡损失的超参数。
15、与现有技术相比，本专利技术的基于transformer的材料多维属性预测方法具有以下优点：
16、(1)软量化权重缓解注意力机制在小型数据集下过拟合和训练不稳定情况，有利于在数据不足的情况下进行更鲁棒地建模。
17、(2)与hclmp方法相比，在其基础上，利用软量化transformer来提高迁移学习模块的性能，并引入分数编码和掩码权重，既提取更多特征信息，又减少了生成的伪数据对真实数据的错误影响。
本文档来自技高网...【技术保护点】
1.基于Transformer的材料多维属性预测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于Transformer的材料多维属性预测方法，其特征在于，S1中获取待预测材料的元素组成和与预测属性相关的属性的具体流程，以及S2中获取辅助任务材料的元素组成和辅助任务材料的预测属性的具体流程均包括：通过网站获取具有元素组成信息的json文件、以及实验数据或者模拟数据的json文件，其中元素组成信息包括原子组成和化学式，实验数据或者模拟数据包括分子的基本性质、电子性质、拓扑性质以及与分子对应的材料的性质。
3.如权利要求1所述的基于Transformer的材料多维属性预测方法，其特征在于，S3中，利用辅助任务模块对与主任务模块中预测属性相关但是不同的属性进行预测，包括主任务模块预测光学性质，辅助任务模块预测光学相关的性质，生成的数据作为主任务模块输入数据的扩充，利用相似属性，对原有元素组合中的属性值数据进行扩充。
4.如权利要求1所述的基于Transformer的材料多维属性预测方法，其特征在于，S4中的利用多元高斯模型学习元素与属性之间
5.如权利要求4所述的基于Transformer的材料多维属性预测方法，其特征在于，所述多元高斯模型的输入为三元组{V，C，P}，其中V表示构成元素的原子矩阵，C表示对应元素的分数矩阵，P表示与预测属性相关的属性值。
6.如权利要求1所述的基于Transformer的材料多维属性预测方法，其特征在于，S5中，利用基于软量化权重的Transformer模型学习元素之间的相互关系，在针对小型数据集上，模型缺少足够的数据来学习节点之间的紧密关系，获取到的全局信息会导致过拟合和训练不稳定的情况时，利用软量化权重来离散注意力权重，将阶跃函数更换为sigmoid函数，此种权重计算公式如下：式中：αi是第i个量化区间，β为量化区间个数，τ为可调节参数。
7.如权利要求1所述的基于Transformer的材料多维属性预测方法，其特征在于，S6中，利用辅助任务模块执行预测任务，并产生预测损失LossA，主任务模块也产生相应的预测损失LossM，最终的目标函数是最小化这两个损失函数，L＝λ1LossA+λ2LossM，式中：
...【技术特征摘要】
1.基于transformer的材料多维属性预测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于transformer的材料多维属性预测方法，其特征在于，s1中获取待预测材料的元素组成和与预测属性相关的属性的具体流程，以及s2中获取辅助任务材料的元素组成和辅助任务材料的预测属性的具体流程均包括：通过网站获取具有元素组成信息的json文件、以及实验数据或者模拟数据的json文件，其中元素组成信息包括原子组成和化学式，实验数据或者模拟数据包括分子的基本性质、电子性质、拓扑性质以及与分子对应的材料的性质。
3.如权利要求1所述的基于transformer的材料多维属性预测方法，其特征在于，s3中，利用辅助任务模块对与主任务模块中预测属性相关但是不同的属性进行预测，包括主任务模块预测光学性质，辅助任务模块预测光学相关的性质，生成的数据作为主任务模块输入数据的扩充，利用相似属性，对原有元素组合中的属性值数据进行扩充。
4.如权利要求1所述的基于transformer的材料多维属性预测方法，其特征在于，s4中的利用多元高斯模型学习元素与属性之间的关系，包括利用两个共享的协方差矩阵促使模型生成的嵌入中表现出元素组成...
【专利技术属性】
技术研发人员：金程扬，赵加坤，王啸虎，覃奕玮，
申请(专利权)人：苏州岽睿微电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。