用于证据神经网络模型的协同训练方法及装置制造方法及图纸

本公开的实施例提供了一种用于证据神经网络模型的协同训练方法、装置、计算机程序产品和存储介质。本公开的协同训练方法，包括：针对不同种类的分子表征中的每一种分子表征分别构建一个或多个证据神经网络模型，以构成一组证据神经网络模型；基于每种分子表征的模型的预测置信度高于预设阈值的无标签数据，确定与该种分子表征不同的其它种类的分子表征的模型的伪标签数据，以迭代更新每个证据神经网络模型的网络参数。通过本公开的协同训练方法能够充分利用每种分子表征的优势，通过不同角度来对用于分子性质预测的证据神经网络模型进行协同建模及协同训练，提升了证据神经网络模型的预测能力。模型的预测能力。模型的预测能力。

【技术实现步骤摘要】
用于证据神经网络模型的协同训练方法及装置


[0001]本公开涉及人工智能领域，更具体地，涉及一种用于证据神经网络模型的协同训练方法、装置、计算机程序产品和存储介质，以及一种基于证据神经网络模型的分子性质预测方法、装置、计算机程序产品和存储介质。

技术介绍

[0002]分子性质预测是计算机辅助药物发现流程中最为关键的任务之一。其主要目的是通过原子坐标等分子内部信息，对分子物理、化学性质做出预测，从而使人们能够在大量候选化合物中找到符合预期性质的化合物，加快药物筛选和药物设计的速度。
[0003]目前，分子性质预测过程中，常用的方法有基于分子描述符的方法(Descriptor
‑
based method)、基于分子图的方法及基于简化分子线性输入系统(SMILES，Simplified Molecular Input Line Entry System)字符串的方法，其中，基于分子描述符的方法是利用预定义的分子描述符/指纹的固定长度特征向量对分子进行表征，是分子性质预测中最流行的方法；基于图的方法将分子描述为带有节点(原子)和边(键)的分子图，而不是固定长度的特征向量，通过图神经网络(GNN)框架，从原子、键特征和分子拓扑结构定义的简单初始特征中自动提取分子特征，进而进行分子性质预测；基于SMILES字符串的方法直接从SMILES字符串中提取分子特征进行分子性质预测，不依赖于任何手工生成的特征。
[0004]然而，基于分子描述符的模型对分子特征比较敏感，基于图的方法严重依赖于数据量，基于SMILES的方法对特征提取能力和数据量有较高的要求，因此，如何优化现有的分子预测方法，提升模型的预测能力是目前分子性质预测领域的重要研究方向。

技术实现思路

[0005]为了解决上述问题，本公开提供了一种用于证据神经网络模型的协同训练方法、装置、计算机程序产品和存储介质，以及一种基于证据神经网络模型的分子性质预测方法、装置、计算机程序产品和存储介质。本公开提供的用于证据神经网络模型的协同训练方法包括：针对不同种类的分子表征中的每一种分子表征分别构建一个或多个证据神经网络模型，以构成一组证据神经网络模型，其中，所述一组证据神经网络模型用于对分子性质进行预测；对于所述不同种类的分子表征中的每种分子表征，基于从该种分子表征所对应的一个或多个证据神经网络模型中获得的预测置信度高于预设阈值的无标签数据，确定与该种分子表征不同的其它种类的分子表征所对应的一个或多个证据神经网络模型的伪标签数据；对所述一组证据神经网络模型进行协同训练，以迭代更新所述一组证据神经网络模型中的每个证据神经网络模型的网络参数。
[0006]本公开的基于证据神经网络模型的分子性质预测方法，能够充分利用每种分子表征的优势，通过不同角度来对用于分子性质预测的证据神经网络模型进行协同建模及协同训练，提升了证据神经网络模型的预测能力。
[0007]根据本公开的实施例，所述对于所述不同种类的分子表征中的每种分子表征，基
于从该种分子表征所对应的一个或多个证据神经网络模型中获得的预测置信度高于预设阈值的无标签数据，确定与该种分子表征不同的其它种类的分子表征所对应的一个或多个证据神经网络模型的伪标签数据还包括：基于证据深度学习方法(EDL，evidential deep learning)来评估每一个所述证据神经网络模型预测的置信度，以使得每一个所述证据神经网络模型在训练时输出预测值和与所述预测值对应的置信度。
[0008]根据本公开的实施例，所述基于证据深度学习方法来评估每一个证据神经网络模型预测的置信度还包括：基于预设的置信度阈值来对所述证据神经网络模型的无标签数据中的每一个数据进行分类，使在所述置信度值大于或等于所述置信度阈值的情况下，将所述无标签数据确定为置信度高的数据，在所述置信度值小于所述置信度阈值的情况下，将所述无标签数据确定为置信度低的数据。
[0009]根据本公开的实施例，所述对于所述不同种类的分子表征中的每种分子表征，基于从该种分子表征所对应的一个或多个证据神经网络模型中获得的预测置信度高于预设阈值的无标签数据，确定与该种分子表征不同的其它种类的分子表征所对应的一个或多个证据神经网络模型的伪标签数据还包括：针对每一个所述证据神经网络模型选择训练集数据，使得所述训练集中的具有特定性质的数据与不具有特定性质的数据满足预定的比例；并且针对每一个所述证据神经网络模型计算伪标签数据在该证据神经网络模型的训练集中的占比，使得所述占比不超过预定的占比阈值。
[0010]根据本公开的实施例，所述不同种类的分子表征包括：基于分子描述符的分子表征、基于分子图的分子表征，以及基于简化分子线性输入系统(SMILES，Simplified Molecular Input Line Entry System)字符串的分子表征。
[0011]根据本公开的实施例，所述针对不同种类的分子表征中的每一种分子表征分别构建一个或多个证据神经网络模型，以构成一组证据神经网络模型还包括：针对所述基于分子描述符的分子表征构建基于深度神经网络(DNN，Deep Neural networks)的第一证据神经网络模型；针对所述基于分子图的分子表征构建基于关系图卷积神经网络(RGCN，Relational Graph Convolution Networks)的第二证据神经网络模型；以及针对所述基于SMILES字符串的分子表征构建基于知识的来自变换器的双向编码器表示(K
‑
BERT，Knowledge
‑
Based Bidirectional Encoder Representation from Transformers)的第三证据神经网络模型。
[0012]根据本公开的实施例，所述第一证据神经网络模型包括多个全连接(FC，Full Connection)层；其中，对所述一组证据神经网络模型进行协同训练，以迭代更新所述一组证据神经网络模型中的每个证据神经网络模型的网络参数还包括：将与所述基于分子描述符的分子表征对应的分子特征向量输入到所述第一证据神经网络模型，以获得经所述第一证据神经网络模型处理后的数据。
[0013]根据本公开的实施例，所述第二证据神经网络模型包括多个RGCN层和多个FC层；其中，对所述一组证据神经网络模型进行协同训练，以迭代更新所述一组证据神经网络模型中的每个证据神经网络模型的网络参数还包括：将分子图输入到所述第二证据神经网络模型中的多个RGCN层，得到分子图中的各原子的特征向量，通过所述各原子的特征向量和与所述各原子的特征向量对应的权重，确定与所述基于分子图的分子表征对应的分子特征向量，其中，所述RGCN中的每一个原子的特征向量是基于该原子周围的原子的特征向量所
迭代确定的；将与所述基于分子图的分子表征对应的分子特征向量输入到所述RGCN模型中的多个FC层，以获得经所述第二证据神经网络模型处理后的数据。
[0014]根据本公开的实施例，所述第三证据神经网络模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
Graph Convolution Networks)的第二证据神经网络模型；以及针对所述基于SMILES字符串的分子表征构建基于知识的来自变换器的双向编码器表示(K
‑
BERT，Knowledge
‑
Based Bidirectional Encoder Representation from Transformers)的第三证据神经网络模型。6.如权利要求5所述的协同训练方法，其中，所述第一证据神经网络模型包括多个全连接(FC，Full Connection)层；其中，对所述一组证据神经网络模型进行协同训练，以迭代更新所述一组证据神经网络模型中的每个证据神经网络模型的网络参数还包括：将与所述基于分子描述符的分子表征对应的分子特征向量输入到所述第一证据神经网络模型，以获得经所述第一证据神经网络模型处理后的数据。7.如权利要求5所述的协同训练方法，其中，所述第二证据神经网络模型包括多个RGCN层和多个FC层；其中，对所述一组证据神经网络模型进行协同训练，以迭代更新所述一组证据神经网络模型中的每个证据神经网络模型的网络参数还包括：将分子图输入到所述第二证据神经网络模型中的多个RGCN层，得到分子图中的各原子的特征向量，通过所述各原子的特征向量和与所述各原子的特征向量对应的权重，确定与所述基于分子图的分子表征对应的分子特征向量，其中，所述RGCN中的每一个原子的特征向量是基于该原子周围的原子的特征向量所迭代确定的；将与所述基于分子图的分子表征对应的分子特征向量输入到所述RGCN模型中的多个FC层，以获得经所述第二证据神经网络模型处理后的数据。8.如权利要求5所述的协同训练方法，其中，所述第三证据神经网络模型包括多个变换器编码器(Transformer encoder)层；其中，对所述一组证据神经网络模型进行协同训练，以迭代更新所述一组证据神经网络模型中的每个证据神经网络模型的网络参数还包括：将与所述基于SMILES字符串的分子表征对应的词向量输入到所述第三证据神经网络模型，以获得经所述第三证据神经网络模型处理后的数据，其中，所述第三证据神经网络模型是基于以下训练目标中的一个或多个来确定的：原子特征预测、分子特征预测、最大化同一分子的不同SMILES字符串间的相似度，以及最小化不同分子间的相似度。9.一种基于证据神经网络模型的分子性质预测方法，包括：获取待预测性质的分子的分子表征；利用一组证据神经网络模型，基于所述分子表征对所述待预测性质的分子进行性质预测；基于所述一组证据神经网络模型中的各证据神经网络模型来输出对所述分子的性质进行预测的结果；其中，所述一组证据神经网络模型包括针对不同种类的分子表征中的每一种分子表征分别构建的一个或多个证据神经网络模型，并且，所述不同种类的分子表征中的每一种分子表征所对应的一个或多个证据神经网络模型的训练集中的伪标签数据是基于从与该种分子表征不同的其它种类的分子表征所对应的一个或多个证据神经网络模型的无标签数
据集中获得的置信度高的数据来确定的。10.如权利要求9所述的分子性质预测方法，其中，所述每一种分子表征所对应的多个证据神经网络模型是根据不同的随机种子构建的；并且每一个所述证据神经网络模型预测的置信度是基于证据深度学习方法(EDL，evidential deep learning)来评估的，...

【专利技术属性】
技术研发人员：吴振兴，谢昌谕，张胜誉，侯廷军，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：