基于深度强化学习的先导化合物设计方法、系统、设备及介质技术方案

本申请提供基于深度强化学习的先导化合物设计方法、系统、设备及介质，发明专利技术创新实现了以亲和力为目标的共价抑制剂从头设计功能，提出根据多个不同生物活性片段构建新型药物分子的创新方法，优化了模型的探索空间；利用物理计算软件Autodock

【技术实现步骤摘要】
基于深度强化学习的先导化合物设计方法、系统、设备及介质


[0001]本申请涉及人工智能及化合物设计
，特别是涉及基于深度强化学习的先导化合物设计方法、系统、设备及介质。

技术介绍

[0002]小分子药物在人类与疾病的斗争中一直扮演着非常重要的角色。在2021年上半年，FDA批准的52款新药中，有近一半是主要用于肿瘤治疗的小分子药物。但随着时间的推移，传统药物研发的周期越来越长，耗资愈发高昂，如今一款FDA批准药物从研发到上市平均耗时超过10年，耗资高达20多亿美元。从大小为10
60
的分子空间中搜索具有理想治疗潜力的分子是药物发现中的关键任务之一，为减少新型药物研发成本和耗时，使用样本效率高的生成模型取代无数潜在药物分子的机械筛选已被认为是具前景的途径之一。
[0003]在计算机辅助药物设计领域，如何在巨大分子空间中高效搜索潜在药物分子和如何提升模型泛化能力是两个基本挑战。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本申请的目的在于提供基于深度强化学习的先导化合物设计方法、系统、设备及介质，用于解决如何在巨大分子空间中高效搜索潜在药物分子和如何提升模型泛化能力的技术问题。
[0005]为实现上述目的及其他相关目的，本申请的第一方面提供一种基于深度强化学习的先导化合物设计方法，包括：构建构成先导化合物所需的多个不同生物活性分子片段的分子片段库；构建各所述分子片段库的分子图数据，并基于图卷积神经网络对所述分子图数据进行特征提取；将提取得到的分子图数据的特征以及分子片段库中各个分子片段的扩展连通性指纹特征作为深度强化学习模型的输入参数，以进行特定生物活性分子片段和对应连接位点的选择，以供拼接形成用于构成先导化合物的分子片段。
[0006]于本申请的第一方面的一些实施例中，在设计共价化合物的过程中，从各分子片段库中分别选取1个Hinge Binder分子片段、1个Linker分子片段、1个Other Group分子片段、1个Warhead分子片段；提取每个分子片段的分子图的特征以及扩展连通性指纹特征后输入所述深度强化学习模型，以由所述深度强化学习模型分别输出待设计共价化合物所需的分子片段，以供拼接形成共价化合物；以及/或者，在设计非共价化合物的过程中，从各分子片段库中分别选取1个Hinge Binder分子片段、1个Linker分子片段、2个Other Group分子片段；提取每个分子片段的分子图的特征以及扩展连通性指纹特征后输入所述深度强化学习模型，以由所述深度强化学习模型分别输出待设计非共价化合物所需的分子片段，以供拼接形成非共价化合物。
[0007]于本申请的第一方面的一些实施例中，所述分子片段库的构建过程包括：从相关文献或数据库中提取有效分子和候选分子片段并生成数据库格式的分子片段文件；读取不同来源的数据库格式的分子片段文件，对不同生物活性的分子片段分别使用对应的筛选条
Actor Critic深度强化学习框架，其设定的目标函数包括：
[0019][0020]其中，s
t
为当前状态，a
t
为当前动作，R(s
t
，a
t
)为状态s
t
进行a
t
动作的即时奖励分数，α为平衡奖励分数r(s
t
，a
t
)和探索能力的超参数，为状态s
t
下的动作概率熵，ρ
π
表示由策略π产生的状态
‑
动作转换分布，表示在状态s
t
下策略π生成动作a
t
时，模型即时奖励分数和动作概率熵的期望值，表示在所有可能的策略中选择能够最大化奖励分数与动作概率熵之和的策略。
[0021]于本申请的第一方面的一些实施例中，所述方法还包括以Auto
‑
GPU作为深度强化学习模型的奖励函数，预测得到的亲和力值作为所述深度强化学习模型的回报。
[0022]于本申请的第一方面的一些实施例中，所述深度强化学习模型的奖励函数脚本包括共价对接脚本和非共价对接脚本。
[0023]于本申请的第一方面的一些实施例中，基于Munchausen强化学习算法，在深度强化学习模型的时序差分过程中引入Munchausen项以限制新旧策略间过大差异导致的误差。
[0024]于本申请的第一方面的一些实施例中，在所述深度强化学习模型中设定一个奖励预测器；所述奖励预测器在每次分子对接过程结束后进行更新；当出现新的状态时，奖励预测器的预测结果会有更高的误差，而对于已出现过的状态，奖励预测器的预测结果误差更小。
[0025]为实现上述目的及其他相关目的，本申请的第二方面提供一种基于深度强化学习的先导化合物设计系统，包括：分子片段库构建模块，用于构建构成先导化合物所需的多个不同生物活性分子片段的分子片段库；特征提取模块，用于构建各所述分子片段库的分子图数据，并基于图卷积神经网络对所述分子图数据进行特征提取；模型构建模块，用于将提取得到的分子图数据的特征以及分子片段库中各个分子片段的扩展连通性指纹特征作为深度强化学习模型的输入参数，以进行特定生物活性分子片段和对应连接位点的选择，以供拼接形成用于构成先导化合物的分子片段。
[0026]于本申请的第二方面的一些实施例中，还包括：共价化合物设计模块，用于从各分子片段库中分别选取1个Hinge Binder分子片段、1个Linker分子片段、1个Other Group分子片段、1个Warhead分子片段；提取每个分子片段的分子图的特征以及扩展连通性指纹特征后输入所述深度强化学习模型，以由所述深度强化学习模型分别输出待设计共价化合物所需的分子片段，以供拼接形成共价化合物；非共价化合物设计模块，用于从各分子片段库中分别选取1个Hinge Binder分子片段、1个Linker分子片段、2个Other Group分子片段；提取每个分子片段的分子图的特征以及扩展连通性指纹特征后输入所述深度强化学习模型，以由所述深度强化学习模型分别输出待设计非共价化合物所需的分子片段，以供拼接形成非共价化合物。
[0027]为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度强化学习的先导化合物设计方法。
[0028]为实现上述目的及其他相关目的，本申请的第四方面提供一种计算机设备，包括：
处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于深度强化学习的先导化合物设计方法。
[0029]如上所述，本申请的基于深度强化学习的先导化合物设计方法、系统、设备及介质，具有以下有益效果：本专利技术创新实现了以亲和力为目标的共价抑制剂从头设计功能，提出根据多个不同生物活性片段构建新型药物分子的创新方法，优化了模型的探索空间；利用物理计算软件Autodock<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的先导化合物设计方法，其特征在于，包括：构建构成先导化合物所需的多个不同生物活性分子片段的分子片段库；构建各所述分子片段库的分子图数据，并基于图卷积神经网络对所述分子图数据进行特征提取；将提取得到的分子图数据的特征以及分子片段库中各个分子片段的扩展连通性指纹特征作为深度强化学习模型的输入参数，以进行特定生物活性分子片段和对应连接位点的选择，以供拼接形成用于构成先导化合物的分子片段。2.根据权利要求1所述的基于深度强化学习的先导化合物设计方法，其特征在于，包括：在设计共价化合物的过程中，从各分子片段库中分别选取1个Hinge Binder分子片段、1个Linker分子片段、1个Other Group分子片段、1个Warhead分子片段；提取每个分子片段的分子图的特征以及扩展连通性指纹特征后输入所述深度强化学习模型，以由所述深度强化学习模型分别输出待设计共价化合物所需的分子片段，以供拼接形成共价化合物；以及/或者，在设计非共价化合物的过程中，从各分子片段库中分别选取1个Hinge Binder分子片段、1个Linker分子片段、2个Other Group分子片段；提取每个分子片段的分子图的特征以及扩展连通性指纹特征后输入所述深度强化学习模型，以由所述深度强化学习模型分别输出待设计非共价化合物所需的分子片段，以供拼接形成非共价化合物。3.根据权利要求1所述的基于深度强化学习的先导化合物设计方法，其特征在于，所述分子片段库的构建过程包括：从相关文献或数据库中提取有效分子和候选分子片段并生成数据库格式的分子片段文件；读取不同来源的数据库格式的分子片段文件，对不同生物活性的分子片段分别使用对应的筛选条件进行拆分和筛选后形成不同的分子片段；并将筛选得到的分子片段按照预设的分子语言格式进行存储以形成对应的分子片段库。4.根据权利要求1所述的基于深度强化学习的先导化合物设计方法，其特征在于，选用每层激活函数为ReLU的3层网络结构的图卷积神经网络对所述分子图数据进行特征提取；网络层与网络层之间的传播方式为：其中，H
(l+1)
为第(l+1)层的节点信息；AGG为聚合函数；ReLU为修正线性单元激活函数；H
(l)
为第l层的节点信息；A为图节点的邻接矩阵，I表示单位矩阵；H
(l)
为上一层的输出，其形状为(n,F
l
)，n为图节点个数，F
l
为第l层的输出通道数，W
(l)
为l层卷积的变换参数矩阵；是A计算获得的度矩阵，H为每一层的特征。5.根据权利要求1所述的基于深度强化学习的先导化合物设计方法，其特征在于，所述深度强化学习模型通过如下步骤构建得到：所述深度强化学习模型的智能体通过感知环境，执行选择待拼接的分子片段以及拼接位点的动作；环境根据选择的待拼接的分子片段和拼接位点进行分子片段的拼接，引起环境中的状态发生变化，并进行受体
‑
配体亲和力预测，将预测出的亲和力值作为上一步所执行动作的奖励分数；
所述智能体至少根据所述奖励分数进行策略更新；循环上述各步骤直至获得能够生成理想先导化合物的深度强化学习模型。6.根据权利要求1所述的基于深度强化学习的先导化合物设计方法，其特征在于，所述深度强化学习模型的结构包括：3个3层全连接网络，分别为策略网络π1，π2，π3，给定中间状态的分子，经过编码器提取特征后，模型的决策包括3个过程，分别是作为动作1的当前中间状态分子连接位点的选择、作为动作2的候选分子片段库中分子片段的选择、作为动作3的选出分子片段连接位点的选择；各动作的概率分布包括：p
act1
＝π1(Z
1st
)，Z
1st
＝MI(h
g
，H
att
)；)；其中，p
act1
，p
act2
，p
act3
分别表示动作1、动作2、动作3(act3)的概率分布；MI表示相乘交互；Z
1st
表示h
g
和H
att
之间的相乘交互结果，呈矩阵形式；h
g
表示当前状态中间分子的图表征信息；H
att
表示当前状态中间分子所有连接位点的节点表征信息；Z
2nd
为矩阵，表示和ECFP(m
cand
)之间的相乘交互结果；是矩阵中的一个元素，表示动作1选取的连接位点与中间分子...

【专利技术属性】
技术研发人员：王永瑞，李晓林，
申请(专利权)人：中国科学院基础医学与肿瘤研究所筹，
类型：发明
国别省市：