基于强化学习的药物推荐方法、装置、电子设备和介质制造方法及图纸

本公开涉及肝癌免疫药物推荐领域，提供了一种基于强化学习的药物推荐方法、装置、电子设备和介质。包括：采集初始患者数据并进行预处理，得到标准患者数据；基于上述标准患者数据构建知识图谱；基于Trans模型得到上述知识图谱的节点向量和边关系向量；基于强化学习、上述知识图谱和上述知识图谱的节点向量和边关系向量训练智能体；基于上述智能体和上述知识图谱得到推荐药物和上述推荐药物对应的推荐路径。本公开结合强化学习与知识图谱对真实肝癌病人用药信息进行建模，在给出病人推荐药物的同时也可以提供模型推荐药物诊疗路径，为药物推荐提供可解释性。药物推荐提供可解释性。药物推荐提供可解释性。

【技术实现步骤摘要】
基于强化学习的药物推荐方法、装置、电子设备和介质


[0001]本申请涉及肝癌免疫药物推荐领域，尤其涉及基于强化学习的药物推荐方法、装置、电子设备和介质。

技术介绍

[0002]在临床上肝癌的免疫治疗是重要的治疗手段之一，一般来说，常用的有免疫核糖核酸、干扰素、白细胞介素
‑
2、胸腺肽等。需要强调的是肝癌的免疫治疗，最好结合手术进行，这样的话能够取得较好的临床治疗效果，能够提高患者的生活质量，延长患者的生存时间。
[0003]目前，存在基于知识图谱进行肝癌药物的推荐的技术，但知识图谱神经网络模型大多都是一个黑盒子，在推荐的过程中不能给出很好的解释性。

技术实现思路

[0004]（一）专利技术目的鉴于上述问题，为了在给出肝癌病人推荐药物的同时也可以提供模型推荐药物诊疗路径，为药物推荐提供可解释性，本公开提供了以下技术方案。
[0005]（二）技术方案本公开实施例的第一方面，提供了一种基于强化学习的药物推荐方法，包括：采集初始患者数据并进行预处理，得到标准患者数据；基于上述标准患者数据构建知识图谱；基于Trans模型得到上述知识图谱的节点向量和边关系向量；基于强化学习、上述知识图谱和上述知识图谱的节点向量和边关系向量训练智能体；基于上述智能体和上述知识图谱得到推荐药物和上述推荐药物对应的推荐路径。
[0006]在一种可能的实施方式中，上述采集初始患者数据并进行预处理，得到标准患者数据，包括：采集初始患者数据；对上述初始患者数据进行数据分析、特征筛选、缺失值填充和数据离散化，得到标准患者数据。
[0007]在一种可能的实施方式中，上述基于Trans模型得到上述知识图谱的节点向量和边关系向量，包括：基于知识图谱训练初始Trans模型得到目标Trans模型；基于上述目标Trans模型得到上述知识图谱的节点向量和边关系向量。
[0008]在一种可能的实施方式中，上述基于知识图谱训练初始Trans模型得到目标Trans模型，包括：获取训练样本的集合，上述训练样本包括知识图谱三元组和上述知识图谱三元组
对应的边向量和关系向量；将上述知识图谱三元组作为输入，将与输入的知识图谱三元组对应的边向量和关系向量作为期望输出，训练上述初始Trans模型得到上述目标Trans模型。
[0009]在一种可能的实施方式中，上述基于强化学习、上述知识图谱和上述知识图谱的节点向量和边关系向量训练智能体，包括：利用强化学习和上述知识图谱的节点向量和边关系向量定义上述初始智能体的相关因素，得到智能体；基于上述知识图谱对上述智能体进行训练，输出至少一个输出推荐药物和上述至少一个输出推荐药物对应的至少一个输出推荐路径；验证上述输出推荐药物和上述输出推荐路径，得到验证结果；基于上述验证结果优化上述智能体。
[0010]在一种可能的实施方式中，上述相关因素包括：Policy网络、Value网络、State、Action和Reward，上述利用强化学习和上述知识图谱的节点向量和边关系向量定义上述初始智能体的相关因素，得到智能体，包括：基于强化学习定义上述Policy 网络和上述Value 网络；定义上述State为：式中，为T时刻的State，u为病人节点、为u可通过关系到达的实体节点，为历史的信息；定义上述Action为动作空间，上述动作空间为当前节点出发所能到达的节点的策略的空间；定义上述Reward为：其中：为 T时刻的Reward，I为药物节点，i为第i个药物节点，是经过3跳之后的奖励，u为病人节点，为经过3跳后到达药物节点i的奖励。
[0011]在一种可能的实施方式中，上述验证上述输出推荐药物和上述输出推荐路径，得到验证结果，包括：基于验证数据集，获取上述至少一个输出推荐药物中每个输出推荐药物的所有路径；计算上述所有路径中每个路径的Reward值；选择上述Reward值最大的路径定义为推荐路径，作为验证结果。
[0012]本公开实施例的第二方面，提供了一种基于强化学习的药物推荐装置，包括：采集单元，被配置成采集初始患者数据并进行预处理，得到标准患者数据；构建单元，被配置成基于上述标准患者数据构建知识图谱；向量生成单元，被配置成基于Trans模型得到上述知识图谱的节点向量和边关系
向量；训练单元，被配置成基于强化学习、上述知识图谱和上述知识图谱的节点向量和边关系向量训练智能体；推荐单元，被配置成基于上述智能体和上述知识图谱得到推荐药物和上述推荐药物对应的推荐路径。
[0013]本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
[0014]本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0015]（三）有益效果本公开实施例与现有技术相比存在的有益效果是：本公开结合强化学习与知识图谱对真实肝癌病人用药信息进行建模，在给出病人推荐药物的同时也可以提供模型推荐药物诊疗路径，为药物推荐提供可解释性。
附图说明
[0016]为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0017]图1是根据本公开的基于强化学习的药物推荐方法的一些实施例的流程图；图2是根据本公开的基于强化学习的药物推荐装置的一些实施例的结构示意图；图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
[0018]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0019]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0020]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0021]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0022]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0023]下面参考图1详细描述本公开的基于强化学习的药物推荐方法，如图1所示，本公开本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的药物推荐方法，其特征在于，包括：采集初始患者数据并进行预处理，得到标准患者数据；基于所述标准患者数据构建知识图谱；基于Trans模型得到所述知识图谱的节点向量和边关系向量；基于强化学习、所述知识图谱和所述知识图谱的节点向量和边关系向量训练智能体；基于所述智能体和所述知识图谱得到推荐药物和所述推荐药物对应的推荐路径。2.如权利要求1所述的基于强化学习的药物推荐方法，其特征在于，所述采集初始患者数据并进行预处理，得到标准患者数据，包括：采集初始患者数据；对所述初始患者数据进行数据分析、特征筛选、缺失值填充和数据离散化，得到标准患者数据。3.如权利要求2所述的基于强化学习的药物推荐方法，其特征在于，所述基于Trans模型得到所述知识图谱的节点向量和边关系向量，包括：基于知识图谱训练初始Trans模型得到目标Trans模型；基于所述目标Trans模型得到所述知识图谱的节点向量和边关系向量。4.如权利要求3所述的基于强化学习的药物推荐方法，其特征在于，所述基于知识图谱训练初始Trans模型得到目标Trans模型，包括：获取训练样本的集合，所述训练样本包括知识图谱三元组和所述知识图谱三元组对应的边向量和关系向量；将所述知识图谱三元组作为输入，将与输入的知识图谱三元组对应的边向量和关系向量作为期望输出，训练所述初始Trans模型得到所述目标Trans模型。5.如权利要求1所述的基于强化学习的药物推荐方法，其特征在于，所述基于强化学习、所述知识图谱和所述知识图谱的节点向量和边关系向量训练智能体，包括：利用强化学习和所述知识图谱的节点向量和边关系向量定义所述初始智能体的相关因素，得到智能体；基于所述知识图谱对所述智能体进行训练，输出至少一个输出推荐药物和所述至少一个输出推荐药物对应的至少一个输出推荐路径；验证所述输出推荐药物和所述输出推荐路径，得到验证结果；基于所述验证结果优化所述智能体。6.如权利要求5所述的基于强化学习的药物推荐方法，其特征在于，所述相关因素包...

【专利技术属性】
技术研发人员：王瑞国，许峥，许娟，张佳乐，王剑仲，史文钊，
申请(专利权)人：神州医疗科技股份有限公司，
类型：发明
国别省市：