一种基于强化学习的血液透析方案制定方法及系统技术方案

本发明专利技术公开了一种基于强化学习的血液透析方案制定方法，包括以下步骤：获取包含患者历史血液透析数据和患者临床数据的数据集；构建基于噪声深度Q网络结构的神经网络，所述神经网络包括特征提取模块，动作生成模块和包含奖励机制的预测模块；采用所述数据集对神经网络进行训练，以获得血液透析方案制定模型；将患者的历史病例数据输入至血液透析方案制定模型，以输出包含患者透析时长与频次的血液透析方案决策，为医师制定治疗方案提供指导。本发明专利技术还提供了一种血液透析方案制定系统。本发明专利技术提供的方法可以结合更多实际情况与患者需求，给予更加合理准确的血液透析方案决策，从而为医师制定医疗方案提供更加具体的指导。而为医师制定医疗方案提供更加具体的指导。而为医师制定医疗方案提供更加具体的指导。

【技术实现步骤摘要】
一种基于强化学习的血液透析方案制定方法及系统


[0001]本专利技术属于医疗健康信息
，尤其涉及一种基于强化学习的血液透析方案制定方法及系统。

技术介绍

[0002]血液透析是尿毒症患者最常用的替代疗法，大多数病人根据临床血液透析指南大致为每周接受3次4小时透析血流量200毫升左右的透析，如果患者仍有较好的肾功能，那么透析频次可以缩短到每周两次。如果肾衰竭患者在经过透析一段时间后，情况有所好转，那么也可以适当缩短透析频次与时间；一方面，每周进行更多的透析治疗的患者虽然从数据上来说会对例如左心室质量、血压、磷酸盐控制有益处，但是对身体及认知表现没有太大影响；另一方面考虑到患者透析体验不佳或者患者到院不便等，也可以减少透析次数且增加透析时长和血流量。在真实医疗场景中，临床医生通常根据历史透析病例对透析方案进行调整，人工工作量大，且按照官方指南给出透析方案过于通用化。
[0003]专利文献CN109686446A公开了一种基于双机器学习的血液透析治疗方案分析方法及系统，该方法包括以下步骤：对汇总的血透中心的训练样本进行预处理；对预处理后的训练样本采用Hot
‑
Deck方法进行填补，对变量缺失百分比超过α的训练样本予以删除，对变量缺失百分比不超过α的训练样本进行变量填充，得到填充后的训练样本；对所述填充后的训练 样 本 分 别 采 用 L a s s o 稀 疏 约 束 和RandomForest随机森林进行重要特征筛选，并对筛选出的两组训练样本进行合并，得到最终的训练样本；将最终的训练样本载入多元线性回归模型，不断迭代，得到最终预测模型。该方法并没有考虑血液透析病历数据的时序性特点，同时其预测模型也只是简单的多元线性回归模型，对复杂数据的拟合度可能不佳，并且不能对患者进行动态方案推荐，且没有透析方案的扩充方法，可扩展性弱。
[0004]专利文献CN111028913A公开了一种血液透析治疗方案辅助决策方法，该方法包含以下步骤：1:对经由专业透析医师标注的血液透析历史病历数据进行预处理得到总样本集；2:建立基于自注意力机制的长短时记忆网络，为输入模型的各次时序病历分配注意力权重αt从而计算出病历信息全局特征向量c；3:将全局特征向量c输入多任务共享层进行方案标签的学习；4:为各学习任务的损失分配权重λn，将各损失加权求和作为总损失；利用Adam优化算法更新模型的网络参数，得到最终的血液透析治疗方案辅助决策模型。其方案在患者特征变多的情况下会导致模型无法计算，不能对透析方案进行动态推荐，且没有考虑到患者自身意愿，也没有透析方案的扩充方法，可扩展性弱。

技术实现思路

[0005]本专利技术的目的是提供一种基于强化学习的血液透析方案制定方法及系统，可以结合更多实际情况与患者需求，给予更加合理准确的血液透析方案决策，从而为医师制定医疗方案提供更加具体的指导。
[0006]为了实现第一个目的，本专利技术提供了一种基于强化学习的血液透析方案制定方
法，包括以下步骤：获取患者的历史病例数据，并对所述历史病例数据进行筛选以获得包含患者历史血液透析数据和患者临床数据的数据集。
[0007]构建基于噪声深度Q网络结构的神经网络，所述神经网络包括特征提取模块，动作生成模块和包含奖励机制的预测模块，所述特征提取模块包括预构建的Quasi
‑
RNN编码器，所述Quasi
‑
RNN编码器根据输入的患者临床数据生成基于时间序列的患者状态数据，所述动作生成模块根据患者历史血液透析数据，生成包含透析时长和透析频次的动作空间参数，所述预测模块根据输入的患者状态数据和动作空间参数，基于奖励机制进行分析，以获得对应的预测结果。
[0008]采用所述数据集对神经网络进行训练，以获得用于提供患者血液透析方案决策的血液透析方案制定模型。
[0009]将患者的历史病例数据输入至血液透析方案制定模型，以输出包含患者透析时长与频次的血液透析方案决策，为医师制定治疗方案提供指导。
[0010]本专利技术根据血液透析病历数据的时序性特点，并考虑了患者近期和远期健康状态的收益，还将患者自身透析意愿加入奖励函数，提高患者透析体验，从而使得最终治疗方案更加人性化。
[0011]具体的，所述患者临床数据通过将据患者的身份ID作为区分标识，采用时间序列对患者的年龄、体重、尿素氮信息、甲状旁腺激素信息、血肌酐信息、血红蛋白信息、血钙信息、血磷信息、血钠信息以及透析史长进行编排获得。
[0012]具体的，所述Quasi
‑
RNN编码器的表达式如下：
[0013]其中，表示每个患者i的在每一周的透析治疗时间t中输出一个状态，表示患者在t时间的患者临床数据。
[0014]具体的，所述动作空间参数还包括自定义动作参数，所述自定义动作参数包括透析设备的操作参数或/和患者临床数据。
[0015]具体的，所述奖励机制包括基于BP神经网络预测获得的生存奖励值，基于患者身体感受的附加奖励值，以及患者意愿奖励值。
[0016]具体的，所述奖励机制的表达式如下：
[0017]式中，表示基于BP神经网络对患者生存率的预测结果，s表示归一化矩阵后
的患者临床数据，表示生存奖励值，表示附加奖励值，表示患者意愿奖励值且评分范围0到5分。
[0018]具体的，所述神经网络还设有经验回放池，所述经验回放池用于存放智能体和环境互动所获得的奖励值。
[0019]具体的，训练时，基于时间差异误差组成的损失函数对神经网络进行参数更新。
[0020]具体的所述损失函数的表达式如下：
[0021][0022][0023]其中，表示时间差异误差，表示患者在t时间下的状态，表示t时间下的透析动作，表示t时间所加噪声，表示主网络参数，表示目标网络参数，表示优先经验回放的权重值，表示噪声深度Q网络的主网络，表示噪声深度Q网络的目标网络，表示折扣系数取0到1之间的一个值，表示t时刻的奖励值。
[0024]为了实现第二个目的，本专利技术还提供了一种血液透析方案制定系统，通过上述的基于强化学习的血液透析方案制定方法实现，包括数据采集模块，数据处理模块，策略学习模块以及辅助决策模块。
[0025]所述数据采集模块，用于获得患者历史血液透析数据和患者临床数据。
[0026]所述数据处理模块，根据输入的患者临床数据，生成对应的患者状态。
[0027]所述策略学习模块，用于构建包含患者意愿奖励的血液透析方案制定模型。
[0028]所述辅助决策模块，用于将患者的历史病例数据输入至血液透析方案制定模型中，以可视化输出患者的血液透析方案决策，为医师制定治疗方案提供指导。
[0029]与现有技术相比，本专利技术的有益效果：（1）本专利技术利用患者临床数据的时序性生成患者状态，从而使得最终血液透析方案制定模型的拟合度更好，同时加入患者意愿值解决，减少患者可能会产生的厌烦透析的情绪问题，提高患者透析体验。
[0030]（2）本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的血液透析方案制定方法，其特征在于，包括以下步骤：获取患者的历史病例数据，并对所述历史病例数据进行筛选以获得包含患者历史血液透析数据和患者临床数据的数据集；构建基于噪声深度Q网络结构的神经网络，所述神经网络包括特征提取模块，动作生成模块和包含奖励机制的预测模块，所述特征提取模块包括预构建的Quasi
‑
RNN编码器，所述Quasi
‑
RNN编码器根据输入的患者临床数据生成基于时间序列的患者状态数据，所述动作生成模块根据患者历史血液透析数据，生成包含透析时长和透析频次的动作空间参数，所述预测模块根据输入的患者状态数据和动作空间参数，基于奖励机制进行分析，以获得对应的预测结果；采用所述数据集对神经网络进行训练，以获得用于提供患者血液透析方案决策的血液透析方案制定模型；将患者的历史病例数据输入至血液透析方案制定模型，以输出包含患者透析时长与频次的血液透析方案决策。2.根据权利要求1所述的基于强化学习的血液透析方案制定方法，其特征在于，所述患者临床数据通过将据患者的身份ID作为区分标识，采用时间序列对患者的年龄、体重、尿素氮信息、甲状旁腺激素信息、血肌酐信息、血红蛋白信息、血钙信息、血磷信息、血钠信息以及透析史长进行编排获得。3.根据权利要求1所述的基于强化学习的血液透析方案制定方法，其特征在于，所述Quasi
‑
RNN编码器的表达式如下：；其中，表示每个患者i的在每一周的透析治疗时间t中输出一个状态，表示患者在t时间的患者临床数据。4.根据权利要求1所述的基于强化学习的血液透析方案制定方法，其特征在于，所述动作空间参数还包括自定义动作参数，所述自定义动作参数包括透析设备的操作参数或/和患者临床数据。5.根据权利要求1所述的基于强化学习的血液透...

【专利技术属性】
技术研发人员：李劲松，高凯戈，池胜强，陈佳，周天舒，
申请(专利权)人：之江实验室，
类型：发明
国别省市：