一种基于深度强化学习的血透患者干体重辅助调节系统技术方案

本发明专利技术公开了一种基于深度强化学习的血透患者干体重辅助调节系统，该系统包括数据采集模块、数据处理模块、策略学习模块和辅助决策模块；本发明专利技术利用深度强化学习技术，构建有竞争构架的深度双Q网络（Dueling DDQN网络）作为代理，模拟医生调节血透患者干体重的过程，智能化地学习血透患者干体重调节的策略。本发明专利技术将血透患者的干体重调节过程建模为部分观察的马尔科夫过程，为不同的透析时期定义各自的状态空间和动作空间，设计包含长期生存奖励和短期透析副反应惩罚的奖励函数；通过代理与患者状态的交互学习，得到使得总体奖励最大化的干体重调节策略，从而辅助医生进行患者干体重的长程管理。重的长程管理。重的长程管理。

【技术实现步骤摘要】
一种基于深度强化学习的血透患者干体重辅助调节系统


[0001]本专利技术属于医疗及机器学习
，具体地，涉及一种基于深度强化学习的血透患者干体重辅助调节系统。

技术介绍

[0002]在世界范围内，终末期肾病患者的数量都在显著增加。由于供肾资源短缺，大部人患者依赖于血液透析（血透）治疗维持生命。终末期肾病患者发生感染、心脑血管等疾病的风险远高于正常人群，生存状况远不如普通人群，终末期肾病已经成为医疗保健系统的巨大负担。血透的主要目标是通过超滤(UF)校正体液的成分和体积，实现体液平衡，而干体重是确定血透疗程的超滤量的关键指标。干体重是任何一个透析处方中最基本的组成部分之一，临床上被确定为在没有明显液体超负荷的情况下无透析中不良症状和低血压的最低耐受透析后体重。准确地评估干体重对于血透患者的生存预后至关重要，不准确的估计会对患者生存状况带来很大的负面影响。高估患者干体重会导致慢性体液超负荷，并可能通过诱发水肿、肺充血、高血压以及血管和心脏损伤；低估患者干体重会导致慢性脱水、痉挛等透析副反应，增加透析性低血压的风险，还会导致残余肾功能(RRF)的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的血透患者干体重辅助调节系统，其特征在于，该系统包括数据采集模块、数据处理模块、策略学习模块和辅助决策模块；所述数据采集模块用于采集血透患者透析诱导期和透析稳定期的医疗电子病历数据，包括，并输入到数据处理模块；所述数据处理模块用于对数据采集模块采集的数据进行处理，包括状态空间的构建和动作空间的构建；状态代表患者透析疗程中经过时序编码后的临床变量，动作代表相比于上一次透析疗程的干体重，当前干体重应该调整的值；所述策略学习模块用于设置深度强化学习的奖励函数，所述奖励函数为每个状态的即时奖励，由患者的长期生存概率的奖励和患者当前的透析中症状的惩罚构成，并基于数据处理模块构建的状态空间和动作空间进行深度强化学习，得到干体重调整策略；所述辅助决策模块用于将干体重调整策略进行可视化输出，辅助医师决策。2.根据权利要求1所述的一种基于深度强化学习的血透患者干体重辅助调节系统，其特征在于，对于透析诱导期的患者，数据采集模块每次透析疗程均进行数据采集；对于透析稳定期的患者，数据采集模块每4次透析疗程进行一次数据采集。3.根据权利要求2所述的一种基于深度强化学习的血透患者干体重辅助调节系统，其特征在于，每个透析疗程的数据包括四类临床变量：上一次透析疗程的透析中测量变量、上一次透析疗程的透析后测量变量、以及此次透析疗程的透析前测量变量和此次透析疗程的患者人口统计学指标。4.根据权利要求3所述的一种基于深度强化学习的血透患者干体重辅助调节系统，其特征在于，对于透析稳定期的患者，根据采集的临床变量的不同，数据采集模块采集记录的临床变量值为4次透析疗程中对应临床变量值的平均值或总和。5.根据权利要求1所述的一种基于深度强化学习的血透患者干体重辅助调节系统，其特征在于，数据处理模块首先对数据采集模块采集的数据进行预处理，利用多重插补的方式对缺失临床变量数据进行插值处理，使用Min
‑
Max...

【专利技术属性】
技术研发人员：李劲松，杨子玥，田雨，周天舒，
申请(专利权)人：浙江大学，
类型：发明
国别省市：