【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种呼吸机参数获取系统及其使用方法。
技术介绍
1、呼吸机作为一种常见的重症监护室辅助医疗设备，在拯救危重病人方面扮演着重要的角色。然而，由于人体内部复杂的生理环境，若呼吸机参数调整不当，可能会引发并发症甚至威胁到患者的生命，并对其心肺功能的康复产生严重影响。因此，在呼吸机治疗过程中，需要根据患者的生理状况实时、安全、准确地调整呼吸机参数。
2、传统的呼吸机参数设置主要由临床医生决定，因此医生的行医经验至关重要。为了辅助临床医生设置最优的呼吸机参数，基于自动控制技术的呼吸机参数推荐医疗系统得到推广，该系统主要运用各种各样的控制器形成闭环控制系统，使患者的生理指标在呼吸机的辅助下达到设定值。近年来，随着电子病历的发展，越来越多的临床诊断数据可供研究者使用，机器学习为呼吸机参数调整提供了更多的解决方案。由于强化学习考虑了未来的累计折扣奖励，已有研究者将强化学习应用于呼吸机参数推荐这一领域。但是该方法只关注治疗效果，而没有考虑呼吸机参数的安全性，为了更好地解决上述问题，有必要提出一种在综合考虑呼吸机参数的安全性以及对患者产生的长期治疗效果的基础上获取呼吸机参数的系统及其使用方法。
技术实现思路
1、专利技术目的：针对上述不足，本专利技术提出一种呼吸机参数获取系统及其使用方法，综合考虑呼吸机参数的安全性以及对患者产生的长期治疗效果。
2、技术方案：
3、一种呼吸机参数获取系统，包括：
4、动作策略获取模块，其内
5、呼吸机参数获取模块，其内设有采用马尔可夫决策过程构建的呼吸机参数获取决策模型，结合动作策略获取模块获取的动作策略寻找得到一使得累计奖励最大化的动作策略。
6、具体地，所述策略优化模型包括编码器网络和解码器网络，编码器网络的输入包括智能体的状态和在对应状态下的动作两部分，输出为隐变量；解码器网络的输入包括编码器网络输出的隐变量和智能体的状态，输出为在对应状态下的动作的重构，由此得到智能体在每一状态下的动作策略。
7、具体地，所述呼吸机参数获取决策模型针对不同的呼吸机参数反映的患者的生理状态，定义若干个指标作为智能体的状态，定义若干个可调整的呼吸机参数作为智能体在每一状态下的动作，设置对应的奖励函数，并结合动作策略获取模块内策略优化模型获取的动作策略获取得到呼吸机参数。
8、更具体地，针对不同的呼吸机参数反映的患者的生理状态，定义13个指标作为智能体的状态，定义5个可调整的呼吸机参数作为智能体在每一状态下的动作，该些参数的调整可影响患者的通气和氧合状态；
9、所述13个指标包括体重、碳酸氢盐、体温、乳酸、动脉血酸碱度、动脉血压收缩压、动脉血压舒张压、动脉血氧饱含度、动脉血压平均值、吸气压力峰值、动脉血二氧化碳分压、平均气道压和平台压；
10、所述5个可调整的呼吸机参数可包括吸入气氧的浓度、呼吸末正压、潮气量、呼吸频率和氧气流量；
11、所述奖励函数r为：其中，x表示实时获取患者的13个生理指标中的动脉血氧饱含度的值。
12、具体地，在所述呼吸机参数优化模块内设有一噪声网络，通过该噪声网络对所述呼吸机参数获取模块获取的呼吸机参数进行优化。
13、具体地，所述呼吸机参数评估模块内还设有预先训练得到的深度确定性策略梯度算法，通过该深度确定性策略梯度算法分别计算呼吸机参数获取模块获取的呼吸机参数的效果和预先通过权威专家得到的呼吸机参数的效果，并计算二者之间的曼哈顿距离作为评估指标，以对所获取的呼吸机参数进行评估。
14、一种应用前述呼吸机参数获取系统的使用方法，包括步骤：
15、s1、呼吸机参数获取模块采用马尔可夫决策过程构建呼吸机参数获取决策模型；
16、s2、动作策略获取模块基于s1构建的呼吸机参数获取决策模型构建策略优化模型，据此寻找一使得累计奖励最大化的动作策略；
17、s3、基于s1的呼吸机参数获取决策模型和s2的动作策略获取呼吸机参数。
18、具体地，所述s2中，还包括对构建的策略优化模型进行优化的步骤：
19、采用设定的损失函数对所述策略优化模型输出的智能体在每一状态下的动作策略进行优化，设定的损失函数由重构损失和kl散度损失两部分组成；
20、通过最小化所述损失函数，对所述策略优化模型中的编码器网络和解码器网络的网络参数进行优化，得到最终的策略优化模型。
21、具体地，所述s3中，在获取得到呼吸机参数后，还引入一噪声网络进行进一步优化，具体为其中，为噪声网络的网络参数，为随机噪声因子，u表示概率分布中的均匀分布；
22、采用神经网络qθ拟合智能体在当前状态s的状态-动作值q(s,a)，其中，θ表示神经网络qθ的网络参数；定义噪声网络的损失函数为据此寻找得到使得该噪声网络的损失函数最小时对应的噪声网络的网络参数
23、引入目标网络和qθ′计算下一时刻的状态-动作值和呼吸机参数，其中，和θ′的通过复制前述得到的网络参数和θ完成更新；
24、采用时间差分误差作为神经网络qθ的损失函数，由此寻找得到使得该损失函数最小时对应的神经网络qθ的网络参数θ，进而通过前述噪声网络的损失函数进一步优化噪声网络的网络参数据此得到最终的动作策略，进而获取对应的呼吸机参数；
25、其中，时间差分误差如下：
26、
27、l(θ)＝(qθ(s,a)-qtarg)1/2
28、其中，r(s,a)表示智能体在状态s时对应的奖励函数值。
29、具体地，在获取得到呼吸机参数后，还包括对所述获取的呼吸机参数进行评估的步骤，如下：
30、提前训练一深度确定性策略梯度算法，根据所述深度确定性策略梯度算法结合患者的状态和所述获取的呼吸机参数计算对应的效果，计算该效果与预先通过权威专家得到的呼吸机参数对应的效果之间的曼哈顿距离，将其作为评估指标，对所述获取的呼吸机参数进行评估。
31、有益效果：本专利技术采用强化学习，使得获取的呼吸机参数不仅考虑了当前的治疗效果，还对对患者未来的治疗效果产生的影响，这是非强化学习方法所不具备的优势。此外，本专利技术使用专家权威方案与获取的呼吸机参数进行比较，提高了该方法的安全性能。
本文档来自技高网...【技术保护点】
1.一种呼吸机参数获取系统，其特征在于，包括：
2.根据权利要求1所述的呼吸机参数获取系统，其特征在于，所述策略优化模型包括编码器网络和解码器网络，编码器网络的输入包括智能体的状态和在对应状态下的动作两部分，输出为隐变量；解码器网络的输入包括编码器网络输出的隐变量和智能体的状态，输出为在对应状态下的动作的重构，由此得到智能体在每一状态下的动作策略。
3.根据权利要求1所述的呼吸机参数获取系统，其特征在于，所述呼吸机参数获取决策模型针对不同的呼吸机参数反映的患者的生理状态，定义若干个指标作为智能体的状态，定义若干个可调整的呼吸机参数作为智能体在每一状态下的动作，设置对应的奖励函数，并结合动作策略获取模块内策略优化模型获取的动作策略获取得到呼吸机参数。
4.根据权利要求3所述的呼吸机参数获取系统，其特征在于，针对不同的呼吸机参数反映的患者的生理状态，定义13个指标作为智能体的状态，定义5个可调整的呼吸机参数作为智能体在每一状态下的动作，该些参数的调整可影响患者的通气和氧合状态；
5.根据权利要求1所述的呼吸机参数获取系统，其特征在于，在
6.根据权利要求1所述的呼吸机参数获取系统，其特征在于，所述呼吸机参数评估模块内还设有预先训练得到的深度确定性策略梯度算法，通过该深度确定性策略梯度算法分别计算呼吸机参数获取模块获取的呼吸机参数的效果和预先通过权威专家得到的呼吸机参数的效果，并计算二者之间的曼哈顿距离作为评估指标，以对所获取的呼吸机参数进行评估。
7.一种应用权利要求1～6任一所述的呼吸机参数获取系统的使用方法，其特征在于，包括步骤：
8.根据权利要求7所述的使用方法，其特征在于，所述S2中，还包括对构建的策略优化模型进行优化的步骤：
9.根据权利要求7所述的使用方法，其特征在于，所述S3中，在获取得到呼吸机参数后，还引入一噪声网络进行进一步优化，具体为其中，为噪声网络的网络参数，为随机噪声因子，U表示概率分布中的均匀分布；
10.根据权利要求7所述的使用方法，其特征在于，在获取得到呼吸机参数后，还包括对所述获取的呼吸机参数进行评估的步骤，如下：
...【技术特征摘要】
1.一种呼吸机参数获取系统，其特征在于，包括：
2.根据权利要求1所述的呼吸机参数获取系统，其特征在于，所述策略优化模型包括编码器网络和解码器网络，编码器网络的输入包括智能体的状态和在对应状态下的动作两部分，输出为隐变量；解码器网络的输入包括编码器网络输出的隐变量和智能体的状态，输出为在对应状态下的动作的重构，由此得到智能体在每一状态下的动作策略。
3.根据权利要求1所述的呼吸机参数获取系统，其特征在于，所述呼吸机参数获取决策模型针对不同的呼吸机参数反映的患者的生理状态，定义若干个指标作为智能体的状态，定义若干个可调整的呼吸机参数作为智能体在每一状态下的动作，设置对应的奖励函数，并结合动作策略获取模块内策略优化模型获取的动作策略获取得到呼吸机参数。
4.根据权利要求3所述的呼吸机参数获取系统，其特征在于，针对不同的呼吸机参数反映的患者的生理状态，定义13个指标作为智能体的状态，定义5个可调整的呼吸机参数作为智能体在每一状态下的动作，该些参数的调整可影响患者的通气和氧合状态；
5.根据权利要求1所述的呼吸机参数获取系统，其特征在于，...
【专利技术属性】
技术研发人员：刘瑜珈，王磊，邱禧荷，张波，
申请(专利权)人：辽宁省检验检测认证中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。