基于强化学习的病床资源配置优化方法、系统及终端技术方案

本发明专利技术公开了基于强化学习的病床资源配置优化方法、系统及终端，涉及资源配置优化技术领域，其技术方案要点是：获取多个科室的病床配置数据，并对单一科室的在院患者数进行时间差异分析，得到时间差异分布信息；结合病床配置数据和时间差异分布信息，模拟患者入出院过程建立智能体需要的状态空间、动作空间以及奖赏函数；智能体根据策略函数选择并执行当前状态对应的动作过程中，以最大化累计奖赏为目标，得到多个科室的病床资源配置优化策略。本发明专利技术采用机器强化学习(RL)的方法训练智能体，考虑不同科室疾病在时间分布上的差异情况，使得床资源配置优化策略更加符合实际情况，有效提高了病床资源配置优化的准确性与可靠性。提高了病床资源配置优化的准确性与可靠性。提高了病床资源配置优化的准确性与可靠性。

【技术实现步骤摘要】
基于强化学习的病床资源配置优化方法、系统及终端


[0001]本专利技术涉及资源配置优化
，更具体地说，它涉及基于强化学习的病床资源配置优化方法、系统及终端。

技术介绍

[0002]医院病床数量决定了在院患者数量，闲置病床造成医疗资源浪费，因此病床优化配置是医院运营资源管理的重要需求。
[0003]目前，国内外对病床优化配置的方法多数基于预测，如ARMA模型、多项式回归拟合模型、基于排队论病床配置以及基于病床工作效率指标测算病床数区间。然而，这些预测方法变量相对单一，仅从宏观层面上给出病床配置方案，依然有资源不足或者浪费的现象。此外，病床的配置依赖于患者数量、住院天数、患者自身因素和疾病种类，不同科室的患者数量随着时间变化存在显著差异，而现有的病床优化配置技术忽略了不同科室疾病之间在时间分布上的差异，从而导致病床优化配置的准确度不高，容易使病床优化配置策略在短时间内出现频繁的大幅度调整。
[0004]因此，如何研究设计一种能够克服上述缺陷的基于强化学习的病床资源配置优化方法、系统及终端是我们目前急需解决的问题。

技术实现思路

[0005]为解决现有技术中的不足，本专利技术的目的是提供基于强化学习的病床资源配置优化方法、系统及终端，采用机器强化学习(RL)的方法模拟医疗环境训练智能体，并在构建状态空间和奖赏函数时，考虑不同科室疾病在时间分布上的差异情况，从而使得智能体依据策略函数寻找的病床资源配置优化策略更加符合实际情况，有效提高了病床资源配置优化的准确性与可靠性。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：第一方面，提供了基于强化学习的病床资源配置优化方法，包括以下步骤：获取多个科室的病床配置数据，并对单一科室的在院患者数进行时间差异分析，得到时间差异分布信息；结合病床配置数据和时间差异分布信息，通过机器强化学习方法模拟患者入出院过程建立智能体需要的状态空间、动作空间以及奖赏函数；智能体根据策略函数选择并执行当前状态对应的动作过程中，以最大化累计奖赏为目标，得到多个科室的病床资源配置优化策略。
[0007]进一步的，所述时间差异分布信息的获得过程具体为：对在院患者数做滑动平均处理，得到标准配置数据；动态设置两个相邻且均大于基础步长的第一步长和第二步长；以第一步长与第二步长中的数据均值之差不小于标准差值为第一目标，对标准配置数据进行搜索分析，所有搜索确定的第一步长与第二步长所对应的时间段构成时间差异
分布信息。
[0008]进一步的，以所有所述第一步长与第二步长中的数据均值之差波动性最大为第二目标确定唯一的时间差异分布信息。
[0009]进一步的，所述状态空间中的变量包括：患者科室类别、当前单一科室的在院患者数、当前单一科室的住院天数超长患者数、当前剩余未分配病床数、日期、是否节假日以及未入院患者数量。
[0010]进一步的，所述动作空间具体为：若病床高于空置阈值或调整病床周转率时，则智能体不分配病床；若病床不高于空置阈值，且病床周转率低于周转率阈值时，则智能体分配病床。
[0011]进一步的，所述以最大化累计奖赏为目标的计算公式具体为：其中，表示在时刻t所确定的累计奖赏；表示第k次动作的奖励衰减值；表示在时刻t+k+1的奖赏值。
[0012]进一步的，所述以最大化累计奖赏为目标的计算公式具体为：其中，表示在时刻t所确定的累计奖赏；表示第k次动作的奖励衰减值；表示在时刻t+k+1的奖赏值；表示时刻t+k+1所属步长的数据均值；表示病床配置数据的数据均值。
[0013]进一步的，所述以最大化累计奖赏为目标的计算公式具体为：其中，表示在时刻t所确定的累计奖赏；表示第k次动作的奖励衰减值；表示在时刻t+k+1的奖赏值；表示时刻t+k+1所属步长的数据均值；表示病床配置数据的数据均值。
[0014]第二方面，提供了基于强化学习的病床资源配置优化系统，包括：数据处理模块，用于获取多个科室的病床配置数据，并对单一科室的在院患者数进行时间差异分析，得到时间差异分布信息；模型构建模块，用于结合病床配置数据和时间差异分布信息，通过机器强化学习方法模拟患者入出院过程建立智能体需要的状态空间、动作空间以及奖赏函数；配置优化模块，用于根据策略函数选择并执行当前状态对应的动作过程中，以最
大化累计奖赏为目标，得到多个科室的病床资源配置优化策略。
[0015]第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于强化学习的病床资源配置优化方法。
[0016]与现有技术相比，本专利技术具有以下有益效果：1、本专利技术提供的基于强化学习的病床资源配置优化方法，通过历史数据模拟患者入出院场景，采用机器强化学习(RL)的方法训练智能体，并在构建状态空间和奖赏函数时，考虑不同科室疾病在时间分布上的差异情况，从而使得智能体依据策略函数寻找的病床资源配置优化策略更加符合实际情况，有效提高了病床资源配置优化的准确性与可靠性；2、本专利技术采用机器强化学习(RL)的方法训练模型时，不仅考虑了各个科室的剩余未分配病床数和未入院患者数量，还考虑了患者科室类别、当前单一科室的在院患者数、当前单一科室的住院天数超长患者数、日期、是否节假日等因素，克服了因样本数据不足而导致病床资源配置优化的结果误差较大和稳定性较差的问题；3、本专利技术采用动态步长对数据进行滑动分析，并以相邻步长的数据均值之差的标准差最大为目标确定时间差异分布信息，即使得时间差异分布更加明显，又降低了个别异常值对整体时间差异的影响；4、本专利技术在求解最大化累计奖赏时，考虑了具体时刻的数据差异影响，对不同时间段的奖励衰减值进行适应性调整，进一步提高了病床资源配置优化策略的准确性与可靠性。
附图说明
[0017]此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定。在附图中：图1是本专利技术实施例中的流程图；图2是本专利技术实施例中的系统框图。
具体实施方式
[0018]为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。
[0019]实施例1：基于强化学习的病床资源配置优化方法，如图1所示，包括以下步骤：S1：获取多个科室的病床配置数据，并对单一科室的在院患者数进行时间差异分析，得到时间差异分布信息；S2：结合病床配置数据和时间差异分布信息，通过机器强化学习方法模拟患者入出院过程建立智能体需要的状态空间、动作空间以及奖赏函数；S3：智能体根据策略函数选择并执行当前状态对应的动作过程中，以最大化累计奖赏为目标，得到多个科室的病床资源配置优化策略。
[0020]时间差异分布信息的获得过程具体为：对在院患者数做滑动平均处理，得到标准配置数据；动态设置两个相邻且均大于基础步长的第一步长和第二步长；以第一步长与第
...

【技术保护点】

【技术特征摘要】
1.基于强化学习的病床资源配置优化方法，其特征是，包括以下步骤：获取多个科室的病床配置数据，并对单一科室的在院患者数进行时间差异分析，得到时间差异分布信息；结合病床配置数据和时间差异分布信息，通过机器强化学习方法模拟患者入出院过程建立智能体需要的状态空间、动作空间以及奖赏函数；智能体根据策略函数选择并执行当前状态对应的动作过程中，以最大化累计奖赏为目标，得到多个科室的病床资源配置优化策略。2.根据权利要求1所述的基于强化学习的病床资源配置优化方法，其特征是，所述时间差异分布信息的获得过程具体为：对在院患者数做滑动平均处理，得到标准配置数据；动态设置两个相邻且均大于基础步长的第一步长和第二步长；以第一步长与第二步长中的数据均值之差不小于标准差值为第一目标，对标准配置数据进行搜索分析，所有搜索确定的第一步长与第二步长所对应的时间段构成时间差异分布信息。3.根据权利要求2所述的基于强化学习的病床资源配置优化方法，其特征是，以所有所述第一步长与第二步长中的数据均值之差波动性最大为第二目标确定唯一的时间差异分布信息。4.根据权利要求1所述的基于强化学习的病床资源配置优化方法，其特征是，所述状态空间中的变量包括：患者科室类别、当前单一科室的在院患者数、当前单一科室的住院天数超长患者数、当前剩余未分配病床数、日期、是否节假日以及未入院患者数量。5.根据权利要求1所述的基于强化学习的病床资源配置优化方法，其特征是，所述动作空间具体为：若病床高于空置阈值或调整病床周转率时，则智能体不分配病床；若病床不高于空置阈值，且病床周转率低于周转率阈值时，则智能体分配病床。6.根据权利要求1所述的基于强化学...

【专利技术属性】
技术研发人员：张北，唐显恒，李涛，
申请(专利权)人：中科厚立信息技术成都有限公司，
类型：发明
国别省市：