一种基于MADDPG的城市传染病控制方法技术

本发明专利技术涉及一种基于MADDPG的城市传染病控制方法，包括以下步骤：建立城市传染病模拟环境和SEIQR多尺度社区网络传染病传播模型；设置传染病控制奖惩反馈机制；创建智能体，每一智能体对应一个行政区域；在每个智能体内部建立强化学习网络模型，利用MADDPG算法求解限制城市不同区域交通流量额度的传染病控制策略，并基于奖惩反馈机制对控制策略进行评估；模型训练与结果输出：控制智能体与模拟环境进行交互，根据环境反馈结果更新强化学习网络参数，调整控制策略，直至输出最优控制策略。与现有技术相比，本发明专利技术具有模拟准确等优点。本发明专利技术具有模拟准确等优点。本发明专利技术具有模拟准确等优点。

【技术实现步骤摘要】
一种基于MADDPG的城市传染病控制方法


[0001]本专利技术涉及疫情传播与控制仿真领域，尤其是涉及一种基于MADDPG的城市传染病控制方法。

技术介绍

[0002]现代城市人群密集，人口流动量大，高速发展的城市化进程让传染病疾病传播速度更快、传播持续时间更长，尤其特大城市更容易成为疾病传播中心。同时，城市的经济、技术、信息网络，也影响着传染病的扩散和防控形势。因此，现代城市在推进城市化进程时，要加入公共卫生管理体系，提前建立城市传染病传播控制系统，做到及时发现，快速响应、综合协调、实时调整，能够尽可能地遏制传染病扩散，保证居民生命安全，减少社会经济损失。
[0003]传染病控制是通过限制感染人群的移动、降低人群接触，进而限制病毒传播。目前的传染病控制策略存在控制保守、响应不及时、策略僵化等诸多难点。虽然可以达到抑制病毒传播的效果，但是会影响群众正常活动、浪费城市公共卫生资源、增加社会经济损失，不利于城市发展和群众幸福安全。
[0004]现有传染病控制方法存在以下问题：1)经典SIR传染病模型在细节上存在很多局限性，人群划分简单粗糙，忽略了地域差异，忽略了传染病感染机制的复杂性和城市人口密集、交通发达的特点；2)传染病传播过程复杂多变，控制策略存在时延和不精确性。
[0005]如何高效制定传染病控制策略，对城市不同区域环境传染病情况因地制宜，灵活变通是现代城市传染病传播控制过程中亟需解决的问题。

技术实现思路

[0006]本专利技术的目的就是为了提供一种基于MADDPG的城市传染病控制方法，利用城市人口和交通流量数据，针对城市的不同区域，灵活控制出行流量，控制传染病的传播。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种基于MADDPG的城市传染病控制方法，包括以下步骤：
[0009]建立城市传染病模拟环境和SEIQR多尺度社区网络传染病传播模型；
[0010]设置传染病控制奖惩反馈机制；
[0011]创建智能体，每一智能体对应一个行政区域；
[0012]在每个智能体内部建立强化学习网络模型，利用MADDPG算法求解限制城市不同区域交通流量额度的传染病控制策略，并基于奖惩反馈机制对控制策略进行评估；
[0013]模型训练与结果输出：控制智能体与模拟环境进行交互，根据环境反馈结果更新强化学习网络参数，调整控制策略，直至输出最优控制策略。
[0014]所述SEIQR多尺度社区网络传染病传播模型考虑到感染者和感染者的密切接触者都是孤立的这一要素，在传统的SEIR传播模型的易感态S、暴露态E、感染态I和恢复态R这四个状态的基础上新增两个状态：隔离暴露态Q
E
和隔离感染态Q
I
。
[0015]所述SEIQR多尺度社区网络传染病传播模型中，如果一个易感个体S接触到另一个
暴露的个体，该个体有β的可能性变为暴露态E，每个暴露态的个体有θ
E
的可能性变为隔离暴露态Q
E
，暴露态和隔离暴露态的个体分别有σ和σ
E
的可能性变为感染态I和隔离感染态Q
I
，感染态的个体有θ
I
的可能性变为隔离感染态，感染态和隔离感染态的个体分别有γ和γ
Q
的可能性变为康复者R，模型方程如下：
[0016][0017][0018][0019][0020][0021][0022]N＝S+E+I+Q
E
+Q
I
+R
[0023]其中，β为个体传播率，β
Q
为隔离状态下传染性个体的传播率，N为一个区域内总人数，γ为感染态个体的康复率，γ
Q
为隔离感染态个体的康复率，σ为暴露态E个体转移为感染态的概率，σ
E
为隔离暴露态Q
E
个体转移为感染态的概率，分别为τ时刻对应状态的导数。
[0024]所述SEIQR多尺度社区网络传染病传播模型在多尺度社区网络下计算偶然传播和密切传播感染率，所述社区网络由行政区网、乡镇区网、住宅小区网组成，每层网络都有对应的接触概率B
A
、B
T
和B
R
，易感态S转移为暴露态E的感染方式分为偶然接触感染和密切接触感染，根据感染方式和对应的传播概率确定易感态转移为暴露态的概率。
[0025]假定节点间接触的可能性相等，偶然接触感染的传播概率T
G
为：
[0026][0027]其中，β为个体传播率，β
Q
为隔离状态下传染性个体的传播率，N为一个区域内总人数。
[0028]将个体的密切接触者定义为接触网络中与给定节点相邻的节点，密切接触感染的传播概率T
L
为：
[0029][0030]其中，C
G
(i)表示个体i的密切接触者集合，即接触网络图G中节点i相邻的节点的集合；|C
G
(i)|表示集合的大小，即个体i所拥有的密切接触者的数量；X
i
表示第i个节点的状态；是X
i
的指示函数，表示具有指定状态的节点状态。
[0031]个体i从易感态S转移为暴露态E的概率P
(i)
(S
→
E)为：
[0032][0033]根据城市防控策略和不同区域间疾病传播特性动态变化感染概率，模拟城市人群传染病传播环境，具体为：
[0034]将城市按照行政区域划分为多个区域，控制每个区域当前时刻的人口流动百分比P
i
，τ表示第τ时刻，每个区域当前实际移动人数为移动需求人数与人口流动额度乘积：
[0035][0036]通过计算当前时刻区域间人口流动数量预测下一时刻传染病人数；
[0037]区域通过观察当前时刻城市内所有区域的传染病状态和人口流动情况，确定当前的控制策略下感染者在感染期内平均直接传染人数R(τ)，用泊松分布来拟合其感染过程，计算τ时刻感染率模拟传播过程：
[0038][0039][0040][0041]其中，表示在τ时刻第i个节点的感染率，表示在τ时刻第i个节点的新增感染人数；
[0042]利用连续时间人口流动时空数据集OD获取当前时间段内区域的人群流入流出情况，计算区域当前时刻的传染病感染率，得到下一时刻区域的传染病状态
[0043]所述强化学习网络模型的三要素为动作、状态和奖励，其中，所述动作为每个区域下一时刻的交通流量限制额度，限制区域间的交通需求，所述状态为区域内当前时刻的SEIQR模型各状态人数、历史策略影响值和医疗资源使用情况，所述奖励为基于奖惩反馈机制对控制策略进行评估的衡量指标，取惩罚的负数，惩罚包括感染情况、区域内医院资源使用情况和市民限制出行程度。
[0044]所述强化学习网络模型在进行决策时考虑控制策略执行延迟和执行不准确两个扰动因素，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MADDPG的城市传染病控制方法，其特征在于，包括以下步骤：建立城市传染病模拟环境和SEIQR多尺度社区网络传染病传播模型；设置传染病控制奖惩反馈机制；创建智能体，每一智能体对应一个行政区域；在每个智能体内部建立强化学习网络模型，利用MADDPG算法求解限制城市不同区域交通流量额度的传染病控制策略，并基于奖惩反馈机制对控制策略进行评估；模型训练与结果输出：控制智能体与模拟环境进行交互，根据环境反馈结果更新强化学习网络参数，调整控制策略，直至输出最优控制策略。2.根据权利要求1所述的一种基于MADDPG的城市传染病控制方法，其特征在于，所述SEIQR多尺度社区网络传染病传播模型考虑到感染者和感染者的密切接触者都是孤立的这一要素，在传统的SEIR传播模型的易感态S、暴露态E、感染态I和恢复态R这四个状态的基础上新增两个状态：隔离暴露态Q
E
和隔离感染态Q
I
。3.根据权利要求2所述的一种基于MADDPG的城市传染病控制方法，其特征在于，所述SEIQR多尺度社区网络传染病传播模型中，如果一个易感个体S接触到另一个暴露的个体，该个体有β的可能性变为暴露态E，每个暴露态的个体有θ
E
的可能性变为隔离暴露态Q
E
，暴露态和隔离暴露态的个体分别有σ和σ
E
的可能性变为感染态I和隔离感染态Q
I
，感染态的个体有θ
I
的可能性变为隔离感染态，感染态和隔离感染态的个体分别有γ和γ
Q
的可能性变为康复者R，模型方程如下：复者R，模型方程如下：复者R，模型方程如下：复者R，模型方程如下：复者R，模型方程如下：复者R，模型方程如下：N＝S+E+I+Q
E
+Q
I
+R其中，β为个体传播率，β
Q
为隔离状态下传染性个体的传播率，N为一个区域内总人数，γ为感染态个体的康复率，γ
Q
为隔离感染态个体的康复率，σ为暴露态E个体转移为感染态的概率，σ
E
为隔离暴露态Q
E
个体转移为感染态的概率，分别为τ时刻对应状态的导数。4.根据权利要求2所述的一种基于MADDPG的城市传染病控制方法，其特征在于，所述SEIQR多尺度社区网络传染病传播模型在多尺度社区网络下计算偶然传播和密切传播感染率，所述社区网络由行政区网、乡镇区网、住宅小区网组成，每层网络都有对应的接触概率B
A
、B
T
和B
R
，易感态S转移为暴露态E的感染方式分为偶然接触感染和密切接触感染，根据感染方式和对应的传播概率确定易感态转移为暴露态的概率。5.根据权利要求4所述的一种基于MADDPG的城市传染病控...

【专利技术属性】
技术研发人员：赵生捷，罗雪婷，劉政杰，邓浩，
申请(专利权)人：同济大学，
类型：发明
国别省市：