一种基于强化学习的物联网覆盖漏洞修复方法技术

本发明专利技术公开了一种基于强化学习的物联网覆盖漏洞修复方法：(1)根据目标区域监测覆盖需求，建立网络模型；(2)通过可信信息覆盖模型建立网络覆盖模型，计算覆盖率；(3)采用漏洞重建点与可移动节点最小最短坐标距离双向选择法确定漏洞区域的指向性修复节点；(4)采用Q

【技术实现步骤摘要】
一种基于强化学习的物联网覆盖漏洞修复方法


[0001]本专利技术属于物联网
，更具体地，涉及一种基于强化学习的物联网覆盖漏洞修复方法。

技术介绍

[0002]物联网覆盖是物联网技术发展的核心技术问题，是物联网能够满足实时准确收集监控目标信息的基本要求。受能源消耗、环境因素、软件缺陷和其他因素造成的覆盖漏洞会大大降低物联网覆盖率，影响网络的安全性和可靠性。物联网覆盖漏洞修复的任务是对突然出现的覆盖漏洞进行快速识别，并在尽可能低的能量消耗下以最快的速度修复漏洞，满足覆盖要求。因此，对联网的覆盖漏洞进行实时、有效的修复尤为重要。
[0003]物联网覆盖漏洞修复的难点主要体现在三个方面。其一，网络覆盖模型对于不同实际场景覆盖刻画和定义的差异，模型的选择将直接影响修复方法与实际应用场景的适用度；其二，为漏洞选择合适的传感器修复节点，使其能够在最短的时间内到达修复位置，以保障修复时效和降低修复能耗；其三，传感器节点在进行漏洞修复时，需要选择有效的运动方向和路径，避免不必要的运动轨迹，以节约传感器节点能量。
专利技术内容
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的物联网覆盖漏洞修复方法，其特征在于，包括以下步骤：(1)根据目标区域监测覆盖需求，建立网络模型；(1.1)根据检测目标的空间相关性，设定变程和估计均方根误差阈值，并对目标覆盖区域按照变程进行区域子网格划分；(1.2)根据传感器节点分布，记录传感器节点编号i，根据划分的覆盖子网格，以子网格中心点为重建点，表示为p；(2)通过可信信息覆盖模型建立网络覆盖模型，计算覆盖率；(3)采用漏洞重建点与可移动节点最小最短坐标距离双向选择法确定漏洞区域的指向性修复节点；(4)采用Q
‑
Learning方法，对指向性修复节点M
‑
node进行训练，对漏洞子网格进行修复，直到覆盖率满足要求或迭代次数达到设定上限。2.如权利要求1所述的基于强化学习的物联网覆盖漏洞修复方法，其特征在于，所述步骤(2)具体包括如下子步骤：(2.1)在可信信息覆盖模型中，对于未被采样的空间点，采用普通克里金插值函数来计算重建点环境变量的估计值，即采用重建邻域Z(p)内的传感器节点τ
i
的测量值的加权平均来计算环境变量估计值；邻域内传感器节点的插值权重系数λ
i
满足n为重建邻域Z(p)内的传感器节点τ
i
的数量；(2.2)结合普通克里金插值函数计算重建点p的均方根误差Φ(p)，计算表达式为：其中和μ(p)通过步骤(2.1.1)和(2.1.2)求解；(2.3)根据可信信息覆盖模型的定义，若Φ(p)＞ε0，即均方根误差大于设定的覆盖阈值，则该子网格被覆盖，否则未被覆盖；记录被覆盖的重建点编号j'，均方根误差小于阈值ε0的漏洞重建点编号为j”；(2.4)计算目标区域的覆盖率。3.如权利要求2所述的基于强化学习的物联网覆盖漏洞修复方法，其特征在于，所述步骤(2.4)中覆盖率的计算公式如下：其中，S为覆盖区域的总面积，j'为被覆盖的重建点编号，S
j'
为被覆盖的重建点j'所在子网格面积，m为被覆盖重建点的总数。4.如权利要求2或3所述的基于强化学习的物联网覆盖漏洞修复方法，其特征在于，所述步骤(2.1)包括如下子步骤：(2.1.1)插值权重系数λ
i
通过最小克里金方差得到一组最优解；引入拉格朗日乘数器μ(p)产生带有n+1个未知数的n+1个方程组组成的线性克里金系统，求解后得到插值权重系
数λ
i
；其中，γ(τ
i
,τ
j
)和γ(τ
i
,p)通过变差函数计算得到；(2.1.2)计算步骤(2.1.1)中的γ(τ
i
,τ
j
)和γ(τ
i
,p)；选用高斯变差函数为环境变量的变差函数，用于描述传感器节点τ
i
采集数据之间的空间相关性；高斯变差函数的公式为：采集数据之间的空间相关性；高斯变差函数的公式为：其中，d
τp
为传感器节点τ
i
和重建点p的欧氏距离，为传感器节点τ
i
和τ
j
的欧氏距离，C0和C是常数。5.如权利要求1或2所述的基于强化学习的物联网覆盖漏洞修复方法，其特征在于，所述步骤(3)具体包括如下子步骤：(3.1)从未损坏的传感器节点中选择固定节点和可移动节点；为已覆盖子网格选择固定节点，固定节点将不再移动，以保障已覆盖子网格的覆盖；计算每个已覆盖子网格重建点变程范围内的传感器节点与重建点的欧氏距离，选择一个离覆盖重建点欧氏距离最小的传感器节点为该覆盖网格的固定节点，记为F
‑
node，其他传感器节点为可移动节点，记为R
‑
node；(3.2)为每个漏洞重建点确定指向性修复节点。6.如权利要求5所述的基于强化学习的物联网覆盖漏洞修复方法，其特征在于，所述步骤(3.2)具体包括如下子步骤：(3.2.1)计算R
‑
node到漏洞重建点j”的最短坐标距离；根据最短坐标距离，为每个漏洞重建点j”从R
‑
node中选择一个意向修复节点；(3.2.2)若一个R
‑
node只被一个漏洞重建点选择作为意向修复节点，则建立双向选择，该意向修复节点即为对应漏洞重建点的指向性修复节点；若同一个R
‑
node被多个漏洞重建点选择作为意向修复节点，则该意向修复节点将选择距其最小的最短坐标距离的漏洞重建点作为目标修复重建点，该意向修复节点为其所选的目标修复重建点的指向性修复节点；
记指向性修复节点为M
‑
node；(3.2.3)将步骤(3.2.2)中已选择的指向性修复节点从可选择修复节点R
‑
nodes空间中删除，其他未建立双向选择的漏洞重建点将在下一轮重新选择意向修复节点或指向性修复节点；(3.2.4)记录指向性修复节...

【专利技术属性】
技术研发人员：邓贤君，夏云芝，易灵芝，杨天若，朱晨露，杨静，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：