一种基于强化学习的可穿戴心电监测网络切换方法技术

本发明专利技术公开了一种基于强化学习的可穿戴心电监测网络切换方法，该网络切换方法包含：环境状态输入，数据预处理，使用Qlearning决策输出动作，接收环境反馈奖励，更新Qtable参数，执行网络切换几个步骤。可以综合考虑可穿戴心电监测环境下的各种因素，提高模型的准确度，同时保证在做出正确的决策时尽量减小模型计算量，高效完成可穿戴网络即时切换任务，可以作为可穿戴心电监测数据传输网络智能切换的模型基础。模型基础。模型基础。

【技术实现步骤摘要】
一种基于强化学习的可穿戴心电监测网络切换方法


[0001]本专利技术涉及通信控制领域，具体涉及一种基于强化学习的可穿戴心电监测网络切换方法。

技术介绍

[0002]可穿戴心电监测可以提高医疗保健的效率。然而，目前仅依靠单一无线传输技术的可穿戴设备并不能保证患者在任何时间、任何地点都能连接到远程心电保健中心。为此，提出了一种对患者健康状况敏感的垂直切换方案，用于异构无线网络下的远程可穿戴心电监测应用。异构网络中的垂直切换是指在不中断业务链路的情况下从一个网络迁移到另一个网络的过程。因此，在现有的通信技术中，必须根据可穿戴心电数据传输所需的功率水平、数据速率、运行范围、多种技术共存等因素，选择最合适的技术，减少网络切换延迟时间，从而保证心电监测数据能够实时传输。
[0003]现有技术中具有根据终端设备黑名单应用扫描蓝牙通信或者蜂窝网络进行网络切换的方法，来规避大流量的耗费，从而提供良好的上网体验。但该方法设定的阈值条件过于繁琐，增添许多不必要的计算量和扫描所需的能耗。还有根据移动终端网络连接的时空特性，选择满足当前业务性能需求且可靠性最高的网络，以保证传输时延小的同时可靠性高。但该方法需采集各个移动终端的位置、时间段、业务类型、网络可靠性等信息，而且需要第三方服务器，计算量大，并不适用于生理数据实时传输系统。同时具有根据终端中网络相关功能的使用状态确定所使用的网络类型并切换至相匹配的高功耗或低功耗网络，但该方法并未考虑到可穿戴设备监测数据实时传输的情况，无法轻易判断高低功耗的网络类型。

技术实现思路
/>[0004]针对现有技术中的上述不足，本专利技术提供了一种基于强化学习的可穿戴心电监测网络切换方法。
[0005]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0006]一种基于强化学习的可穿戴心电监测网络切换方法，包括如下步骤：
[0007]S1、接收环境网络监测设备和心电数据感知模块返回的数据；
[0008]S2、对步骤S1返回的数据进行预处理，利用Q学习算法得到关于期望动作和对应期望动作收益值的Q表；
[0009]S3、利用减法聚类方法对步骤S2预处理后Q表的数据分类成簇，对不确定和不精确数据进行计算得到环境状态矩阵；
[0010]S4、在Q表中找出收益值最大的输出，将对应的最优动作作为输出发送给外部任务控制器执行，动作执行后若任务未完成则返回步骤S1继续执行，若任务完成则结束工作。
[0011]进一步，所述S1中环境网络监测设备返回的数据包括t时刻可穿戴心电监测设备蓝牙网络的接收信号强度RSSI
t
，吞吐量Throughput
t
，数据传输速率R
t
；
[0012]心电数据感知模块返回的数据包括t时刻心电数据频率
[0013]进一步，所述S2中数据预处理方式为：
[0014]S21、间隔固定时间Δt对步骤S1中返回的数据进行采样，每组数据包括多个样本；
[0015]S22、将S21采样的数据编码成数据序列，得到时刻开始Δt区间内的当前连接网络接收信号强度数据序列RSSI
Δt
，t时刻开始Δt区间内的当前连接网络吞吐量数据序列Throughput
Δt
，t时刻开始Δt区间内的当前连接网络数据传输速率数据序列R
Δt
，并去掉RSSI
Δt
、Throughput
Δt
和R
Δt
中的最大值和最小值；
[0016]S23、对去掉RSSI
Δt
、Throughput
Δt
和R
Δt
中的最大值和最小值后的数据序列求取平均值，得到对应的序列平均值和并将得到的序列平均值和t时刻的当前心电数据频率合并环境状态矩阵S
t
。
[0017]进一步，所述S2中Q学习算法的计算方式为：
[0018][0019]其中，Q(s
t
,a
t
)为t时刻的Q表值，s
t
为t时刻的环境状态矩阵值，a
t
为t时刻的动作，S
t
为环境状态矩阵，r
t
为t时刻当前连接网络的传输速率，α、γ为常值参数。
[0020]进一步，所述S3中减法聚类方法的具体计算方式为：
[0021][0022]其中，χ
i
、χ
j
分别为S2预处理后的Q表数据中的第i和第j个数据，r为聚类半径，χ
j
‑
χ
i
为第i和第j个数据的欧氏距离，为密度指标最高的数据点，D
j
为数据点χ
i
处的密度指标，为二范数平方运算。
[0023]进一步，所述S4具体包括如下步骤：
[0024]S41、初始化Q(s,a)，s∈S
t
，a∈A，A为动作集合，并根据减法聚类后的结果初始化环境状态矩阵S
t
；
[0025]S42、根据连接网络的网络参数更新环境状态矩阵S
t
，并更新Q表值；
[0026]S43、根据更新后的Q表值选择输出最大Q值max(Q(S
t
,A))对应的最优动作a
′
t
并交由外部任务控控制器执行，若执行后任务未完成则返回步骤S1。
[0027]本专利技术具有以下有益效果：
[0028]本专利技术开创性提出了面向可穿戴心电监测设备的异构网络切换的轻量化强化学习模型构建方法，通过综合考虑可穿戴网络切换的网络环境因素和ECG信号频率特征，大大提高模型在可穿戴网络环境中进行快速切换任务的适应性；本专利技术还采用减法聚类技术将切换度量分类为相应的状态，提高Q表的准确度，能够有效降低模型计算量，适合在嵌入式
环境下为可穿戴网络提供服务。
附图说明
[0029]图1为本专利技术基于强化学习的可穿戴心电监测网络切换方法流程示意图。
[0030]图2为本专利技术实施例网络切换具体流程示意图。
具体实施方式
[0031]下面对本专利技术的具体实施方式进行描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本专利技术的精神和范围内，这些变化是显而易见的，一切利用本专利技术构思的专利技术创造均在保护之列。
[0032]一种基于强化学习的可穿戴心电监测网络切换方法，如图1所示，包括如下步骤：
[0033]S1、接收环境网络监测设备和心电数据感知模块返回的数据；
[0034]本实施例里，模型接收网络环境状态监测器返回的数据作为输入，环境状态信息比如t时刻可穿戴心电监测设备蓝牙网络的接收信号强度RSSI
t
，吞吐量Throughput
t
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的可穿戴心电监测网络切换方法，其特征在于，包括如下步骤：S1、接收环境网络监测设备和心电数据感知模块返回的数据；S2、对步骤S1返回的数据进行预处理，利用Q学习算法得到关于期望动作和对应期望动作收益值的Q表；S3、利用减法聚类方法对步骤S2预处理后Q表的数据分类成簇，对不确定和不精确数据进行计算得到环境状态矩阵；S4、在Q表中找出收益值最大的输出，将对应的最优动作作为输出发送给外部任务控制器执行，动作执行后若任务未完成则返回步骤S1继续执行，若任务完成则结束工作。2.根据权利要求1所述的基于强化学习的可穿戴心电监测网络切换方法，其特征在于，所述S1中环境网络监测设备返回的数据包括t时刻可穿戴心电监测设备蓝牙网络的接收信号强度RSSI
t
，吞吐量Throughput
t
，数据传输速率R
t
；心电数据感知模块返回的数据包括t时刻心电数据频率3.根据权利要求1所述的基于强化学习的可穿戴心电监测网络切换方法，其特征在于，所述S2中数据预处理方式为：S21、间隔固定时间Δt对步骤S1中返回的数据进行采样，每组数据包括多个样本；S22、将S21采样的数据编码成数据序列，得到时刻开始Δt区间内的当前连接网络接收信号强度数据序列RSSI
Δt
，t时刻开始Δt区间内的当前连接网络吞吐量数据序列Throughput
Δt
，t时刻开始Δt区间内的当前连接网络数据传输速率数据序列R
Δt
，并去掉RSSI
Δt
、Throughput
Δt
和R
Δt
中的最大值和最小值；S23、对去掉RSSI
Δt
、Throughput
Δt
和R
Δt
中的最大值和最小值后...

【专利技术属性】
技术研发人员：张羽，赵文娟，杨慧，亢羽童，
申请(专利权)人：西北工业大学宁波研究院，
类型：发明
国别省市：