基于Q-Learning的移动终端传感器调度方法技术

本发明专利技术公开了一种基于Q

【技术实现步骤摘要】
基于Q
‑
Learning的移动终端传感器调度方法


[0001]本专利技术属于移动终端控制
，特别是一种基于Q
‑
Learning的移动终端传感器调度方法。

技术介绍

[0002]移动终端系统是利用智能移动终端上多个传感器完成实际任务的综合系统，对日常生活产生了重要影响。随着智能手机的不断普及，其应用越来越普遍，应用场景也是越来越丰富。其中，人类情境识别(human context recognition，HCR)是最为常见的应用场景之一，既包括个人情境识别(例如活动，健康状况，情绪)又包括环境情境识别(例如位置，尘埃水平，社会互动)，在医疗领域可以用于身体评估以及对患有慢性疾病(例如糖尿病，肥胖症，认知障碍或心律不齐)的患者进行监督。现如今人口老龄化的趋势更需要高性能高精度的HCR，来对人体状况进行有效监测。
[0003]传感器触发策略调度是为了减少智能终端系统中传感器的能耗，在保证感应延迟的前提下，尽量延长传感器的使用寿命。目前已有的HCR系统主要侧重整个检测过程的准确率，在保证准确率的前提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Q
‑
Learning的移动终端传感器调度方法，其特征在于，所述方法包括以下步骤：步骤1，为移动终端系统定义新的参数：窗口，一个窗口表示一个时间段；步骤2，初始化移动终端系统参数和Q值表；步骤3，确定窗口的长度；步骤4，对Q值表进行训练优化，获得训练后的Q值表；步骤5，利用获得的Q值表调度传感器。2.根据权利要求1所述的基于Q
‑
Learning的移动终端传感器调度方法，其特征在于，步骤1和步骤3中所述的窗口，在确定窗口长度时，根据实际情况而定，遵循的原则为：既要能在窗口时段内采集足够多的信号，又要防止窗口内数据因过多而被平均化，单位为决策时长t
s
。3.根据权利要求1或2所述的基于Q
‑
Learning的移动终端传感器调度方法，其特征在于，步骤2所述初始化移动终端系统参数和Q值表，具体包括：初始化移动终端系统参数，包括：总任务时长T、传感器参数、决策时长t
s
、最大允许延迟d
max
和奖赏函数；其中，窗口具体为：将总任务时长T划分为多个时间段，每个时间段视为一个窗口，按时间顺序依次对窗口进行编号1，2，
…
,V，V为窗口的总个数；传感器参数包括传感器采样频率、占空比；初始化Q值表，表中的每一个数值代表一组状态动作所对应的价值，值越大，代表对于状态而言，对应的动作能够带来预期价值最大的收益；初始化Q值表时，将表中每一个数值都设为0。4.根据权利要求3所述的基于Q
‑
Learning的移动终端传感器调度方法，其特征在于，步骤4所述对Q值表进行训练优化，获得训练后的Q值表，具体包括：步骤4
‑
1，初始化参数，包括窗口的长度l和第一个窗口的触发策略(n
on1
,n
sleep1
)、动作空间n
on1
为在第一个窗口内传感器开启感应的时间；n
sleep1
为在第一个窗口内传感器关闭感应的时间；步骤4
‑
2，针对每一个窗口l
i
，计算传感器所有采样数据的特征向量(Γ
i1
,Γ
i2
,
…
,Γ
ik
)；当前窗口的特征向量记为s
i
，下一窗口的特征向量记为s
i
'；步骤4
‑
3，基于ε
‑
贪婪策略选择获得下一个窗口的触发策略(n
oni+1
,n
sleepi+1
)，其中，0≤ε＜1，动作空间为触发策略的有限集合，表示为：式中，n
on
为在一个窗口内传感器开启感应的时间，n
sleep
...

【专利技术属性】
技术研发人员：王力立，肖强，周琪林，奚思遥，林高尚，黄成，单梁，张永，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：