【技术实现步骤摘要】
本申请涉及网络资源分配，尤其是涉及一种基于强化学习的移动设备异构网络接入方法、装置及设备。
技术介绍
1、物联网（internet of things，简称iot）是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要连接、互动的物体或过程，采集声、光、热、电、力学、化学、生物、位置等信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是基于互联网、电信网等的信息承载体，让所有能够被独立寻址的普通物理对象形成互联互通的网络。
2、物联网中的所有设备均可以为物联网设备，物联网设备可以包括智能家居设备（如智能音箱、智能扫地机器人、智能家居网关等）、工业智能网关、生命安全设备、车联网设备等。随着物联网的快速发展，物联网设备的数量越来越多，大量物联网设备需要接入网络，大规模的物联网设备给网络架构带来巨大负担，无法支持大规模物联网设备的连接，无法满足物联网设备的各种需求。
技术实现思路
1、有鉴于此，本申请提供一种基于强化学习的移动设备异构网络接入方法、装置及设备，通过异构网络支持物联网设备的连接，满足物联网设备的需求。
2、本申请提供一种基于强化学习的移动设备异构网络接入方法，应用于服务器，所述服务器用于为移动设备分配接入网络，所述方法包括：
3、获取移动设备对应的候选网络列表，所述候选网络列表包括多个候选网络，所述多个候选网络包括异构网络，且移
4、获取移动设备对应的候选带宽范围和候选功率范围，所述候选带宽范围包括多个候选带宽，所述候选功率范围包括多个候选功率；
5、获取多个候选参数集合，所述候选参数集合包括一个候选网络、一个候选带宽和一个候选功率；针对每个候选参数集合：基于所述候选参数集合确定所述移动设备对应的用户奖励值和所述候选网络对应的网络奖励值；基于所述用户奖励值和所述网络奖励值确定所述候选参数集合对应的目标奖励值；
6、基于每个候选参数集合对应的目标奖励值，从多个候选参数集合中选取一个候选参数集合，基于该候选参数集合确定所述移动设备接入的目标网络、所述移动设备采用的目标功率、所述目标网络为所述移动设备分配的目标带宽。
7、本申请提供一种基于强化学习的移动设备异构网络接入装置，应用于服务器，所述服务器用于为移动设备分配接入网络，所述装置包括：
8、获取模块，用于获取移动设备对应的候选网络列表，所述候选网络列表包括多个候选网络，所述多个候选网络包括异构网络，移动设备位于候选网络的覆盖范围内；获取移动设备对应的候选带宽范围和候选功率范围，候选带宽范围包括多个候选带宽，候选功率范围包括多个候选功率；获取多个候选参数集合，所述候选参数集合包括一个候选网络、一个候选带宽和一个候选功率；
9、确定模块，用于针对每个候选参数集合，基于所述候选参数集合确定所述移动设备对应的用户奖励值和所述候选网络对应的网络奖励值；基于所述用户奖励值和所述网络奖励值确定所述候选参数集合对应的目标奖励值；
10、处理模块，用于基于每个候选参数集合对应的目标奖励值，从多个候选参数集合中选取一个候选参数集合，基于该候选参数集合确定移动设备接入的目标网络、移动设备采用的目标功率、所述目标网络为移动设备分配的目标带宽。
11、本申请提供一种电子设备，包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令；其中，处理器用于执行机器可执行指令，以实现基于强化学习的移动设备异构网络接入方法。
12、本申请提供一种机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；其中，所述处理器用于执行所述机器可执行指令，以实现上述的基于强化学习的移动设备异构网络接入方法。
13、本申请提供一种计算机程序，所述计算机程序存储于机器可读存储介质，当处理器执行所述机器可读存储介质中的所述计算机程序时，促使所述处理器实现上述的基于强化学习的移动设备异构网络接入方法。
14、由以上技术方案可见，本申请实施例中，通过异构网络支持物联网设备的连接，满足物联网设备的需求，在采用异构网络支持物联网设备的连接时，给出一种移动设备接入异构网络的方法，能够从所有异构网络中选取移动设备接入的目标网络，并确定移动设备采用的目标功率、目标网络为移动设备分配的目标带宽，从而实现异构网络的高效接入，缓解网络压力，提高系统容量，扩大网络覆盖范围，并满足不同物联网设备的qoe（最佳体验质量）要求。
15、在确定目标网络、目标功率和目标带宽时，可以基于移动设备对应的用户奖励值和候选网络对应的网络奖励值确定目标奖励值，并通过强化学习的方式迭代出最优的目标奖励值，继而基于最优的目标奖励值确定目标网络、目标功率和目标带宽，从而保证目标网络是针对移动设备的优选网络，目标功率是针对移动设备的优选功率，目标带宽是针对移动设备的优选带宽。
本文档来自技高网...【技术保护点】
1.一种基于强化学习的移动设备异构网络接入方法，其特征在于，应用于服务器，所述服务器用于为移动设备分配接入网络，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，所述基于移动设备与所述第二中间网络列表中每个网络的网络属性偏好，从所述第二中间网络列表中去除第三类网络得到候选网络列表之前，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，
6.根据权利要求4所述的方法，其特征在于，所述基于所述估计能耗参数、所述预期时延参数和所述成本参数确定所述移动设备的网络评估参数，包括：
7.根据权利要求4所述的方法，其特征在于，
8.根据权利要求7所述的方法，其特征在于，所述基于所述网络评估参数和参考概率值确定网络代价值，基于所述参考概率值确定切换代价值，并基于所述网络代价值和所述切换代价值确定所述用户奖励值，包括：
9.根据权利要求1所述的方法，其特征在于，
10.根据权利要求9所述
11.一种基于强化学习的移动设备异构网络接入装置，其特征在于，应用于服务器，所述服务器用于为移动设备分配接入网络，所述装置包括：
12.一种电子设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-10任一所述的方法。
...【技术特征摘要】
1.一种基于强化学习的移动设备异构网络接入方法，其特征在于，应用于服务器，所述服务器用于为移动设备分配接入网络，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，所述基于移动设备与所述第二中间网络列表中每个网络的网络属性偏好，从所述第二中间网络列表中去除第三类网络得到候选网络列表之前，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，
6.根据权利要求4所述的方法，其特征在于，所述基于所述估计能耗参数、所述预期时延参数和所述成本参数确定所述移动设备的网络评估参数，包括：
7.根据权利要求4所述的方法，其特征在于，
8.根据权利要求7所...
【专利技术属性】
技术研发人员：王滨，赵海涛，王星，王琴，刘颖，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。