一种基于深度强化学习的协议适配参数确定方法技术

一种基于深度强化学习的协议适配参数确定方法，包括步骤：S1、构建设备信息库；S2、构建包括Actor网络和Critic网络的加权双延迟DDPG网络；加权双延迟DDPG网络根据设备信息输出用于确定基本信息相似度的相似度权重；加权双延迟DDPG网络与环境的交互包含协议群构建；协议群构建中每个设备协议生成任务为一个智能体，智能体根据奖励和状态执行动作；状态包括设备基本信息和相似度权重；动作包括增加相似度权重和减少相似度权重；Actor网络包括在线策略网络和目标策略网络；在线策略网络根据当前状态确定动作，目标策略网络根据下一步状态确定下一动作；S3、根据相似度权重，构建相似设备群；S4、构建协议群；对协议群中协议文本进行验证，获取适配协议。

【技术实现步骤摘要】

本专利技术涉及物联网领域，具体涉及一种基于深度强化学习的协议适配参数确定方法。

技术介绍

1、设备是物联网数据的重要来源，随着海量异构设备的部署，设备连接数量呈现井喷式增长。面对海量多样的协议，在设备协议信息未知的场景中，如何高效地为设备生成最佳匹配的协议，快速地将设备接入网络，对物联网的发展具有重要意义。

2、现有的设备动态接入方法依赖专业人员手动开发和选择设备协议，在协议数量较大时存在效率低和成本高的缺点。现有的即插即用方式的设备接入方法由于依赖标准化的协议，不能适应协议多样化的场景。现有的设备协议生成方法虽能实现协议类型的预测，但协议匹配过程中需要多次反馈才能找到最佳权重，降低了设备协议的适配效率。

技术实现思路

1、有鉴于上述技术缺陷，本专利技术提供一种基于深度强化学习的协议适配参数确定方法，本专利技术方法能够根据设备的基本信息，确定性地输出计算基本信息相似度所用的相似度权重，避免了多次相似度寻优过程，提升了协议适配效率，加快了设备接入网络的速度。

2、为达到上述目的，本专利技本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的协议适配参数确定方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度强化学习的协议适配参数确定方法，其特征在于，所述Critic网络包括在线Q网络和目标Q网络；所述在线Q网络和所述目标Q网络分别输出各自的最小值；将两个所述最小值加权结合作为目标Q值；所述加权双延迟DDPG网络根据所述设备信息和所述目标Q值输出所述相似度权重。

3.根据权利要求2所述的一种基于深度强化学习的协议适配参数确定方法，其特征在于，所述Actor网络根据所述目标Q值更新所述在线策略网络和所述目标策略网络的参数。

4.根据权利要求1所述的...

【技术特征摘要】

1.一种基于深度强化学习的协议适配参数确定方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于深度强化学习的协议适配参数确定方法，其特征在于，所述critic网络包括在线q网络和目标q网络；所述在线q网络和所述目标q网络分别输出各自的最小值；将两个所述最小值加权结合作为目标q值；所述加权双延迟ddpg网络根据所述设备信息和所述目标q值输出所述相似度权重。

3.根据权利要求2所述的一种基于深度强化学习的协议适配参数确定方法，其特征在于，所述actor网络根据所述目标q值更新所述在线策略网络和所述目标策略网络的参数。

4.根据权利要求1所述的一种基于深度强化学习的协议适配参数确定方法，其特征在于，所述奖励为协议匹配率r与命中率h之和；所述协议匹配率r定义为：

5.根据权利要求3所述的一种基于深...

【专利技术属性】
技术研发人员：邬惠峰，高政，孙丹枫，陈佰平，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：