【技术实现步骤摘要】
本申请涉及边缘计算，具体而言，涉及一种物联网设备控制方法及系统。
技术介绍
1、近年来，物联网市场快速增长，物联网应用涵盖了满足企业需求的传感器、标签和自定义设备等多种多样的异构终端，小型监控和执行设备的快速引入也有助于在工业环境中部署服务，物联网已经渗透到生产作业的方方面面。
2、然而，设备的控制问题始终是工业物联网场景下的核心问题，每当新接入一种类别的设备，通常需要先分析其物理模型，再基于该物理模型做特定的接入适配，研发和调试周期可能会比较长。另外，当前为了实现对不同物理结构的设备的稳定控制，通常采用经典的数学控制模型，如全状态反馈、线性二次调节器、比例积分导数等数学控制模型，但如果对控制系统缺乏深入的认识，利用经典数学控制模型对物联网设备进行控制是困难的。同时，随着云计算的发展，通常使用云计算架构解决物联网设备的控制过程中涉及到的大量数据存储和计算的问题，但传统云计算方法一般使用云中心-远端的架构，该架构在数据传输方面比较耗时，并且难以满足某些实时控制的需求。
3、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种物联网设备控制方法及系统，以至少解决相关技术中通过云计算架构对物联网设备进行控制消耗资源较多且控制效率较低的技术问题。
2、根据本申请实施例的一个方面，提供了一种物联网设备控制方法，包括：获取消息队列遥测传输mqtt消息服务器发送的目标物联网设备的第一状态信息；利用预训练的深度强化学习模型对第一
3、可选地，获取mqtt消息服务器发送的目标物联网设备的第一状态信息，包括：获取mqtt消息服务器转发的目标物联网设备的第一状态信息，其中，目标物联网设备用于将自身的状态数据发送至数据转换设备，数据转换设备用于将状态数据转换为边缘计算平台可识别的第一状态信息，并将第一状态信息发送至mqtt消息服务器。
4、可选地，深度强化学习模型为基于时间差分的q学习模型，深度强化学习模型的训练过程包括：依据目标物联网设备的设备信息构建状态空间和动作空间；确定状态转移函数，并依据目标物联网设备的性能指标确定奖励函数；初始化q值函数和q值矩阵，并预设学习速率；从状态空间中随机选择一个第二状态信息作为当前状态信息，并循环执行以下流程，直至满足预设的停止条件：依据softmax选择算法从动作空间中确定与当前状态信息对应的第一控制参数；获取目标物联网设备执行与第一控制参数对应的操作后的第三状态信息，并依据奖励函数确定与第三状态信息对应的第一奖励值；依据当前状态信息、第一控制参数、当前学习速率和第一奖励值更新当前q值函数，依据更新后的q值函数更新当前q值矩阵中对应的项，并依据当前循环次数更新当前学习速率；依据状态转移函数确定与当前状态信息对应的下一个状态信息，并依据下一个状态信息更新当前状态信息。
5、可选地，softmax选择算法选择第一控制参数的概率分布满足玻尔兹曼分布，依据softmax选择算法从动作空间中确定与当前状态信息对应的第一控制参数，包括：将当前softmax选择算法中的模拟退火温度与预设温度阈值进行比较；若模拟退火温度大于预设温度阈值，依据预设的衰减系数对模拟退火温度进行衰减，并依据更新后的softmax选择算法从动作空间中确定与当前状态信息对应的第一控制参数；若模拟退火温度不大于预设温度阈值，直接依据当前softmax选择算法从动作空间中确定与当前状态信息对应的第一控制参数。
6、可选地，利用预训练的深度强化学习模型对第一状态信息进行分析，得到针对目标物联网设备的目标控制策略，包括：依据训练完成后的深度强化学习模型中的q值矩阵确定与第一状态信息对应的目标控制策略。
7、可选地，依据目标控制策略对目标物联网设备进行控制，包括：确定目标控制策略中的目标控制参数；将目标控制参数经mqtt消息服务器发送至数据转换设备，其中，数据转换设备用于将目标控制参数转换为目标物联网设备可识别的目标控制数据，并将目标控制数据发送至目标物联网设备，目标物联网设备用于响应目标控制数据并执行对应的操作。
8、可选地，获取目标物联网设备响应目标控制数据并执行对应操作后的第四状态信息，并将目标控制参数与第四状态信息组对进行存储；依据目标控制参数和第四状态信息继续对深度强化学习模型进行训练，更新深度强化学习模型的模型参数。
9、根据本申请实施例的另一方面，还提供了一种物联网设备控制系统，包括：目标物联网设备、数据转换设备、mqtt消息服务器、边缘计算平台，其中，目标物联网设备，用于将自身的状态数据发送至数据转换设备；响应数据转换设备发送的目标控制数据并执行对应的操作；数据转换设备，用于将状态数据转换为边缘计算平台可识别的第一状态信息，并将第一状态信息发送至mqtt消息服务器；将mqtt消息服务器发送的目标控制参数转换为目标物联网设备可识别的目标控制数据，并将目标控制数据发送至目标物联网设备；mqtt消息服务器，用于将第一状态信息发送至边缘计算平台；将边缘计算平台发送的目标控制参数发送至mqtt消息服务器；边缘计算平台，用于利用预训练的深度强化学习模型对第一状态信息进行分析，得到针对目标物联网设备的目标控制策略，其中，目标控制策略中包括目标控制参数，深度强化学习模型的状态空间包括：目标物联网设备的状态信息，深度强化学习模型的动作空间包括：针对目标物联网设备的控制参数；将目标控制参数发送至mqtt消息服务器。
10、根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，非易失性存储介质所在设备通过运行该计算机程序执行上述的物联网设备控制方法。
11、根据本申请实施例的另一方面，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行上述的物联网设备控制方法。
12、在本申请实施例中，获取消息队列遥测传输mqtt消息服务器发送的目标物联网设备的第一状态信息；利用预训练的深度强化学习模型对第一状态信息进行分析，得到针对目标物联网设备的目标控制策略，其中，目标控制策略中包括目标控制参数，深度强化学习模型的状态空间包括：目标物联网设备的状态信息，深度强化学习模型的动作空间包括：针对目标物联网设备的控制参数；依据目标控制策略对目标物联网设备进行控制。其中，利用预训练的深度强化学习模型确定目标物联网设备的目标控制策略，可以自适应地对物联网设备进行学习和控制，能够适应不同环境需求，提高控制效率，同时，通过对物联网设备动作的精确控制，可以减少不必要的能源消耗，降低能源成本，有效解决了相关技术中通过云计算架构对物本文档来自技高网...
【技术保护点】
1.一种物联网设备控制方法，应用于边缘计算平台，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取MQTT消息服务器发送的目标物联网设备的第一状态信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述深度强化学习模型为基于时间差分的Q学习模型，所述深度强化学习模型的训练过程包括：
4.根据权利要求3所述的方法，其特征在于，所述softmax选择算法选择所述第一控制参数的概率分布满足玻尔兹曼分布，依据softmax选择算法从所述动作空间中确定与所述当前状态信息对应的第一控制参数，包括：
5.根据权利要求3所述的方法，其特征在于，利用预训练的深度强化学习模型对所述第一状态信息进行分析，得到针对所述目标物联网设备的目标控制策略，包括：
6.根据权利要求2所述的方法，其特征在于，依据所述目标控制策略对所述目标物联网设备进行控制，包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.一种物联网设备控制系统，其特征在于，包括：目标物联网设备、数据转换设备、MQTT消息服
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的计算机程序，其中，所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至7中任意一项所述的物联网设备控制方法。
10.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器被配置为通过所述计算机程序执行权利要求1至7中任意一项所述的物联网设备控制方法。
...【技术特征摘要】
1.一种物联网设备控制方法，应用于边缘计算平台，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取mqtt消息服务器发送的目标物联网设备的第一状态信息，包括：
3.根据权利要求1所述的方法，其特征在于，所述深度强化学习模型为基于时间差分的q学习模型，所述深度强化学习模型的训练过程包括：
4.根据权利要求3所述的方法，其特征在于，所述softmax选择算法选择所述第一控制参数的概率分布满足玻尔兹曼分布，依据softmax选择算法从所述动作空间中确定与所述当前状态信息对应的第一控制参数，包括：
5.根据权利要求3所述的方法，其特征在于，利用预训练的深度强化学习模型对所述第一状态信息进行分析，得到针对所述目标物联网设备的目标控制策略，包括：
【专利技术属性】
技术研发人员：朱圣祥，刘大伟，丁君，
申请(专利权)人：中国电信股份有限公司技术创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。