一种基于强化学习的嵌入式系统低功耗监控系统和方法技术方案

本发明专利技术实施例提供了一种基于强化学习的嵌入式系统低功耗监控系统和方法，涉及低功耗技术领域。本发明专利技术实施例通过监控模块检测环境状态，并通过功耗管理模块基于环境状态确定对应的目标执行动作，最终由执行模块将目标执行动作转化为功耗管理策略，并执行功耗管理策略实现对系统的低功耗管理。相比于传统的低功耗监控系统，本发明专利技术基于强化学习的嵌入式系统低功耗监控系统能够提高系统的效率，并通过对环境状态的实时监测，实现对系统功耗策略的实时调整，保证了系统的可靠性，并且基于强化学习算法的功耗管理策略可以根据不同的环境状态进行动态调整，具有更高的灵活性。具有更高的灵活性。具有更高的灵活性。

【技术实现步骤摘要】
一种基于强化学习的嵌入式系统低功耗监控系统和方法


[0001]本专利技术实施例涉及低功耗
，尤其涉及一种基于强化学习的嵌入式系统低功耗监控系统和方法。

技术介绍

[0002]随着科技的不断进步和智能化的发展，越来越多的设备和系统都要求具有高效率、低功耗、智能化等特点。嵌入式监控系统作为一种重要的计算机系统，不仅具有小型化、低功耗等特点，还广泛应用于智能穿戴、智能家居、智能机器人、自动驾驶等领域。在这些领域中，嵌入式系统需要在保证系统性能的前提下，尽可能地延长系统使用时间，降低功耗，以提高系统的可靠性和用户体验。
[0003]目前，嵌入式监控系统低功耗技术主要采用的是静态功耗管理的方法。静态功耗管理主要通过硬件设计和制造工艺的优化来降低功耗，如采用低功耗芯片、减少器件数量等。而传统的嵌入式监控系统通常是基于预定义规则和算法进行操作，缺乏灵活性和自适应性。
[0004]因此，目前亟需一种新的嵌入式系统低功耗监控系统。

技术实现思路

[0005]本专利技术实施例提供一种基于强化学习的嵌入式系统低功耗监控系统和方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的嵌入式系统低功耗监控系统，其特征在于，所述系统包括：监控模块、功耗管理模块以及执行模块，所述监控模块分别与所述功耗管理模块以及所述执行模块电连接；其中，所述监控模块，用于通过监测当前环境状态下的环境数据，确定当前系统的状态信息，所述环境数据包括：温度数据、湿度数据、光照数据以及声音数据中的至少一者；所述功耗管理模块，用于将所述状态信息输入到预先训练的低功耗管理模型，得到所述低功耗管理模型输出的目标执行动作；所述执行模块，用于将所述目标执行动作转换为功耗管理策略，并针对所述状态信息执行所述功耗管理策略对应的目标执行动作；其中，所述低功耗管理模型是以所述环境数据作为训练样本，基于强化学习训练得到的，所述低功耗管理模型包括：状态转移函数、奖励函数以及策略函数，所述状态转移函数输出的结果作为所述奖励函数的输入值，所述状态转移函数输出的结果和所述奖励函数输出的结果作为所述策略函数的输入值，所述策略函数输出的结果为降低所述当前系统功耗的目标执行动作。2.根据权利要求1所述的基于强化学习的嵌入式系统低功耗监控系统，其特征在于，所述功耗管理模块包括：功耗监测模块、功耗调整执行模块；所述功耗监测模块，用于监测所述当前系统的功耗数据，所述功耗数据包括：电流数据、电压数据以及能耗数据中的至少一者；所述功耗调整执行模块，用于根据所述低功耗管理模型中的所述状态转移函数、所述奖励函数以及所述策略函数，确定所述目标执行动作。3.根据权利要求2所述的基于强化学习的嵌入式系统低功耗监控系统，其特征在于，还包括：所述功耗调整执行模块中的状态转移函数，用于根据所述当前系统的状态信息以及所述状态信息对应的执行动作，确定所述当前系统从当前的环境状态转移到的下一个环境状态，并将所述下一个环境状态确定为当前的环境状态；所述功耗调整执行模块中的奖励函数，用于根据当前的环境状态的状态信息以及预设的目标环境状态的状态信息，确定所述当前的环境状态的奖励值；其中，所述奖励函数是基于所述当前系统执行的监控任务下的预设目标规则定义的函数，所述预设目标规则包括：基于所述监控模块和所述功耗监测模块实现最大化监控的准确性和/或基于所述功耗调整执行模块实现最小化能耗；所述功耗调整执行模块中的策略函数，用于根据所述当前系统的功耗数据、所述当前的环境状态以及当前的环境状态的奖励值，确定所述目标执行动作。4.根据权利要求1所述的基于强化学习的嵌入式系统低功耗监控系统，其特征在于，所述监控模块包括：传感器和嵌入式计算平台，所述传感器与所述嵌入式计算平台电连接；其中，所述传感器，用于采集所述当前系统的环境数据，并将采集到的所述环境数据发送给所述嵌入式计算平台；其中，所述传感器包括：温度传感器、湿度传感器、光线传感器、声音传感器中的至少一者；所述嵌入式计算平台，用于接收所述环境数据，并根据所述环境数据监测所述当前系统的状态。
5.根据权利要求4所述的基于强化学习的嵌入式系统低功耗监控系统，其特征在于，所述监控模块还包括：状态表示模块，所述状态表示模块与所述传感器电连接；所述状态表示模块，用于在获取所述传感器采集的所述环境数据之后，将所述环境数据进行特征编码，并将编码后的环境数据发送给所述功耗管理模块，所述编码后的环境数据为所述当前系统的状态信息；其中，所述执行模块在将所述目标执行动作转换为功耗管理策略之后，用于控制所述监控模块执行所述功耗管理策略对应的目标执行动作，以减少所述当前系统的功耗，其中，所述目标执行动作包括：调整所述传感器的采样频率、调整所述传感器的工作模式中的至少一者。6.根据权利要求5所述的基于强化学习的嵌入式系统低功耗监...

【专利技术属性】
技术研发人员：郭兵，付念，代声馨，汪思怡，罗正，代成，
申请(专利权)人：四川大学，
类型：发明
国别省市：