一种基于深度强化学习的DVFS设计方法技术

技术编号:46524200 阅读:3 留言:0更新日期:2025-09-30 18:50
本发明专利技术公开了一种基于深度强化学习的DVFS设计方法,此方法基于处理器的电源管理架构,通过建模分析,状态、动作和奖励函数的设计,设计DQN网络进行实时训练。智能体通过计算奖励值、收集各个状态的观测值、并将样本数据加入经验回放缓冲区,然后通过对经验回放缓冲区中的样本数据进行随机批处理的DQN网络训练直至收敛,采用优化的ε‑贪心策略对处理器平台执行频率调整动作,从而调整CPU、NPU的不同频率。通过本发明专利技术学习环境和应用程序性能,从而应对多种不同的环境变化,为应用程序提供更优的性能,以节能的方式最大化应用程序性能。

【技术实现步骤摘要】

本专利技术涉及一种基于深度强化学习的dvfs设计方法,属于人工智能应用。


技术介绍

1、随着机器学习技术的发展,诞生了多种用于解决实际问题的机器学习方法。在这些方法中,主要分为监督学习、无监督学习和强化学习三大类。不同于以上两种,强化学习是一种用于解决多阶段序贯决策问题的机器学习方法,通过不断尝试不同的决策序列并对决策的结果进行评价,实现对决策序列的不断优化,最终得到最优的决策方法。

2、广泛地讲,强化学习是智能体通过与环境交互来实现目标的一种计算方法。智能体和环境的一轮交互是指,智能体在环境的一个状态下做一个动作决策,把这个动作作用到环境中,这个环境发生相应的改变并且将相应的奖励反馈和下一轮状态传回智能体。这种交互是迭代进行的,智能体的目标是最大化在多轮交互过程中获得的累积奖励的期望。

3、dvfs是一种系统级技术,通过在运行时调整cpu/npu的电压和频率水平来平衡处理器整体能效,从而达到系统更高性能。dvfs已被研究多年,但由于两个主要原因,目前仍认为实现理想dvfs对嵌入式设备来说具有挑战性:i)在功率受限平台上,cpu、n本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的DVFS设计方法,其特征在于,包括:

2.根据权利要求1所述的一种基于深度强化学习的DVFS设计方法,其特征在于,DVFS模型为:

3.根据权利要求1所述的一种基于深度强化学习的DVFS设计方法,其特征在于,权衡权重β设定值越小,则DVFS模型更优先考虑应用程序的性能质量最大化;当权衡权重β取值为0时,不考虑CPU和NPU的功耗。

4.根据权利要求2所述的一种基于深度强化学习的DVFS设计方法,其特征在于,将DVFS模型转换为马尔可夫决策过程,设计DQN网络,通过强化学习求解,具体为:

5.根据权利要求4所述的一种...

【技术特征摘要】

1.一种基于深度强化学习的dvfs设计方法,其特征在于,包括:

2.根据权利要求1所述的一种基于深度强化学习的dvfs设计方法,其特征在于,dvfs模型为:

3.根据权利要求1所述的一种基于深度强化学习的dvfs设计方法,其特征在于,权衡权重β设定值越小,则dvfs模型更优先考虑应用程序的性能质量最大化;当权衡权重β取值为0时,不考虑cpu和npu的功耗。

4.根据权利要求2所述的一种基于深度强化学习的dvfs设计方法,其特征在于,将dvfs模型转换为马尔可夫决策过程,设计dqn网络,通过强化学习求解,具体为:

5.根据权利要求4所述的一种基于深度强化学习的dvfs设计方法,其特征在于,奖励函数表示为:

6.根据权利要求2或5所述的一种基于深度强化学习的dvfs设计方法,其特征在于,...

【专利技术属性】
技术研发人员:孟晓于立新朴泉宇庄伟秦智勇杨达明张世远官同鹏汪博王春清华阳梁桓
申请(专利权)人:北京微电子技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1