一种基于马尔科夫决策过程的功率车阻力动态调整方法技术

本发明专利技术公开了一种基于马尔科夫决策过程的功率车阻力动态调整方法，包括：获取用户的运动强度状态；获取功率车阻力调整动作；计算每种运动强度状态下执行某种功率车阻力调整动作后转移为下一种运动强度状态的转移概率；设置每种运动强度状态下的奖励和折扣因子；初始化每种运动强度状态的状态值函数和状态行为值概率函数；对状态值函数进行更新，基于更新后的状态值函数更新状态行为值概率函数；当状态值函数最大时停止更新，获得最优策略；基于最优策略对功率车阻力进行动态调整。本发明专利技术使用户可以在任何运动强度状态下都能通过功率车阻力调整动作，快速、安全地达到既定运动强度，节约运动时间，避免运动强度过低和过强。避免运动强度过低和过强。避免运动强度过低和过强。

【技术实现步骤摘要】
一种基于马尔科夫决策过程的功率车阻力动态调整方法


[0001]本专利技术属于人工智能领域，特别是涉及一种基于马尔科夫决策过程的功率车阻力动态调整方法。

技术介绍

[0002]运动锻炼可以有效降低心血管疾病的发病率和死亡率。过低强度的运动无法实现无法实现运动锻炼效果，过高强度的运动可能导致神经中枢疲劳、骨骼机能下降、肝脏损伤，因此运动过程中的运动强度需要严格控制。一般采用的方法是通过靶心率衡量运动锻炼的有效性和安全性。
[0003]专利CN107416116A公开了一种电动助力自行车系统，该系统测量骑行车的心率等生命特征，当其中一项生命体征超过设定的正常值范围时，根据生命体征数据将电机的输出功率实时调节为匹配骑行车的实时生理状态的输出功率，达到最佳舒适度的骑行效果。但该系统的缺点是：心率的正常值范围是一个比较大的范围，只是根据正常值范围调节电机的输出功率的手段不够精细，并不能保证能够达到很好的调节效果。
[0004]为此，专利CN112023343A公开了一种调整功率车扭矩的方法、运动训练方法和功率车，该方法根据用户单次的测试心率、测试强度、静息心率和静息强度建立多项式公式，通过多项式公式计算功率车当前强度和目标强度之间的差值，从而调整功率车的扭矩。但该方法的缺点是仅依赖用户单次的运动测试情况进行数学建模，调整准确性易受到单次结果误差的干扰。因此，亟需开发一种能够利用用户多次运动数据，精细、快速调节人体运动强度的功率车阻力调整方法。

技术实现思路

[0005]本专利技术的目的是提供一种基于马尔科夫决策过程的功率车阻力动态调整方法，以解决上述现有技术存在的问题。
[0006]为实现上述目的，本专利技术提供了一种基于马尔科夫决策过程的功率车阻力动态调整方法，包括：
[0007]获取用户的运动强度状态；
[0008]获取功率车阻力调整动作；
[0009]计算每种运动强度状态下执行某种功率车阻力调整动作后转移为下一种运动强度状态的转移概率；
[0010]设置每种运动强度状态下的奖励和折扣因子；
[0011]初始化每种运动强度状态的状态值函数和状态行为值概率函数；
[0012]对所述状态值函数进行更新，基于更新后的所述状态值函数更新所述状态行为值概率函数；
[0013]当所述状态值函数最大时停止更新，获得最优策略；
[0014]基于所述最优策略对功率车阻力进行动态调整。
[0015]可选地，获取用户的运动强度状态的过程包括：
[0016]获取用户的运动强度，基于所述运动强度设置阈值范围，基于所述阈值范围设置用户的运动强度状态；所述运动强度状态包括运动强度偏高、运动强度偏低、适应强度。
[0017]可选地，获取功率车阻力调整动作的过程包括：
[0018]通过对功率车阻力进行调整，获取功率车阻力调整动作。
[0019]可选地，计算每种运动强度状态下执行某种功率车阻力调整动作后转移为下一种运动强度状态的转移概率的过程包括：
[0020]基于调整原则对功率车阻力进行随机调整，获取功率车阻力调整动作；
[0021]对所述功率车阻力调整动作进行统计，获取统计结果；所述统计结果包括用户累计在某一运动强度状态转移到下一种运动强度状态的次数、以及用户累计在某一运动强度状态转移到任意运动强度状态的次数；
[0022]基于所述统计结果计算每种运动强度状态下执行某种功率车阻力调整动作后转移为下一种运动强度状态的转移概率；
[0023]所述调整原则包括：当用户运动强度偏低时，随机选择1％至4％的阻力调整动作；当用户运动强度偏高时，随机选择
‑
1％至
‑
4％的调整动作；当用户运动强度处在适应强度的
±
10％之间时，不使用任何调整动作。
[0024]可选地，所述转移概率的计算方法为：
[0025][0026]其中，p(s
m
|s
i
，a
j
)表示在s
i
状态下执行动作a
j
转移到s
m
状态的概率，∑n(s|s
i
，a
j
)表示用户累计在s
i
执行a
j
动作转移到s
m
的次数，∑n(s|s
i
，a
j
)表示用户累计在s
i
执行a
j
动作转移到任意状态的次数。
[0027]可选地，设置每种运动强度状态下的奖励和折扣因子的过程中，设置运动强度偏低的奖励数值高于运动强度偏高的奖励数值，将所述折扣因子设置为0.9。
[0028]可选地，对所述状态值函数进行更新的过程包括：
[0029]选择任意策略；所述策略表示在某一种运动强度状态下执行某一种阻力调整动作的概率；
[0030]基于所选择的策略、每种运动强度状态下的奖励、以及所述折扣因子更新状态值函数。
[0031]可选地，基于所选择的策略、每种运动强度状态下的奖励、以及所述折扣因子更新状态值函数的方法为：
[0032][0033]其中R(s)表示当前s状态下的奖励，p(s
’
|s，a)表示在s状态下执行动作a转移到s
’
状态的概率，V(s
’
)表示下一个状态s
’
状态下的状态值
‑
函数，γ为折扣因子。
[0034]可选地，所述最优策略为：
[0035][0036]即当为最优策略时，选择p(a|s)＝1，即在s状态下一定选择动作a执行
[0037]本专利技术的技术效果为：
[0038]本专利技术事先采集用户多次的运动锻炼数据作为先验知识，以设置安全、高效的功率车运动锻炼为目的设置奖励规则，基于马尔科夫决策过程训练每种运动强度状态下的状态值函数，并形成最优阻力调整策略，使得用户可以在任何运动强度状态下都能通过功率车阻力调整动作，快速、安全地达到既定运动强度，节约运动时间，避免运动强度过低和过强。同时，通过增加运动强度状态的个数和功率车阻力调整的动作，可以实现更加精细化、更敏感化的状态
‑
动作调整响应。
附图说明
[0039]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0040]图1为本专利技术实施例中的基于马尔科夫决策过程的功率车阻力动态调整方法流程图。
具体实施方式
[0041]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0042]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于马尔科夫决策过程的功率车阻力动态调整方法，其特征在于，包括以下步骤：获取用户的运动强度状态；获取功率车阻力调整动作；计算每种运动强度状态下执行某种功率车阻力调整动作后转移为下一种运动强度状态的转移概率；设置每种运动强度状态下的奖励和折扣因子；初始化每种运动强度状态的状态值函数和状态行为值概率函数；对所述状态值函数进行更新，基于更新后的所述状态值函数更新所述状态行为值概率函数；当所述状态值函数最大时停止更新，获得最优策略；基于所述最优策略对功率车阻力进行动态调整。2.根据权利要求1所述的基于马尔科夫决策过程的功率车阻力动态调整方法，其特征在于，获取用户的运动强度状态的过程包括：获取用户的运动强度，基于所述运动强度设置阈值范围，基于所述阈值范围设置用户的运动强度状态；所述运动强度状态包括运动强度偏高、运动强度偏低、适应强度。3.根据权利要求1所述的基于马尔科夫决策过程的功率车阻力动态调整方法，其特征在于，获取功率车阻力调整动作的过程包括：通过对功率车阻力进行调整，获取功率车阻力调整动作。4.根据权利要求1所述的基于马尔科夫决策过程的功率车阻力动态调整方法，其特征在于，计算每种运动强度状态下执行某种功率车阻力调整动作后转移为下一种运动强度状态的转移概率的过程包括：基于调整原则对功率车阻力进行随机调整，获取功率车阻力调整动作；对所述功率车阻力调整动作进行统计，获取统计结果；所述统计结果包括用户累计在某一运动强度状态转移到下一种运动强度状态的次数、以及用户累计在某一运动强度状态转移到任意运动强度状态的次数；基于所述统计结果计算每种运动强度状态下执行某种功率车阻力调整动作后转移为下一种运动强度状态的转移概率；所述调整原则包括：当用户运动强度偏低时，随机选择1％至4％的阻力调整动作；当用户运动强度偏高时，随机选择
‑
1％至
‑
4％的调整动作；当用户运动强度处在适应强度的
±
10％之间时，不使用任何调整动作。5.根据权利要求4所述的基于马尔科夫决策过程的功率车阻...

【专利技术属性】
技术研发人员：张世潮，高向阳，
申请(专利权)人：北京动亮健康科技有限公司，
类型：发明
国别省市：