人体动作预测方法及相关产品技术

本申请公开了一种人体动作预测方法及相关产品

【技术实现步骤摘要】
人体动作预测方法及相关产品


[0001]本申请涉及计算机视觉
，尤其涉及一种人体动作预测方法及相关产品
。

技术介绍

[0002]通过对人体动作预测模型进行训练，可使人体动作预测具备基于图像序列中的人体动作预测人体的未来动作的能力
。
但由于用于训练的训练数据是有限的，在人体动作预测模型的测试阶段需要基于训练数据中未出现过的新动作，预测未来动作
。
而测试阶段出现新动作，易导致人体动作预测模型的预测准确度低
。

技术实现思路

[0003]本申请提供一种人体动作预测方法及相关产品
。
[0004]第一方面，提供了一种人体动作预测方法，所述方法包括：
[0005]获取目标图像序列
、
学生模型和教师模型，所述目标图像序列中的图像均包括目标人物，所述教师模型经过提升模型的域泛化能力的训练；
[0006]通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异；
[0007]获取历史预测误差，所述历史预测误差为所述学生模型对所述目标人物的动作的历史预测结果与真值的差异；
[0008]基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，所述目标学习率与所述目标差异呈正相关；
[0009]将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型；
[0010]将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果
。
[0011]结合本申请任一实施方式，所述通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异，包括：
[0012]通过所述教师模型提取所述目标图像序列的特征，得到目标教师特征；
[0013]通过所述教师模型基于所述目标教师特征，预测所述目标人物的未来动作，得到第一预测结果；
[0014]通过所述学生模型提取所述目标图像序列的特征，得到目标学生特征；
[0015]通过所述学生模型基于所述目标学生特征，预测所述目标人物的未来动作，得到第二预测结果；
[0016]确定所述第一预测结果与所述第二预测结果的差异，得到所述当前预测差异
。
[0017]结合本申请任一实施方式，所述获取历史预测误差，包括：
[0018]获取记忆队列，所述记忆队列包括
n
个预测结果差异和
n
个特征差异，所述
n
个预测结果差异为
n
个学生历史预测结果与真值的差异；所述学生历史预测结果为所述学生模型通过提取历史图像序列的历史学生特征，并基于所述历史学生特征对所述目标人物的未来动作进行预测的结果，所述特征差异为历史教师特征与所述历史学生特征的差异，所述历史教师特征为所述教师模型从所述历史图像序列中提取的特征；
[0019]确定所述目标教师特征与所述目标学生特征的参考差异；
[0020]从所述记忆队列中确定与所述学生差异最匹配的
m
个特征差异，作为
m
个参考特征差异；
[0021]基于所述
m
个参考特征差异，从所述记忆队列中确定所述历史预测误差
。
[0022]结合本申请任一实施方式，所述基于所述
m
个参考特征差异，从所述记忆队列中确定所述历史预测误差，包括：
[0023]从所述记忆队列中确定与所述
m
个参考特征差异对应的
m
个预测结果差异，作为
m
个参考预测结果差异；
[0024]计算所述
m
个参考预测结果差异的平均值，得到所述历史预测误差
。
[0025]结合本申请任一实施方式，所述基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，包括：
[0026]计算所述历史预测误差与所述当前预测差异的相对熵，得到所述目标差异；
[0027]基于所述目标差异，确定所述目标学习率
。
[0028]结合本申请任一实施方式，所述将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型，包括：
[0029]基于所述当前预测差异，确定所述学生模型的损失，所述当前预测差异与所述损失呈正相关；
[0030]基于所述损失确定所述学生模型反向传播的梯度；
[0031]基于所述梯度，以所述目标学习率更新所述学生模型的参数，得到所述目标模型
。
[0032]结合本申请任一实施方式，所述人体动作预测方法应用于车，所述车包括摄像头，所述获取目标图像序列，包括：
[0033]通过所述摄像头采集所述车所处环境内的目标人物的图像序列，得到所述目标图像序列；
[0034]在将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果之后，所述方法还包括：
[0035]基于所述目标预测结果，为所述车规划行驶路径
。
[0036]第二方面，提供了一种人体动作预测装置，所述装置包括：
[0037]获取单元，用于获取目标图像序列
、
学生模型和教师模型，所述目标图像序列中的图像均包括目标人物，所述教师模型经过提升模型的域泛化能力的训练；
[0038]确定单元，用于通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异；
[0039]所述获取单元，用于获取历史预测误差，所述历史预测误差为所述学生模型对所述目标人物的动作的历史预测结果与真值的差异；
[0040]所述确定单元，用于基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，所述目标学习率与所述目标差异呈正相关；
[0041]训练单元，用于将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型；
[0042]预测单元，用于将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果
。
[0043]结合本申请任一实施方式，所述确定单元，用于：
[0044]通过所述教师模型提取所述目标图像序列的特征，得到目标教师特征；
[0045]通过所述教师模型基于所述目标教师特征，预测所述目标人物的未来动作，得到第一预测结果；
[0046]通过所述学生模型提取所述目标图像序列的特征，得到目标学生特征；
[0047]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种人体动作预测方法，其特征在于，所述方法包括：获取目标图像序列
、
学生模型和教师模型，所述目标图像序列中的图像均包括目标人物，所述教师模型经过提升模型的域泛化能力的训练；通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异；获取历史预测误差，所述历史预测误差为所述学生模型对所述目标人物的动作的历史预测结果与真值的差异；基于所述历史预测误差与所述当前预测差异的目标差异，确定目标学习率，所述目标学习率与所述目标差异呈正相关；将所述目标学习率作为训练的学习率，基于所述当前预测差异训练所述学生模型，得到目标模型；将所述目标图像序列输入所述目标模型，预测所述目标人物的未来动作，得到目标预测结果
。2.
根据权利要求1所述的方法，其特征在于，所述通过将所述目标图像序列分别输入至所述教师模型与所述学生模型，确定所述教师模型输出的所述目标人物的动作预测结果与所述学生模型输出的所述目标人物的动作预测结果的差异，得到当前预测差异，包括：通过所述教师模型提取所述目标图像序列的特征，得到目标教师特征；通过所述教师模型基于所述目标教师特征，预测所述目标人物的未来动作，得到第一预测结果；通过所述学生模型提取所述目标图像序列的特征，得到目标学生特征；通过所述学生模型基于所述目标学生特征，预测所述目标人物的未来动作，得到第二预测结果；确定所述第一预测结果与所述第二预测结果的差异，得到所述当前预测差异
。3.
根据权利要求2所述的方法，其特征在于，所述获取历史预测误差，包括：获取记忆队列，所述记忆队列包括
n
个预测结果差异和
n
个特征差异，所述
n
个预测结果差异为
n
个学生历史预测结果与真值的差异；所述学生历史预测结果为所述学生模型通过提取历史图像序列的历史学生特征，并基于所述历史学生特征对所述目标人物的未来动作进行预测的结果，所述特征差异为历史教师特征与所述历史学生特征的差异，所述历史教师特征为所述教师模型从所述历史图像序列中提取的特征；确定所述目标教师特征与所述目标学生特征的参考差异；从所述记忆队列中确定与所述学生差异最匹配的
m
个特征差异，作为
m
个参考特征差异；基于所述
m
个参考特征差异，从所述记忆队列中确定所述历史预测误差
。4.
根据权利要求3所述的方法，其特征在于，所述基于所述
m
个参考特征差异，从所述记忆队列中确定所述历史预测误差，包括：从所述记忆队列中确定与所述
m
个参考特征差异对应的
m
个预测...

【专利技术属性】
技术研发人员：崔琼杰，王浩帆，
申请(专利权)人：书行科技北京有限公司，
类型：发明
国别省市：