【技术实现步骤摘要】
本申请涉及计算机视觉，尤其涉及一种人体动作预测模型的训练方法、相关方法及相关产品。
技术介绍
1、人体动作预测，是以预测人体在未来一段时间内的动作为目标的一项基本任务。目前的方法通常是通过深度学习模型实现对人体的未来动作的预测，具体的，深度学习模型基于人体之间的交互，预测人体的动作，但是在基于一个人的历史动作序列预测这个人的未来动作序列时，该深度学习模型的预测结果的准确度低。
技术实现思路
1、本申请提供一种人体动作预测模型的训练方法、相关方法及相关产品，其中，相关方法包括：危险动作的预判方法，相关产品包括：人体动作预测模型的训练装置、危险动作的预判装置、电子设备、计算机可读存储介质。
2、第一方面，提供了一种人体动作预测模型的训练方法，该方法包括：
3、获取初始模型、参考人体的历史动作序列以及与所述历史动作序列对应的目标未来动作序列；
4、利用所述初始模型，从所述历史动作序列中提取主体的主体目标动作特征和手部的手部目标动作特征，所述主体包括所述参考人体中除手之外的部位，所述手部包括所述参考人体的手；
5、利用所述初始模型，去除所述手部目标动作特征中的手腕的特征，得到手部纯净特征；
6、利用所述初始模型，去除所述主体目标动作特征中的所述手腕的特征，得到主体纯净特征；
7、所述初始模型基于所述主体纯净特征和所述手部纯净特征，预测所述主体的主体未来动作序列和所述手部的手部未来动作序列；
8、基于所述主体
9、结合本申请任一实施方式，所述去除所述手部目标动作特征中的手腕的特征，得到手部纯净特征，包括：
10、从所述手部目标动作特征中提取出所述手腕的特征，得到手部手腕特征；
11、从所述手部目标动作特征中去除所述手部手腕特征，得到所述手部纯净特征。
12、结合本申请任一实施方式，所述去除所述主体目标动作特征中的所述手腕的特征，得到主体纯净特征，包括：
13、从所述主体目标动作特征中提取所述手腕的特征，得到主体手腕特征；
14、对所述手部手腕特征和所述主体手腕特征进行加权求和，得到融合手腕特征；
15、从所述主体目标动作特征中去除所述融合手腕特征，得到所述主体纯净特征。
16、结合本申请任一实施方式，所述从所述历史动作序列中提取主体的主体目标动作特征和手部的手部目标动作特征，包括：
17、从所述历史动作序列中提取主体的主体历史动作特征和手部的手部历史动作特征；
18、利用交叉注意力机制，将所述手部历史动作特征融合至所述主体历史动作特征中，得到所述主体目标动作特征；
19、利用交叉注意力机制，将所述主体历史动作特征融合至所述手部历史动作特征中，得到所述手部目标动作特征。
20、结合本申请任一实施方式，所述基于所述主体未来动作序列、所述手部未来动作序列以及所述目标未来动作序列，更新所述初始模型的参数，得到人体动作预测模型，包括：
21、基于所述目标未来动作序列，确定所述主体的主体目标动作序列和所述手部的手部目标动作序列；
22、基于所述主体未来动作序列与所述主体目标动作序列的第一差异，以及所述手部未来动作序列与所述手部目标动作序列的第二差异，确定第一损失，所述第一损失与所述第一差异、所述第二差异均呈正相关；
23、基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型。
24、结合本申请任一实施方式，在所述基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型之前，所述方法还包括：
25、基于所述目标未来动作序列，确定所述手腕的手腕目标动作序列；
26、基于所述主体未来动作序列和所述手部未来动作序列，确定所述手腕的手腕未来动作序列；
27、基于所述手腕目标动作序列与所述手腕未来动作序列的第三差异，得到第二损失，所述第二损失与所述第三差异呈正相关；
28、所述基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型，包括：
29、基于所述第一损失和所述第二损失，更新所述初始模型的参数，得到所述人体动作预测模型。
30、结合本申请任一实施方式，在所述基于所述第一损失和所述第二损失，更新所述初始模型的参数，得到所述人体动作预测模型之前，所述方法还包括：
31、基于所述目标未来动作序列，确定所述参考人体的骨头片段的真实长度；
32、基于所述主体未来动作序列和所述手部未来动作序列，确定所述骨头片段的预测长度；
33、基于所述真实长度与所述预测长度的第四差异，得到第三损失，所述第三损失与所述第四差异呈正相关；
34、所述基于所述第一损失和所述第二损失，更新所述初始模型的参数，得到所述人体动作预测模型，包括：
35、基于所述第一损失、所述第二损失和所述第三损失，更新所述初始模型的参数，得到所述人体动作预测模型。
36、结合本申请任一实施方式，所述手部包括所述参考人体的左手和所述参考人体的右手。
37、第二方面，提供了一种危险动作的预判方法，所述危险动作识别方法应用与危险动作识别装置，所述危险动作识别装置包括摄像头，所述方法包括：
38、通过所述摄像头采集目标人体的历史动作序列；
39、获取根据本申请第一方面及其任一实施方式得到的人体动作预测模型；
40、利用所述人体动作预测模型，对所述目标人体的历史动作序列进行处理，预测得到所述目标人体的未来动作序列，所述目标人体的未来动作序列包括：所述目标人体的手部的未来动作序列，所述手部包括所述目标人体的左手和所述目标人体的右手；
41、基于所述目标人体的手部的未来动作序列，确定所述目标人体的未来手势；
42、在基于所述未来手势，确定所述目标人体将用手执行危险操作的情况下，输出提示信息。
43、第三方面，提供了一种人体动作预测模型的训练装置，所述装置包括：
44、获取单元，用于获取初始模型、参考人体的历史动作序列以及与所述历史动作序列对应的目标未来动作序列；
45、提取单元，用于利用所述初始模型，从所述历史动作序列中提取主体的主体目标动作特征和手部的手部目标动作特征，所述主体包括所述参考人体中除手之外的部位，所述手部包括所述参考人体的手；
46、去除单元，用于利用所述初始模型，去除所述手部目标动作特征中的手腕的特征，得到手部纯净特征；
47、所述去除单元，用于利用所述初始模型，去除所述主体目标动作特征中的所述手腕的特征，得到主体纯净特征；
48、预测单元，用于通过所述初始模型基于所述主体纯净特征和所述手部纯净本文档来自技高网...
【技术保护点】
1.一种人体动作预测模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述去除所述手部目标动作特征中的手腕的特征，得到手部纯净特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述去除所述主体目标动作特征中的所述手腕的特征，得到主体纯净特征，包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述从所述历史动作序列中提取主体的主体目标动作特征和手部的手部目标动作特征，包括：
5.根据权利要求1至3中任意一项所述的方法，其特征在于，所述基于所述主体未来动作序列、所述手部未来动作序列以及所述目标未来动作序列，更新所述初始模型的参数，得到人体动作预测模型，包括：
6.根据权利要求5所述的方法，其特征在于，在所述基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型之前，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，在所述基于所述第一损失和所述第二损失，更新所述初始模型的参数，得到所述人体动作预测模型之前，所述方法还包括：
8
9.一种危险动作的预判方法，其特征在于，所述危险动作识别方法应用与危险动作识别装置，所述危险动作识别装置包括摄像头，所述方法包括：
10.一种人体动作预测模型的训练装置，其特征在于，所述装置包括：
11.一种危险动作的预判装置，其特征在于，所述危险动作识别装置包括：
12.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令；
...【技术特征摘要】
1.一种人体动作预测模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述去除所述手部目标动作特征中的手腕的特征，得到手部纯净特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述去除所述主体目标动作特征中的所述手腕的特征，得到主体纯净特征，包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述从所述历史动作序列中提取主体的主体目标动作特征和手部的手部目标动作特征，包括：
5.根据权利要求1至3中任意一项所述的方法，其特征在于，所述基于所述主体未来动作序列、所述手部未来动作序列以及所述目标未来动作序列，更新所述初始模型的参数，得到人体动作预测模型，包括：
6.根据权利要求5所述的方法，其特征在于，在所述基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型之前，所述方法还包括：
7.根...
【专利技术属性】
技术研发人员：崔琼杰，王浩帆，
申请(专利权)人：书行科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。