【技术实现步骤摘要】
本申请涉及计算机应用，尤其涉及基于图像的动作确定方法、装置、设备、存储介质及产品。
技术介绍
1、目前可以基于图像进行关键点识别，例如识别图像中的眼睛、鼻子、脚部等，如果存在某个应用场景需要检测图像中的脚部是否接触地面，并没有现有技术公开如何基于图像识别图像中的脚部是否接触地面的技术方案。因此，如何基于图像识别图像中的脚部是否接触地面，是目前亟需解决的技术问题。
技术实现思路
1、本申请实施例提供了基于图像的动作确定方法、装置、设备、存储介质及产品，能够基于图像识别图像中的脚部是否接触地面。
2、一方面，本申请实施例提供一种基于图像的动作确定方法，该方法包括：
3、对目标图像进行关键点识别，以从所述目标图像中识别脚部位置；
4、基于所述脚部位置对所述目标图像进行裁剪，得到包含脚部的局部图像；
5、通过动作确定模型对所述局部图像进行特征提取，得到所述局部图像的图像特征，并基于所述局部图像的图像特征，确定所述目标图像中的脚部的触地状态，所述触地状态用于指示所述脚部是否接触地面。
6、在一个实施例中，所述动作确定模型的训练方式包括：
7、获取第一训练样本，所述第一训练样本包括训练图像以及第一训练标签，所述第一训练标签用于指示所述训练图像中的脚部的触地状态；
8、对所述训练图像进行关键点识别，以从所述训练图像中识别脚部位置；
9、基于从所述训练图像中识别到的脚部位置对所述训练图像进行裁剪，得到包
10、通过初始动作确定模型对所述训练局部图像进行特征提取，得到所述训练局部图像的图像特征，并基于所述训练局部图像的图像特征，对所述训练图像中的脚部的触地状态进行预测处理，得到所述训练图像中的脚部的预测触地状态；
11、以减小所述训练图像中的脚部的预测触地状态与所述第一训练标签指示的相应脚部的触地状态的差异为训练目标，对所述初始动作确定模型进行训练，得到所述动作确定模型。
12、在一个实施例中，所述目标图像为目标视频中的任一帧，所述基于所述局部图像的图像特征，确定所述目标图像中的脚部的触地状态，包括：
13、通过所述动作确定模型对所述目标图像的至少一个相邻图像进行特征提取，得到各个相邻图像的图像特征；
14、基于所述局部图像的图像特征和所述各个相邻图像的图像特征，确定所述目标图像中的脚部的触地状态。
15、在一个实施例中，所述动作确定模型的训练方式包括：
16、获取第二训练样本，所述第二训练样本包括训练视频以及第二训练标签，所述第二训练标签用于指示所述训练视频中目标帧的脚部的触地状态；
17、对目标帧进行关键点识别，以从所述目标帧中识别脚部位置；
18、基于从所述目标帧中识别的脚部位置对所述目标帧进行裁剪，得到包含脚部的训练局部图像；
19、通过初始动作确定模型对所述训练局部图像进行特征提取，得到所述训练局部图像的图像特征；
20、对所述目标帧的至少一个相邻帧进行特征提取，得到各个相邻帧的图像特征；
21、基于所述训练局部图像的图像特征和所述各个相邻帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态；
22、以减小所述目标帧的脚部的预测触地状态与所述第二训练标签指示的相应脚部的触地状态的差异为训练目标，对所述初始动作确定模型进行训练，得到所述动作确定模型。
23、在一个实施例中，所述基于所述训练局部图像的图像特征和所述各个相邻帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态，包括：
24、将所述至少一个相邻帧的图像特征和所述训练局部图像的图像特征进行拼接，得到总图像特征；
25、基于所述总图像特征对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态。
26、在一个实施例中，所述基于所述训练局部图像的图像特征和所述各个相邻帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态，包括：
27、将所述至少一个相邻帧的图像特征和所述训练局部图像的图像特征进行拼接，得到总图像特征；
28、基于所述总图像特征对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的第一预测触地状态；
29、通过所述初始动作确定模型基于所述各个相邻帧的图像特征，对所述各个相邻帧的脚部的触地状态进行预测处理，得到所述各个相邻帧的脚部的预测触地状态；
30、基于所述目标帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的第二预测触地状态；
31、将所述目标帧的脚部的第一预测触地状态、第二预测触地状态以及所述各个相邻帧的脚部的预测触地状态进行拼接，得到拼接后的预测触地状态；
32、基于所述拼接后的预测触地状态，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态。
33、在一个实施例中，所述第二训练样本还包括所述各个相邻帧的第三训练标签，所述第三训练标签用于指示相应相邻帧的脚部的触地状态；
34、基于所述训练局部图像的图像特征和所述各个相邻帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态，包括：
35、通过所述初始动作确定模型基于所述各个相邻帧的图像特征，对所述各个相邻帧的脚部的触地状态进行预测处理，得到所述各个相邻帧的脚部的预测触地状态；
36、基于所述目标帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态；
37、所述以减小所述目标帧的脚部的预测触地状态与所述第二训练标签指示的相应脚部的触地状态的差异为训练目标，对所述初始动作确定模型进行训练，得到所述动作确定模型，包括：
38、以减小所述目标帧的脚部的预测触地状态与所述第二训练标签指示的相应脚部的触地状态的差异，以及所述各个相邻帧的脚部的预测触地状态与相应第三训练标签指示的相应脚部的触地状态的差异为训练目标，对所述初始动作确定模型进行训练，得到所述动作确定模型。
39、在一个实施例中，所述目标图像为目标视频中的任一帧，所述方法还包括：
40、确定所述目标视频中包含目标对象的多帧；
41、基于所述多帧中各帧包含的目标对象的目标脚部的触地状态，确定所述目标对象在所述目标视频中触地的起始时刻或者结束时刻对应的帧；
42、对确定的帧添加特效，得到添加有特效的目标视频。
43、在一个实施例中，所述基于所述脚部位置对所述目标图像进行裁剪，得到包含脚部的局部图像，包括：
44、对所述目标图像进行对象识别，得到所述目标图本文档来自技高网...
【技术保护点】
1.一种基于图像的动作确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述动作确定模型的训练方式包括：
3.根据权利要求1所述的方法，其特征在于，所述目标图像为目标视频中的任一帧，所述基于所述局部图像的图像特征，确定所述目标图像中的脚部的触地状态，包括：
4.根据权利要求3所述的方法，其特征在于，所述动作确定模型的训练方式包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述训练局部图像的图像特征和所述各个相邻帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态，包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述训练局部图像的图像特征和所述各个相邻帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态，包括：
7.根据权利要求4所述的方法，其特征在于，所述第二训练样本还包括所述各个相邻帧的第三训练标签，所述第三训练标签用于指示相应相邻帧的脚部的触地状态；
8.根据权利要求1所述的方
9.根据权利要求1所述的方法，其特征在于，所述基于所述脚部位置对所述目标图像进行裁剪，得到包含脚部的局部图像，包括：
10.一种基于图像的动作确定装置，其特征在于，所述装置包括：
11.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储装置和通信接口，所述处理器、存储装置和通信接口相互连接，其中：
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，用于执行如权利要求1至9任一项所述的基于图像的动作确定方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1至9任一项所述的基于图像的动作确定方法。
...【技术特征摘要】
1.一种基于图像的动作确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述动作确定模型的训练方式包括：
3.根据权利要求1所述的方法，其特征在于，所述目标图像为目标视频中的任一帧，所述基于所述局部图像的图像特征，确定所述目标图像中的脚部的触地状态，包括：
4.根据权利要求3所述的方法，其特征在于，所述动作确定模型的训练方式包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述训练局部图像的图像特征和所述各个相邻帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态，包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述训练局部图像的图像特征和所述各个相邻帧的图像特征，对所述目标帧的脚部的触地状态进行预测处理，得到所述目标帧的脚部的预测触地状态，包括：
7.根据权利要求4所述的方法，其特征在于，所述第二训练样本还包括所述各个相邻帧的第三训练...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。