动作检测方法及装置制造方法及图纸

本说明书实施例提供了动作检测方法及装置，其中，一种动作检测方法包括：在用户终端对原始音视频进行播放的过程中，获取用户视频数据，并根据原始音视频包含的音频数据确定音频关键点，以在用户视频数据中提取音频关键点对应的关键动作帧后，对关键动作帧进行动作特征提取，获得关键动作特征，基于原始音视频包含的视频数据中的动作特征对关键动作特征进行动作检测，获得动作检测结果并向用户终端返回，使用户依据动作检测结果对自己的动作进行修正

【技术实现步骤摘要】
动作检测方法及装置


[0001]本文件涉及数据处理
，尤其涉及一种动作检测方法及装置
。

技术介绍

[0002]随着智能设备的普及和各种应用的推广，用户在相关应用场景下使用虚拟形象进行个性化交互的需求日益增长，虚拟形象提供了对物理形象的模拟，甚至能够提供在真实世界难以实现的场景，因此虚拟形象越来越多地应用在各种场景，例如在显示视频流画面时，采用虚拟形象替代目标物的实际形象在视频流画面中进行显示，以增强趣味性，如何通过虚拟形象为用户提供更优质的服务，是服务方日益关注的重点
。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种动作检测方法，包括：获取用户终端在原始音视频的播放过程中采集的用户视频数据
。
根据所述原始音视频包含的音频数据确定音频关键点，并在所述用户视频数据中提取所述音频关键点对应的关键动作帧
。
对所述关键动作帧进行动作特征提取，获得关键动作特征
。
基于所述原始音视频包含的视频数据中的动作特征对所述关键动作特征进行动作检测，获得动作检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种动作检测方法，包括：获取用户终端在原始音视频的播放过程中采集的用户视频数据；根据所述原始音视频包含的音频数据确定音频关键点，并在所述用户视频数据中提取所述音频关键点对应的关键动作帧；对所述关键动作帧进行动作特征提取，获得关键动作特征；基于所述原始音视频包含的视频数据中的动作特征对所述关键动作特征进行动作检测，获得动作检测结果并向所述用户终端返回
。2.
根据权利要求1所述的动作检测方法，所述原始音视频，包括：基于所述用户终端提交的音视频数据进行虚拟形象渲染获得的虚拟形象音视频；其中，所述音视频数据由所述用户终端针对用户进行音视频采集获得
。3.
根据权利要求2所述的动作检测方法，所述虚拟形象音视频，采用如下方式获得：获取所述用户终端发送的所述音视频数据；所述音视频数据中包含音频帧集和视频帧集；提取所述视频帧集中各视频帧对应的人体关键点和动作标签，并在动作库中查询与所述人体关键点以及所述动作标签匹配的基准动作；基于所述基准动作和预设虚拟对象生成虚拟形象视频，并将所述虚拟形象视频与所述音频帧集进行融合，获得所述虚拟形象音视频
。4.
根据权利要求1所述的动作检测方法，所述根据所述原始音视频包含的音频数据确定音频关键点，包括：计算所述音频数据中各音频帧的音频差，并根据所述音频差确定所述各音频帧的音频强度；将满足预设条件的音频强度对应的音频帧确定为所述音频关键点
。5.
根据权利要求1所述的动作检测方法，所述在所述用户视频数据中提取所述音频关键点对应的关键动作帧，包括：按照预设匹配规则将所述用户视频数据中各视频帧与所述音频数据中各音频帧进行匹配，获得用户音视频数据；在所述用户音视频数据中提取所述音频关键点对应的关键动作帧
。6.
根据权利要求5所述的动作检测方法，所述在所述用户音视频数据中提取所述音频关键点对应的关键动作帧，包括：根据所述音频数据中包含的音频特征确定关键点提取系数；根据所述关键点提取系数在所述用户视频数据中提取所述音频关键点对应的关键动作帧
。7.
根据权利要求1所述的动作检测方法，所述对所述关键动作帧进行动作特征提取，获得关键动作特征，包括：对所述关键动作帧进行目标对象检测，获得目标对象的区域图像；识别所述区域图像的动作关键点，并将所述动作关键点输入动作特征提取模型进行动作特征提取，获得所述关键动作特征
。8.
根据权利要求7所述的动作检测方法，所述对所述关键动作帧进行目标对象检测，获得目标对象的区域图像，包括：
对所述关键动作帧进行目标对象检测，获得目标对象的初始区域图像；基于所述视频数据的角度特征对所述初始区域图像进行修正，获得所述区域图像
。9.
根据权利要求1所述的动作检测方法，所述基于所述原始音视频包含的视频数据中的动作特征对所述关键动作特征进行动作检测，包括：将所述关键动作特征与所述动作特征输入相似度计算模...

【专利技术属性】
技术研发人员：王轲，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：