动作视频直播方法、系统、电子设备、存储介质技术方案

本发明专利技术提供一种动作视频直播方法、系统、电子设备、存储介质，包括：通过第一终端采集音频数据和视频数据；确定目标动作；于一个或多个第二终端播放通过第一终端采集的音频数据和视频数据；通过第二终端实时采集三维视频数据，并实时生成待测三维骨骼动作模型；根据当前在第二终端播放的视频数据的目标动作将当前待测三维骨骼动作模型作为一待测动作，将该待测动作与该目标动作形成一匹配组；对每一匹配组，对待测动作和目标动作进行匹配。本发明专利技术提供的方法及设备能够在直播场景中实现实时的健身、舞蹈、运动等动作识别和纠错。

Active Video Live Broadcasting Method, System, Electronic Equipment, Storage Media

【技术实现步骤摘要】
动作视频直播方法、系统、电子设备、存储介质
本专利技术涉及计算机应用
，尤其涉及一种动作视频直播方法、系统、电子设备、存储介质。
技术介绍
人类的动作捕捉及识别方法，在当今社会具有非常广泛的应用，例如：智能监控、人机交互的体感游戏、视频检索等等。人类的动作检测识别，从基于传统的RGB视频序列过渡到当今流行的RGB-D视频序列，运动轨迹一直作为重要的特征发展着。传统的运动轨迹的捕捉往往基于特征点的检测算法，不同的特征点检测方法会得出完全不同的运动轨迹。同时，由于特征点在不同帧的检索非常不稳定，在整个视频序列中，特征点往往不连续，因此对于特征点轨迹法多采用基于直方图的统计方法，对整个视频序列进行计算并统计后，采用支持向量机等分类器进行分类。这些视频序列的匹配计算方法计算量大，无法即时响应，也无法适用于民用级别的人机交互，尤其对于直播场景中的动作识别比对和纠错。因此，现有技术对于直播场景中健身识别纠错的人机交互而言，难以实现系统实时反馈动作是否出错的需求。
技术实现思路
本专利技术为了克服上述现有技术存在的缺陷，提供一种动作视频直播方法、系统、电子设备、存储介质，以实现直播场景中实时的健本文档来自技高网...

【技术保护点】
1.一种动作视频直播方法，其特征在于，包括：S110.通过第一终端采集音频数据和视频数据，将所述视频数据转换为三维骨骼动作模型，获取视频数据中人体的多个骨骼点的坐标及多个骨骼点之间形成的向量；S120.根据视频数据中人体的多个骨骼点的坐标及多个骨骼点之间形成的向量对视频中人体进行动作识别以确定目标动作；S130.于一个或多个第二终端播放通过所述第一终端采集的音频数据和视频数据；S140.通过所述第二终端实时采集三维视频数据，并实时生成待测三维骨骼动作模型；S150.根据当前在第二终端播放的视频数据的目标动作将当前待测三维骨骼动作模型作为一待测动作，将该待测动作与该目标动作形成一匹配组；以及S1...

【技术特征摘要】
1.一种动作视频直播方法，其特征在于，包括：S110.通过第一终端采集音频数据和视频数据，将所述视频数据转换为三维骨骼动作模型，获取视频数据中人体的多个骨骼点的坐标及多个骨骼点之间形成的向量；S120.根据视频数据中人体的多个骨骼点的坐标及多个骨骼点之间形成的向量对视频中人体进行动作识别以确定目标动作；S130.于一个或多个第二终端播放通过所述第一终端采集的音频数据和视频数据；S140.通过所述第二终端实时采集三维视频数据，并实时生成待测三维骨骼动作模型；S150.根据当前在第二终端播放的视频数据的目标动作将当前待测三维骨骼动作模型作为一待测动作，将该待测动作与该目标动作形成一匹配组；以及S160.在每一匹配组中，对待测动作和目标动作进行匹配，当待测动作不匹配目标动作时进行错误提示。2.如权利要求1所述的动作视频直播方法，其特征在于，所述步骤S120包括：当识别一动作连续重复出现时，将该动作作为目标动作；所述步骤S130包括：至少延迟一个当前在第二终端播放的视频数据的目标动作的持续时间于所述第二终端播放的自所述第一终端采集的音频数据和视频数据。3.如权利要求2所述的动作视频直播方法，其特征在于，所述步骤S120包括：确定目标动作的持续时间；所述步骤S150包括：自确定当前待测三维骨骼动作模型开始动作至当前在第二终端播放的视频数据的目标动作的持续时间将该持续时间内的当前待测三维骨骼动作模型作为一待测动作。4.如权利要求1所述的动作视频直播方法，其特征在于，所述步骤S120还包括：将该目标动作按所述三维骨骼动作模型拆解成五个身体部位：左臂、右臂、左腿、右腿以及躯干，每个所述身体部位均包括：三个骨骼点、三个骨骼点形成的三个向量及所述三个向量中两个向量之间的夹角，对至少一个身体部位的部位动作生成一个或多个面向过程或者面向位移的识别项，每个识别项包括识别对象、识别参数及识别规则，所述识别对象包括所述三个骨骼点中的至少一个骨骼点；三个向量中的至少一个向量；以及所述三个向量中两个向量之间的一个夹角中的一项或多项，其中，所述面向过程的识别项还包括一标准过程向量库，所述标准过程向量库按时间顺序储存有所述部位动作的至少一个向量，所述步骤S160还包括：依据目标动作的目标部位动作将待测动作划分为相应的待测部位动作，将待测动作的待测部位动作与相应的目标动作的目标部位动作形成一身体部位匹配组；对每一身体部位匹配组，获取目标部位动作的识别项，依据所述三维骨骼动作模型获取所述待测部位动作对应所述识别对象的骨骼点的坐标、骨骼点形成的向量和/或向量之间的夹角，若所述识别项为面向过程的识别项，则将所述待测部位动作的向量与标准过程向量库中的对应向量进行匹配计算以与所述识别参数设定的向量阈值进行比较，若不符合所述识别规则，则反馈待测部位动作错误。5.如权利要求4所述的动作视频直播方法，其特征在于，所述第二终端的显示屏划分为：第一区域，播放通过所述第一终端采集的视频数据；以及第二区域，播放通过第二终端采集的视频数据，所述第二区域的面积小于第一区域的面积，所述第二区域还显示所述待测部位动作是否错误的反馈。6.如权利要求5所述的动作视频直播方法，其特征在于，若所述识别项为面向过程的识别项，则在所述待测部位动作运动的过程中实时根据所述待测部位动作的向量与标准过程向量库中的对应向量进行匹配计算以与所述识别参数设定的向量阈值进行比较结果于所述第二区域显示所述待测部位动作是否错误的反馈。7.如权利要求5所述的动作视频直播方法，其特征在于，若所述识别项为面向位移的识别项，则所述第二终端识别所述待测部位动作完成时于所述第二区域显示所述待测部位动作是否错误的反馈。8.如权利要求5所述的动作视频直播方法，其特征在于，若所述待测动作错误，则所述第二区域显示如下信息中的一项或多项：所述待测部位动作错误；所述待测部位动作的完成度；所述待测部位动作对应的目标部位动作的位置。9.如权利要求1所述的动作视频直播方法，其特征在于，所述步骤S160之后，还包括：自一个或多个第二终端选取至少一第二终端，使所述第一终端...

【专利技术属性】
技术研发人员：冯伟，
申请(专利权)人：上海形趣信息科技有限公司，
类型：发明
国别省市：上海,31