一种基于虚拟人的舞蹈教学数据处理方法及系统技术方案

本发明专利技术公开了一种基于虚拟人的舞蹈教学数据处理方法以及系统。所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：采集人体多模态数据并解析，从中提取舞蹈视频片段；基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成对应所述舞蹈动作的人体3D骨骼动作序列；对所述人体3D骨骼动作序列进行渲染，获取渲染结果；利用所述虚拟人展示所述人体3D骨骼动作序列的渲染结果。根据本发明专利技术的方法及系统，可以利用虚拟人进行流畅、自然的舞蹈动作展示，从而大大提高虚拟人的用户体验。

A data processing method and system for dancing teaching based on Virtual Human

The invention discloses a dance teaching data processing method and system based on virtual human. The virtual human operates in an intelligent device and has preset image features and preset attributes, and starts speech, emotion, vision and perception capabilities when in an interactive state. The method comprises: collecting and parsing human multi-modal data, extracting dance video clips from them; and matching based on human pose estimation algorithm. The dancing action in the dancing video clip is deconstructed and estimated, and the 3D skeletal action sequence of the human body corresponding to the dancing action is generated; the 3D skeletal action sequence of the human body is rendered to obtain the rendering result; and the rendering result of the 3D skeletal action sequence of the human body is displayed by the virtual human. According to the method and system of the present invention, the virtual human can be used for smooth and natural dance action display, thereby greatly improving the user experience of the virtual human.

【技术实现步骤摘要】
一种基于虚拟人的舞蹈教学数据处理方法及系统
本专利技术涉及计算机领域，具体涉及一种用于虚拟机器人的舞蹈生成方法及系统。
技术介绍
在人类日常的生产生活过程中，教学是一个相当重要的环节。人类依靠教学环节将知识、技能以及经验等传承给下一代。在通常情况下，教学的主要过程是由教师将文字以及图片的形式保存的教学相关资料展示给学生。但是，文字以及图片的局限性在于其不能精准的描述姿势动作。如果要提高精度，就需要增加大量的文字细节描述或是不同角度的动作细节图片，尤其的，针对一套动作流程，需要针对每个动作环节、姿势变化进行相关描述，这不仅会大大增大资料数据量，而且也会大大提高之后教学中教师的展示难度以及学生的理解难度。即使采用视频影像的方式，虽然可以描述连贯的动作流程，但是由于视角、服装以及背景干扰等因素的限制，仍然无法完美的展示动作细节。因此，在需要精准的动作描述的教学环节(例如舞蹈教学)中，是以教师亲自将肢体动作展示给学生为主，而文字以及图片的形式保存的教学相关资料的展示只能作为辅助。由于以教师亲自肢体动作展示的教学方式需要教师本人必须展示精准肢体动作的能力，因此大大增加了教师的培训难度，限制了教师数量。另外，受限于教师个人精力，在以教师亲自肢体动作展示的教学方式下，同一教师可以同时教授的学生数目也被大大限制。这大大提高了教学成本，增加了教学推广的难度。
技术实现思路
本专利技术提供了一种基于虚拟人的舞蹈教学数据处理方法，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：采集人体多模态数据并解析，从中提取舞蹈视频片段；基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成对应所述舞蹈动作的人体3D骨骼动作序列；对所述人体3D骨骼动作序列进行渲染，获取渲染结果；利用所述虚拟人展示所述人体3D骨骼动作序列的渲染结果。在一实施例中，所述方法还包括：提取所述舞蹈动作对应的教师3D骨骼动作序列；根据所述教师3D骨骼动作序列与所述人体3D骨骼动作序列进行对比，获取对比结果；输出所述对比结果对应的多模态数据。在一实施例中，基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成对应所述舞蹈动作的人体3D骨骼动作序列，包括：基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成第一人体3D骨骼动作序列，所述第一人体3D骨骼动作序列包含由于所述人体姿态估计算法产生的误差存在抖动；基于舞蹈动作预测集和滤波算法，将包含抖动的第一人体3D骨骼动作序列处理成无抖动的所述人体3D骨骼动作序列。在一实施例中，所述方法还包括：根据舞蹈动作预测集匹配采样算法生成舞蹈动作序列。在一实施例中，所述方法还包括：采集实际舞蹈动作数据，获取实际舞蹈过程中人体3D骨骼关键点位置序列；以实际舞蹈过程中人体3D骨骼关键点位置序列作为训练集，基于深度学习算法，训练所述舞蹈动作预测集。本专利技术还提出了一种存储介质，所述存储介质上存储有可实现如本专利技术所述方法的程序代码。本专利技术还提出了一种用于虚拟人的舞蹈教学数据处理系统，所述系统包括：输入获取模块，其配置为采集人体多模态数据并解析，从中提取舞蹈视频片段；动作序列采集模块，其配置为基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成对应所述舞蹈动作的人体3D骨骼动作序列。在一实施例中，系统还包括舞蹈动作预测集，所述动作序列采集模块包括：动作解构单元，其配置为基于所述人体姿态估计算法对所述舞蹈动作进行解构及估算，生成第一人体3D骨骼动作序列，所述第一人体3D骨骼动作序列包含由于所述人体姿态估计算法产生的误差存在抖动；滤波单元，其配置为基于所述舞蹈动作预测集和滤波算法，将包含抖动的第一人体3D骨骼动作序列处理成无抖动的所述人体3D骨骼动作序列。在一实施例中，所述系统还包括：动作对比模块，其配置为提取所述舞蹈动作对应的标准动作序列，根据所述标准动作序列与所述人体3D骨骼动作序列进行对比，获取对比结果。本专利技术还提出了一种虚拟人系统，所述系统包括智能设备以及云端服务器，其中：所述云端服务器包含如本专利技术所述的舞蹈教学数据处理系统，所述舞蹈教学数据处理系统配置为调用所述云端服务器的能力接口获取所述人体多模态数据并解析，生成并输出所述人体3D骨骼动作序列，其中，所述云端服务器的能力接口包括语义理解接口、视觉识别接口、情感计算接口、认知计算接口；所述智能设备包括：用户界面，其配置为基于虚拟人执行参数在预设显示区域内显示被唤醒的虚拟人并令所述虚拟人展示与所述虚拟人执行参数对应的舞蹈动作；人机交互输入输出模块，其配置为获取多模态数据以及输出所述虚拟人执行参数，其中，所述多模态数据包括所述人体多模态数据；通信模块，其配置为输出所述多模态数据并接收多模态输出数据，所述多模态输出数据包括人体3D骨骼动作序列；中央处理单元，其配置为利用所述多模态输出数据计算与所述多模态输出数据相对应的虚拟人执行参数。根据本专利技术的方法及系统，可以利用虚拟人进行流畅、自然的舞蹈动作展示，从而大大提高虚拟人的用户体验。本专利技术的其它特征或优点将在随后的说明书中阐述。并且，本专利技术的部分特征或优点将通过说明书而变得显而易见，或者通过实施本专利技术而被了解。本专利技术的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例共同用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是根据本专利技术一实施例的方法流程图；图2～图4是根据本专利技术实施例的方法的部分流程图；图5～图10是根据本专利技术不同实施例的系统结构简图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此本专利技术的实施人员可以充分理解本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本专利技术。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。在通常情况下，教学的主要过程是由教师将文字以及图片的形式保存的教学相关资料展示给学生。但是，在现有技术中，文字以及图片的局限性在于其不能精准的描述姿势动作，如果要提高精度，就需要增加大量的文字细节描述或是不同角度的动作细节图片，尤其的，针对一套动作流程，需要针对每个动作环节、姿势变化进行相关描述，这不仅会大大增大资料数据量，而且也会大大提高之后教学中教师的展示难度以及学生的理解难度。即使采用视频影像的方式，虽然可以描述连贯的动作流程，但是由于视角、服装以及背景干扰等因素的限制，仍然无法完美的展示动作细节。因此，在需要精准的动作描述的教学环节(例如舞蹈教学)中，是以教师亲自将肢体动作展示给学生为主，而文字以及图片的形式保存的教学相关资料的展示只能作为辅助。然而，采用教师本人示范的方式，虽然降低了学生的理解难度；但是，由于以教师亲自肢体动作展示的教学方式需要教师本人必须展示精准肢体动作的能力，因此大大增加了教师的培训难度，限制了教师数量。另外，受限于教师个人精力，在以教师亲自肢体动作展示的教学方式下，同一教师可以同时教授的学生数目本文档来自技高网...

【技术保护点】
1.一种基于虚拟人的舞蹈教学数据处理方法，其特征在于，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：采集人体多模态数据并解析，从中提取舞蹈视频片段；基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成对应所述舞蹈动作的人体3D骨骼动作序列；对所述人体3D骨骼动作序列进行渲染，获取渲染结果；利用所述虚拟人展示所述人体3D骨骼动作序列的渲染结果。

【技术特征摘要】
1.一种基于虚拟人的舞蹈教学数据处理方法，其特征在于，所述虚拟人在智能设备运行，且所述虚拟人具备预设形象特征和预设属性，在处于交互状态时启动语音、情感、视觉和感知能力，所述方法包括：采集人体多模态数据并解析，从中提取舞蹈视频片段；基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成对应所述舞蹈动作的人体3D骨骼动作序列；对所述人体3D骨骼动作序列进行渲染，获取渲染结果；利用所述虚拟人展示所述人体3D骨骼动作序列的渲染结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：提取所述舞蹈动作对应的教师3D骨骼动作序列；根据所述教师3D骨骼动作序列与所述人体3D骨骼动作序列进行对比，获取对比结果；输出所述对比结果对应的多模态数据。3.根据权利要求1所述的方法，其特征在于，基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成对应所述舞蹈动作的人体3D骨骼动作序列，包括：基于人体姿态估计算法对所述舞蹈视频片段中的舞蹈动作进行解构及估算，生成第一人体3D骨骼动作序列，所述第一人体3D骨骼动作序列包含由于所述人体姿态估计算法产生的误差存在抖动；基于舞蹈动作预测集和滤波算法，将包含抖动的第一人体3D骨骼动作序列处理成无抖动的所述人体3D骨骼动作序列。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据舞蹈动作预测集匹配采样算法生成舞蹈动作序列。5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：采集实际舞蹈动作数据，获取实际舞蹈过程中人体3D骨骼关键点位置序列；以实际舞蹈过程中人体3D骨骼关键点位置序列作为训练集，基于深度学习算法，训练所述舞蹈动作预测集。6.一种存储介质，其特征在于，所述存储介质上存储有可实现如权利要求1-5中任一项所述方法的程序代码。7.一种用于虚拟人的舞蹈教学数据处理系统，其特征在于，所述系统包括：输入获...

【专利技术属性】
技术研发人员：陆羽皓，
申请(专利权)人：北京光年无限科技有限公司，
类型：发明
国别省市：北京,11