基于视觉的舞谱生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种基于视觉的舞谱生成方法、装置、设备及存储介质。本发明专利技术实施例的方法，通过获取舞者完成目标舞蹈的视频数据；根据所述视频数据，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态；根据舞谱符号对应的肢体形态信息，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态对应的舞谱符号，生成所述目标舞蹈对应的舞谱，无需在舞者身上设置红外传感器，也无需布置多个红外传感灯，只需应用普遍的摄像装置即可完成视频数据的采集，通过基于视觉的计算即可自动生成目标舞蹈的舞谱，更加方便快捷，并且大大降低了成本。

Visual-based dance spectrum generation methods, devices, devices and storage media

The embodiment of the present invention provides a visual-based dance spectrum generation method, device, device and storage medium. The method of the embodiment of the present invention is to determine the dancer's body shape in each minimum rhythm unit of the target dance by acquiring the video data of the dancer completing the target dance; according to the video data, the dancer's body shape corresponding to the dancing spectrum symbol in each minimum rhythm unit of the target dance is determined according to the body shape information corresponding to the dancing spectrum symbol. The generation of dance spectrum corresponding to the target dance does not require the installation of infrared sensors on the dancer, nor the arrangement of multiple infrared sensor lights. The video data acquisition can be completed by using a common camera device. The dance spectrum of the target dance can be automatically generated by visual calculation, which is more convenient and fast, and greatly reduces the cost.

【技术实现步骤摘要】
基于视觉的舞谱生成方法、装置、设备及存储介质
本专利技术实施例涉及舞谱
，尤其涉及一种基于视觉的舞谱生成方法、装置、设备及存储介质。
技术介绍
舞谱是舞蹈的书面记录，就像乐谱记录乐曲一样，舞谱是一种用来记录舞蹈的一种符号。国内外有记载使用过的舞谱有很多种，如定位法舞谱、色腾动作速记、拉班舞谱等。其中拉班舞谱是目前应用最广、记录最为准确的舞谱形式，拉班舞谱运用各种形象的符号，精确、灵便地分析并记录舞蹈及各种人体动作的姿态、空间运行路线、动作节奏和所用力量。传统的拉班舞谱自动生成系统，需要在一个录制的场地上布置多个红外传感灯，并在舞者的人体主关节点上设置红外传感器，舞者在场地上跳一段舞蹈的过程中，接收设备接收各个红外传感器的数据，模拟出人体主关节在空间的运动轨迹，并生成拉班舞谱。但是，传统拉班舞谱自动生成系统的设备成本高达几百万，成本太高。
技术实现思路
本专利技术实施例提供一种基于视觉的舞谱生成方法、装置、设备及存储介质，用以解决传统拉班舞谱自动生成系统的设备成本高达几百万，成本太高的问题。本专利技术实施例的一个方面是提供一种基于视觉的舞谱生成方法，包括：获取舞者完成目标舞蹈的视频数据；根据所述视频数据，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态；根据舞谱符号对应的肢体形态信息，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态对应的舞谱符号，生成所述目标舞蹈对应的舞谱。本专利技术实施例的另一个方面是提供一种基于视觉的舞谱生成装置，包括：数据获取模块，用于获取舞者完成目标舞蹈的视频数据；处理模块，用于根据所述视频数据，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态；舞谱生成模块，用于根据舞谱符号对应的肢体形态信息，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态对应的舞谱符号，生成所述目标舞蹈对应的舞谱。本专利技术实施例的另一个方面是提供一种舞谱生成设备，包括：存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述所述的方法。本专利技术实施例的另一个方面是提供一种舞谱生成系统设备，包括：多个摄像装置，用于在在舞者完成所述目标舞蹈过程中采集舞者完成目标舞蹈的视频数据，所述多个摄像装置的拍摄角度均不相同，两个相邻的所述摄像装置所拍摄的图像部分重叠；存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述所述的方法。本专利技术实施例的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法。本专利技术实施例提供的基于视觉的舞谱生成方法、装置、设备及存储介质，通过获取舞者完成目标舞蹈的视频数据；根据所述视频数据，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态；根据舞谱符号对应的肢体形态信息，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态对应的舞谱符号，生成所述目标舞蹈对应的舞谱，无需在舞者身上设置红外传感器，也无需布置多个红外传感灯，只需应用普遍的摄像装置即可完成视频数据的采集，通过基于视觉的计算即可自动生成目标舞蹈的舞谱，更加方便快捷，并且大大降低了成本。附图说明图1为本专利技术实施例一提供的基于视觉的舞谱生成方法流程图；图2为本专利技术实施例一提供的拉班舞谱的舞谱符号的示意图；图3为本专利技术实施例二提供的基于视觉的舞谱生成方法流程图；图4为本专利技术实施例三提供的基于视觉的舞谱生成装置的结构示意图；图5为本专利技术实施例五提供的舞谱生成设备的结构示意图；图6为本专利技术实施例六提供的舞谱生成系统设备的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。本专利技术实施例所涉及的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本专利技术实施例进行描述。实施例一图1为本专利技术实施例一提供的基于视觉的舞谱生成方法流程图；图2为本专利技术实施例一提供的拉班舞谱的舞谱符号的示意图。本专利技术实施例针对传统拉班舞谱自动生成系统的设备成本高达几百万，成本太高的问题，提供了基于视觉的舞谱生成方法。本实施例中的方法应用于舞谱生成设备，该舞谱生成设备可以是具有处理能力的计算机设备等，在其他实施例中，该方法还可应用于其他设备，本实施例以计算机设备为例进行示意性说明。如图1所示，该方法具体步骤如下：步骤S101、获取舞者完成目标舞蹈的视频数据。本实施例中，可以预先设置用于拍摄舞者跳舞的视频数据的摄像装置，该摄像装置可以是一个或者多个深度摄像机，或者摄像装置也可以是多个拍摄角度不同的普通摄像机。在舞者完成目标舞蹈的过程中，摄像装置采集舞者完成目标舞蹈的视频数据，并发送给舞谱生成设备。舞谱生成设备可以实时接收摄像装置实时采集并发送的舞者完成目标舞蹈的视频数据；或者，可以接收通过摄像装置预先采集好的舞者完成目标舞蹈的视频数据。可选的，获取舞者完成目标舞蹈的视频数据的一种可行的实施方式为：接收至少一个深度摄像装置发送的舞者完成目标舞蹈的视频数据，视频数据为至少一个深度摄像装置在舞者完成目标舞蹈过程中所采集的带有深度信息的视频数据。可选的，获取舞者完成目标舞蹈的视频数据的另一种可行的实施方式为：获取从多个不同角度拍摄的舞者完成目标舞蹈的视频数据。步骤S102、根据视频数据，确定目标舞蹈的每个最小节奏单位内舞者的肢体形态。在实际应用中，每段舞蹈都对应一种已知的舞蹈节奏，整段舞蹈可以分为连续的多个最小节奏单位。该最小节奏单位是指舞谱中量化动作持续时间最小的长度单位，也即是指构成舞蹈节拍的最小时间片段，可以是舞蹈的单位拍。例如，拉班舞谱中量化动作持续时间最基本的长度单位是小拍，拉班舞谱中的最小节奏单位是小拍。本实施例中，根据舞者完成目标舞蹈的视频数据，进行三维重建，可以得到舞者在完成目标舞蹈过程中三维人体运动轨迹，也即是可以得到舞者在完成目标舞蹈过程中的多个不同时刻的肢体形态。例如，可以根据舞者完成目标舞蹈的视频数据，采用SFM(StructurefromMotion)算法进行三维重建，得到舞者在完成目标舞蹈过程中三维空间的人体运动轨迹。可选的，可以根据目标舞蹈的节奏信息，从每个最小节奏单位中选取一个时刻，将舞者在该时刻的肢体形态作为该最小节奏单位内舞者的肢体形态。可选的，可以根据目标舞蹈的节奏信息，从每个最小节奏单位中选取至少两个时刻，根据舞者在这至少两个时刻的肢体形态，采用求平均值、求中值等预算算法，计算得到该最小节奏单位内舞者的肢体形态。步骤S103、根据舞谱符号对应的肢体形态信息，确定目标舞蹈的每个最小节奏单位内舞者的肢体形态对应的舞谱符号，生成目标舞蹈对应的舞谱。本实施例中，可以获取预设本文档来自技高网...

【技术保护点】
1.一种基于视觉的舞谱生成方法，其特征在于，包括：获取舞者完成目标舞蹈的视频数据；根据所述视频数据，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态；根据舞谱符号对应的肢体形态信息，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态对应的舞谱符号，生成所述目标舞蹈对应的舞谱。

【技术特征摘要】
1.一种基于视觉的舞谱生成方法，其特征在于，包括：获取舞者完成目标舞蹈的视频数据；根据所述视频数据，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态；根据舞谱符号对应的肢体形态信息，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态对应的舞谱符号，生成所述目标舞蹈对应的舞谱。2.根据权利要求1所述的方法，其特征在于，所述根据所述视频数据，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态，包括：根据所述视频数据，得到所述舞者在完成所述目标舞蹈过程中的三维人体运动轨迹；根据所述三维人体运动轨迹，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态。3.根据权利要求2所述的方法，其特征在于，所述获取舞者完成目标舞蹈的视频数据，包括：获取从多个不同角度拍摄的舞者完成目标舞蹈的视频数据。4.根据权利要求3所述的方法，其特征在于，所述获取从多个不同角度拍摄的舞者完成目标舞蹈的视频数据，包括：接收多个摄像装置发送的舞者完成目标舞蹈的视频数据，所述视频数据为所述多个摄像装置在舞者完成所述目标舞蹈过程中所采集的；所述多个摄像装置的拍摄角度均不相同，两个相邻的所述摄像装置所拍摄的图像部分重叠。5.根据权利要求3或4所述的方法，其特征在于，所述根据所述视频数据，得到所述舞者在完成所述目标舞蹈过程中的三维人体运动轨迹，包括：从所述多个不同角度拍摄的所述视频数据中，获取同一时刻的多个图像帧；提取所述多个图像帧中的人体表面特征点，所述人体表面特征点在该时刻出现在至少两个相邻角度的所述图像帧中；根据每个所述人体表面特征点在该时刻出现在的至少两个相邻角度的所述图像帧，计算所述人体表面特征点在该时刻的三维坐标。6.根据权利要求5所述的方法，其特征在于，所述根据所述三维人体运动轨迹，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态，包括：获取在所述最小节奏单位内的多个不同的目标时刻、所述人体表面特征点的三维坐标；计算在所述多个不同的目标时刻所述人体表面特征点的三维坐标的均值坐标；所述人体表面特征点的均值坐标构成所述最小节奏单位内所述舞者的肢体形态。7.根据权利要求1或2所述的方法，其特征在于，所述获取舞者完成目标舞蹈的视频数据，包括：接收至少一个深度摄像装置发送的舞者完成目标舞蹈的视频数据，所述视频数据为所述至少一个深度摄像装置在舞者完成所述目标舞蹈过程中所采集的带有深度信息的视频数据。8.一种基于视觉的舞谱生成装置，其特征在于，包括：数据获取模块，用于获取舞者完成目标舞蹈的视频数据；处理模块，用于根据所述视频数据，确定所述目标舞蹈的每个最小节奏单位内所述舞者的肢体形态；舞谱生成模块，用于根据舞谱符号对应的肢体...

【专利技术属性】
技术研发人员：李照虎，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11