一种基于数据融合的舞蹈评分方法技术

本发明专利技术公开了一种基于数据融合的舞蹈评分方法，包括如下步骤：步骤1，通过音频传感器和视觉传感器，获取专业舞蹈者的舞蹈音视频数据，作为音视频数据集，对专业舞蹈者的舞蹈视频数据处理为特征向量形式，作为特征向量数据集；步骤2，将特征向量数据集中的特征向量进行融合，得到融合后的特征向量数据；步骤3，构建GAT网络，将融合后的特征向量数据输入到GAT网络进行网络训练，使用训练好GAT网络进行舞蹈评分。本发明专利技术是融合多源数据和信息，最终得到一个科学合理的打分。一个科学合理的打分。一个科学合理的打分。

【技术实现步骤摘要】
一种基于数据融合的舞蹈评分方法


[0001]本专利技术涉及数据融合、舞蹈评分领域，具体涉及一种基于数据融合的舞蹈评分方法。

技术介绍

[0002]当前的舞蹈动作识别数据融合技术中，数据融合是经常被强调的一点，既然要实现舞蹈者的动作和舞蹈配乐的协同配合，舞蹈者的动作识别和舞蹈者配乐的数据配合是至关重要的。舞蹈者的动作和舞蹈配乐的数据融合的两个重要内容，一个是进行动作识别的设备能感知到数据的多样性，一个是音乐节拍的数据的融合方式。当前存在的舞蹈动作识别和舞蹈音乐的数据通信设备，舞蹈动作识别和舞蹈音乐的数据感知设备能感知到的数据受连接设备数限制较大，有些感知设备仅仅只有摄像头提供数据，感知设备获取数据来源有限，结果准确性大大降低。现存的数据融合方式中，主要提及了将整体的检测结果融合提高结果准确率，未考虑多种的数据融合方式各有优劣。智能舞蹈的教学评分、体育运动的动作分析和基本的康复训练等应用领域，人体动作的自动评估具有广泛的应用前景。在部分考试的，舞蹈者的舞姿评价需要客观公证，运用计算机进行一个评分参考，可以避免人的主观性。随着人们的生活水平提高，绝大部分的舞蹈将作为一项健身运动慢慢进入大多数人的日常生活，目前已有基于姿态识别技术做舞蹈视频打分的系统，使用姿态模型识别出的肢体点进行单纯的相似度计算来评估舞蹈的分数。该种方式仅仅参考了舞蹈动作，忽略了舞蹈音乐的节拍，舞蹈动作和舞蹈音乐节拍的不对应，单纯使用相似度计算会导致分数低，评估不准确。此外，相似度计算只能得到一个维度的分数，而舞蹈的评估应该从多角度，全方位的进行，否则，评估结果较片面，无法准确的评估出学生的舞蹈情况。此外对于舞蹈的评分方法是具有较高的复杂性的，表演者的精神状态、舞蹈的编排、舞蹈的整齐度、对于舞蹈的音乐理解、服装造型等都需要进行一个合理的考虑。多维度的数据进行一个合理的打分，比较符合现在的舞蹈考核评分办法，但是现行的计算机舞蹈评分仅仅考虑了其中一两个方面。
[0003]VR(Virtual Reality，虚拟现实)：可以让用户沉浸其中的由计算机生成的三维虚拟环境，并与现实环境相隔绝。AR(Augmented Reality，增强现实)：在真实环境中增添或者移除由计算机实时生成的可以交互的虚拟物体或信息。MR(Mixed Reality，混合现实)：通过全息图，将现实环境与虚拟环境相互混合，也可以看成是VR与AR的混合。《[中国专利技术]CN 111563487A基于姿态识别模型的舞蹈评分方法及相关设备》提出一种基于姿态识别模型的舞蹈评分方法、装置、计算机设备及存储介质，能够将教练的第一舞蹈视频和学生的第二舞蹈视频的起止时间对齐，确保学生和教练的动作对应，从而使得计算出的评分更可靠、准确率更高，但是其忽略了舞蹈打分的其他标准。《[中国专利技术]CN 104598867 B一种人体动作自动评估方法及舞蹈评分系统》提出了一种能够对人体整体动作和细致动作进行全面准确评估的人体动作自动评估方法及舞蹈评分系统，但是其忽略了舞蹈动作和音乐节拍以及其他因素对于评分的影响。随着计算机的发展，算力的提升，可以采用多传感器结合电脑算力进
行一个机器打分，一般采用AR
‑
VR(Augmented Reality
‑
Virtual Reality，AR
‑
VR)技术，通过数据融合技术和深度学习的模型建立，将人工打分和机器打分相结合，综合评分的效果更佳。因此将现有的舞蹈动作评分方法不足之处，总结如下：
[0004]问题1：传统的舞蹈动作评分，仅仅参考舞蹈动作无法进行时间节点的匹配加分，动作无法一一对应于音乐节拍，单纯使用相似度计算会导致分数低，评估不准确。此外，单一的利用相似度计算仅仅可以得到单一维度的分数，分数结果参考意义不大；
[0005]问题2：现有的评分方法，对于舞蹈的打分仅仅存在于单一的舞蹈音乐和舞蹈动作两个方面，缺少全方面的考虑，不符合实际的舞蹈评分标准。此外对于部分专利技术专利的结合舞蹈动作和舞蹈音乐两个方面，缺少了卡点节拍的动作考虑，得到的分数可能较低，不符合舞蹈者的实际水平。

技术实现思路

[0006]本专利技术专利基于数据类别不平衡算法、数据融合和图神经网络，提出一种基于数据融合的舞蹈评分方法，用于解决舞蹈考试、舞蹈练习和舞蹈训练评分不精准、评分考虑不充分等问题。
[0007]本专利技术的一种基于数据融合的舞蹈评分方法，包括如下步骤：
[0008]步骤1，通过音频传感器和视觉传感器，获取专业舞蹈者的舞蹈音视频数据，作为音视频数据集，对专业舞蹈者的舞蹈视频数据处理为特征向量形式，作为特征向量数据集；所述舞蹈音视频包括舞蹈者的动作、形态、表情、音乐等，本专利技术的一个实施例中每个舞蹈者获取到600条数据；将音视频数据集分为训练集D1、测试集D2和验证集D3[0009]步骤2，将特征向量数据集中的特征向量进行融合，得到融合后的特征向量数据；
[0010]步骤3，构建GAT网络，将融合后的特征向量数据输入到GAT网络进行网络训练，使用训练好GAT网络进行舞蹈评分。
[0011]进一步的，步骤1中，将音视频数据集中的每段舞蹈视频映射为特征向量的形式：X＝{x1,x2,
…
,x
i
，
…
,x
t
…
,x
t+t1
}，每个样本特征向量对应一个特征标签y
i
,i＝1,2,
…
t+t1，其中t+t1表示特征向量的总数；其中，特征向量x1～x
t
是通过Slow
‑
Fast方法对视频进行分解动作得到，特征参数x
t+1
～x
t+t1
，属于主观印象特征，由评分者提供。
[0012]进一步的，步骤1中的样本特征向量包括少数类特征和多数类特征，其中主观印象特征为少数类特征，其它特征向量为多数类特征；采用改进的Borderline
‑
SOMTE采样方法，对少数类样本特征进行数据进行扩充；所述改进的Borderline
‑
SOMTE采样方法是指，在采样过程是将少数类特征分为Safe，Danger和Noise三类，仅对Danger类中的少数类特征使用SMOTE进行混合采样；其中，Safe类为样本特征周围一半以上均为少数类特征的少数类样本特征，Danger为样本特征周围一半以上均为多数类特征的样本特征，视为边界样本特征，Noise为样本特征周围均为多数类特征的少数类样本特征，视为噪声。
[0013]进一步的，对步骤1中收集的特征向量数据采用最大值最小值标准化，将特征数据映射到[0，1]之间，标准化函数如下：
[0014][0015]其中x
t3
是t3时刻的收集到的舞蹈表演者的相关特征参数，x
max
是收集到的样本参
数中的最大值，x
min
是收集到的样本参数中的最小值，是t3时刻收集到的舞蹈表演者的相关特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据融合的舞蹈评分方法，其特征在于，包括如下步骤：步骤1，通过音频传感器和视觉传感器，获取专业舞蹈者的舞蹈音视频数据，作为音视频数据集，对专业舞蹈者的舞蹈视频数据处理为特征向量形式，作为特征向量数据集；步骤2，将特征向量数据集中的特征向量进行融合，得到融合后的特征向量数据；步骤3，构建GAT网络，将融合后的特征向量数据输入到GAT网络进行网络训练，使用训练好GAT网络进行舞蹈评分。2.根据权利要求1所述一种基于数据融合的舞蹈评分方法，其特征在于，将音视频数据集中的每段舞蹈视频映射为特征向量的形式：X＝{x1，x2，
…
，x
i
，
…
，x
t
…
，x
t+t1
}，每个样本特征向量对应一个特征标签y
i
，i＝1,2，
…
t+t1，其中t+t1表示特征向量的总数；其中，特征向量x1～x
t
是通过Slow
‑
Fast方法对视频进行分解动作得到，特征参数x
t+1
～x
t+t1
，属于主观印象特征，由评分者提供。3.根据权利要求1所述一种基于数据融合的舞蹈评分方法，其特征在于，步骤1中的样本特征向量包括少数类特征和多数类特征，其中主观印象特征为少数类特征，其它特征向量为多数类特征；采用改进的Borderline
‑
SOMTE采样方法，对少数类样本特征进行数据进行扩充；所述改进的Borderline
‑
SOMTE采样方法是指，在采样过程是将少数类特征分为Safe，Danger和Noise三类，仅对Danger类中的少数类特征使用SMOTE进行混合采样；其中，Safe类为样本特征周围一半以上均为少数类特征的少数类样本特征，Danger为样本特征周围一半以上均为多数类特征的样本特征，视为边界样本特征，Noise为样本特征周围均为多数类特征的少数类样本特征，视为噪声。4.根据权利要求1所述一种基于数据融合的舞蹈评分方法，其特征在于，对步骤1中收集的特征向量数据采用最大值最小值标准化，将特征数据映射到[0，1]之间，标准化函数如下：其中x
t3
是t3时刻的收集到的舞蹈表演者的相关特征参数，x
max
是收集到的样本参数中的最大值，x
min
是收集到的样本参数中的最小值，是t3时刻收集到的舞蹈表演者的相关特征参数标准化结果。5.根据权利要求1所述一种基于数据融合的舞蹈评分方法，其特征在于，步骤2中将特征向量数据集中的特征向量进行融合，得到融合后的特征向量数据，具体包括如下步骤：步骤2.1，在步骤1中的特征向量基础上增加历史人工评分特征x
t+t1+
，则每段舞蹈视频映射为特征向量的形式：X＝{x1，x2，
…
，x
t
…
，x
t+t1
，x
t+t1+1
}；步骤2.2，视觉传感器的采集到的测量值表示如下：其中，sen_1＝1,2，
…
，n，σ
sen1
表示第sen_1个视觉传感器的测量精准度，同时X
sen_1
服从正态分布；音频传感器测量值的公式与式(3)相同，采用sen_2＝1，2，
…
，n，σ
sen_2
表示第sen_2个视觉传感器的测量精准度，同时X
sen_2
服从正态分布；
不同类型的传感器间的置信距离，分别用d
(sen_1，sen_2)
和d
(sen_2，sen_1)
表示，获得置信距离矩阵D；支持矩阵参数r
(sen_1，sen
‑
2)...

【专利技术属性】
技术研发人员：袁博，沈玉龙，陈森霖，胡凯，
申请(专利权)人：南京栢拓视觉科技有限公司，
类型：发明
国别省市：