一种基于时空异构双流卷积网络的舞蹈评分方法技术

本申请公开了一种基于时空异构双流卷积网络的舞蹈评分方法

【技术实现步骤摘要】
一种基于时空异构双流卷积网络的舞蹈评分方法


[0001]本申请涉及数据不平衡
、
卡尔曼滤波
、
舞蹈评分领域，具体涉及一种基于时空异构双流卷积网络的舞蹈评分方法
。

技术介绍

[0002]当前的动作识别是计算机视觉的一个研究热点内容，舞蹈评分方法基于动作识别为基础，融合声音数据
、
服饰
、
表演风格等特征数据，构成一种基于深度学习的
AI
自主评分标准
。
舞蹈动作的识别目标是从一个未知的视频序列中自动分析其中正在进行的行为，动作识别在视频监控
、
行为分析
、
智能家居
、
视频检索和人机智能交互等领域发挥着重要的作用，但由于视点变化
、
背景杂乱和光照条件等限制，动作识别仍然面临着重大挑战
。
近年来，深度卷积网络在图像和语音识别方面取得了巨大的突破
。
此后，计算机视觉的研究人员一直试图将卷积网络转移到动作识别上来应用
。
与图像领域的成功相比，深度学习在基于视频的动作识别领域发展相对缓慢
。
主要是因为与图像数据相比，视频数据的规模和多样性是不可比拟的，因此需要建立一个用于深度网络训练的大规模标记视频数据库；与二维图像相比，视频包含更多的时序信息，引入了比图像更复杂的分析工作
。
[0003]舞蹈评分方法除了依靠动作识别，还需要考虑舞蹈配乐
、
舞蹈表演服饰和舞蹈表演者的仪容仪表等
。
在舞蹈评分方法中，舞蹈动作是占据最主要的特征参数，一段视频的数据中，动作内容占绝大部分需要分析的特征内容，而其他类别的数据特征内容较少，进而导致了数据类型特征不平衡
。
为了全面的评价舞蹈者舞蹈表演内容，需要将所有特征数据进行数据融合
。
现存的数据融合方式中，主要提及了将整体的检测结果融合提高结果准确率，未考虑多种的数据融合方式各有优劣
。
此外对于舞蹈的评分方法是具有较高的复杂性的，表演者的精神状态
、
舞蹈的编排
、
舞蹈的整齐度
、
对于舞蹈的音乐理解
、
服装造型等都需要进行一个合理的考虑
。
多维度的数据进行一个合理的打分，比较符合现在的舞蹈考核评分办法，但是现行的
AI
舞蹈评分方法仅仅考虑了其中一两个方面
。
在部分考试中，舞蹈者的舞蹈动作的评价需要客观公证，运用计算机进行一个评分参考，可以避免人的主观性
。
[0004]随着人们的生活水平提高，绝大部分的舞蹈将作为一项健身运动慢慢进入大多数人的日常生活，目前已有基于姿态识别技术做舞蹈视频打分的系统，使用姿态模型识别出的肢体点进行单纯的相似度计算来评估舞蹈的分数
。
此类方式忽视了舞蹈音乐节拍和舞蹈类型以及舞蹈表演者服饰等特征参数，参考特征参数单一，计算机的打分会相对较低，不具有可靠的参考性
。
[0005]申请号为：
201310529096.6
，专利技术名称为：一种人体动作自动评估方法及舞蹈评分系统提出了一种能够对人体整体动作和细致动作进行全面准确评估的人体动作自动评估方法及舞蹈评分系统，但是其忽略了舞蹈动作和音乐节拍以及其他因素对于评分的影响
。
申请号为：
202010671631.1
，专利技术名称为：基于姿态识别模型的舞蹈评分方法及相关设备
》
提出一种基于姿态识别模型的舞蹈评分方法
、
装置
、
计算机设备及存储介质，能够将教练的第一舞蹈视频和学生的第二舞蹈视频的起止时间对齐，确保学生和教练的动作对应，从而
使得计算出的评分更可靠
、
准确率更高，但是其忽略了舞蹈打分的其他标准
。
[0006]此外现有的计算机评分单一的依靠摄像机记录的视频内容进行舞蹈评分，不符合时代的发展，出现了
VR、AR
和
MR
技术
。VR(Virtual Reality
，虚拟现实
)
：可以让用户沉浸其中的由计算机生成的三维虚拟环境，并与现实环境相隔绝
。AR(Augmented Reality
，增强现实
)
：在真实环境中增添或者移除由计算机实时生成的可以交互的虚拟物体或信息
。MR(Mixed Reality
，混合现实
)
：通过全息图，将现实环境与虚拟环境相互混合，也可以看成是
VR
与
AR
的混合
。
目前有公司进行了
VR
游戏评分
、AR
算力计算和
MR
的特征增强技术进行结合，综合来评价舞蹈者的舞蹈评分
。
随着计算机的发展，算力的提升，可以采用多传感器结合电脑算力进行一个机器打分，一般采用
AR
‑
VR(Augmented Reality
ꢀ‑ꢀ
Virtual Reality
，
AR
‑
VR)
技术，通过数据融合技术和深度学习的模型建立，将人工打分和机器打分想结合，综合评分的效果更佳
。
因此将现有的舞蹈动作评分方法不足之处，总结如下：问题1：单一的舞蹈动作识别评价方法，不能够较好的表现出舞蹈者的真实水平，对于舞蹈者的舞蹈动作变化随着音乐节拍的变化，存在较大的瑕疵，不符合真实的舞蹈评分方法
。
对于部分专利考虑到舞蹈者舞蹈风格和舞蹈类型的关系，但是忽略了舞蹈者表演舞蹈的其他因素，得到的参考分数意义不大
。
部分舞蹈评分方法采用了舞蹈动作识别和舞蹈音乐，但对于这两种数据特征类别不平衡未进行合适的处理；问题2：现有的评分方法，使用的计算机进行计算，仅仅进行了舞蹈者舞蹈动作的识别，利用单一的相似度计算来评估舞蹈的分数
。
此类方式仅仅参考了舞蹈动作，忽略了舞蹈音乐的节拍，评估不准确
。
此外，相似度计算只能得到一个维度的分数，而舞蹈的评估应该从多角度，全方位的进行，否则，评估结果较片面，无法准确的评估出学生的舞蹈情况
。
[0007]因此，针对上述现有的计算机舞蹈评分方法的一些问题，亟需一种更加符合现在计算机算力的合理的舞蹈评分方法
。

技术实现思路

[0008]专利技术目的：提供一种基于时空异构双流卷积网络的舞蹈评分方法，将舞蹈视频和音频数据相融合，更全面的进舞蹈进行评分
。
[0009]
技术实现思路
：本专利技术的一种基于时空异构双流卷积网络的舞蹈评分方法，包括如下步骤：通过传感器获取专业舞蹈者的舞蹈音视频数据，作为音视频数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于时空异构双流卷积网络的舞蹈评分方法，其特征在于，包括如下步骤：通过传感器获取专业舞蹈者的舞蹈音视频数据，作为音视频数据集，对专业舞蹈者的舞蹈视频数据处理成特征参数形式，作为特征参数数据集；采用卡尔曼滤波方法对特征参数进行处理，对来自不同传感器的音频或视频数据进行数据融合；构建时空异构双流卷积网络，将融合后的数据输入到时空异构双流卷积网络，用于对时空异构双流卷积网络进行训练
,
所述时空异构双流卷积网络的输出是舞蹈评分
;
利用训练好的时空异构双流卷积网络对待评分的舞蹈音视频数据进行评分
。2.
根据权利要求1所述一种基于时空异构双流卷积网络的舞蹈评分方法，其特征在于，将音视频数据集中的每段舞蹈视频映射为特征参数的形式：，每个样本特征参数对应一个特征标签，其中表示特征参数的总数；其中，特征参数是通过
Slow
‑
Fast
方法对视频进行分解动作得到；特征参数是舞蹈者音乐卡点节拍表现；特征参数，属于主观印象特征，由评分者提供
。3.
根据权利要求2所述一种基于时空异构双流卷积网络的舞蹈评分方法，其特征在于，所述特征参数包括少数类特征参数和多数类特征参数；少数类特征参数的采集量小于多数类特征的采集量；其中主观印象特征为少数类特征，其它特征参数为多数类特征；新样本是类别平衡的特征参数；按照式（1）合成新样本，表示如下： (1)
其中代表第个原始样本数据特征参数，的取值范围为，表示选择的最近邻特征参数，为0到1之间的随机数
。4.
根据权利要求3所述一种基于时空异构双流卷积网络的舞蹈评分方法，其特征在于，将专业舞蹈者的音视频数据集分为训练集
、
测试集和验证集；训练集中多数类样本特征参数和少数类样本特征参数的数据数量分别表示为
M
和
N
，基于特征参数的数据分布的重采样方法生成的平衡子集的样本总数表示为
S
；经过聚类后的多数类训练集被分为
k
个聚类，
k
个聚类中的多数类样本数量分别表示为，各个聚类的数量之和满足公式（3）；
(3)
对于每个平衡子集，从多数类中重采样的样本总数如公式（4）所示； (4)
从少数类样本集中随机采样一半数量的样本得到少数类样本子集，并将少数类样本子集和多数类样本子集进行合并，得到平衡训练子集
。5. 根据权利要求1所述一种基于时空异构双流卷积网络的舞蹈评分方法，其特征在于，采用所述采用卡尔曼滤波方法对特征参数进行处理，舞蹈动作特征的状态方程为：
ꢀꢀ
(5)
式中表示舞蹈动作在时刻的特征状态值；表示舞蹈动作在时刻的特征状态值；表示舞蹈动作特征状态变换矩阵；表示传感器采集数据过程噪声；舞蹈动作的特征观测方程为 (6)
式中表示时刻测量舞蹈动作特征值；测量矩阵；表示传感器采集数据观测噪声；和是相互独立的高斯白噪声；根据式（5）对舞蹈动作特征状态进行一步预测，利用时刻舞蹈动作状态的特征最优估计值预测 时刻的舞蹈动作特征一步预测值：

【专利技术属性】
技术研发人员：沈玉龙，陈森霖，袁博，胡凯，
申请(专利权)人：南京栢拓视觉科技有限公司，
类型：发明
国别省市：