一种可视化视频教育培训系统技术方案

本发明专利技术涉及远程视频教育系统领域，公开了一种可视化视频教育培训系统，图像采集单元，用于获取教师弹奏钢琴时的图像数据；音频采集单元，用于采集教师弹奏钢琴时的教学音频数据；数据处理单元，用于处理教师弹奏钢琴时的教学音频数据并生成包含错误类型的钢琴谱数据；本发明专利技术可以在教师教学过程中，对教师弹奏钢琴的音频数据进行处理后生成包含错误类型的钢琴谱数据，基于当前包含错误类型的钢琴谱数据生成的时间点，将包含错误类型的钢琴谱数据添加至当前时间点之后的教师弹奏钢琴时的图像数据中的每一帧图像上，并将添加有教师弹奏的钢琴谱的图像数据发送至教师终端，可以方便教师进行准确的自我纠正。便教师进行准确的自我纠正。便教师进行准确的自我纠正。

【技术实现步骤摘要】
一种可视化视频教育培训系统


[0001]本专利技术涉及远程视频教育系统领域，更具体地说，它涉及一种可视化视频教育培训系统。

技术介绍

[0002]传统的钢琴教学是面对面教学，现存在网络视频远程教学课程，通过采集教师弹奏钢琴时的视频数据后实时传输至学生端，方便远程教学。
[0003]教师在教学时，一旦出现弹奏弹错的情况，在无外界提醒的情况下，教师是不易意识到自己的教学弹奏过程是存在错误的，而学生更无法获知错误类型和错误位置，这也导致教师在教学过程中出现错误弹奏时无法进行自我纠正。

技术实现思路

[0004]本专利技术的目的就在于为了解决上述问题而提供一种可视化视频教育培训系统。
[0005]本专利技术提供了一种可视化视频教育培训系统，包括图像采集单元，用于获取教师弹奏钢琴时的图像数据；
[0006]音频采集单元，用于采集教师弹奏钢琴时的音频数据；
[0007]数据处理单元，用于获取教师弹奏的时域波形图；
[0008]基于时域波形图进行端点检测获得音符端点，取相邻的两个音符端点之间的信号生成信号单元；
[0009]通过信号单元进行分帧处理，获得每帧的信号特征；
[0010]将信号单元的信号特征输入RNN中，每个时间步输入一个帧的信号特征，在最后一个时间步的输出输入第一分类器，第一分类器输出表示弹奏动作ID的类别标签；
[0011]将所有信号单元的弹奏动作ID进行编码获得弹奏动作特征；
[0012]生成节点图，节点图包括一类节点和二类节点，一类节点表示所有信号单元的弹奏动作ID，二类节点表示正确钢琴谱的所有弹奏动作ID，节点之间的连接关系为，一类节点中的每一个节点按照时间轴顺序进行连接，二类节点中的每一个节点按照时间轴顺序进行连接，一类节点中的每一个节点的弹奏动作ID遍历二类节点中的每一个节点的弹奏动作ID，当两者相同时进行节点连接生成节点矢量；
[0013]节点图和节点矢量输入第一神经网络，第一神经网络包括第一隐藏层和第一分类器，第一分类器输出表示错误类型的分类标签；
[0014]错误类型包括没有错误、多弹、少弹、错弹，其中，错弹是多弹和少弹之外的错误；
[0015]将信号单元的时间映射到钢琴谱的时间轴上，然后将信号单元的弹奏动作ID对应的音符和错误类型添加到对应的钢琴谱的时间轴上与该信号单元对应的时间位置，生成教师弹奏的钢琴谱；
[0016]基于当前教师弹奏的钢琴谱生成的时间点，将教师弹奏的钢琴谱添加至当前时间点之后的教师弹奏钢琴时的图像数据中的每一帧图像上，并将添加有教师弹奏的钢琴谱的
图像数据发送至教师终端。
[0017]作为本专利技术的进一步优化方案，基于时域波形图进行端点检测获得音符端点，具体为，采用信号包络作为检测函数，经过对检测函数的峰值提取处理，得到音符端点位置，计算公式为：式中，ω(m)是N点窗。
[0018]作为本专利技术的进一步优化方案，基于时域波形图进行端点检测获得音符端点，具体为，根据局部能量的变化来确定音符端点位置，计算公式为：式中，ω(m)是N点窗。
[0019]作为本专利技术的进一步优化方案，所述信号特征为MFCC特征、Delta特征，或他们的组合。
[0020]作为本专利技术的进一步优化方案，第一隐藏层的计算公式如下：
[0021][0022]表示第i个节点的第二节点矢量，和分别表示第i和j个节点的第一节点矢量，W表示第一隐藏层的权重参数，表示第一隐藏层的权重矢量，N
i
表示与第i个节点直接连接的节点的集合。
[0023]作为本专利技术的进一步优化方案，基于教师弹奏钢琴时的图像数据、音频数据和添加有教师弹奏的钢琴谱的图像数据，生成历史教学视频数据，并存储于相应的存储单元内。
[0024]作为本专利技术的进一步优化方案，基于教师弹奏的钢琴谱生成教师教学评分数据，并将教师教学评分数据存储至存储单元。
[0025]作为本专利技术的进一步优化方案，获取预设的教师考核策略，基于预设的教师考核策略对教师教学评分数据进行处理后，生成教师考核数据，并存储至存储单元。
[0026]作为本专利技术的进一步优化方案，预设的教师考核策略，具体为，计算每一节课教师弹奏钢琴时出现的错误总数M，教学质量分数并将每一节课的教学质量分数存储于存储单元。
[0027]本专利技术的有益效果在于：本专利技术可以在教师教学过程中，对教师弹奏钢琴的音频数据进行处理后生成包含错误类型的钢琴谱数据，基于当前包含错误类型的钢琴谱数据生成的时间点，将包含错误类型的钢琴谱数据添加至当前时间点之后的教师弹奏钢琴时的图像数据中的每一帧图像上，并将添加有教师弹奏的钢琴谱的图像数据发送至教师终端，可以方便教师进行准确的自我纠正。
附图说明
[0028]图1是本专利技术的系统框图。
具体实施方式
[0029]现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。
[0030]如图1所示，一种可视化视频教育培训系统，包括：
[0031]图像采集单元，用于获取教师弹奏钢琴时的图像数据；
[0032]音频采集单元，用于采集教师弹奏钢琴时的音频数据；
[0033]数据处理单元，用于获取教师弹奏的时域波形图；
[0034]基于时域波形图进行端点检测获得音符端点，取相邻的两个音符端点之间的信号生成信号单元；
[0035]基于时域波形图进行端点检测获得音符端点，具体为，采用信号包络作为检测函数，经过对检测函数的峰值提取处理，得到音符端点位置，或根据局部能量的变化来确定音符端点位置，计算公式为：计算公式为：或式中，ω(m)是N点窗。
[0036]通过信号单元进行分帧处理，获得每帧的信号特征；
[0037]信号特征为MFCC特征、Delta特征，或他们的组合。
[0038]其中，MFCC特征计算步骤为，对音频分帧、加窗，做FFT变换，将音频信号从时域转换到频域，然后使用Mel尺度滤波器组，将线性频率转换到Mel频率，公式为然后对Mel频域中子带的对数能量做离散余弦变换，即得到MFCC特征，公式为式中，c
i
是第i个MFCC系数，m
j
是第j个子带的能量，N是滤波组中滤波器的个数，MFCC特征反映了音频信号中能量在不同频带内的分布情况，钢琴音乐中，多个单音同时发声混合而成的多音符，其能量集中在几个单音的基频以及他们谐波所在的频带内，因此不同种类的多音符的能量分布是不尽相同的，从而MFCC特征可以有效的描述钢琴多音符的声学特征。
[0039]其中，Delta特征可以反应音频的动态特征，主要用于描述音频信号特征虽时间改变而改变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可视化视频教育培训系统，其特征在于，包括图像采集单元，用于获取教师弹奏钢琴时的图像数据；音频采集单元，用于采集教师弹奏钢琴时的音频数据；数据处理单元，用于获取教师弹奏的时域波形图；基于时域波形图进行端点检测获得音符端点，取相邻的两个音符端点之间的信号生成信号单元；通过信号单元进行分帧处理，获得每帧的信号特征；将信号单元的信号特征输入RNN中，每个时间步输入一个帧的信号特征，在最后一个时间步的输出输入第一分类器，第一分类器输出表示弹奏动作ID的类别标签；将所有信号单元的弹奏动作ID进行编码获得弹奏动作特征；生成节点图，节点图包括一类节点和二类节点，一类节点表示所有信号单元的弹奏动作ID，二类节点表示正确钢琴谱的所有弹奏动作ID，节点之间的连接关系为，一类节点中的每一个节点按照时间轴顺序进行连接，二类节点中的每一个节点按照时间轴顺序进行连接，一类节点中的每一个节点的弹奏动作ID遍历二类节点中的每一个节点的弹奏动作ID，当两者相同时进行节点连接生成节点矢量；节点图和节点矢量输入第一神经网络，第一神经网络包括第一隐藏层和第一分类器，第一分类器输出表示错误类型的分类标签；错误类型包括没有错误、多弹、少弹、错弹，其中，错弹是多弹和少弹之外的错误；将信号单元的时间映射到钢琴谱的时间轴上，然后将信号单元的弹奏动作ID对应的音符和错误类型添加到对应的钢琴谱的时间轴上与该信号单元对应的时间位置，生成教师弹奏的钢琴谱；基于当前教师弹奏的钢琴谱生成的时间点，将教师弹奏的钢琴谱添加至当前时间点之后的教师弹奏钢琴时的图像数据中的每一帧图像上，并将添加有教师弹奏的钢琴谱的图像数据发送至教师终端。2.根据权利要求1所述的一种可视化视频教育培训系统，其特征在于，基于时域波形图进...

【专利技术属性】
技术研发人员：许伟翔，潘珊珊，
申请(专利权)人：泉州凯睿天成教育科技有限公司，
类型：发明
国别省市：