一种可视化视频教育培训系统技术方案

本发明专利技术涉及远程视频教育系统领域，公开了一种可视化视频教育培训系统，图像采集单元，用于获取教师弹奏钢琴时的图像数据；音频采集单元，用于采集教师弹奏钢琴时的教学音频数据；数据处理单元，用于处理教师弹奏钢琴时的教学音频数据并生成包含错误类型的钢琴谱数据；本发明专利技术可以在教师教学过程中，对教师弹奏钢琴的音频数据进行处理后生成包含错误类型的钢琴谱数据，基于当前包含错误类型的钢琴谱数据生成的时间点，将包含错误类型的钢琴谱数据添加至当前时间点之后的教师弹奏钢琴时的图像数据中的每一帧图像上，并将添加有教师弹奏的钢琴谱的图像数据发送至教师终端，可以方便教师进行准确的自我纠正。便教师进行准确的自我纠正。便教师进行准确的自我纠正。

【技术实现步骤摘要】
一种可视化视频教育培训系统


[0001]本专利技术涉及远程视频教育系统领域，更具体地说，它涉及一种可视化视频教育培训系统。

技术介绍

[0002]传统的钢琴教学是面对面教学，现存在网络视频远程教学课程，通过采集教师弹奏钢琴时的视频数据后实时传输至学生端，方便远程教学。
[0003]教师在教学时，一旦出现弹奏弹错的情况，在无外界提醒的情况下，教师是不易意识到自己的教学弹奏过程是存在错误的，而学生更无法获知错误类型和错误位置，这也导致教师在教学过程中出现错误弹奏时无法进行自我纠正。

技术实现思路

[0004]本专利技术的目的就在于为了解决上述问题而提供一种可视化视频教育培训系统。
[0005]本专利技术提供了一种可视化视频教育培训系统，包括图像采集单元，用于获取教师弹奏钢琴时的图像数据；
[0006]音频采集单元，用于采集教师弹奏钢琴时的音频数据；
[0007]数据处理单元，用于获取教师弹奏的时域波形图；
[0008]基于时域波形图进行端点检测获得音符端点，取相邻的两个音符端点之间的信号生成信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可视化视频教育培训系统，其特征在于，包括图像采集单元，用于获取教师弹奏钢琴时的图像数据；音频采集单元，用于采集教师弹奏钢琴时的音频数据；数据处理单元，用于获取教师弹奏的时域波形图；基于时域波形图进行端点检测获得音符端点，取相邻的两个音符端点之间的信号生成信号单元；通过信号单元进行分帧处理，获得每帧的信号特征；将信号单元的信号特征输入RNN中，每个时间步输入一个帧的信号特征，在最后一个时间步的输出输入第一分类器，第一分类器输出表示弹奏动作ID的类别标签；将所有信号单元的弹奏动作ID进行编码获得弹奏动作特征；生成节点图，节点图包括一类节点和二类节点，一类节点表示所有信号单元的弹奏动作ID，二类节点表示正确钢琴谱的所有弹奏动作ID，节点之间的连接关系为，一类节点中的每一个节点按照时间轴顺序进行连接，二类节点中的每一个节点按照时间轴顺序进行连接，一类节点中的每一个节点的弹奏动作ID遍历二类节点中的每一个节点的弹奏动作ID，当两者相同时进行节点连接生成节点矢量；节点图和节点矢量输入第一神经网络，第一神经网络包括第一隐藏层和第一分类器，第一分类器输出表示错误类型的分类标签；错误类型包括没有错误、多弹、少弹、错弹，其中，错弹是多弹和少弹之外的错误；将信号单元的时间映射到钢琴谱的时间轴上，然后将信号单元的弹奏动作ID对应的音符和错误类型添加到对应的钢琴谱的时间轴上与该信号单元对应的时间位置，生成教师弹奏的钢琴谱；基于当前教师弹奏的钢琴谱生成的时间点，将教师弹奏的钢琴谱添加至当前时间点之后的教师弹奏钢琴时的图像数据中的每一帧图像上，并将添加有教师弹奏的钢琴谱的图像数据发送至教师终端。2.根据权利要求1所述的一种可视化视频教育培训系统，其特征在于，基于时域波形图进...

【专利技术属性】
技术研发人员：许伟翔，潘珊珊，
申请(专利权)人：泉州凯睿天成教育科技有限公司，
类型：发明
国别省市：