一种钢琴学习与创作系统及方法技术方案

本发明专利技术公开了一种钢琴学习与创作系统及方法，包括智能机器人引擎，智能钢琴知识库，用户数据采集处理模块和演奏处理展示模块，用户数据采集处理模块，采集并处理得到创作曲谱数据，智能机器人引擎与用户数据采集处理模块和智能钢琴知识库连接，将接收的曲谱数据作为输入特征向量，输入到多模态语义理解单元预测模块，并根据需要输出关联音视频片段、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种构成的输出特征向量，所述演奏处理展示模块根据需要将输出特征向量处理成对应的格式并展示给用户。其实现智能式教学，特别是能够实现创作式智能教学，寓教于乐，让学生在探究中完成学习，不断激发学生自发学习的兴趣。趣。趣。

【技术实现步骤摘要】
一种钢琴学习与创作系统及方法

：
[0001]本专利技术属于音乐
，具体涉及一种钢琴学习与创作系统及方法。

技术介绍
：
[0002]近年来，钢琴学习成为大部分家长教育培训的首选项目。钢琴理论知识枯燥、难懂，需要持之以恒的坚持，易半途而废。传统的钢琴教学为老师当面一对一教学，花费高，需要定期接送。为了实现自主钢琴学习，降低钢琴学习的门槛，出现了一系列的智能钢琴系统，大部分是通过曲谱与琴键进行关联，将需要演奏的曲谱演奏指法示范在显示屏上显示，供人们模仿学习。然而其是模仿教学，难以完全替代老师，实现问答式教学，更难以实现自主式创作式学习，特别是没有理论基础的初学者，自主式创作更无从谈起。

技术实现思路
：
[0003]本专利技术目的在于克服现有技术存在的缺点，寻求设计一种钢琴学习与创作系统，解决了现有的钢琴教学系统无法实现零基础教学，自主式创作的问题，以及无法实现问答式教学的问题。
[0004]为了实现上述目的，本专利技术涉及的一种钢琴学习与创作系统，包括智能机器人引擎，智能钢琴知识库，用户数据采集处理模块和演奏处理展示模块，用户数据采集处理模块，采集并处理得到创作曲谱数据，智能机器人引擎与用户数据采集处理模块和智能钢琴知识库连接，将接收的曲谱数据作为输入特征向量，输入到多模态语义理解单元预测模块，并根据需要输出关联音视频片段、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种构成的输出特征向量，所述演奏处理展示模块根据需要将输出特征向量处理成对应的格式并展示给用户。
[0005]进一步地，用户数据采集处理模块包括数据采集模块和数据预处理模块，数据采集模块包括琴键踏板状态监测单元、音频采集单元和交互界面，所述琴键踏板状态监测单元，采集琴键与踏板的离合状态信号与定位信息，获取由琴键或踏板的状态与其对应的定位信息构成的用户弹奏行为数据，所述音频采集单元，采集用户的连续哼唱语音，提取声音响度和声音音调两个维度的信号序列，构成用户语音哼唱数据，交互界面，采集用户在交互界面输入的用户意向指令；所述数据预处理模块包括音符解析与映射单元、语音曲谱单元、曲谱推荐单元、谱曲创作单元，输入操作处理单元，音符解析与映射单元与琴键踏板状态监测单元连接，用于将用户弹奏行为数据处理转换为对应的钢琴曲谱编码，语音曲谱单元与音频采集单元连接，提取用户语音哼唱数据中的声音响度和音调两个维度的序列，运算生成对应的钢琴曲谱编码，曲谱推荐单元，与音符解析与映射单元、语音曲谱单元和智能钢琴知识库连接，以一定的匹配度，基于风格、弹奏序列、音符间相对关系等特征，在智能钢琴知识库中筛选出与获取的钢琴曲谱编码近似的曲谱或曲谱片段，作为推荐曲谱编码，输入操作处理单元与交互界面连接，用于将用户在交互界面的输入处理、转换为对应的曲谱调整请求数据，谱曲创作单元，与曲谱推荐单元和输入操作处理单元连接，将输入操作处理单元
输入的曲谱调整请求数据和曲谱推荐单元输入的推荐曲谱编码作为曲谱输入特征向量输入到曲谱创作模型中，并将满足用户需求的创作曲谱数据作为曲谱输出特征向量输出。
[0006]进一步地，所述数据采集模块还包括视频采集单元，对应地所述数据预处理模块包括人脸情绪特征单元，所述视频采集单元，采集环境视频信号并转化为特定编码视频数字信号，人脸情绪特征单元，与视频采集单元连接，用于将视频数字信息进行处理，获取人脸表情特征数据。
[0007]进一步地，所述数据预处理模块还包括语音识别单元，语音识别单元，与音频采集单元连接，用于将用户语音询问数据转化为文本请求数据，输入操作处理单元还能够将对应的用户意向指令转换为检索请求数据。
[0008]进一步地，所述演奏处理展示模块包括数据后处理模块和数据演奏展示模块，所述数据后处理单元包括约束调整单元、钢琴弹奏指引解析单元、语音合成单元单元和输入操作解析单元，所述约束调整单元通过特定约束规则对关联曲谱编码，关联语义话术文本，关联音频片段进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，所述关联曲谱编码经约束优化调整，产生对应的钢琴弹奏指引数据，所述关联语义话术文本经约束优化调整，产生连贯自然的语义话术文本，关联音视频片段经约束优化调整为对应的音频数据和视频数据，所述钢琴弹奏指引解析单元与约束调整单元连接，用于将钢琴弹奏指引数据转换为对应琴键和踏板的LED控制指令，所述语音合成单元，与约束调整单元连接，用于将连贯自然的语义话术文本转换为对应的音频文件，输出操作解析单元用于将界面响应数据处理、解析、转换为交互界面能够显示的数据格式，输入操作处理单元与输出操作解析单元构成用户操作处理与解析单元。
[0009]数据演奏展示模块包括琴键彩色灯光展示单元，音频播放单元，视频演示单元和交互界面，所述视频演示单元，配合音频播放单元进行媒体展示，接收约束调整后的视频数据，所述音频播放单元，播放音频数据，所述琴键彩色灯光展示单元，LED控制模块接收钢琴弹奏指引数据将其转换为LED控制逻辑指令，控制LED灯呈现不同色彩显示于特定按键，指引用户弹奏的同时形成彩色琴键灯光效果，形成用户视觉维度上的直观感受，从视觉效果建立对音乐的间接感受与关联，所述交互界面用于输出结果解析转换处理的界面响应数据。
[0010]本专利技术涉及的智能机器人引擎还包括学习评估模块，学习评估模块分别与琴键踏板状态监测单元和钢琴弹奏指引解析单元连接，通过语音采集单元输入文本请求数据或交互界面输入检索请求数据，选择想要学习的钢琴曲目，基于钢琴弹奏指引解析单元产生的琴键彩色灯光效果跟弹学习，在每一轮弹奏学习过程中，通过琴键踏板状态监测单元实时采集实时用户弹奏行为数据，将钢琴弹奏指引数据与实时用户弹奏行为数据进行比对，得到弹奏评估结果，弹奏结果通过演奏处理展示模块输出。
[0011]本专利技术涉及的一种钢琴学习与创作系统，还包括云端分享模块，云端分享模块，分别与智能机器人引擎和智能钢琴知识库连接，用于将创造的满意作品在云端分享，分享的作品经过处理，作为智能机器人引擎的输入数据，存储在智能钢琴知识库中。
[0012]所述数据预处理模块还包括人脸特征识别单元和用户管理单元，人脸特征识别单
元与视频采集单元连接，基于获取的用户面部图像，提取用户人脸特征数据，并将其输送到用户管理单元，用户管理单元与人脸特征识别单元连接，用于注册、登陆，分析获取人脸特征数据，并将人脸特征数据与用户ID码对应，将其作为用户登录的凭证。
[0013]本专利技术涉及一种智能钢琴学习与创作方法，具体包括以下步骤：
[0014]S1、用户登录。
[0015]S2、对钢琴用户进行监测，将采集数据处理形成输入特征向量，所述输入特征向量包括创作曲谱数据；
[0016]所述步骤S2中创作曲谱数据的获取方法具体为：
[0017]S201、通过在琴键和踏板上设置按压模块和定位模块，采集相应的参数，进而获取用户弹奏行为数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种钢琴学习与创作系统，其特征在于，包括智能机器人引擎，智能钢琴知识库，用户数据采集处理模块和演奏处理展示模块，用户数据采集处理模块，采集并处理得到创作曲谱数据，智能机器人引擎与用户数据采集处理模块和智能钢琴知识库连接，将接收的曲谱数据作为输入特征向量，输入到多模态语义理解单元预测模块，并根据需要输出关联音视频片段、关联曲谱编码、关联语义话术文本和界面响应数据中的一种或多种构成的输出特征向量，所述演奏处理展示模块根据需要将输出特征向量处理成对应的格式并展示给用户。2.根据权利要求1所述的钢琴学习与创作系统，其特征在于，用户数据采集处理模块包括数据采集模块和数据预处理模块，数据采集模块包括琴键踏板状态监测单元、音频采集单元和交互界面，所述琴键踏板状态监测单元，采集琴键与踏板的离合状态信号与定位信息，获取由琴键或踏板的状态与其对应的定位信息构成的用户弹奏行为数据，所述音频采集单元，采集用户的连续哼唱语音，提取声音响度和声音音调两个维度的信号序列，构成用户语音哼唱数据，交互界面，采集用户在交互界面输入的用户意向指令；所述数据预处理模块包括音符解析与映射单元、语音曲谱单元、曲谱推荐单元、谱曲创作单元，输入操作处理单元，音符解析与映射单元与琴键踏板状态监测单元连接，用于将用户弹奏行为数据处理转换为对应的钢琴曲谱编码，语音曲谱单元与音频采集单元连接，提取用户语音哼唱数据中的声音响度和音调两个维度的序列，运算生成对应的钢琴曲谱编码，曲谱推荐单元，与音符解析与映射单元、语音曲谱单元和智能钢琴知识库连接，以一定的匹配度，基于风格、弹奏序列、音符间相对关系等特征，在智能钢琴知识库中筛选出与获取的钢琴曲谱编码近似的曲谱或曲谱片段，作为推荐曲谱编码，输入操作处理单元与交互界面连接，用于将用户在交互界面的输入处理、转换为对应的曲谱调整请求数据，谱曲创作单元，与曲谱推荐单元和输入操作处理单元连接，将输入操作处理单元输入的曲谱调整请求数据和曲谱推荐单元输入的推荐曲谱编码作为曲谱输入特征向量输入到曲谱创作模型中，并将满足用户需求的创作曲谱数据作为曲谱输出特征向量输出。3.根据权利要求2所述的钢琴学习与创作系统，其特征在于，所述数据采集模块还包括视频采集单元，对应地所述数据预处理模块包括人脸情绪特征单元，所述视频采集单元，采集环境视频信号并转化为特定编码视频数字信号，人脸情绪特征单元，与视频采集单元连接，用于将视频数字信息进行处理，获取人脸表情特征数据。所述数据预处理模块还包括语音识别单元，语音识别单元，与音频采集单元连接，用于将用户语音询问数据转化为文本请求数据，输入操作处理单元还能够将对应的用户意向指令转换为检索请求数据。4.根据权利要求3所述的钢琴学习与创作系统，其特征在于，所述演奏处理展示模块包括数据后处理模块和数据演奏展示模块，所述数据后处理单元包括约束调整单元、钢琴弹奏指引解析单元、语音合成单元单元和输入操作解析单元，所述约束调整单元通过特定约束规则对关联曲谱编码，关联语义话术文本，关联音频片段进行约束优化调整，所述约束优化调整，指对映射解析的内容进行上下文逻辑合理性评估与调整，禁忌性评估与调整，自然过渡补充，以使输出特征向量映射解析的内容转化为对应交互实际场景的更自然，更合理的内容，所述关联曲谱编码经约束优化调整，产生对应的钢琴弹奏指引数据，所述关联语义话术文本经约束优化调整，产生连贯自然的语义话术文本，关联音视频片段经约束优化调整为对应的音频数据和视频数据，所述钢琴弹奏指引解析单元与约束调整单元连接，用于
将钢琴弹奏指引数据转换为对应琴键和踏板的LED控制指令，所述语音合成单元，与约束调整单元连接，用于将连贯自然的语义话术文本转换为对应的音频文件，输出操作解析单元用于将界面响应数据处理、解析、转换为交互界面能够显示的数据格式，输入操作处理单元与输出操作解析单元构成用户操作处理与解析单元。5.根据权利要求4所述的钢琴学习与创作系统，其特征在于，数据演奏展示模块包括琴键彩色灯光展示单元，音频播放单元，视频演示单元和交互界面，所述视频演示单元，配合音频播放单元进行媒体展示，接收约束调整后的视频数据，所述音频播放单元，播放音频数据，所述琴键彩色灯光展示单元，LED控制模块接收钢琴弹奏指引数据将其转换为LED控制逻辑指令，控制LED灯呈现不同色彩显示于特定按键，指引用户弹奏的同时形成彩色琴键灯光效果，形成用户视觉维度上的直观感受，从视觉效果建立对音乐的间接感受与关联，所述交互界面用于输出结果解析转换处理的界面响应数据。6.根据权利要求5所述的钢琴学习与创作系统，其特征在于，智能机器人引擎还包括学习评估模块，学习评估模块分别与琴键踏板状态监测单元和钢琴弹奏指引解析单元连接，通过语音采集单元输入文本请求数据或交互界面输入检索请求数据，选择想要学习的钢琴曲目，基于钢琴弹奏指引解析单元产生的琴键彩色灯光效果跟弹学习，在每一轮弹奏学习过程中，通过琴键踏板状态监测单元实时采集实时用户弹奏行为数据，将钢琴弹奏指引数据与实时用户弹奏行为数据进行比对，得到弹奏评估结果，弹奏结果通过演奏处理展示模块输出。7.根据权利要求6所述的钢琴学习与创作系统，其特征在于，智能钢琴学习与创作系统，还包括云端分享模块，云端分享模块，分别与智能机器人引擎和智能钢琴知识库连接，用于将创造的满意作品在云端分享，分享的作品经过处理，作为智能机器人引擎的输入数据，存储在智能钢琴知识库中。8.根据权利要求7所述的钢琴学...

【专利技术属性】
技术研发人员：赵东杰，李悦，李宪，潘亚磊，
申请(专利权)人：青岛大学，
类型：发明
国别省市：