一种音频合成系统、方法及其电子设备和云服务器技术方案

本发明专利技术提供一种音频合成系统、方法及其电子设备和云服务器，音频合成系统包括：电子设备和云服务器；电子设备用于选择演奏信息；将实时获取的演奏事件上传至云服务器，或将获取的多个演奏事件组合成演奏事件文件上传至云服务器；其中，演奏事件包括在演奏曲目信息下演奏音符和演奏时间的关系。云服务器与电子设备通过网络连接，用于接收演奏信息、演奏事件/演奏事件文件，并依据演奏事件将与之对应的音色样本合成为音频流，或依据演奏事件文件将与之对应的音频样本合成压缩解码为音频文件；其中，音色样本是与音色信息和演奏事件/演奏事件文件相关。本发明专利技术缩短了音频合成时间，节省了网络上传时间，且突出了演奏乐器的音轨，防止了音色失真。

【技术实现步骤摘要】

本专利技术涉及一种音频文件的处理方法，特别是涉及一种将演奏事件文件转换为音频文件的音频合成系统、方法及其电子设备和云服务器。
技术介绍
目前，应用于移动终端(手机、PAD等等)的演奏类和演唱类的分享软件已经越来越为大众所熟知，例如唱吧等程序。其通过在电子设备合成音频文件，并将音频文件利用朋友圈或QQ等交互类软件实现音频文件的分享。通常情况下，类似与“唱吧”的软件是通过安装在客户端的APP(Application，应用)进行用户演唱的录制，并将录制的演唱结果与背景音乐合成，最终将客户端合成后生成的音频文件上传至服务器。采用此种软件，音频文件合成速度慢，耗时较长。其中音频文件的合成速度与硬件运算性能息息相关。由于移动终端的硬件载体的CPU和内存配置有限，音频文件在合成过程中，内存占用率非常高，甚至于导致移动终端的APP程序崩溃。因此，移动终端的配置大大影响了音频文件合成的时间和稳定性。并且，将音频文件其上传至服务器时耗时会比较长。音频文件的体积较大，一般都以MByte级别计算，再加上网络线路传输的不稳定性，因此，在分享前，需经过音频合成和网络上传两个环节，现有技术下，需要等待较长的时间，影响分享的体验。此外，还存在一些多功能的乐器，其具备一种内录功能，其支持在乐器发声的同时，直接将音频文件上传至服务器。由于该种乐器在演奏的同时生成音频文件，其节省了合成音频文件的时间，但是同样地，再将音频文件上传至服务器时，同样会出现网络上传时间过长的问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种音频合成系统、方法及其电子设备和云服务器，用于解决现有技术中音频文件合成、上传分享时，耗时过长且不稳定的问题。为实现上述目的及其他相关目的，本专利技术提供一种音频合成系统，所述音频合成系统包括：电子设备和云服务器；其中，所述电子设备，用于选择演奏信息，并依据演奏信息实时获取演奏事件，并将演奏信息和实时获取的演奏事件向云服务器上传；其中，演奏信息包括演奏曲目信息和音色信息；演奏事件包括在演奏曲目信息下演奏音符和演奏时间的关系；所述云服务器与所述电子设备通过网络连接，用于实时接收演奏信息和演奏事件，并将演奏事件和对应的音色样本实时合成为音频流；其中，音色样本是与演奏事件和音色信息相关。于本专利技术的一实施例中，所述电子设备还用于将获取的多个演奏事件组合保存为演奏事件文件，并将演奏事件文件发送至所述云服务器；所述云服务器还用于接收演奏事件文件，依据演奏信息和演奏事件文件将与之对应的音色样本合成为音频文件。于本专利技术的一实施例中，演奏事件为MIDI消息；演奏事件文件为MIDI文件。于本专利技术的一实施例中，所述云服务器内预存曲谱信息库和音色采样库；且所述曲谱信息库中保存有：演奏曲目信息和演奏曲谱；所述音色采样库中保存有：音色信息和音色样本。于本专利技术的一实施例中，所述云服务器实时接收演奏事件和演奏信息；依据演奏事件和音色信息，在所述音色采样库中提取对应的音色样本，并将提取的音色样本实时合成为音频流。于本专利技术的一实施例中，所述云服务器接收演奏信息和演奏事件文件；解析演奏事件文件；依据解析的演奏事件文件和音色信息，在所述音色采样库中提取对应的音色样本，并将提取的音色样本对应合成并压缩解码为音频文件。于本专利技术的一实施例中，所述云服务器的所述曲谱信息库中还保存有背景音乐，所述背景音乐与所述演奏曲目信息相关。于本专利技术的一实施例中，所述云服务器实时接收演奏事件和演奏信息；提取对应的背景音乐；同步演奏事件和背景音乐；依据演奏事件和音色信息，在所述音色采样库中提取对应的音色样本，并将提取的音色样本和背景音乐实时合成为音频流。于本专利技术的一实施例中，所述云服务器接收演奏事件文件和演奏信息；提取对应的背景音乐；解析演奏事件文件，并与背景音乐进行同步；依据解析的所述演奏事件文件和所述音色信息，在所述音色采样库中提取对应的音色样本，并将提取的背景音乐和音色样本对应合成并压缩解码为音频文件。本专利技术还公开了一种音频合成方法，应用于与电子设备通过网络连接的云服务器；所述音频合成方法包括：接收来自所述电子设备的演奏信息；其中，演奏信息包括演奏曲目信息和音色信息；实时接收演奏事件或演奏事件文件，其中，演奏事件文件由演奏事件组成，演奏事件包括在演奏曲目信息下演奏音符和演奏时间的关系；在音色采样库中提取对应的音色样本；依据演奏事件将提取的音色样本实时合成为音频流；或依据演奏事件文件将提取的音色样本合成并压缩解码为音频文件。于本专利技术的一实施例中，所述依据演奏事件将提取的音色样本实时合成为音频流；或依据演奏事件文件将提取的音色样本合成并压缩解码为音频文件的步骤还包括：演奏音量处理以及防止破音处理。于本专利技术的一实施例中，所述实时接收演奏事件或演奏事件文件的步骤中，当接收的为演奏事件文件时，要对演奏事件文件进行解析。于本专利技术的一实施例中，所述在音色采样库中提取对应的音色样本的步骤还包括：依据演奏信息提取对应的背景音乐。于本专利技术的一实施例中，所述依据演奏事件将提取的音色样本实时合成为音频流；或依据演奏事件文件将提取的音色样本合成并压缩解码为音频文件的步骤包括：将演奏事件或演奏事件文件与背景音乐同步：相对于背景音乐的绝对时间点，获得演奏事件或演奏事件文件的演奏特征值；依据演奏事件将提取的音色样本和背景音乐实时合成为音频流；或依据演奏事件文件将提取的音色样本和背景音乐合成并压缩解码为音频文件。于本专利技术的一实施例中，所述背景音乐为MP3格式，那么音频文件的合成压缩解码包括：将背景音乐按照MP3帧进行分割；对于每一个MP3帧，依据该MP3帧对应的演奏特征值和音色信息提取音色样本；合成提取的音色样本和背景音乐的该MP3帧；将背景音乐的所有MP3帧和对应的音色样本全部合成后，并压缩解码获得所述音频文件。于本专利技术的一实施例中，所述依据演奏事件将提取的音色样本和背景音乐实时合成为音频流；或依据演奏事件文件将提取的音色样本和背景音乐合成并压缩解码为音频文件的步骤还包括：相对音量调节、演奏音量处理以及防止破音处理。于本专利技术的一实施例中，所述演奏事件为MIDI消息；所述演奏事件文件为MIDI文件。于本专利技术的一实施例中，所述音频合成方法还包括：向所述电子设备实时发送合成的音频流或音频文件。本专利技术还公开了一种云服务器，其与电子设备通过网络连接，所述云服务器包括：传输模块，用于实现与所述电子设备之间的数据传输；其中，所述数据传输包括：接收所述电子设备上传的演奏信息，实时接收所述电子设备上传的演奏事件或演奏事件文件，以及向所述电子设备发送演奏曲谱和音频流/音频文件；其中，演奏信息包括演奏曲目信息和音色信息；演奏事件文件由演奏事件组成，演奏事件包括在演奏曲目信息下演奏音符和演奏时间的关系；存储模块，用于保存曲谱信息库、音色采样库；提取模块，用于所述存储模块中提取演奏曲谱和音色样本；合成模块，用于依据演奏事件将提取的音色样本实时合成为音频流；或依据演奏事件文件将提取的音色样本合成并压缩解码为音频文件。于本专利技术的一实施例中，所述传输模块还包括解析子模块，用于对接收的演奏事件文件进行解析。于本专利技术的一实施例中，所述提取模块还包括依据演奏信息从所述存储模块中提取背景音乐；所述合成模块用于依据演奏事件将提取本文档来自技高网...

【技术保护点】
一种音频合成系统，其特征在于，所述音频合成系统包括：电子设备和云服务器；其中，所述电子设备，用于选择演奏信息，并依据演奏信息实时获取演奏事件，并将演奏信息和实时获取的演奏事件向云服务器上传；其中，演奏信息包括演奏曲目信息和音色信息；演奏事件包括在演奏曲目信息下演奏音符和演奏时间的关系；所述云服务器与所述电子设备通过网络连接，用于实时接收演奏信息和演奏事件，并将演奏事件和对应的音色样本实时合成为音频流；其中，音色样本是与演奏事件和音色信息相关。

【技术特征摘要】
1.一种音频合成系统，其特征在于，所述音频合成系统包括：电子设备和云服务器；其中，所述电子设备，用于选择演奏信息，并依据演奏信息实时获取演奏事件，并将演奏信息和实时获取的演奏事件向云服务器上传；其中，演奏信息包括演奏曲目信息和音色信息；演奏事件包括在演奏曲目信息下演奏音符和演奏时间的关系；所述云服务器与所述电子设备通过网络连接，用于实时接收演奏信息和演奏事件，并将演奏事件和对应的音色样本实时合成为音频流；其中，音色样本是与演奏事件和音色信息相关。2.根据权利要求1所述的音频合成系统，其特征在于：所述电子设备还用于将获取的多个演奏事件组合保存为演奏事件文件，并将演奏事件文件发送至所述云服务器；所述云服务器还用于接收演奏事件文件，依据演奏信息和演奏事件文件将与之对应的音色样本合成为音频文件。3.根据权利要求1所述的音频合成系统，其特征在于：演奏事件为MIDI消息；演奏事件文件为MIDI文件。4.根据权利要求2所述的音频合成系统，其特征在于：所述云服务器内预存曲谱信息库和音色采样库；且所述曲谱信息库中保存有：演奏曲目信息和演奏曲谱；所述音色采样库中保存有：音色信息和音色样本。5.根据权利要求4所述的音频合成系统，其特征在于：所述云服务器实时接收演奏事件和演奏信息；依据演奏事件和音色信息，在所述音色采样库中提取对应的音色样本，并将提取的音色样本实时合成为音频流。6.根据权利要求4所述的音频合成系统，其特征在于：所述云服务器接收演奏信息和演奏事件文件；解析演奏事件文件；依据解析的演奏事件文件和音色信息，在所述音色采样库中提取对应的音色样本，并将提取的音色样本对应合成并压缩解码为音频文件。7.根据权利要求4所述的音频合成系统，其特征在于：所述云服务器的所述曲谱信息库中还保存有背景音乐，所述背景音乐与所述演奏曲目信息相关。8.根据权利要求7所述的音频合成系统，其特征在于：所述云服务器实时接收演奏事件和演奏信息；提取对应的背景音乐；同步演奏事件和背景音乐；依据演奏事件和音色信息，在所述音色采样库中提取对应的音色样本，并将提取的音色样本和背景音乐实时合成为音频流。9.根据权利要求7所述的音频合成系统，其特征在于：所述云服务器接收演奏事件文件和演奏信息；提取对应的背景音乐；解析演奏事件文件，并与背景音乐进行同步；依据解析的所述演奏事件文件和所述音色信息，在所述音色采样库中提取对应的音色样本，并将提取的背景音乐和音色样本对应合成并压缩解码为音频文件。10.一种音频合成方法，其特征在于：应用于与电子设备通过网络连接的云服务器；所述音频合成方法包括：接收来自所述电子设备的演奏信息；其中，演奏信息包括演奏曲目信息和音色信息；实时接收演奏事件或演奏事件文件，其中，演奏事件文件由演奏事件组成，演奏事件包括在演奏曲目信息下演奏音符和演奏时间的关系；在音色采样库中提取对应的音色样本；依据演奏事件将提取的音色样本实时合成为音频流；或依据演奏事件文件将提取的音色样本合成并压缩解码为音频文件。11.根据权利要求10所述的音频合成方法，其特征在于：所述依据演奏事件将提取的音色样本实时合成为音频流；或依据演奏事件文件将提取的音色样本合成并压缩解码为音频文件的步骤还包括：演奏音量处理以及防止破音处理。12.根据权利要求10所述的音频合成方法，其特征在于：所述实时接收演奏事件或演奏事件文件的步骤中，当接收的为演奏事件文件时，要对演奏事件文件进行解析。13.根据权利要求10所述的音频合成方法，其特征在于：所述在音色采样库中提取对应的音色样本的步骤还包括：依据演奏信息提取对应的背景音乐。14.根据权利要求13所述的音频合成方法，其特征在于：所述依据演奏事件将提取的音色样本实时合成为音频流；或依据演奏事件文件将提取的音色样本合成并压缩解码为音频文件的步骤包括：将演奏事件或演奏事件文件与背景音乐同步：相对...

【专利技术属性】
技术研发人员：蔡志康，
申请(专利权)人：得理电子上海有限公司，
类型：发明
国别省市：上海;31