电子乐器、电子乐器的控制方法以及存储介质技术

本发明专利技术提供一种电子乐器、电子乐器的控制方法以及存储介质。该电子乐器包含：多个操作元件，其分别对应于不同的音高数据；存储器，其存储有通过对包含学习用歌词数据以及学习用音高数据的学习用乐谱数据、与学习用乐谱数据对应的某歌手的学习用歌声数据进行机器学习而得到的已学习声学模型，该已学习声学模型通过输入任意的歌词数据和任意的音高数据来输出某歌手的歌声的声学特征量数据；至少一个处理器，至少一个处理器根据针对某个操作元件的用户操作，将任意的歌词数据以及与某个操作元件对应的音高数据输入给已学习声学模型，根据已学习声学模型基于输入而输出的某歌手的歌声的声学特征量数据，输出推论了某歌手的歌声的推论歌声数据。

Control method and storage medium of electronic instrument and electronic instrument

【技术实现步骤摘要】
电子乐器、电子乐器的控制方法以及存储介质
本专利技术涉及一种根据键盘等的操作元件的操作对歌声进行再生的电子乐器、电子乐器的控制方法以及存储介质。
技术介绍
以往，已知一种电子乐器，其通过将已录音的语音片段进行连接并加工的片段拼接型的合成方式来输出语音合成后的歌声(例如专利文献1)。然而，也可以被称为PCM(PulseCodeModulation：脉冲编码调制)方式的延长的该方式在开发时需要长时间的录音作业，此外，需要进行将已录音的语音片段之间平滑地连接的复杂的计算处理、使其成为自然的歌声的调整。专利文献1：日本特开平9-050287
技术实现思路
在一方式的电子乐器中，包含：多个操作元件，其分别对应于相互不同的音高数据；存储器，其存储有通过对包含学习用歌词数据以及学习用音高数据的学习用乐谱数据、与所述学习用乐谱数据对应的某歌手的学习用歌声数据进行机器学习而得到的已学习声学模型，该已学习声学模型通过输入任意的歌词数据和任意的音高数据来输出所述某歌手的歌声的声学特征量数据；以及至少一个处理器，所述至少一个处理器根据针对所述多个操作元件中的某个操作元件的用户操作，将任意的歌词数据以及与所述某个操作元件对应的音高数据输入给所述已学习声学模型，并且根据所述已学习声学模型基于输入而输出的所述某歌手的歌声的声学特征量数据，输出推论了所述某歌手的歌声的推论歌声数据。根据本专利技术，发出已学习声学模型306推论出的某歌手的歌声，因此不需要为了开发而进行数十小时的长时间的歌声录音作业，此外，不需要为了发音而进行用于将已录音的语音片段之间平滑地连接的复杂的计算处理以及用于使其成为自然的歌声的调整。附图说明图1是表示电子键盘乐器的一实施方式的外观例的图。图2是表示电子键盘乐器的控制系统的一实施方式的硬件结构例的框图。图3是表示语音学习部以及语音合成部的结构例的框图。图4是统计性语音合成处理的第一实施方式的说明图。图5是统计性语音合成处理的第二实施方式的说明图。图6是表示本实施方式的数据结构例的图。图7是表示本实施方式的电子乐器的控制处理例子的主流程图。图8是表示初始化处理、乐曲速度变更处理以及歌曲开始处理的详细例子的流程图。图9是表示开关处理的详细例子的流程图。图10是表示自动演奏中断处理的详细例子的流程图。图11是表示歌曲再生处理的详细例子的流程图。具体实施方式以下，参照附图对用于实施本专利技术的方式进行详细说明。图1是表示电子键盘乐器的一实施方式100的外观例的图。电子键盘乐器100具备：键盘101，其由作为演奏操作元件的多个键组成；第一开关面板102，其用于指示音量的指定、歌曲再生的乐曲速度(tempo)设定、歌曲再生开始、伴奏再生等各种设定；第二开关面板103，其用于进行歌曲或伴奏的选曲、音色的选择等；以及用于显示歌曲再生时的歌词、乐谱、各种设定信息的LCD(LiquidCrystalDisplay：液晶显示器)104等。此外，虽然未特别进行图示，但电子键盘乐器100在底面、侧面或者背面等具备发出通过演奏而产生的乐音的扬声器。图2是表示图1的电子键盘乐器100的控制系统200的一实施方式的硬件结构例的图。在图2中，控制系统200的CPU(中央运算处理装置)201、ROM(只读存储器)202、RAM(随机存取存储器)203、音源LSI(大规模集成电路)204、语音合成LSI205、连接图1的键盘(包含第一操作元件和第二操作元件的多个操作元件)101、第一开关面板102以及第二开关面板103的键扫描器206、以及连接图1的LCD104的LCD控制器208分别与系统总线209连接。此外，用于控制自动演奏的顺序的计时器210与CPU201连接。并且，从音源LSI204以及语音合成LSI205分别输出的乐音输出数据218以及推论歌声数据217通过D/A转换器211、212分别被转换为模拟乐音输出信号以及模拟歌声语音输出信号。模拟乐音输出信号以及模拟歌声语音输出信号在混合器213被混合，在通过放大器214对该混合信号进行放大后，从未特别图示的扬声器或输出端子输出。当然，也可以将音源LSI204和语音合成LSI205整合为一个LSI。此外，也可以将作为数字信号的乐音输出数据218以及推论歌声数据217通过混合器进行混合后，通过D/A转换器转换为模拟信号。CPU201一边将RAM203作为工作存储器使用一边执行在ROM202中存储的控制程序，由此执行图1的电子键盘乐器100的控制动作。此外，在ROM202中除了上述控制程序以及各种固定数据外，还存储包含歌词数据以及伴奏数据的音乐数据。此外，在作为存储器的ROM202中预先存储了各旋律音高数据215d，其用于表示使用户操作的各操作元件；各歌声输出定时数据215c，其用于表示分别输出所述各旋律音高数据215d所示的音高的歌声的输出定时；各歌词数据215a，其分别与所述各旋律音高数据215d对应。在CPU201安装有在本实施方式中使用的计时器210，例如对电子键盘乐器100的自动演奏的行进进行计数。音源LSI204按照来自CPU201的发音控制指示，例如从未特别图示的波形ROM读出乐音波形数据，并输出到D/A转换器211。音源LSI204具有同时振动发出最多256个音(256-voicepolyphony)的能力。当作为歌声数据215从CPU201赋予了歌词数据215a、音高数据215b或旋律音高数据215d时，语音合成LSI205将与之对应的歌声的语音数据进行合成，并输出到D/A转换器212。歌词数据215a和旋律音高数据215d预先存储在ROM202中。作为音高数据，向语音合成LSI205输入预先存储在ROM202中的所述旋律音高数据215d或通过用户操作按键而实时得到的音符编号的音高数据215b。即，当在预定的定时存在用户的按键操作时，以进行了按键操作的键101所对应的音高来发出所推论的歌声，当在预定的定时没有用户的按键操作时，以ROM202中存储的存储器音高数据215d所示的音高发出所推论的歌声。键扫描器206始终扫描图1的键盘101的按键/离键状态、第一开关面板102以及第二开关面板103的开关操作状态，对CPU201施加中断来传递状态变化。LCD控制器609是控制LCD505的显示状态的IC(集成电路)。图3是表示本实施方式的语音合成部、声学效果附加部以及语音学习部的结构例的框图。在此，语音合成部302以及声学效果附加部320作为图2的语音合成LSI205执行的一个功能而内置在电子键盘乐器100中。将CPU201根据经由图2的键扫描器206而检测到的图1的键盘101的按键操作而指示的音高数据215b与歌词数据215a一起输入给语音合成部302，由此语音合成部302合成并输出输出数据321。在没有键盘101的按键操作从而CPU201未指示音高数据215b的情况下，向语本文档来自技高网...

【技术保护点】
1.一种电子乐器，其特征在于，包含：/n多个操作元件(101)，其分别对应于相互不同的音高数据；/n存储器(202)，其存储有通过对包含学习用歌词数据(311a)以及学习用音高数据(311b)的学习用乐谱数据(311)、与所述学习用乐谱数据(311)对应的某歌手的学习用歌声数据(312)进行机器学习而得到的已学习声学模型(306)，该已学习声学模型(306)通过输入任意的歌词数据(215a)和任意的音高数据(215b)来输出所述某歌手的歌声的声学特征量数据(317)；以及/n至少一个处理器(205)，/n所述至少一个处理器(205)根据针对所述多个操作元件(101)中的某个操作元件的用户操作，将任意的歌词数据(215a)以及与所述某个操作元件对应的音高数据(215b)输入给所述已学习声学模型(306)，并且根据所述已学习声学模型(306)基于输入而输出的所述某歌手的歌声的声学特征量数据(317)，输出推论了所述某歌手的歌声的推论歌声数据(217)。/n

【技术特征摘要】
20180621 JP 2018-1180551.一种电子乐器，其特征在于，包含：
多个操作元件(101)，其分别对应于相互不同的音高数据；
存储器(202)，其存储有通过对包含学习用歌词数据(311a)以及学习用音高数据(311b)的学习用乐谱数据(311)、与所述学习用乐谱数据(311)对应的某歌手的学习用歌声数据(312)进行机器学习而得到的已学习声学模型(306)，该已学习声学模型(306)通过输入任意的歌词数据(215a)和任意的音高数据(215b)来输出所述某歌手的歌声的声学特征量数据(317)；以及
至少一个处理器(205)，
所述至少一个处理器(205)根据针对所述多个操作元件(101)中的某个操作元件的用户操作，将任意的歌词数据(215a)以及与所述某个操作元件对应的音高数据(215b)输入给所述已学习声学模型(306)，并且根据所述已学习声学模型(306)基于输入而输出的所述某歌手的歌声的声学特征量数据(317)，输出推论了所述某歌手的歌声的推论歌声数据(217)。


2.根据权利要求1所述的电子乐器，其特征在于，
所述存储器包含表示用户操作的各操作元件的各旋律音高数据(215d)、表示分别输出所述各旋律音高数据(215d)所示的音高的歌声的输出定时的各歌声输出定时数据(215c)、分别与所述各旋律音高数据(215d)对应的各歌词数据(215a)，
在与所述歌声输出定时数据(215c)所示的所述输出定时相符地进行了用于发出歌声的用户操作的情况下，所述至少一个处理器(205)对所述已学习声学模型(306)输入与所述用户操作的操作元件对应的音高数据(215b)以及与所述输出定时对应的歌词数据(215a)，并且根据所述已学习声学模型(306)基于输入而输出的声学特征量数据(317)，与所述输出定时相符地输出推论了所述某歌手的歌声的推论歌声数据(217)，
在没有与所述歌声输出定时数据(215c)所示的输出定时相符地进行用于发出歌声的用户操作的情况下，所述至少一个处理器(205)对所述已学习声学模型(306)输入与所述输出定时对应的旋律音高数据(215d)以及与所述输出定时对应的歌词数据(215a)，并且根据所述已学习声学模型(306)基于输入而输出的声学特征量数据(317)，与所述输出定时相符地输出推论了所述某歌手的歌声的推论歌声数据(217)。


3.根据权利要求1或2所述的电子乐器，其特征在于，
所述某歌手的歌声的声学特征量数据(317)包含将所述某歌手的声道模型化的频谱数据(318)以及将所述某歌手的声带模型化的音源数据(319)，
所述至少一个处理器(205)根据所述频谱数据(318)和所述音源数据(319)，输出推论了所述某歌手的歌声的所述推论歌声数据(217)。


4.根据权利要求1至3中的任意一项所述的电子乐器，其特征在于，
至少通过深度神经网络以及隐马尔可夫模型中的任意一个对所述已学习声学模型(306)进行了机器学习(305)。


5.根据权利要求1至4中的任意一项所述的电子...

【专利技术属性】
技术研发人员：段城真，太田文章，濑户口克，中村厚士，
申请(专利权)人：卡西欧计算机株式会社，
类型：发明
国别省市：日本;JP