声音合成装置、声音合成方法和程序制造方法及图纸

本发明专利技术的目的在于，提供能够生成合成声音的装置、方法，该合成声音具有同音乐取得协调的发声形式。声音合成装置的音乐类型推断部２１中，推断所输入的音乐信号属于的音乐类型，发声形式选择部２３中，参照发声形式信息记忆部２４，根据音乐类型决定发声形式。韵律生成部１１中，参照从韵律生成规则记忆部１５↓［１］至１５↓［Ｎ］中根据发声形式所选择的韵律生成规则记忆部，根据发音符号串产生韵律信息。单位波形选择部１２中，参照从单位波形数据记忆部１６↓［１］至１６↓［Ｎ］中根据发声形式所选择的单位波形数据记忆部，根据发音符号串和韵律信息选择单位波形。波形生成部１３中，从韵律信息和单位波形数据产生合成声音波形。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及声音合成技术，特别地，用于根据文本合成声音的声音合 成装置、声音合成方法和程序。
技术介绍
最近，随着计算机高性能化、小型化，声音合成技术在汽车导航装置、移动电话、PC、机器人等各种装置上安装并利用。伴随着对各种装置的应用的普及，利用声音合成装置的环境多样化。现有的一般的声音合成装置中，对于发音符号串(含有读、句法/词类 信息、语调类型等的文本解析结果)，韵律(例如，音调频率模式、振幅、 持续时长)生成、单位波形(例如，具有从自然声音中所提取的音调长或 音节时长程度的长度的波形)选择、波形生成处理结果原则上唯一地决定。 即，声音合成装置不管在什么样的情况和环境中，始终采用同样的发声形 式(声音的大小和发声速度、韵律、声调等)进行声音合成。但是，实际上如果观察人类的发声，即使在讲同样文本的情况下，也 是按照讲话者的情况、感情、意图等来控制发声形式。因此，始终采用同 样发声形式的现有声音合成装置未必可以说是充分地有效地利用声音这 种传播介质的特征。为解决声音合成装置的这样的问题，有人进行了按照用户环境(声音 合成装置利用者存在的场所的情况和环境)动态地改变韵律生成/单位波形 选择，由此产生适合用户环境的合成声音，改善用户使用方便的这种尝试。 例如，专利文献1中，公开了按照表示用户环境明暗和用户位置等的信息， 选择音韵/韵律的控制规则的声音合成系统的构成。另外，专利文献2中，公开了根据周围噪音的能量谱、频率分布信息， 控制辅音功率、音调频率、以及取样频率的声音合成装置的构成。更迸一步地，专利文献3中，公幵了根据包含有时间、日期、和星期的各种计时信息，控制发声速度、音调频率、音量、以及音质的声音合成 装置。下面说明构成本专利技术
技术介绍
的公开了音乐信号的分析、检索方法的 非专利文献K3。非专利文献1，公开了采用分析音乐信号的短时间振幅频谱或离散小波(wavelet)变换系数来得到音乐特征(乐器构成、节奏结 构)，从而推断音乐类型的类型推断方法。非专利文献2中，公开了采用树结构型矢量量化法，根据音乐信号的 Mel频率推断音乐类型的音乐类型推断方法。非专利文献3中，公开了采用频谱的直方图进行相似度计算、检索音 乐信号的方法。专利文献1:日本特开第3595041号公报专利文献2:日本特开平11-15495号公报专利文献3:日本特开平11-161298号公报非专禾lj文献 1: Tzanetakis, Essl， Cook: Automatic Musical Genre Classification of Audio Signals, Proceedings of ISMIR 2001, pp.205画210， 2001.非专禾U文献2: Hoashi, Matsumoto, Inoue: Personalization of User Profiles for Content-based Music Retrieval Based on Relevance Feedback, Proceedings of ACM Multimedia 2003， pp. 110-119， 2003.非专利文献3:木村、他「夕、'口一,/&枝刈D^導入L/i音々映像 O高速探索j ，電子情報通信学会論文誌D-n, Vol. J85-D-n， No. 10, pp.l552-1562，2002年10月为了吸引听众的注意以及让讯息给听众以深刻印象的目的， 一般和自 然声音一起播送BGM (background music,以下称为BGM)。例如，电视 和收音机的新闻、信息提供节—目，大多在解说背景中播送BGM。如果分析该节目，虽然有些是按照说话者的发声形式选择BGM，特 别是该BGM属于的音乐类型，但也能够发现在说话者方面采用了意识到 BGM的说话方式。例如，天气预报和交通信息中，伴随容易倾听的平稳 曲调的BGM， 一般用平稳语调进行广播。但是，即使是相同的内容，在特定节目中和实况转播等中，常常以有张力的声音进行广播。并且在带着悲哀朗读诗的时候，将布鲁士舞曲音乐作为BGM使用， 说话者也进行含有感情的朗读。此外还能够看出想要演出神秘气氛的情况 下选择宗教音乐，快活的语调的情况下选择流行歌曲音乐这样的关系。另一方面，利用上述种类声音合成装置的环境多样化，将含有上述BGM的各种音乐进行再现的场所(用户环境)中，尽管输出合成声音的机会变多，包含有上述专利文献1等中记载的技术方案的现有声音合成装 置中，在控制合成声音的发声形式方面，由于不能考虑用户环境中存在的 音乐，存在发声形式与周围的音乐不能协调的问题。
技术实现思路
本专利技术，是鉴于上述情况而产生的专利技术，其目的在于，提供声音合成 装置、声音合成方法以及程序，能够合成与用户环境中存在的音乐协调的声音。根据本专利技术的第l个观点，提供一种声音合成装置，其特征在于，按 照所输入的音乐信号自动选择发声形式。更具体地，上述声音合成装置具备分析音乐信号并决定适合该音乐信号分析结果的发声形式的发声形式 选择部；和按照上述发声形式合成声音的声音合成部。根据本专利技术的第2个观点，提供一种采用声音合成装置产生合成声音的声音合成方法，其特征在于，包含有上述声音合成装置分析所输入的音乐信号并决定适合该音乐信号的分析结果的发声形式的步骤；和上述音乐合成装置按照上述发声形式合成声音的步骤。根据本专利技术的第3个观点，提供一种在构成声音合成装置的计算机上执行的程序和保存该程序的记录介质，该程序在上述计算机上执行下列处理分析所输入的音乐信号，从预先所准备的发声形式中，决定适合上述音乐信号分析结果的发声形式的处理；和按照上述发声形式合成声音的处理。根据本专利技术，能够采用同用户环境BGM等音乐取得协调的发声形式 而产生合成声音。结果，能够输出可以吸引用户注意的合成声音、以及不 破坏BGM具有的气氛和倾听BGM的用户的情绪的合成声音。附图说明图1是对涉及本专利技术第1实施方式的声音合成装置的构成进行示意的 框图。图2是对涉及本专利技术第1实施方式的声音合成装置中使用的音乐类型 与发声形式以及发声形式参数之间的关系进行定义的表的一个例子。图3是用于对涉及本专利技术第1实施方式的声音合成装置的工作进行说 明的流程图。图4是对涉及本专利技术第2实施方式的声音合成装置的构成进行示意的 框图。图5是对涉及本专利技术第2实施方式的声音合成装置中使用的音乐类型 与发声形式以及发声形式参数之间的关系进行定义的表的一个例子。图6是用于对涉及本专利技术第2实施方式的声音合成装置的工作进行说 明的流程图。图7是对涉及本专利技术第3实施方式的声音合成装置的构成进行示意的 框图。图8是用于对涉及本专利技术第3实施方式的声音合成装置的工作进行说 明的流程图。图9是对涉及本专利技术第4实施方式的声音合成装置的构成进行示意的 框图。图10是用于对涉及本专利技术第4实施方式的声音合成装置的工作进行 说明的流程图。 符号说明 11韵律生成部 12单位波形选择部 13波形生成部15, ~15N韵律生成规则记忆部16, 16N单位波形数据记忆部 17合成声音功率调整部18合成声音功率计算部19音乐信号功率计算部21音乐类型推断部23、 27发声形式选择部24、 28发声形式信息记忆部 31本文档来自技高网...

【技术保护点】
一种声音合成装置，其特征在于：　具有：　分析音乐信号并决定适合该音乐信号分析结果的发声形式的发声形式选择部；和　根据上述发声形式合成声音的声音合成部，　按照所输入的音乐信号自动选择发声形式。

【技术特征摘要】
【国外来华专利技术】JP 2006-2-8 031442/20061. 一种声音合成装置，其特征在于具有分析音乐信号并决定适合该音乐信号分析结果的发声形式的发声形式选择部；和根据上述发声形式合成声音的声音合成部，按照所输入的音乐信号自动选择发声形式。2. 根据权利要求1所述的声音合成装置，其特征在于 上述声音合成部具有根据上述发声形式产生韵律信息的韵律生成部；和 根据上述发声形式选择单位波形的单位波形选择部。3. 根据权利要求1所述的声音合成装置，其特征在于 上述声音合成部具有记忆每个发声形式的韵律生成规则的韵律生成规则记忆部； 按每个发声形式记忆单位波形的单位波形记忆部；参照根据上述发声形式所选择的韵律生成规则，根据发音符号串产生 韵律信息的韵律生成部；从单位波形记忆部中所记忆的单位波形中选择对应上述发音符号串 和上述韵律信息的单位波形的单位波形选择部；和根据上述韵律信息合成上述单位波形而产生合成声音波形的波形生 成部。4. 根据权利要求1至3的任一个所述的声音合成装置，其特征在于 还具有从关联音乐和其属性并记忆的音乐属性信息记忆部，检索与所输入的音乐信号的分析结果相对应的数据，推断上述所输入的音乐的属性 的音乐属性信息检索部，上述发声形式选择部，通过选择与上述所输入的音乐的属性相对应的 发声形式，来决定上述发声形式。5. 根据权利要求1至3的任一个所述的声音合成装置，其特征在于具有分析上述音乐信号并推断上述音乐属于的音乐类型的音乐类型 推断部，上述发声形式选择部，通过选择与上述音乐类型相对应的发声形式， 来决定上述发声形式。6. 根据权利要求1至3的任一个所述的声音合成装置，其特征在于 还具有关联音乐信号和属性信息并记忆的音乐数据记忆部； 对上述音乐数据记忆部中所保存的音乐信号进行再现的音乐再现部；和参照上述音乐数据记忆部，取得所再现的音乐的属性信息的再现音乐 信息取得部，上述发声形式选择部根据上述属性信息决定发声形式。7. 根据权利要求6所述的声音合成装置，其特征在于 上述发声形式选择部，根据上述属性信息中包含有的音乐类型决定上述发声形式。8. 根据权利要求1至7的任一个所述的声音合成装置，其特征在于 还具有按照上述音乐信号的功率，对根据上述发声形式所产生的上述合成声音波形的功率进行调整的合成声音功率调整部。9. 根据权利要求1至7的任一个所述的声音合成装置，其特征在于还具有分析上述音乐信号而求出音乐信号功率的音乐信号功率计算部；和 分析上述合成声音波形而求出合成声音的功率的合成声音功率计算部；禾n '参照预先按每个发声形式设定的上述音乐信号的功率和上述合成声 音的功率的比率，从而按照上述音乐信号的功率，对根据上述发声形式所 产生的上述合成声音波形的功率进行调整的合成声音功率调整部。10. —种声音合成方法，使用声音合成装置而产生合成声音，包括 上述声音合成装置，分析所输入的音乐信号，决定适合该音乐信号分析结果的发声形式的步骤；和上述声音合成装置根据上述发声形式合成声音的步骤。11. 根据权利要求IO所述的声音合成方法，其特征在于还包括上述声音合成装置根据上述发声形式产生韵律信息的步骤；和 上述声音合成装置根据上述发声形式选择单位波形的步骤， 上述声音合成装置釆用上述韵律信息和上述单位波形合成声音。12. 根据权利要求10所述的声音合成方法，其特征在于 上述声音合成装置根据上述发声形式合成声音的步骤，含有， 上述声音合成装置，参照从韵律生成规则记忆部中所记忆的韵律生成规则中按照上述发声形式所选择的韵律生成规则，根据发音符号串产生韵 律信息的步骤；和上述声音合成装置从按上述发声形式所准备的单位波形中，选择与上 述发音符号串和上述韵律信息相对应的单位波形的步骤；和上述声音合成装置根据上述韵律信息合成上述单位波形并产生合成 声音波形的步骤。13. 根据权利要求10至12的任一个所述的声音合成方法，其特征在于还包括上述声音合成装置从关联音乐和其属性并记忆的音乐属性信 息记忆部，检索与所输入的音乐信号的分析结果相对应的数据，并对上述 所输入的音乐的属性进行推断的步骤，通过选择与上述所输入的音乐信号的属性相对应...

【专利技术属性】
技术研发人员：加藤正德，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：JP[日本]