唱歌评测方法及系统技术方案

本发明专利技术涉及语音信号处理技术领域，公开了一种唱歌评测方法及系统，该方法包括：接收用户唱歌的连续语音信号；确定所述连续语音信号中每个音符的边界位置，以切分出每个音符；选择切分出的每个音符对应的音调模型，所述音调模型是预先以离线方式训练得到的；提取所述音符的音调特征；根据所述音符的音调特征、以及与所述音符相对应的音调模型计算所述音符的标准度；根据所述音符的标准度确定唱歌评测得分。利用本发明专利技术，可以提高音符匹配的客观性和准确性，提升唱歌评测系统的评测性能。

【技术实现步骤摘要】

本专利技术涉及语音信号处理
，特别涉及ー种唱歌评测方法及系统。
技术介绍
近年来，一些卡拉OK产品在用户演唱结束后给出计分，提高了娱乐互动性。传统唱歌评分系统通常采用比较用户唱歌语音数据的音高曲线及预设标准音高曲线差异的方法，通过直接计算它们基频曲线之间的误差面积大小或在利用动态时间规整(DynamicTime Warping，简称DTW)等技术对基频曲线对齐规整后计算基频曲线之间的差异来评价唱歌水平的高低。曲线差异值越大则用户唱歌数据得分越低；反之则用户唱歌数据得分越高。该方法在用户数据与标准音高曲线节奏不一致时容易导致评分过低的问题。为此，业界提出了一种基于连续语音信号切分的单独唱词片断基频标准度评估的方法。该方法首先将连续语音信号相对于各唱词单元进行对齐，随后对切分的音符语音片断的标准度进行评估，进而获知连续语音信号的标准度。通过唱词对齐实现了用户语音信号和标准參考信号的有效对应，可以使评判评分更加准确合理。显然，基于唱词对齐的音符评分系统性能的好坏主要依赖于音符对齐效果以及单独唱词片段的评分結果。音符对齐越准确以及单个唱词片段评分越客观，则整体评分结果越合理。现有技术中通常采用距离度量的方法计算单个唱词片断的标准度，即将提取的唱词片段的声学特征，如音高特征和系统预存的基于乐谱构建的音符标准音高匹配并计算差异。然而在实际应用中，用户音高往往存在波动，如通常所说的Vibration(颤音)现象；另外音高也容易受到上下文影响，在不同音符转换时存在如通常所说的Preparation(预准备)、OverShort的现象，在实际音高曲线上不是表现为自然的连接曲线，而是需要经历ー个准备过程和后续过程。在不同音符切换时，用户无法实现高低音的跳跃，而是需要经历ー个连续过程；另外相同音符在不同上下文环境中会表现出一定的差异性。可见，即使用户的音高曲线与乐谱设定的标准音高走势完全一致，但由于根据乐谱标准值设定的标准音高曲线，由于无法体现音符的上下文相关变化，无法准确细致地模拟用户音高变化曲线，用户音高变化曲线中的各种噪音干扰使得用户最终评分较低，影响到对唱歌评测的合理性。为了更好地模拟音符在不同上下文中的变化，研究人员提出了基于音高曲线拟和的方法，设定音高曲线y(t)为标准音符值h(t)和ニ阶阻尼函数f(t)的卷积加上一个误差函数e(t)，即y (t) = f (t) *h (t) +e (t)。对给定待测唱词片段，系统针对唱歌时的Preparation、OverShort> Vibration等现象采用不同的样条曲线加权拟和用户的音高曲线，并通过參数估计实现用户音高曲线的分解，得到用户真实的音高值，随后据此和预设标准值比较计算差异。这种基于音高曲线拟和的方法在计算每个音符真实音高时需要估计较多的參数值，而在音符时长有限(短的只有O. I秒)的情况下，训练数据量相对较少，因而容易过拟合导致參数估计不够鲁棒，影响系统的评测性能。
技术实现思路
本专利技术实施例提供ー种唱歌评测系统及方法，提高音符匹配的客观性和准确性，提升唱歌评测系统的评测性能。ー种唱歌评测方法，包括 接收用户唱歌的连续语音信号；确定所述连续语音信号中每个音符的边界位置，以切分出每个音符；选择切分出的每个音符对应的音调模型，所述音调模型是预先以离线方式训练得到的；提取所述音符的音调特征；根据所述音符的音调特征、以及与所述音符相对应的音调模型计算所述音符的标准度；根据所述音符的标准度确定唱歌评测得分。优选地，所述方法还包括将预先采集的歌曲训练数据切分为与不同音符对应的语音片段；按照所述语音片段对应的音符对所述语音片段归类；对每ー类语音片断，分别按时间顺序提取其中每ー个语音片断的音调特征，生成对应所述音符的特征序列；构建音调模型拓扑；对每个音符，利用该音符对应的所有训练数据的特征序列训练对应所述音调模型拓扑的參数；所述选择切分出的每个音符对应的音调模型包括选择切分出的每个音符对应的用于模拟音符的音高特征的音调模型；所述提取所述音符的音调特征包括提取每个音符的基频特征或音高特征，并将所述基频特征或音高特征作为所述音调特征。优选地，所述方法还包括将预先采集的歌曲训练数据切分为与不同音符对应的语音片段；按照所述语音片段对应的音符具有相同前后高低音转换的标准对所述语音片段归类；对每ー类语音片断，分别按时间顺序提取其中每ー语音片断的音调特征，生成对应所述音符的特征序列；构建音调模型拓扑；对每ー类具有相同前后高低音转换的音调模型，利用该音调模型对应的所有训练数据的特征序列训练对应所述音调模型拓扑的參数；所述选择切分出的每个音符对应的音调模型包括选择切分出的每个音符对应的用于模拟具有相同前后高低音转换的音高特征的音调模型；所述提取所述音符的音调特征包括提取每个音符的音高特征；计算每个音符的音高特征与其前ー个音符的标准音高的差异，并将所述差异作为所述音符的音调特征。优选地，所述确定所述连续语音信号中每个音符的边界位置包括将所述连续语音信号及其对应的歌词进行字音对齐，得到所述歌词中每个唱词对应的语音信号片断；根据所述唱词对应的乐谱确定所述语音信号片段中每个音符的边界位置。优选地，所述根据所述音符的音调特征、以及与所述音符相对应的音调模型计算所述音符的标准度包括计算所述音调特征与所述音符相对应的音调模型的相似度，并将所述相似度作为所述音符的标准度。优选地，所述根据所述音符的标准度确定唱歌评测得分包括对计算得到的所述音符的标准度进行加权平均，得到唱歌音准评分；根据所述唱词对应的连续语音信号的时间长度与所述唱词对应的标准时间长度的差异，计算唱歌节奏评分；将所述唱歌音准评分和所述唱歌节奏评分通过以下函数映射为唱歌评测得分Score = a · ToneScore+b · RhythmScore+c ；其中，Score为唱歌评测得分,ToneScore为唱歌音准评分,RhythmScore为唱歌节奏评分，a, b分别表示唱歌音准评分及唱歌节奏评分的权重，c为调整常数项。ー种唱歌评测系统，包括信号接收单元，用于接收用户唱歌的连续语音信号；音符切分単元，用于确定所述连续语音信号中每个音符的边界位置，以切分出每个音符；模型选择单元，用于选择所述音符切分単元切分出的每个音符对应的音调模型，所述音调模型是预先以离线方式训练得到的；特征提取単元，用于提取所述音符的音调特征；标准度计算单元，用于根据所述特征提取单元提取的音符的音调特征、以及与所述音符相对应的音调模型计算所述音符的标准度；得分计算单元，用于根据所述音符的标准度确定唱歌评测得分。优选地，所述系统还包括第一模型训练单元，所述第一模型训练单元包括切分子単元，用于将预先采集的歌曲训练数据切分为与不同音符对应的语音片段；第一分类子单元，用于按照所述语音片段对应的音符对所述语音片段归类；特征提取子単元，用于对每ー类语音片断，分别按时间顺序提取其中每ー语音片断的音高特征，生成对应所述音符的特征序列；模型拓扑构建子単元，用于构建音调模型拓扑；參数训练子单元，用于对每个音符，利用该音符对应的所有训练数据的特征序列 训练对应所述音调模型拓扑的參数；所述模型选择单元，具体用于选择切分出的每个音符对应的用于模拟音符的音高特征的音调模型；所述本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：蒋成林，何婷婷，胡国平，胡郁，刘庆峰，
申请(专利权)人：安徽科大讯飞信息科技股份有限公司，
类型：发明
国别省市：