一种结合电声门图的汉语语音情感数据库的语音标注方法技术

技术编号:11637603 阅读:126 留言:0更新日期:2015-06-24 12:15
本发明专利技术提供了一种结合电声门图的汉语语音情感数据库的语音标注方法。该语音标注方法的主要标注内容包括对每条语音同时标注八层信息:第一层,文字转换层,明确说话人说话内容及相应的副语言信息;第二层,音节层,标注每个音节的正则拼音和声调;第三层,声韵母层,将音节层的声韵母分开标注,同时标明声调信息;第四层,清音浊音静音层,结合电声门图对语音的清浊静音的进行分割;第五层,副语言信息层,标注每条语音包含的副语言信息;第六层,情感层,根据说话人表达的情感状态,每条语音都标注包含有七种情感信息并标注每种情感的表达程度;第七层,重音指数层,标注每个音节发音的强度信息;第八层,语句功能层,标注每条语句的语句类型。

【技术实现步骤摘要】

本专利技术涉及,其语音标注信息较全面和详细,使用电声门图直接反应声带振动信息,减少噪声干扰,提高语音标注的准确性。
技术介绍
语音是人们在交流和表达情感的最直接的方式之一。随着人机交互和情感计算的不断发展,从语音中识别其所要表达的情感信息越来越受到国内外学者的关注。语料库是语音情感识别的基础,因此,选择合适的语料库作为语音情感分析和识别的基础,显得极为重要。对连续语音进行分割和标注,对语料库的充分利用有重要作用。近年来,国内外研宄学者以自身的科研任务为背景,分别建立多个语音情感数据库,但由于情感的复杂性,目前对情感语音数据库的建立和标注仍然没有建立统一的标准,故建立完善的数据库对语音情感的识别、语音合成等研宄具有非常重要的意义。
技术实现思路
为了进行汉语语音情感识别的研宄,本专利技术提出了,在采集语音信号的基础上,同时采集电声门图信号。电声门图直接反应声带的振动信息,避免声道调制和声音传播过程中的噪声干扰,从而提高语音标注的准确性。该语音标注方法的主要标注内容包括对每条语音同时标注八层信息,分别为:第一层,文字转换层,明确说话人说话内容及相应的副语言信息;第二层,音节层,标注每个音节的正则拼音和声调;第三层,声韵母层,将音节层的声韵母分开标注,同时标明声调信息,声调信息包含有说话人的情感信息;第四层,清音浊音静音层,结合电声门图对语音的清浊静音的进行分割,使分割更准确;第五层,副语言信息层,标注每条语音包含的副语言信息;第六层,情感层,根据说话人表达的情感状态,每条语音都标注包含有悲伤、高兴、害怕、惊讶、平静、生气、嫌恶七种情感信息并标注每种情感的表达程度;第七层,重音指数层,标注每个音节发音的强度信息;第八层,语句功能层,标注每条语句的语句类型。具体八层标注信息如下:(I)HZ (文字转换层),将听到的语音信息转换为文字信息,转换时语音及副语言信息准确转写,文字标注必须标明基本文字信息以及副语言学现象,基本标注中的副语言学现象采用社科院语言研宄所设计副语言学符号表示;(2) PY (音节层),标注正则拼音和声调,且声调标注在拼音之后;(3) SY (声母/韵母层),将音节的声母与韵母分开标注,声调标注在韵母部分;(4) SUV:清音浊音静音层,根据电声门图和语音的波形特点以及语谱图特征,对语音进行清池静音的分割和标注,并分别以S (Silence静音)、U (Unvoiced sound清音)、V (Voiced sound 池音)表不;(5)PARAL:副语言信息层,标注所在语音段的副语言信息,包括语句停顿、拖长、语气词等,可采用社科院语言研宄所设计的副语言学符号表示;(6) EMO:情感表达层,标注包含有悲伤、高兴、害怕、惊讶、平静、生气、嫌恶其中情感表达类型及每种情感的表达程度;(7) ST:重音指数层,将重音程度划分为4级(1-4),从I到4重音程度越来越强,将语音中不同的重音程度的音节用1-4进行标注;(8)FU:语句功能层,标注语音中的句子类型,分别有陈述句(declarative)、疑问句(interrogative)、感叹句(exclamatory)、祈使句(imperative)。其中,所述的第二层PY层的音节标注层中,声调直接标注在音节之后,普通话的四个声调分1,2,3,4表示,轻声用O表示,例如:音节“我”的标注为“W03”。其中,所述的第三层SY层的声韵母标注层中,将音节层的声韵母分开标注,标注实际发音。声韵母标注时,对应于音节层,将每个音节的声母,韵母以及声母和韵母中间的过渡发音进行标注,声调标注在韵母之后。普通话的四个声调分别用_1,_2,_3,_4表示,轻声用_0表不。1、其中,所述的第六层EMO情感表达层的标注中,每条语句都必须标有7种情感类型和对应的情感表达程度,标注形式为:bl g3 hi jl pi si xl,每种情感后面标注对应的情感表达程度。情感表达程度用1-5表示,表示情感表达越来越强烈,1:毫无感情;2:仅有微弱的情感;3:情感表达较明显,但不强烈;4:情感表达较强烈;5:情感表达很强烈。当情感表达程度为I和2时,认为该条语音的情感表达不好。标注时,每两种不同的情感之间要以空格键分开。其中,所述的PY层和SY层中的语音静音部分采用符号“sil”进行标注。本专利技术与现有的汉语情感语音数据库相比的优势有:1、采用双模情感语音数据库,同时包含有语音信号和电声门图信号,其中电声门图直接反应声带的振动信息,避免声带调制和声音传播过程中引起的噪声干扰,在进行语音分割时,使分割更加准确;2、标注信息全面、详细。本专利技术对语音信号进行八层信息的标注,分别为:文字转换层、音节层、声韵母层、清音静音浊音层、副语言信息层、情感层、重音指数层和语句功能层。相比于中国社会科学院语言研宄所标注的语音数据库CASS的三层标注:音节层、声韵母层、杂类曾(副语言学和非语言学现象)的标注,很显然,本专利技术的标注信息更加全面详细,同时标注信息中含有的情感相关的标注信息对语音的情感分析研宄有重要意义。【附图说明】图1为本专利技术的语音标注流程图;图2为本专利技术进行语音标注时的具体标注情况;图3为本专利技术进行语音标注时用到的部分副语言信息及相应的标注符号。【具体实施方式】下面结合附图,对本专利技术的技术方案做进一步说明。本专利技术提出了,在采集语音信号的基础上,同时采集电声门图信号,电声门图直接反应声带的振动信息,避免声道调制和声音传播过程中的噪声干扰,从而提高语音标注的准确性。该语音标注方法的主要标注内容包括对每条语音同时标注八层信息,分别为:第一层,文字转换层,明确说话人说话内容及相应的副语言信息;第二层,音节层,标注每个音节的正则拼音和声调;第三层,声韵母层,将音节层的声韵母分开标注,同时标明声调信息,声调信息包含有说话人的情感信息;第四层,清音浊音静音层,结合电声门图对语音的清浊静音的进行分割,使分割更准确;第五层,副语言信息层,标注每条语音包含的副语言信息;第六层,情感层,根据说话人表达的情感状态,每条语音都标注包含有悲伤、高兴、害怕、惊讶、平静、生气、嫌恶七种情感信息并标注每种情感的表达程度;第七层,重音指数层,标注每个音节发音的强度信息;第八层,语句功能层,标注每条语句的语句类型。本专利技术采用Praat软件进行标注。标注流程参见附图1。首先,打开Praat并导入.Wav格式的语音文件,利用语音文件新建.TextGrid文件,同时设计标注为8个标注层级并确定每个层级的表示符号;同时打开.Wav文件和.TextGrid文件,从低层级到高层及逐层添加分割时间点,并添加标注内容;最后,进行标注检验和修改并保存文件。保存的文件名和源文件名相同,其扩展名为.TextGrid 文件。语音标注具体标注要求及流程如下:(I)HZ-文字转换层,将听到的语音信息转换为文字信息,转换时语音及副语言信息准确转写,在HZ层没有分割点,标注时,副语言信息标注在对应的文字后面,中间有静音段时,标注在相对应的两个文字中间,并且副语言信息的标注符号放在中括号内;(2)PY-音节层,标注正则拼音和声调,声调在拼音之后,将两个不同的音节之间及音节和静音之间添加分割点。在对应的分割点之间标注音节和声调,声调紧跟在音节之后,普通本文档来自技高网...
一种<a href="http://www.xjishu.com/zhuanli/21/CN104732981.html" title="一种结合电声门图的汉语语音情感数据库的语音标注方法原文来自X技术">结合电声门图的汉语语音情感数据库的语音标注方法</a>

【技术保护点】
一种结合电声门图的汉语语音情感数据库的语音标注方法,其特征在于:该标注方法包括八层标注信息,依次为:(1)HZ(文字转换层),将听到的语音信息转换为文字信息,转换时语音及副语言信息准确转写;(2)PY(音节层),标注正则拼音和声调,且声调标注在拼音之后;(3)SY(声母/韵母层),将音节的声母与韵母进行分割,分开标注,声调标注在韵母部分;(4)SUV:清音浊音静音层,将语音中的清音、浊音和静音分开标注;(5)PARAL:副语言信息层,标注语音的副语言信息,包括语句停顿、拖长、语气词等,采用社科院语言研究所设计的副语言学符号进行表示;(6)EMO:情感表达层,标注包含有悲伤、高兴、害怕、惊讶、平静、生气、嫌恶七种情感表达类型及每种情感的表达程度;(7)ST:重音指数层,将重音程度划分为4级(1‑4),从1到4重音程度越来越强,将语音中不同的重音程度的音节用1‑4进行标注;(8)FU:语句功能层,标注语音中的句子类型,分别有陈述句(declarative)、疑问句(interrogative)、感叹句(exclamatory)、祈使句(imperative),将对应句式的英文单词写到标注层内。...

【技术特征摘要】

【专利技术属性】
技术研发人员:陈立江张娜娜毛峡郑嘉雷景少玲
申请(专利权)人:北京航空航天大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1