基于语音分析的说话者表征制造技术

本发明专利技术公开了一种用于通过对说话者在某一特定环境和背景下的语音语调进行分析以确定说话者在所述特定环境和背景下的当前行为、心理和说话风格特征的计算机执行方法、数据处理系统、装置和计算机程序产品。所述分析计算了语音语调的包含有语调和振幅参数的基本语音参数的特有的二阶导数，并将这些特有参数与已得到的标示不同行为、心理和说话风格特征的参考语音数据相比较。本方法包括所述语音参数参考分类数据库的构成，以及对说话者的语音语调的分析以确定所述说话者在特定的环境里的当前行为、心理和说话风格的特征。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及语音分析领域，特别是使用语音的韵律特征判断人在特定环境下的行 为、心理和语言风格特征。
技术介绍
语音分析是用于处理人类语音以揭露其意义的电脑化方法的一个统称。语音分析 通常归类于语言科学中的语音学的一部分。语音分析可以分为两种主要的方法第一种方法致力于通过学习文字、音节和音 素的发音和句子的排列来揭露语音内容。许多语音识别应用，比如“语音文字转换”或者“文 字识别”，均使用了此方法来提取语音的内容。第二种方法为语音的韵律分析，其致力于分析语音的非音段(非词语、非内容)的 特征，比如语调、语速、感情的强烈程度、重音和节奏，以研究人们的说话方式。这里所述的说话方式提供了语音的“旋律”，所述“旋律”有助于深入理解语音的 整体意义和背景。比如，人们通过一个句尾的升调来感知一个问句。腔调是经典的关于韵 律语音参数如何改变说话发音的一个例子。演员们改变他们的腔调使其听起来象是某个角 色。韵律还存在着性别差异，例如，女性通常有比男性更高频率的声调。许多时候，韵律特 征改变了言语的意思我们可以通过改变发音方式(韵律)将一个同样的句子演绎成带有怀 疑、讽刺或者其它简单意思的句子。说话语调的韵律特征还包含了关于讲话者的情感信息。这可以在这些年来的研究 文献中看到。这是非常直观的一一个激动的人在打应急服务电话时的语速通常都是非常快 的，他的声音会是紧张的、带呼吸声的、有波动的等等。另一方面，一个处于悲伤失望中的人 会倾向于比较缓慢地说话，缺乏活力并带有长停顿以及类似特征。这些特征均反应在语音 的韵律特征上。已经有数个关于使用韵律上的语音特征自动分析讲话者的情感状态的专利被公 开。其中，Pertrushin的美国专利6151571和Slaney的美国专利6173260用于分类不同 的情感状态，Degani和Zamir的欧洲专利1423846用于确认普通的情绪唤起。所有的专利 在这里组成一个整体作为参考。人们尝试把说话者的个性和谈话的韵律特征关联到一起。Bogdashevsky的美国专 利6006188描述了这样一种方法，所述方法测定带有类似性格类型的人们的语音特征(根 据已知的心理感觉测验)，然后使用检测到的特征进行性格类型分类。言谈反映个性这一观 点是讲得通的而且非常直观比如我们可以想象一个性格内向的人的讲话方式是温和而且 犹豫的，这与性格外向的人的响亮而且冲动的讲话方式是相反的。将性格和讲话方式结合到一起很好地反映了我们对于言谈广泛地表达了个人特 征的理解。然而，此观点的缺陷在于其具体实施。性格代表了一个人稳定的特征，这样其应 该被始终如一地评估。这意味着说话者的反映其性格的讲话方式应该在不断改变的环境、 多变的心理状态和不同的背景下保持始终如一。这并不符合实际讲话方式会被环境因素严重影响，例如，已经证明了情绪状态和讲话腔调之间的牢固关系。即使上述例子中的性格 内向的人也会时不时变得愤怒，此时他的讲话方式(和他的韵律上的语音特征)会发生极大 的改变并且变得类似于一个性格开朗外向的人的讲话方式。在统计上，如果我们评估性格 内向的人在不同的场合的讲话方式，我们或许会发现他的性格和讲话方式之间存在着可观 的联系。我们只有在与参考数据被采集的情况非常类似的情况下的言谈进行采样，结果才 有可能是可靠的。但这样做当环境因素在其间起主导作用时是不符合实际的。在实际生活 中，环境因素频繁地影响我们的言谈。这样，基于语音韵律的性格评估并不能作为一种与环 境无关的方法。
技术实现思路
本专利技术提出了一计算机执行方法、数据处理系统、计算机程序的产品和装置，它们 通过分析讲话者的语调以确定讲话者在特定情形和背景下的当前行为和心理特征，同时还 确定了说话者当前说话风格。所述分析基于计算说话者的基本音调和振幅参数的特有的二阶导数(secondary derivative)，当其整体使用时标示了说话者在特定环境和背景下的当前行为、心理和说话 风格特征。对当前行为、心理和讲话风格特征的分类通过将说话者的评估了的第二语音参数 与预先得到的数据进行比较而得以实现，所述预先得到的数据代表了在一定范围的环境和 背景下不同的行为、心理和讲话风格特征的所述第二语音参数值以及所述参数值的组合。本专利技术的提供了一个普遍的并与说话者无关的方法，通过分析一个人在特定环境 下的语音韵律特征，以确定其当前行为、心理和讲话风格特征。讲话者的性格特征可以与短 暂的、与环境相关的参数相关，又或者是与稳定的、与环境无关的参数，比如性格，相关。本 专利技术的实施方案能够确定一个人当前听起来是坦率的、开朗的、公正的、富有表情的还是含 蓄的，但不能确定这些特征是否反映了其内在性格或者特定的环境和背景。出于不同的信 息反馈、培训和交流的目的，此类信息会对于分析人们本身是极其有用的。在不同的实施方案中，本专利技术可以作为用于描绘人们的环境行为、心理和讲话风 格特征的一计算机执行方法、数据处理系统、计算机程序产品和装置。附图说明依照其后的具体实施方案的说明，本专利技术的主题会变得更加清晰易懂，所述说明 以举例的方式提出，并参考相关附图(附图，或者简单的“图”)，而且只用于讨论本专利技术的目 的，其中图1是一个概括性的流程图，其显示了根据本专利技术所提出的方法，获取和构成用于对 不同的行为、心理和讲话风格特征进行分类的语音参数参考数据库的各个步骤；图2是一个概括性的流程图，其显示了在本专利技术的具体实施方案中，使用参考数据库 分析当前讲话者的语音语调和确定其在特定的环境下其行为、心理和讲话风格的特征的各 个步骤；图3是一个概括性的流程图，其显示了根据本专利技术所提出的方法，在一些实施方案中 可能实行的一些额外的可选步骤；图4是本专利技术的具体实施方案中的一种数据处理系统的框架示意图； 图5是本专利技术的具体实施方案中的一种装置的框架示意图。结合附图和以下详细说明，本领域技术人员会更易于理解本专利技术是如何实现的。具体实施例方式在详尽解释本专利技术之前，详细说明一下在下文中所用到某些术语是相当有用的。在这里所使用的术语“环境”指的是与说话者的当前状况相关的特征。相反地，环 境特征并不能证明说话者通常都处于此类环境。比如，一个环境特征可以是“说话者听起来 是自信的”(现在)，或者“说话者听起来是含蓄的”，或者“说话者听起来是有计划的”诸如 此类。但这并不代表说话者就其本质而言通常是自信、含蓄或者有计划的，这只是根据说话 者当前的语调而得出的其目前所处于的状态。显然地，同一个说话者在不同的环境中可能 会听起来有所不同。这里所使用的术语“背景”被定义为代表环境的普遍特征(所述特征可以影响言 谈)，所述特征来源与于说话者的个人背景，包括文化、语言、口音、年龄等等，或者环境设定 的特殊属性，比如交谈或者独白、朗读或者自由发言、正常说话或者处于身体运动、角色扮 演、讲课、演讲或者处于有压力的环境中一格斗、紧急事件、球赛或者其它。这里所使用的术语“说话风格”在本专利技术中指的是典型的说话方式，代表一组行为 和心理特征，并倾向于在某些环境中使用。比如，有表现力的说话风格、有计划的说话风格、 坦率的说话风格等等。人们倾向于根据特定的环境和背景改变他们的说话方式。这里所使用的术语“通信系统”在本专利技术中指的是任何能传输声音的语音通信系 统。这些系统本文档来自技高网...

【技术保护点】
１．一种建立用于根据不同的行为、心理和说话风格的特征以对语音语调进行分类的语音参数参考数据库的计算机执行方法，所述计算机执行方法包括：人工选择某一语境；人工选择要分析的并处于所选择语境中的行为、心理和说话风格特征；获得人们在所选择的语境中的多个语音语调；将语音语调人工分成代表类似行为、心理和说话风格特征的组；将所述代表类似行为、心理和说话风格特征的组中的每一段语音预处理成无声和有声片段；将有声语音片段分成一串长度相同的块，所述块带有包括有音调和振幅参数的基本语音参数；从基本语音参数中导出多个第二语音参数，其中所述选择的多个语音参数包括以下参数中至少一个：所述块串内的每一时间单位内所包含的平声、升调和降调趋势片段的总和，以及所述块串内的平声、升调和降调趋势片段的平均长度；和从所述第二参数中确定每组语音所特有的第二语音参数、参数的组合和所述参数的值，其中所述特有的第二参数是所述组内语音片段所共有并代表了每一组语音的典型行为、心理或者说话风格特征。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：尤阿伍·德加尼，
申请(专利权)人：声感有限公司，
类型：发明
国别省市：IL