使用语音识别模型的自动的语言评估制造技术

一种度量主体能力的系统，该系统包括要求该主体提供一个或多个话音响应的一组任务。一种连接来接收话音响应的语音识别系统，提供该话音响应的评估值。该评估值可以是语言内容和／或该响应的其他特性的评估值。该语音识别系统具有涉及其识别和评估响应内容和响应单元的能力的相关的操作特性。评分装置将响应的估计转换成一项或多项的评分。计算装置使用根据基于该语音识别系统的操作特性的期望项的评分的计算模型来提供主体的评分。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及人能力的自动评估。提供自动的语言估价的方法和装置。更具体地，提供一种方法和装置，用于使用语音识别和用于计算语音识别的期望准确度的评分计算模型的自动语言评价。在优选实施例中，模型是基于项目响应理论的。在交互的基于计算机的系统中通过电话、或者其他的无线通信或数据信息网络、或者直接通过计算机系统的外围的转换器可以接收到该主题的话音响应。接着就要估价该主体的话音响应并提取关于该主体的能力或状态的参考资料。类似于自动的发音评价的现有技术在1990年日本神户的关于话音处理的国际会议中Bernstein et al.发表的“英语发音的自动评价和训练”中做了讨论。在此将其内容引入作为参考。这种方法中包括评价从正在读已经搜集了的来自母语使用者的训练数据的预选的试卷(script)组的主体中的每一个说话方式。在这种系统中，通过比较母语使用者的响应模型和主体的响应可以对主体水平赋予一个发音等级。这种评价系统的一个缺点是对不同项目根据他们对评价的关系的重要性没有适当地加权。该评价技术还有一个缺点是通常不考虑语音识别系统的准确度，或更重要的是不准确度。已知的语音识别系统可能不正确地解释响应。例如，语音识别系统通常使用预定的词汇。这样的系统对落在该词汇外的词汇的响应的评价可能不准确。语音识别系统对于该词汇内的词汇的项目的评价也会发生错误。这里用的“识别”响应是指识别语言内容和/或该响应的其他特性。系统识别的准确性可以认为是对特性(character)和语言识别系统造成的许多错误的量度。因此需要一种改进的自动的语言估价方法和装置。附录的简要说明通过举例的方式进一步说明优选的实施例，并不局限于所附的伪码段，其中附录1说明了能够简化对评分项的每一响应的词的估计的软件执行；和附录2说明了通过使用项目响应理论合并项目评分来计算主体的主体评分的软件实施。优选实施例的详细说明在此参考上述的附图和附录描述的是自动语言估价的方法和装置，其中相同标号表示相同部件和组件。更具体地，提供一种使用语言识别和评分计算模型的自动语言估价的方法和装置。评分计算模型直接或间接地计算语音识别系统的准确度。下面进一步描述，优选的实施例提供下述优点，即，允许对主体能力进行更准确地估价，这对于使用有缺点的自动语音识别系统来说是不可能达到的。依照一个优选的实施例，评分计算模型是基于项目响应理论的统计模型。附图说明图1说明度量主体能力的交互系统的功能方框图。“主体”一词在此用来指参加测试的个人，即被测试人。由于以下将会变得明显的原因，这里使的主体一词将不指提供样本响应以帮助建立评分计算模型的个人。交互系统包括一组要求主体提供话音响应的任务10。话音响应的替代或附加的其他类型的响应可以作为系统的输入。语音识别系统20被连接以接收话音响应。该语音识别系统20提供话音响应中单词的评估值给评分装置30，其中该评估值(estimate)被转换成项目评分。评分装置30的替代或附加的其他分析装置可以使用作为简化(reduce)主体响应到项目评分这个过程的部分。在该组任务10中的每一任务包括一个或多个项目。计算装置40从评分装置30接收该组任务10的项目评分。计算装置40接着基于使用直接或间接地计算语音识别系统20的准确度的评分计算模型的项目评分的组合来提供主体的评分。按照本专利技术的优选实施例，使用项目响应理论来构建和应用评分计算模型。只要评分计算模型依赖于期望的语音识别系统20的基于项目的操作特性，就可以替代地利用其他技术。另外，最好将该组任务10以指令单、口头指令、可视指令、或前述的任何组合形式提供给主体。在该组任务10以书面的形式提供给主体的情况下，该组任务10可以以例如指南或小册子的形式打印出来。可替换地，该组任务10可以以显示器、视频显示或类似的形式展现给主体。主体最好通过电话，也可以替代地使用麦克风或其他声音转换器，传送他或她的响应。语音识别系统20可以是运行在通用计算机平台42的商用软件产品。例如，语音识别系统20可以是从位于华盛顿特区和英国剑桥的Entropic公司获得的Entropic的HTK软件产品。运行在通用计算机平台的Entropic的HTK软件提供基于计算机的交互系统，主体可以通过外围的转换器、或电话、或其他的使用已知通信技术的通信或数据信息网络来访问。如下进一步所述，象语音识别系统20、评分装置30和计算装置40最好是和通用计算机平台相关的功能性的模块。图2A和2B说明一组用于主体的指令和要求主体分别提供话音响应的一组任务。图2B示出的该组任务用于度量(measure)英语话音或其他口头语言的熟练程度。在连接到图1所示交互系统的电话上进行测试。在图2B给出测试结构和问题例子的同时，图2A给出测试指令。对于本实施例，主体为了参加测试打电话到使用预定的电话号码的交互系统。一旦连接被建立，交互系统通过电话连接提供指令给主体并且主体提供响应。对于图2A和2B所示的实施例，该组任务有五部分并提供相应的指示。在该组任务的A部分，指示主体从打印在图2B的A部分的那些句子中读所选的句子。在B部分，指示主体重复交互系统演示的句子。在C部分，指示主体说交互系统给出的词的反意词。在D部分，交互系统产生一系列问题并且主体响应以简单单词或短语。最后，在E部分，主题将被提问两个短文型问题并且要求在如30秒的预定时间内响应。图2A和2B所示的该组任务用于具有至少基本读能力的英语学习者。本领域的专业人员在阅读本专利的说明书后可以设置替代的任务组。例如，通过提供任务30的替代任务组，其他语言或能力水平可以被测试。对于图2A和2B所示的说明，每一项目要求主体理解话音说话(utterance)并响应于它讲话。对于测试主体理解书面文字或图表显示的项目的能力可以设置替代的测试。只要至少测试的一部分要求主体提供话音响应，则这些和其他替代测试都明显地在本专利技术的范围内。主体的语言技能接着被交互系统基于话音响应中使用的准确单词和涉及任务组10的评分计算模型来评价。本系统也可以考虑等待时间、语调、流利、和短语及句子中单词的发音。评分计算模型可以由多种方式建立。更不用说，按照本专利技术的优选实施例，该评分计算模型如下建立。多组任务项目作为母语和非母语说话者的适当样本，并且这些样本说话者对任务项目的响应被记录，并通过语音处理与识别和/或通过人工抄写(transcription)或语言描述被分析。母语说话者样本包括参考作为在语音识别系统接收的语音的内容和形式上可能为显著的人口统计的、语言的、身体的或社会的变量的范围和因素选择的个人。这些人口统计的、语言的、身体的或社会的变量包括说话者的年龄、身高、性别、感官敏锐度、种族、方言、教育、祖籍或现住址、就业、或专业训练。语音样本也根据个人本地的当天时间、信号转换器的类型和条件、和通信通道的类型和操作来选择。母语响应样本用于发展评分计算模型以确定或确认所期望的或认为正确的语言的和超语言的内容，并定量化和确保测试评分的公正。非母语说话者样本包括参考作为在语音识别系统接收的语音的内容和形式上可能为显著的人口统计的、语言的、身体的或社会的变量的范围和因素选择的个人。对于非母语说话者，这些人口统计的、语言的、身体的或社会的变量包括说话者的第一、第二、或其他语本文档来自技高网...

【技术保护点】
一种度量主体能力的系统，包括： 第一组任务项目，要求主体提供一个或多个话音响应； 语音识别系统，被连接以接收话音响应，并提供话音响应的评估值，该语音识别系统具有相关的准确度； 评分装置，被操作地将评估值转换成项目评分； 计算装置，该计算装置根据使用依赖期望的语音识别系统的基于项目的操作特性的评分计算模型的项目评分的组合，提供主体评分。

【技术特征摘要】
US 1999-5-13 09/311,6171.一种度量主体能力的系统，包括第一组任务项目，要求主体提供一个或多个话音响应；语音识别系统，被连接以接收话音响应，并提供话音响应的评估值，该语音识别系统具有相关的准确度；评分装置，被操作地将评估值转换成项目评分；计算装置，该计算装置根据使用依赖期望的语音识别系统的基于项目的操作特性的评分计算模型的项目评分的组合，提供主体评分。2.如权利要求1的系统，其中，评分计算模型是基于项目响应理论的。3.如权利要求1的系统，其中，其中的语音识别系统、评分装置和计算装置包括运行在通用计算机平台上的软件模块。4.如权利要求1的系统，其中，其中的评分计算模型是由多个母语和非母语说话者提供的多个响应来构建的，该多个响应由第二组任务项目提示。5.如权利要求1的系统，其中，由语音识别系统提供的评估值包括话音响应的语言内容的评估值。6.如权利要求1的系统，其中，在第一任务组中至少一个任务是从以下组中选择的项目包括大声读出句子的提示、重复单词的提示、重复短语的提示、重复句子的提示、提供反义的提示、和回答问题的提示。7.在将话音响应分级成一组任务项的基于计算机的系统中，其中的系统包括语音识别系统，一种话音响应分级的改进方法，该改进包括确定对该组任务项目的话音响应的主体评分，其中，主体评分计算语言识别系统的能力以准确识别话音响应。8.一种度量主体能力的方法，包括提供一组任务项目；产生该组中各任务项目的难度值，难度值是基于任务...

【专利技术属性】
技术研发人员：布伦特汤申德，
申请(专利权)人：奥迪纳特公司，
类型：发明
国别省市：US[美国]