样本评估制造技术

根据本公开的实现，提出了一种用于样本评估的方案。在该方案中，基于输入样本和参考样本集，生成一组比较结果。每个比较结果指示输入样本的目标属性优于参考样本集中的相应参考样本的目标属性的概率。然后，基于该组比较结果，从参考样本集中确定按照目标属性与输入样本相匹配的至少一个参考样本。基于至少一个参考样本关于目标属性的相应得分，确定输入样本关于目标属性的得分。以此方式，能够高效且准确地确定输入样本关于目标输入的得分，从而实现高效、准确和稳健的样本评估。准确和稳健的样本评估。准确和稳健的样本评估。

【技术实现步骤摘要】
样本评估

技术介绍

[0001]在各种数据处理中，经常需要对样本的某一属性进行评估，并且评估的结果通常以数值或等级的方式呈现。由此，需要对样本进行评分。例如，在计算机辅助的语言学习中，可能需要评估来自用户的语音样本。可能需要对语音样本的口语流利度、发音准确度等进行评分。此外，在文本评估、年龄估计、信用评估等诸多应用场景中也存在类似的样本评估需求。

技术实现思路

[0002]根据本公开的实现，提出了一种用于样本评估的方案。在该方案中，基于输入样本和参考样本集，生成一组比较结果。每个比较结果指示输入样本的目标属性优于参考样本集中的相应参考样本的目标属性的概率。然后，基于该组比较结果，从参考样本集中确定按照目标属性与输入样本相匹配的至少一个参考样本。输入样本的目标属性与所确定的至少一个参考样本的目标属性接近或相似。基于至少一个参考样本关于目标属性的相应得分，确定输入样本关于目标属性的得分。该方案将得分预测问题转化为一系列较为简单的二元比较或二分类，即，输入样本与参考样本的优劣比较。一系列的二元比较有助于准确地找出目标属性与输入样本接近的参考样本。由此，可以确保基于参考样本的得分而确定的输入样本的得分的准确性。以此方式，能够实现更高效、准确和稳健的样本评估。
[0003]提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。
附图说明
[0004]图1示出了能够实施本公开的多个实现的计算设备的框图；
[0005]图2示出了根据本公开的实现的用于样本评估的系统的架构图；
[0006]图3示出了根据本公开的一些实现的训练阶段的框图；
[0007]图4示出了根据本公开的一些实现的推断阶段的框图；以及
[0008]图5示出了根据本公开的实现的用于样本评估的方法的流程图。
[0009]这些附图中，相同或相似参考符号用于表示相同或相似元素。
具体实施方式
[0010]现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本公开的范围的任何限制。
[0011]如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、
“
第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0012]如本文所使用的，“神经网络”能够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的神经网络通常包括许多隐藏层，从而延长网络的深度。神经网络的各个层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输入层接收神经网络的输入，而输出层的输出作为神经网络的最终输出。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。在本文中，术语“神经网络”、“网络”和“神经网络模型”可替换地使用。
[0013]如本文中所使用的，样本的“属性”是指样本在一个或多个特定方面所具有的性质或特征。样本的“目标属性”可以是针对样本评估的目的而选择的一个或多个属性或综合属性。因此，样本的“目标属性”可以根据样本评估的目的而不同。例如，在语言学习样本的评估中，“目标属性”可以包括但不限于口语流利度、发音准确度、语言熟练度等。在年龄估计中，“目标属性”可以是指与样本相对应的用户的年龄。在信用评估中，“目标属性”可以是指与样本相对应的用户的信用等级。
[0014]如上文所简述的，在诸多应用场景中存在样本评估需求，即，对样本的一个或多个属性进行评分。以语言学习应用场景为例，可能需要评估用户的语言学习样本。例如，可能需要针对口语流利度，对来自用户的语音样本(诸如，一段录音)进行评分。一种常见的针对口语流利度的评分方案是5点平均意见得分(MOS)，其中得分为1代表“极差”，得分为2代表“差”，得分为3代表“一般”，得分为4代表“良好”，得分为5代表“优秀”。又如，可能需要对来自用户的文本样本(诸如，一篇作文)进行评分。语言学习应用场景中对样本的这种评分通常涉及主观评估。
[0015]主观评估的结果受限于评估人，例如，专家。不同的评估人对同一样本可能做出不同、甚至差异较大的评估；同一评估人在不同时间对同一样本也可能做出不同的评估。这种主观评估通常需要多个评估人参与，因此需要花费较大的时间和人力成本。在线上语音学习场景中，这种主观评估也无法实时地向用户提供评估结果。
[0016]为了进行自动评估，需要一种定量且客观可衡量的评分方法。目前已经提出了不同的评分模型，例如多分类器、高斯模型等。在这些现有方案中，样本关于目标属性(例如，口语流利度)的不同得分是独立的，而这些不同得分间固有的有序性被忽略。另外，还提出了将得分视为数值的回归方法。然而，在这种方法中，训练不稳定的内核以进行回归具有挑战性，并且在训练中易于发生过拟合问题。
[0017]序数(ordinal)回归旨在根据经标记的样本来进行分类或预测数值，其中样本的标记展示出自然的排序。序数回归模型的训练需要经标记的样本，而样本的标记，即样本关于目标属性的得分，需要来自评估人的主观评估。因此，这种经标记的样本的数目通常较少，这不利于获得稳健且准确的序数回归模型。
[0018]有鉴于此，根据本公开的实现，提供了一种用于样本评估的方案，旨在解决上述问题以及其他潜在问题中的一个或多个。在该方案中，基于输入样本和参考样本集，生成一组比较结果。每个比较结果指示输入样本的目标属性优于参考样本集中的相应参考样本的目标属性的概率。然后，基于该组比较结果，从参考样本集中确定按照目标属性与输入样本相匹配的至少一个参考样本。输入样本的目标属性与所确定的至少一个参考样本的目标属性
接近或相似。接下来，基于至少一个参考样本关于目标属性的相应得分，确定输入样本关于目标属性的得分。
[0019]对输入样本进行评分的过程原本涉及复杂的多分类或序数回归。在此提出的样本评估方案可以视为基于参考样本的序数回归，其将原本复杂的多分类或序数回归转化为一系列更简单的二元比较或二分类，即，输入样本与参考样本的比较。一系列的二元比较有助于准确地找出目标属性与输入样本接近的参考样本。由此，可以确保基于参考样本的得分而确定的输入样本的得分的准确性。以此方式，能够实现更高效、准确和稳健的样本评估。
[0020]以下进一步结合附图来详细描述该方案的各种示例实现。
[0021]示例环境
[0022]图1示出了能够实施本公开的多个实现的计算设备100的框图。应当理解，图1所示出的计算设备100仅仅是示例性的，而不应当构成对本公开所描述的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：基于输入样本和参考样本集，生成一组比较结果，所述一组比较结果中的每个比较结果指示所述输入样本的目标属性优于所述参考样本集中的相应参考样本的所述目标属性的概率；基于所述一组比较结果，从所述参考样本集中确定按照所述目标属性与所述输入样本相匹配的至少一个参考样本；以及基于所述至少一个参考样本关于所述目标属性的相应得分，确定所述输入样本关于所述目标属性的得分。2.根据权利要求1所述的方法，其中从所述参考样本集中确定所述至少一个参考样本包括：基于所述一组比较结果，按照所述目标属性对所述输入样本和所述参考样本集中的参考样本进行排名；以及基于所述排名的结果，确定所述至少一个参考样本。3.根据权利要求2所述的方法，其中基于所述排名的结果确定所述至少一个参考样本包括：将所述参考样本集中与所述输入样本排名相同的第一参考样本确定为所述至少一个参考样本，并且其中确定所述输入样本关于所述目标属性的得分包括：基于所述第一参考样本关于所述目标属性的得分，确定所述输入样本关于所述目标属性的得分。4.根据权利要求2所述的方法，其中基于所述排名的结果确定所述至少一个参考样本包括：将所述参考样本集中排名在所述输入样本之前的第二参考样本和排名在所述输入样本之后的第三参考样本确定为所述至少一个参考样本，并且其中确定所述输入样本关于所述目标属性的得分包括：通过加权所述第二参考样本和所述第三参考样本关于所述目标属性的相应得分，确定所述输入样本关于所述目标属性的得分。5.根据权利要求1所述的方法，其中生成所述一组比较结果包括：利用经训练的分类器，基于所述输入样本与所述参考样本集中的第四参考样本，生成针对所述第四参考样本的比较结果，所述比较结果指示所述输入样本的所述目标属性优于所述第四参考样本的所述目标属性的概率。6.根据权利要求5所述的方法，还包括：基于训练样本集，生成多个训练样本对，所述多个训练样本对之一包括关于所述目标属性具有第一得分的第一训练样本和关于所述目标属性具有第二得分的第二训练样本；以及利用所述多个训练样本对，训练所述分类器，使得经训练的所述分类器基于所述第一训练样本和所述第二训练样本生成的比较结果符合所述第一得分与所述第二得分的相对水平。7.根据权利要求6所述的方法，还包括:
基于所述训练样本集来确定所述参考样本集。8.根据权利要求7所述的方法，其中基于所述训练样本集来确定所述参考样本集包括：按照所述训练样本集中的训练样本关于所述目标属性的得分，将所述训练样本集划分成多组训练样本；以及从所述多组训练样本中的每组训练样本中，选择所述参考样本集中的参考样本。9.一种电子设备，包括：处理单元；以及存储器，耦合至所述处理单元并且包含存储于其上的指令，所述指令在由所述处理单元执行时，使得所述设备执行动作，所述动作包括：基于输入样本和参考样本集，生成一组比较结果，所述一组比较结果中的每个比较结果指示所述输入样本的目标属性优于所述参考样本集中的相应参考样本的所述目标属性的概率；基于所述一组比较结果，从所述参考样本集中确定按照所述目标属性与所述输入样本相匹配的至少一个参考样本；以及基于所述至少一个参考样本关于所述目标属性的相应得分，确定所述输入样本关于所述目标属性的得分。10.根据权利要求9所述的设备，其中从所述参考样本集中确定所述至少一个参考样本包括：基于所述一组比较结果，按照所述目标属性对所述输入样本和所述参考样本集中的参考样本进行排名；以及基于所述排名的结果，确定所述至少一个参考样本。11.根据权利要求10所述的设备，其中基于所述排名的结果确定所述至少一个参考样...

【专利技术属性】
技术研发人员：毛绍光，宋歌平，夏炎，田江森，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：