用于基于反馈来生成训练模型的方法和装置制造方法及图纸

本发明专利技术的各实施方式提供了用于基于反馈来生成训练模型的方法和装置。在本发明专利技术的一个实施方式中，提供了一种用于基于反馈来生成训练模型的方法，包括：计算多个样本中样本的特征向量；在至少一个轮次中，获取至少一个用户对于多个样本中的至少一个样本的评分，包括：获取至少一个用户对于第一数量的样本的评分；响应于基于特征向量检测到至少一个用户对于第一数量的样本的评分中的不一致性，获取至少一个用户对于第二数量的样本的评分；以及基于至少一个用户对于第一数量和第二数量的样本的评分，生成训练模型。在本发明专利技术的另一实施方式中，提供了相应的装置。

【技术实现步骤摘要】
用于基于反馈来生成训练模型的方法和装置
本专利技术的各实施方式涉及对样本进行评级，更具体地，涉及在评级系统中的用于基于反馈来生成训练模型的方法、装置和相关计算机程序产品。
技术介绍
随着计算机技术和人工智能技术的发展，已经可以实现采用计算机来以智能化方式对各种数据样本进行自动评级。自动评级系统可以学习专家(或用户)对于代表性样本进行评级时所采用的标准，并且利用学习到的这些评级标准来生成训练模型，进而采用训练模型对其他待评级样本进行评级。通常，待评级样本通常数量巨大(例如，数十万甚至上百万)，因而需要从用户采集针对大量样本(例如，数千甚至上万)的评分，才能保证在评级中使用的训练模型的准确性。然而，对于特定用户而言，针对数千甚至上万的样本进行评级是一项费时费力的工作，并且该用户在长时间的评级中容易产生疲劳，例如可能会出现前后评级标准不一致、误操作等错误，进而导致在对样本的评级中存在“噪声”。以上问题都会影响所生成训练模型的准确性，进而影响自动评级的准确性。
技术实现思路
因而，期望能够开发一种能够准确高效地生成训练模型的技术方案，并且期望该技术方案可以在保证训练模型准确性的同时，尽量减少用户需要评级的样本的数量；还期望能够尽量检测并消除由于用户的疲劳或误操作等错误导致的“噪声”。为此，本专利技术的各实施方式提供了用于基于反馈来生成训练模型的方法和装置和相关计算机程序产品。在本专利技术的一个实施方式中，提供了一种用于基于反馈来生成训练模型的方法，包括：计算多个样本中样本的特征向量；在至少一个轮次中，获取至少一个用户对于多个样本中的至少一个样本的评分，包括：获取至少一个用户对于第一数量的样本的评分；响应于基于特征向量检测到至少一个用户对于第一数量的样本的评分中的不一致性，获取至少一个用户对于第二数量的样本的评分；以及基于至少一个用户对于第一数量和第二数量的样本的评分，生成训练模型。在本专利技术的一个实施方式中，获取至少一个用户对于多个样本中的至少一个样本的评分包括：针对至少一个用户中的一个用户，提供至少两个样本；获取用户针对至少两个样本的原始评分；以及将原始评分进行归一化，获得用户针对至少两个样本的评分。在本专利技术的一个实施方式中，样本是图像数据。在本专利技术的一个实施方式中，提供了一种用于基于反馈来生成训练模型的装置，包括：计算模块，配置用于计算多个样本中样本的特征向量；获取模块，配置用于在至少一个轮次中，获取至少一个用户对于多个样本中的至少一个样本的评分，包括：第一获取模块，配置用于获取至少一个用户对于第一数量的样本的评分；第二获取模块，配置用于响应于基于特征向量检测到至少一个用户对于第一数量的样本的评分中的不一致性，获取至少一个用户对于第二数量的样本的评分；以及生成模块，配置用于基于至少一个用户对于第一数量和第二数量的样本的评分，生成训练模型。在本专利技术的一个实施方式中，获取模块进一步包括：针对至少一个用户中的一个用户，提供模块，配置用于提供至少两个样本；第五获取模块，配置用于获取用户针对至少两个样本的原始评分；以及归一化模块，配置用于将原始评分进行归一化，获得用户针对至少两个样本的评分。在本专利技术的一个实施方式中，样本是图像数据。采用本专利技术所述的方法和装置，可以在尽可能少地改动现有自动评级系统架构的情况下，大大减少需要用户评级的样本的数量，例如，将生成训练模型时需要用户评级的样本数量降低至原来的数十分之一甚至更低(例如，从一万个样本降低至数百个样本)；并且还可以检测并消除生成训练模型中的噪声，以更为快速准确的方式生成训练模型进而提高对全部样本进行评估的效率和准确性。附图说明结合附图并参考以下详细说明，本专利技术各实施方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本专利技术的若干实施方式。在附图中：图1示意性示出了适于实现本专利技术实施方式的示例性计算系统的框图；图2示意性示出了根据一个解决方案的生成训练模型并基于该训练模型进行评级的示意图；图3示意性示出了根据本专利技术一个实施方式的生成训练模型并基于该训练模型进行评级的示意图；图4示意性示出了根据本专利技术一个实施方式的基于反馈来生成训练模型的方法的流程图；图5示意性示出了根据本专利技术一个实施方式的向用户提供样本并获取用户对于该样本的评分的示意图；图6示意性示出了根据本专利技术一个实施方式的生成训练模型的示意图；图7示意性示出了根据本专利技术一个实施方式的评分矩阵的数据结构的示意图；以及图8示意性示出了根据本专利技术一个实施方式的基于反馈来生成训练模型的装置的框图。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了适于用来实现本专利技术实施方式的示例性计算系统100的框图。如图1所示，计算机系统100可以包括：CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和触摸屏显示器114。在这些设备中，与总线系统104耦合的有CPU101、RAM102、ROM103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外设112与串行接口控制器107耦合，并行外设113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅是为了示例的目的，而不是对本专利技术范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。所属
的技术人员知道，本专利技术可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施方式中，本专利技术还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读的信号介质可以包括在基带中或者作为载波一部分本文档来自技高网...

【技术保护点】
一种用于基于反馈来生成训练模型的方法，包括：计算多个样本中样本的特征向量；在至少一个轮次中，获取至少一个用户对于所述多个样本中的至少一个样本的评分，包括：获取所述至少一个用户对于第一数量的样本的评分；响应于基于所述特征向量检测到所述至少一个用户对于第一数量的样本的评分中的不一致性，获取所述至少一个用户对于第二数量的样本的评分；以及基于所述至少一个用户对于所述第一数量和第二数量的样本的评分，生成所述训练模型。

【技术特征摘要】
1.一种用于基于反馈来生成训练模型的方法，包括：计算多个样本中样本的特征向量；在至少一个轮次中，获取至少一个用户对于所述多个样本中的至少一个样本的评分，包括：获取所述至少一个用户对于第一数量的样本的评分；响应于基于所述特征向量检测到所述至少一个用户对于第一数量的样本的评分中的不一致性，获取所述至少一个用户对于第二数量的样本的评分；以及基于所述至少一个用户对于所述第一数量和第二数量的样本的评分，生成所述训练模型。2.根据权利要求1所述的方法，进一步包括：根据所述特征向量，将所述多个样本聚类为至少一个分组。3.根据权利要求2所述的方法，其中，获取所述至少一个用户对于第一数量的样本的评分和获取所述至少一个用户对于第二数量的样本的评分中的至少一个包括：获取所述至少一个用户对于所述至少一个分组中的每个分组中的至少一个样本的评分。4.根据权利要求1-3中任一项所述的方法，其中，获取所述至少一个用户对于第一数量的样本的评分和获取所述至少一个用户对于第二数量的样本的评分中的至少一个包括：针对所述至少一个用户中的一个用户，提供至少两个样本；获取所述用户针对所述至少两个样本的原始评分；以及将所述原始评分进行归一化，获得所述用户针对所述至少两个样本的评分。5.根据权利要求1-3中任一项所述的方法，其中，响应于基于所述特征向量检测到所述至少一个用户对于第一数量的样本的评分中的不一致性，获取所述至少一个用户对于第二数量的样本的评分包括：如果所述至少一个用户中的第一用户对于相似样本的评分差异超过第一阈值，则向所述第一用户提供更多相似样本以获取所述第一用户针对所述更多相似样本的评分，其中所述相似样本采用基于特征向量计算的距离来度量。6.根据权利要求1-3中任一项所述的方法，其中，响应于基于所述特征向量检测到所述至少一个用户对于第一数量的样本的评分中的不一致性，获取所述至少一个用户对于第二数量的样本的评分包括：如果相似用户针对所述多个样本中的第一样本的评分差异超过第二阈值，则向所述相似用户分别再次提供所述第一样本，以获取所述相似用户针对所述第一样本的评分，其中所述相似用户采用用户对多个样本的评分所组成的向量计算的距离来度量。7.根据权利要求1-3中任一项所述的方法，其中，响应于基于所述特征向量检测到所述至少一个用户对于第一数量的样本的评分中的不一致性，获取所述至少一个用户对于第二数量的样本的评分包括：如果所述至少一个用户中的一个用户对两个样本的原始评分之间的差异与被归一化后的评分之间的差异大于第三阈值，则利用所述多个样本中的另一样本替换所述两个样本中的一个样本。8.根据权利要求1-3中任一项所述的方法，其中，基于所述至少一个用户对于所述第一数量和第二数量的样本的评分，生成所述训练模型包括：利用所述至少一个用户对于所述第一数量和第二数量的样本的评分填充评分矩阵；以及对所述评分矩阵进行协同滤波处理...

【专利技术属性】
技术研发人员：严骏驰，段宁，张欣，曹亮亮，林芊，王晨，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：