信息处理装置、信息处理方法及信息处理程序制造方法及图纸

信息处理装置(100)包括：接受部(134)，每当操作者完成针对一部分处理对象的处理时，接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果；计算部(135)，当与接受部(134)接受的处理结果对应的处理对象是有正解处理对象时，基于接受部(134)接受的处理结果与正解处理结果的比较，算出表示对操作者的评价的评价值。算出表示对操作者的评价的评价值。算出表示对操作者的评价的评价值。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法及信息处理程序


[0001]本专利技术涉及一种信息处理装置、信息处理方法及信息处理程序。

技术介绍

[0002]以往，公知有用于能够保证人工进行的针对多个处理对象的处理结果的质量的技术。例如，已知有支持用于使机器学习模型学习的教师数据的创建的技术。例如，已知有如下技术：当与教师图像预先建立了对应的教导类和由完成了学习的分类器将教师图像最多地分类的类不同时，将该教师图像确定为特定教师图像。

技术实现思路

[0003]现有技术文献
[0004]专利文献
[0005]【专利文献1】日本特开2017
‑
162232号公报
[0006]期望一种能够保证人工进行的针对多个处理对象的处理结果的质量的技术。
[0007]根据实施方式的信息处理装置包括：接受部，每当操作者完成针对一部分处理对象的处理时，接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果；计算部，当与所述接受部接受的处理结果对应的处理对象是所述有正解处理对象时，基于所述接受部接受的处理结果与所述正解处理结果的比较，算出表示对所述操作者的评价的评价值。
附图说明
[0008]图1是表示根据实施方式的信息处理方法的概要的说明图。
[0009]图2是表示根据实施方式的信息处理系统的构成例的图。
[0010]图3是表示根据实施方式的信息处理装置的构成例的图。
[0011]图4是表示根据实施方式的操作者装置的画面的一例的图。r/>[0012]图5是表示根据实施方式的操作者装置的画面的一例的图。
[0013]图6是表示根据实施方式的操作者装置的画面的一例的图。
[0014]图7是表示根据实施方式的操作者装置的画面的一例的图。
[0015]图8是表示根据实施方式的注释的一例的图。
[0016]图9是表示根据变形例的注释的一例的图。
[0017]图10是表示根据变形例的注释的一例的图。
[0018]图11是表示根据变形例的注释的其他例的图。
[0019]图12是表示根据实施方式的管理者装置的画面的一例的图。
[0020]图13是表示根据实施方式的管理者装置的画面的一例的图。
[0021]图14是表示根据实施方式的管理者装置的画面的一例的图。
[0022]图15是表示实现信息处理装置的功能的计算机的一例的硬件构成图。
具体实施方式
[0023]以下，将参考附图详细说明用于实施根据本申请的信息处理装置、信息处理方法及信息处理程序的方式(以下称为“实施方式”)。本实施方式不限定根据本申请的信息处理装置、信息处理方法及信息处理程序。另外，在以下的各实施方式中，对相同的部位标注相同的符号，省略重复的说明。
[0024](实施方式)
[0025](1.引言)
[0026]以往，已知有支持用于创建教师数据的技术，为了使机器学习模型进行有教师学习。通常，用于进行有教师学习的教师数据由一组正解数据和标签构成。有教师学习是通过使机器学习模型学习来进行的，即作为教师数据被赋予输入(正解数据)和其正确的输出(标签)，一旦接受到某个输入就能够进行正确的输出。在AI行业中，将创建该教师数据(一组正解数据和标签)的操作称为注释。在成为注释对象的数据中按照机器学习模型的用途有图像、文本、声音等种类。例如，在机器学习模型的用途为图像识别的情况下，成为注释对象的数据是图像。
[0027]这样的注释操作由人工进行，但为了创建高精度的机器学习模型，需要约10～100万件的庞大的教师数据。因此，存在创建教师数据的从业者。但是，即使创建机器学习模型的委托者向创建教师数据的从业者委托了创建500组教师数据，也有在交付的教师数据中只有50组能够用于学习的教师数据等、无法保证所创建的教师数据的质量(注释的精度差)的问题。
[0028]因此，根据本申请的专利技术的信息处理装置100能够在从业者创建教师数据的过程中评价注释的精度，在精度差的情况下委托者要求从业者纠正，以防止注释精度差的教师数据被原样交付。具体地，信息处理装置100在教师数据的创建过程中定期进行过程审查，以评价注释的准确性。由此，信息处理装置100通过过程审查定期地评价质量，从而能够在质量下降的情况下立即检测，因此能够将整体的质量下降防患于未然。因此，信息处理装置100能够确保注释等人工进行的针对多个处理对象的处理结果的质量。
[0029](2.信息处理的概要)
[0030]下面，使用图1对根据实施方式的信息处理方法的概要进行说明。图1是示出根据实施方式的信息处理方法的概要的说明图。根据实施方式的注释的操作是通过从委托者接受到委托的从业者的操作者从被委托的图像中选择拍摄有物体的区域来进行的。在图1中，将描述这样的一例，通过比较委托者进行了注释的图像的区域(准确进行了注释的数据)与操作者进行了注释的图像的区域，评价操作者创建的教师数据的精度。另外，委托者管理操作者的操作。因此，以下有时将委托者记载为管理者。
[0031]在图1中，委托者委托创建用于检测图像中包括的物体即猫的教师数据。委托者从500张图像中预先选择5张图像，将所选择的5张图像分别与正解的选择区域相关联。信息处理装置100从委托者(管理者)利用的管理者装置20获取500张图像，其中包括与委托者选择的正解选择区域相关联的5张正解图像(以下也称为有正解图像)(步骤S11)。
[0032]接着，在接受到500张图像后，信息处理装置100确定使操作者处理500张图像的顺序。例如，信息处理装置100确定使操作者处理500张图像中5张正解图像的顺序(以下也称为处理顺序)。接着，在确定使操作者处理5张正解图像的顺序后，信息处理装置100确定使
操作者处理剩余495张委托图像的顺序。例如，信息处理装置100确定500张图像中第1张、第101张、第201张、第301张和第401张中包括正解图像。接着，在确定从委托者接受的500张图像的处理顺序后，信息处理装置100将与确定的处理顺序相关联的500张图像上传到云。
[0033]另外，从委托者接受到注释委托的从业者的操作者经由操作者利用的操作者装置10访问上传了作为操作对象的图像的云。信息处理装置100在操作者装置10的画面上按照使操作者处理的顺序逐一显示500张图像。操作者进行从显示在操作者装置10的画面上的图像中选择拍摄有猫的区域的选择处理(步骤S12)。例如，操作者对第301张图像进行如下的选择处理：通过手动操作从图像中分别选择分别包围拍摄有7只猫的区域的7个矩形(称为边框)。每当操作者完成针对一张图像的区域的选择处理时，信息处理装置100从操作者装置10接受操作者所选择的图像的选择区域。
[0034]另外，在与从操作者装置10接受的选择区域对应的图像是有正解图像的情况下，信息处理装置100基于从操作者装置10接受的选择区域与正解的选择区域的比较，算出从操作者装置10接受的选本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括：接受部，每当操作者完成针对一部分处理对象的处理时，接受针对包括与正解处理结果相关联的有正解处理对象的多个处理对象的处理结果；计算部，当与所述接受部接受的处理结果对应的处理对象是所述有正解处理对象时，基于所述接受部所接受的处理结果与所述正解处理结果的比较，算出表示对所述操作者的评价的评价值。2.根据权利要求1所述的信息处理装置，其中，还包括确定部，确定使所述操作者处理所述多个处理对象中所述有正解处理对象的顺序；所述接受部按照所述确定部确定的顺序接受针对包括所述有正解处理对象的所述多个处理对象的处理结果；当与所述接受部接受的处理结果对应的处理对象是所述有正解处理对象时，所述计算部算出表示对所述操作者的评价的评价值。3.根据权利要求2所述的信息处理装置，其中，所述确定部确定使所述操作者处理的顺序越小，所述有正解处理对象越多。4.根据权利要求3所述的信息处理装置，其中，所述确定部确定与使所述操作者处理的顺序超过第一阙值时相比，使所述操作者处理的顺序在第一阙值以下时所述有正解处理对象更多。5.根据权利要求2所述的信息处理装置，其中，所述确定部确定使所述操作者处理的顺序越大，所述有正解处理对象越多。6.根据权利要求5所述的信息处理装置，其中，所述确定部确定与使所述操作者处理的顺序低于第二阈值时相比，使所述操作者处理的顺序在第二阙值以上时所述有正解处理对象更多。7.根据权利要求2～6中任一项所述的信息处理装置，其中，所述确定部基于所述计算部算出的评价值的统计信息，动态地确定使所述操作者处理所述有正解处理对象的顺序。8.根据权利要求7所述的信息处理装置，其中，作为所述统计信息，所述确定部基于所述评价值的变化，确定在所述评价值低于第三阙值时与所述评价值低于第三阙值之前相比所述有正解处理对象更多。9.根据权利要求7或8所述的信息处理装置，其中，作为所述统计信息，所述确定部基于所述评价值的变化，确定在所述评价值呈现出下降趋势时与所述评价值呈现出下降趋势之前相比所述有正解处理对象更多。10.根据权利要求2～9中任一项所述的信息处理装置，其中，所述确定部基于所述计算部算出的评价值，确定相对于所述多个处理对象的数量所包括的所述有正解处理对象的数量。11.根据权利要求10所述的信息处理装置，其中，所述确定部基于多个操作者的评价值，确定与其他操作者相比所述评价值越低的操作者，相对于所述多个处理对象的数量所包括的所述有正解处理对象的数量越多。12.根据权利要求1～11中任一项所述的信息处理装置，其中，
所述接受部从多个操作者分别接受针对同一处理对象的处理结果，所述计算部算出所述多个操作者中处理了与从其他操作者接受的处理结果不同的趋势的处理结果的操作者的评价值，使该评价值低于对其他操作者的评价。13.根据权利要求1～12中任一项所述的信息处理装置，其中，每当操作者完成针对一部分处理对象的处理时，所述接受部还接受针对不包括所述有正解处理对象的多个处理对象的处理结果，所述计算部基于所述接受部接受的处理结果，算出表示对所述操作者的评价的评价值。14.根据权利要求1～13中任一项所...

【专利技术属性】
技术研发人员：佐藤哲太，渡部和彦，今西麻衣子，松岡佑磨，石井田聡哉，
申请(专利权)人：软银股份有限公司，
类型：发明
国别省市：