模型维护装置、模式识别系统、模型维护方法及记录介质制造方法及图纸

技术编号:21274084 阅读:38 留言:0更新日期:2019-06-06 08:17
本发明专利技术的实施方式涉及模型维护装置、模式识别系统、模型维护方法以及记录介质。提供能够更适当地判断是否应将现有的模型更新为新的模型的模型维护装置、模式识别系统、模型维护方法以及记录介质。实施方式的模型维护装置是对识别对象数据的标签推断中使用的模式识别用的模型进行维护的装置,具备生成部、评价部以及更新判断部。生成部使用学习用数据生成新的模型。评价部使用分类为多个组的评价用数据中的第一组的评价用数据来评价新的模型的性能并计算第一性能评价值,使用第二组的评价用数据来评价新的模型的性能并计算第二性能评价值。更新判断部基于第一性能评价值与第二性能评价值,判断是否应将现有的模型更新为所述新的模型。

【技术实现步骤摘要】
模型维护装置、模式识别系统、模型维护方法及记录介质本申请享受于2017年11月28日在先提出申请的日本专利申请号2017-228245的优先权的利益,并且是组入其全部内容的申请。
本专利技术的实施方式涉及模型维护装置、模式识别系统、模型维护方法以及记录介质。
技术介绍
以图像识别系统或声音识别系统为代表的模式识别系统中,将图像或声音等识别对象数据作为输入,使用模式识别用的模型来推断识别对象数据的标签,并将推断出的标签作为识别结果输出。在以新生成的模型来更新识别系统的模型的情况下,通常,使用大量的评价用数据(评价用数据集)来评价新的模型的性能,在获得了比现有的模型高的性能评价值的情况下,以新的模型来更新现有的模型。
技术实现思路
然而,在单纯的性能评价值的比较中,存在不能适当判断模型更新的妥当性的情况。例如,在用户要求对于特定类型的数据进行高精度地识别的情况下,不希望由于模型的更新而针对特定类型的数据的识别率降低。然而,即使针对新的模型获得的性能评价值高于现有的模型,也有可能存在针对特定类型的数据的识别率降低的情况。在这样的情况下,在以往技术中会将现有的模型更新为新的模型,导致不能满足用户的要求。本专利技术所要解决的课题是提供能够更适当地判断是否应将现有的模型更新为新的模型的模型维护装置、模式识别系统、模型维护方法以及记录介质。实施方式的模型维护装置对在识别对象数据的标签推断中使用的模式识别用的模型进行维护,具备生成部、评价部以及更新判断部。生成部使用学习用数据来生成新模型。评价部使用分类为多个组的评价用数据中的第一组的评价用数据对所述新的模型的性能进行评价并计算第一性能评价值,使用分类为多个组的评价用数据中的第二组的评价用数据对所述新的模型的性能进行评价并计算第二性能评价值。更新判断部基于所述第一性能评价值与所述第二性能评价值,判断是否应将现有的模型更新为所述新的模型。根据上述构成的模型维护装置,能够适当地判断是否应将现有的模型更新为新的模型,以使得不会由于模型的更新而使针对特定类型的数据的识别性能降低,从而提高作为整体的识别性能。附图说明图1为说明以往的模型更新判断的方法的图。图2为说明以往的方法的问题点的图。图3为说明实施方式的概要的图。图4为表示第一实施方式的模式识别系统的功能性构成例的框图。图5为表示模型的初始化的顺序的流程图。图6为表示模式识别的顺序的流程图。图7为表示模型的维护的顺序的流程图。图8为表示第二实施方式的模式识别系统的功能性构成例的框图。图9为表示编辑部的详细情况的框图。图10为表示评价用数据的编辑的顺序的流程图。图11为表示第三实施方式的模式识别系统的功能性构成例的框图。图12为标签赋予部的详细情况的框图。图13为表示标签赋予的顺序的流程图。图14为表示第四实施方式的模式识别系统的功能性构成例的框图。图15为表示第四实施方式中的模型的初始化的顺序的流程图。图16为表示第八实施方式的模式识别系统的功能性构成例的框图。图17为表示第九实施方式中的模型的初始化的顺序的流程图。图18为表示第九实施方式中的模型的维护的顺序的流程图。图19为表示模式识别系统的硬件构成例的框图。图20为表示包含终端与服务器的模式识别系统的构成例的框图。具体实施方式以下,参照附图详细地说明实施方式的模型维护装置、模式识别系统、模型维护方法以及程序。<实施方式的概要>本实施方式涉及模式识别用的模型的维护。模型是在模式识别系统中为了推断识别对象数据的标签而使用的信息,是通过使用了大量的学习用数据(学习用数据集)的统计性学习而生成的。模型的形式根据识别算法而不同。模型有时也被称作识别器等。识别对象数据是作为识别对象而被输入模式识别系统的数据。例如,输入图像识别系统的识别对象数据是图像数据,输入声音识别系统的识别对象数据是声音数据。标签是在模式识别系统中使用模型进行推断而输出的数据。例如,以字符识别为目的的图像识别系统所输出的标签是字符码,以面部识别为目的的图像识别系统所输出的标签是人物ID等。作为模型的学习(生成)所使用的学习用数据,主要使用被赋予了正确标签的有监督数据,但在学习用数据中也包含未被赋予正确标签的无监督数据,也能够利用半监督学习来学习(生成)模型。模型的维护是指,使用学习用数据集生成新的模型(以下,称作“新模型”),并根据需要将现有的模型(以下,称作“现有模型”)更新为新模型的一系列的处理。学习用数据集能够通过将利用模式识别系统推断出标签的识别对象数据追加为学习用数据来进行扩张。为了判断是否应将现有模型更新为新模型,使用大量的评价用数据(评价用数据集)评价新模型的性能。评价用数据是被赋予了正确标签的有监督数据。评价用数据有时也被称作验证数据。评价用数据能够从收集有监督数据而成的数据集合中选择使用。并且,能够将该数据集合的剩余、以及利用模式识别系统推断出标签的识别对象数据作为学习用数据来使用。此外,在根据用户的教导操作对利用模式识别系统推断出标签的识别对象数据赋予了正确标签的情况下,也能够将其用作评价用数据。图1为说明以往的模型更新判断的方法的图。以往,使用评价用数据集对新模型的性能进行评价,如果获得比现有模型高的性能评价值(这里是针对评价用数据集的识别率),则将现有模型更新为新模型。在图1的例中,新模型A的针对评价用数据集的识别率为95%,高于现有模型的针对评价用数据集的识别率90%,因此,现有模型被更新为新模型A。另一方面,如新模型B那样,针对评价用数据集的识别率低于现有模型时(在图1的例中,新模型B的识别率为85%,低于现有模型的识别率90%),不进行模型的更新。然而,在这样的以往的方法中,存在不能保证针对特定类型的数据的性能的问题。即,即使新模型的针对评价用数据集的识别率高于现有模型,也不保证针对特定类型的数据的识别率不降低,存在由于模型的更新而特定类型的数据不能被高精度地识别的情况。特别是,在将推断出标签的识别对象数据作为学习用数据来追加从而扩张学习用数据集的系统的情况下,也存在学习用数据的标签不正确的情况,新模型的性能降低的风险较高。图2为说明以往的方法的问题点的图。例如,在图像识别中,大部分情况下,相比于对象模糊的图像或对象的一部分缺损的图像那样难以识别的图像,实用上更重要的是能够准确地识别出对象鲜明地映出的图像。然而,在以往的方法中,即使实用上重要的图像的识别率降低,只要作为整体识别精度提高,则判断为性能提高。例如在图2的例中,评价用数据集所含的图像Im1的字符比较鲜明地映出,因此是在实用上重要的图像。另一方面,图像Im2、Im3是比较难识别的图像。这里,设为现有模型准确地识别出图像Im1,但不能准确地识别出图像Im2、Im3。另一方面,设为新模型A准确地识别出图像Im2、Im3,但不能准确地识别出图像Im1。在该情况下,有时虽然新模型A不能识别在实用上重要的图像Im1,但针对评价用数据集整体的识别率比现有模型高,由于现有模型被更新为新模型A,有可能在实用上重要的图像的识别率降低。另外,如上所述,在用户希望高精度地识别特定类型的数据的情况下,也产生同样的问题。为此,在本实施方式中,将评价用数据集所含的评价用数据分类为多个组,使用第一组的评价用数据评价新模型的性能并计算第一性能评价值,本文档来自技高网...

【技术保护点】
1.一种模型维护装置,其中,对识别对象数据的标签推断中使用的模式识别用的模型进行维护,该模型维护装置具备:生成部,使用学习用数据生成新的模型;评价部,使用分类为多个组的评价用数据中的第一组的评价用数据,对所述新的模型的性能进行评价并计算第一性能评价值,使用分类为多个组的评价用数据中的第二组的评价用数据,对所述新的模型的性能进行评价并计算第二性能评价值;以及更新判断部,基于所述第一性能评价值与所述第二性能评价值,判断是否应将现有的模型更新为所述新的模型。

【技术特征摘要】
2017.11.28 JP 2017-2282451.一种模型维护装置,其中,对识别对象数据的标签推断中使用的模式识别用的模型进行维护,该模型维护装置具备:生成部,使用学习用数据生成新的模型;评价部,使用分类为多个组的评价用数据中的第一组的评价用数据,对所述新的模型的性能进行评价并计算第一性能评价值,使用分类为多个组的评价用数据中的第二组的评价用数据,对所述新的模型的性能进行评价并计算第二性能评价值;以及更新判断部,基于所述第一性能评价值与所述第二性能评价值,判断是否应将现有的模型更新为所述新的模型。2.如权利要求1所述的模型维护装置,其中,还具备更新部,在所述更新判断部判断为应进行更新的情况下,所述更新部将所述现有的模型更新为所述新的模型。3.如权利要求1所述的模型维护装置,其中,还具备更新部,在所述更新判断部判断为应进行更新的情况下,所述更新部向用户询问是否将所述现有的模型更新为所述新的模型,在从用户受理到更新指示的情况下,所述更新部将所述现有的模型更新为所述新的模型。4.如权利要求1至3中任一项所述的模型维护装置,其中,所述生成部使用所述学习用数据生成所述新的模型,该学习用数据包含使用所述现有的模型来推断出标签的识别对象数据。5.权利要求4所述的模型维护装置,其中,还具备标签赋予部,所述标签赋予部根据用户的教导操作,对所述学习用数据所含的所述识别对象数据赋予正确标签。6.如权利要求1至5中任一项所述的模型维护装置,其中,所述更新判断部在所述第一性能评价值为第一阈值以上且所述第二性能评价值为第二阈值以上的情况下,判断为应将所述现有的模型更新为所述新的模型。7.如权利要求6所述的模型维护装置,其中,所述第一阈值为预先决定的固定阈值,所述第二阈值是使用所述第二组的评价用数据对所述现有的模型的性能进行评价而计算出的第三性能评价值。8.如权利要求6或7所述的模型维护装置,其中,分类为所述第一组的评价用数据被进一步分类为多个子组,所述评价部按每个子组计算所述第一性能评价值,所述更新判断部将按每个子组计算出的所述第一性能评价值与每个子组的所述第一阈值进行比较。9.如权利要求6至8中任一项所述的模型维护装置,其中,分类为所述第二组的评价用数据被进一步分类为多个子组,所述评价部按每个子组计算所述第二性能评价值,所述更新判断部将按每个子组计算出的所述第二性能评价值与每个子组的所述第二阈值进行比较。10.如权利要求1至9中任一项所述的模型维护装置,其中,还具备编辑部,所述编辑部根据用户的编辑操作,进行所述评价用数据的追加、删除以及组移动。11.如权利要求1至10中任一项所述的模型维护装置,其中,还具备分类部,所述分类部基于规定的分类基准,将所述评价用数据分类为所述多个组。12.如权利要求1至11中任一项所述的模型维护装置,其中,所述评价用数据按多个分类基准的每个分类基准被分类为多个组,所述评价部按所述多个分类基准的每个分类基准,计算所述第一性能评价值与所述第二性能评价...

【专利技术属性】
技术研发人员:田中辽平
申请(专利权)人:株式会社东芝东芝数字解决方案株式会社
类型:发明
国别省市:日本,JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1