【技术实现步骤摘要】
模型维护装置、模式识别系统、模型维护方法及记录介质本申请享受于2017年11月28日在先提出申请的日本专利申请号2017-228245的优先权的利益,并且是组入其全部内容的申请。
本专利技术的实施方式涉及模型维护装置、模式识别系统、模型维护方法以及记录介质。
技术介绍
以图像识别系统或声音识别系统为代表的模式识别系统中,将图像或声音等识别对象数据作为输入,使用模式识别用的模型来推断识别对象数据的标签,并将推断出的标签作为识别结果输出。在以新生成的模型来更新识别系统的模型的情况下,通常,使用大量的评价用数据(评价用数据集)来评价新的模型的性能,在获得了比现有的模型高的性能评价值的情况下,以新的模型来更新现有的模型。
技术实现思路
然而,在单纯的性能评价值的比较中,存在不能适当判断模型更新的妥当性的情况。例如,在用户要求对于特定类型的数据进行高精度地识别的情况下,不希望由于模型的更新而针对特定类型的数据的识别率降低。然而,即使针对新的模型获得的性能评价值高于现有的模型,也有可能存在针对特定类型的数据的识别率降低的情况。在这样的情况下,在以往技术中会将现有的模型更新为新的模型,导致不能满足用户的要求。本专利技术所要解决的课题是提供能够更适当地判断是否应将现有的模型更新为新的模型的模型维护装置、模式识别系统、模型维护方法以及记录介质。实施方式的模型维护装置对在识别对象数据的标签推断中使用的模式识别用的模型进行维护,具备生成部、评价部以及更新判断部。生成部使用学习用数据来生成新模型。评价部使用分类为多个组的评价用数据中的第一组的评价用数据对所述新的模型的性能进行评价并计 ...
【技术保护点】
1.一种模型维护装置,其中,对识别对象数据的标签推断中使用的模式识别用的模型进行维护,该模型维护装置具备:生成部,使用学习用数据生成新的模型;评价部,使用分类为多个组的评价用数据中的第一组的评价用数据,对所述新的模型的性能进行评价并计算第一性能评价值,使用分类为多个组的评价用数据中的第二组的评价用数据,对所述新的模型的性能进行评价并计算第二性能评价值;以及更新判断部,基于所述第一性能评价值与所述第二性能评价值,判断是否应将现有的模型更新为所述新的模型。
【技术特征摘要】
2017.11.28 JP 2017-2282451.一种模型维护装置,其中,对识别对象数据的标签推断中使用的模式识别用的模型进行维护,该模型维护装置具备:生成部,使用学习用数据生成新的模型;评价部,使用分类为多个组的评价用数据中的第一组的评价用数据,对所述新的模型的性能进行评价并计算第一性能评价值,使用分类为多个组的评价用数据中的第二组的评价用数据,对所述新的模型的性能进行评价并计算第二性能评价值;以及更新判断部,基于所述第一性能评价值与所述第二性能评价值,判断是否应将现有的模型更新为所述新的模型。2.如权利要求1所述的模型维护装置,其中,还具备更新部,在所述更新判断部判断为应进行更新的情况下,所述更新部将所述现有的模型更新为所述新的模型。3.如权利要求1所述的模型维护装置,其中,还具备更新部,在所述更新判断部判断为应进行更新的情况下,所述更新部向用户询问是否将所述现有的模型更新为所述新的模型,在从用户受理到更新指示的情况下,所述更新部将所述现有的模型更新为所述新的模型。4.如权利要求1至3中任一项所述的模型维护装置,其中,所述生成部使用所述学习用数据生成所述新的模型,该学习用数据包含使用所述现有的模型来推断出标签的识别对象数据。5.权利要求4所述的模型维护装置,其中,还具备标签赋予部,所述标签赋予部根据用户的教导操作,对所述学习用数据所含的所述识别对象数据赋予正确标签。6.如权利要求1至5中任一项所述的模型维护装置,其中,所述更新判断部在所述第一性能评价值为第一阈值以上且所述第二性能评价值为第二阈值以上的情况下,判断为应将所述现有的模型更新为所述新的模型。7.如权利要求6所述的模型维护装置,其中,所述第一阈值为预先决定的固定阈值,所述第二阈值是使用所述第二组的评价用数据对所述现有的模型的性能进行评价而计算出的第三性能评价值。8.如权利要求6或7所述的模型维护装置,其中,分类为所述第一组的评价用数据被进一步分类为多个子组,所述评价部按每个子组计算所述第一性能评价值,所述更新判断部将按每个子组计算出的所述第一性能评价值与每个子组的所述第一阈值进行比较。9.如权利要求6至8中任一项所述的模型维护装置,其中,分类为所述第二组的评价用数据被进一步分类为多个子组,所述评价部按每个子组计算所述第二性能评价值,所述更新判断部将按每个子组计算出的所述第二性能评价值与每个子组的所述第二阈值进行比较。10.如权利要求1至9中任一项所述的模型维护装置,其中,还具备编辑部,所述编辑部根据用户的编辑操作,进行所述评价用数据的追加、删除以及组移动。11.如权利要求1至10中任一项所述的模型维护装置,其中,还具备分类部,所述分类部基于规定的分类基准,将所述评价用数据分类为所述多个组。12.如权利要求1至11中任一项所述的模型维护装置,其中,所述评价用数据按多个分类基准的每个分类基准被分类为多个组,所述评价部按所述多个分类基准的每个分类基准,计算所述第一性能评价值与所述第二性能评价...
【专利技术属性】
技术研发人员:田中辽平,
申请(专利权)人:株式会社东芝,东芝数字解决方案株式会社,
类型:发明
国别省市:日本,JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。