图像检索装置以及监督数据提取方法制造方法及图纸

本发明专利技术能够削减监督数据收集的成本，使追加学习作业容易化。人物检测部(112)从图像中检测人物，特征提取部(113)提取人物的特征量并保存到特征量数据库(130)中。图像检索部(115)检索图像，存储在检索结果数据库(150)中，并且作为检索结果发送给终端(320)。分类项目登记部(117)取得赋予给检索结果的图像的分类项目(符合、不符合等)，并存储到检索结果数据库(150)中。监督数据提取部(118)基于特征量与分类项目的相关性从检索结果数据库(150)中提取监督数据。提取监督数据。提取监督数据。

【技术实现步骤摘要】
【国外来华专利技术】图像检索装置以及监督数据提取方法


[0001]本专利技术涉及进行使用了机器学习技术的图像检索的图像检索装置和监督数据提取方法。

技术介绍

[0002]近年来，在图像识别、图像分类等
中，以深度学习(Deep Learning)为代表的机器学习技术的有效利用得到发展。在基于机器学习的图像识别或图像分类中，并非如以往那样由开发者设计算法来进行编程，而是机器学习模型本身能够基于输入数据进行学习并分类。详细而言，当输入多个图像数据及其正确的分类结果(正确标签)的对时，机器学习模型自身调整机器学习模型内的参数，使得能够针对所输入的图像数据准确地输出分类结果。另外，输入的图像数据及其分类结果的对的数据被称为监督数据(学习数据)，使用了监督数据的机器学习被称为监督机器学习。
[0003]在监督机器学习中，通过将大量的监督数据投入机器学习模型来进行学习，从而提高机器学习模型的精度。一般而言，用于学习的监督数据越多，机器学习模型的精度越提高，能够得到准确的分类结果。
[0004]但是，由于在监督机器学习中需要准备大量的监督数据，因此存在将图像数据的收集与针对所收集到的各个图像数据的正确的分类结果(正确标签)关联起来这样的、使监督数据的准备作业变得庞大而花费成本的问题。另外，开始了一次实际运用的机器学习模型也难以得到100％的正确率，优选进行用于精度提高的追加学习。然而，在系统每天的运用中，在收集追加学习用的监督数据或赋予正确标签时，存在系统的停机时间的增加、每天的作业中的维护成本增加的课题。
[0005]在专利文献1的追加学习中，求出被赋予了预先准备的正确标签(分类结果、正确标签)的带正确标签图像数据的特征向量即第一特征向量与未赋予将带正确标签图像分割而生成的标签的图像(无标签图像)的特征向量即第二特征向量的距离信息。基于距离信息，选择向用户提示的无标签图像数据，由用户进行标签标注，作为第二带正确标签图像用于追加学习。
[0006]由此，能够根据第一带正确标签图像，生成与反映为原来的第一正确标签图像的内容不同的新的学习用图像。例如，能够选择与原来的第一正确标签图像最不相似的无标签图像作为向用户提示的图像。其结果是，被记载为能够增大每1个学习用图像的分类模型的精度的改善率，提高学习效率等。
[0007]现有技术文献
[0008]专利文献
[0009]专利文献1：日本特开2013
‑
125322号公报

技术实现思路

[0010]专利技术所要解决的课题
[0011]根据用户的环境而追加学习的对象多种多样。关于为了进行符合各个机器学习模型的动作环境的适当的机器学习的、从蓄积了大量图像的图像数据库中高效地收集所需的数据的技术，在专利文献1中没有提及。另外，即使能够收集学习用的图像，也需要分类(赋予正确标记)，没有解决花费成本的问题。
[0012]本专利技术是鉴于这样的背景而完成的，其课题在于提供能够削减监督数据的收集、制作的成本，使追加学习变得容易的图像检索装置以及监督数据提取方法。
[0013]用于解决课题的手段
[0014]为了解决上述课题，本专利技术的图像检索装置具备：特征提取部，其使用机器学习模型从所取得的图像中提取特征量；图像检索部，其使用所述特征量来检索所述图像并输出检索结果；分类项目取得部，其对所述检索结果的各个图像进行分类，取得表示所赋予的分类结果的分类项目；以及监督数据提取部，其根据所述特征量与所述分类项目的相关性，提取用于对所述机器学习模型进行追加学习的成为监督数据的图像。
[0015]专利技术效果
[0016]根据本专利技术，可以提供能够削减监督数据的收集、制作的成本，使追加学习变得容易的图像检索装置以及监督数据提取方法。
附图说明
[0017]图1是表示包含本实施方式所涉及的图像检索装置的图像检索系统的整体结构的图。
[0018]图2是本实施方式所涉及的图像检索装置的终端所显示的图像检索画面的结构图。
[0019]图3是本实施方式所涉及的图像检索装置的功能块的结构图。
[0020]图4是用于说明本实施方式所涉及的图像取得部、人物检测部以及特征提取部的动作的图。
[0021]图5是用于说明本实施方式所涉及的特征量数据库所包含的特征量表的数据结构的图。
[0022]图6是表示本实施方式所涉及的检索结果数据库中包含的检索条件表的数据结构的图。
[0023]图7是表示本实施方式所涉及的检索结果数据库中包含的检索结果表的数据结构的图。
[0024]图8是表示本实施方式所涉及的监督数据提取条件表的数据结构的图。
[0025]图9涉及本实施方式，是用于说明提取对象数据的分类项目、阈值A、阈值B以及是否追加学习的图表。
[0026]图10是表示本实施方式所涉及的监督数据提取结果表的数据结构的图。
[0027]图11是本实施方式所涉及的监督数据提取部执行的监督数据提取处理的流程图。
[0028]图12是本实施方式的变形例所涉及的图像检索装置的终端所显示的监督数据提取条件设定画面的结构图。
[0029]图13是表示本实施方式的变形例所涉及的特征量与分类项目的相关性的图表。
[0030]图14是表示本实施方式的变形例所涉及的特征量与分类项目的相关性的图表。
具体实施方式
[0031]以下，对用于实施本专利技术的方式(实施方式)中的图像检索装置进行说明。详细而言，对从设置于购物中心、办公楼等设施的摄像头拍摄到的图像中检索符合预定条件的人物的图像的系统中的图像检索装置进行说明。图像检索装置从所存储的图像数据中提取成为追加学习用的监督数据的图像数据。此外，本系统设想了搜索设施内走丢的孩子的用途、根据通过通报设施中发生的问题所涉及的人物等而得到的信息来搜索该人物的用途，但不限于这些用途，可以应用于广泛的用途。
[0032]《图像检索系统的整体结构》
[0033]图1是表示包含本实施方式所涉及的图像检索装置100的图像检索系统10的整体结构的图。图像检索系统10构成为包含：图像检索装置100、照相机310、将照相机310拍摄到的影像向图像检索装置100转送的网络330、追加学习装置300以及终端320。
[0034]照相机310是设置于设施的照相机，将经由网络330拍摄到的影像发送至图像检索装置100。终端320是使用图像检索系统10监视设施内的人(以下，也记为用户)所利用的终端。关于用户的终端320中的操作方法、显示画面，参照后述的图2进行说明。图像检索装置100从照相机310的图像中提取与从终端320输入的人物的特征(检索条件)一致的人物，并输出到终端320。
[0035]另外，将使用图像检索系统10监视设施内的人记为用户，对图像检索装置100的机器学习模型114(参照后述的图3)进行维护，将管理追加学习的人记为管理者。管理者也可以利用终端320。
[0036]追加学习装置300执行生成置换提本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像检索装置，其特征在于，具备：特征提取部，其使用机器学习模型从所取得的图像中提取特征量；图像检索部，其使用所述特征量来检索所述图像并输出检索结果；分类项目取得部，其对所述检索结果的各个图像进行分类，取得表示所赋予的分类结果的分类项目；以及监督数据提取部，其根据所述特征量与所述分类项目的相关性，提取用于对所述机器学习模型进行追加学习的成为监督数据的图像。2.根据权利要求1所述的图像检索装置，其特征在于，所述图像检索部取得作为目标的对象的特征，通过对照所述对象的特征和从所述图像提取出的特征量来检索所述图像并输出检索结果，所述分类项目包含符合和不符合，所述符合表示所述图像包含作为所述目标的对象，所述不符合表示所述图像不包含作为所述目标的对象。3.根据权利要求1或2所述的图像检索装置，其特征在于，所述监督数据提取部将提取出的图像与该图像的分类项目和特征量中的任一个一起输出到所述图像检索装置的外部。4.根据权利要求1至3中任一项所述的图像检索装置，其特征在于，所述监督数据提取部提取所述特征量与所述分类项目为逆相关的图像以及所述特征量与所述分类项目相关的图像中的任一个。5.根据权利要求4所述的图像检索装置，其特征在于，所述监督数据提取部提取所述特征量低于规定值且所述分类项目为符合的图像、所述特征量高于规定值且所述分类项目为不符合的图像、所述特征量低于规定值且所述分类项目为不符合的图像以及所述特征量高于规定值且所述分类项目为符合的图像中的任一个。6.根据权利要求1所述的图像检索装置，其特征在于，所述图像检索装置具备：图表生成部，其将所述特征量和所述分类项目作为轴，生成标绘了所述图像的图表。7.根据权利要求6所述的图像检索装置，其特征在于，所述图表生成部计算并显示标绘在所述图表中的图像的特征量以及分类项目的相关...

【专利技术属性】
技术研发人员：三井留以，小味弘典，五十岚跃一，筱本将央，关村贤司，菊池博幸，泷直人，村井泰裕，德田洋介，
申请(专利权)人：日立产业控制解决方案有限公司，
类型：发明
国别省市：