图像处理装置、图像检索界面显示装置以及图像检索界面的显示方法制造方法及图纸

图像处理装置具备处理器、与上述处理器连接且存储图像数据库的存储部、以及与上述处理器连接的显示部，上述处理器若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息，使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息，将基于上述第1共现信息的第2对象的候补输出到上述显示部。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像检索界面显示装置以及图像检索界面的显示方法
本专利技术涉及一种图像处理装置、图像检索界面显示装置以及图像检索界面的显示方法。
技术介绍
随着电视影像的数字归档化、网络上的视频分发服务的普及，将大规模的图像数据以高速检索以及分类的必要性逐渐增加。另外，对面向安全积蓄的监视图像的解析的期待逐渐增加。难以对这些膨大的图像以手工赋予文本信息，所以要求使用了图像中的特征量的图像检索技术。大规模并且高速的类似图像检索系统正在被实用化。例如，提出了预先提取图像特征量来构建数据库，在查询图像中高速查出外观类似的图像的技术。另外，通过与检测图像中的包含物体的区域的图像处理技术进行组合，能够进行着眼于图像中的物体的详细的类似图像检索。作为本
的
技术介绍
，有专利文献1。在专利文献1记载了，“将包含于要检索的图像的对象的名称作为关键词输入，生成将该对象布局配置的查询图像并进行图像检索”(参照摘要)。在专利文献1记载的系统中，根据用户指定的多个关键词获取物体的图像样本，按照物体的平均的大小以及位置自动地创建布局，利用按照该布局合成的图像进行类似图像检索。专利文献1:日本特开2011－197892号公报
技术实现思路
在专利文献1记载的系统中，用户需要输入多数的物体的信息(关键词)。这里，在专利文献1记载的系统中，即使输入了多个物体的信息，也不成为考虑了多个物体间的关系性的检索查询，所以有检索精度降低的可能性。因此，本专利技术提供一种辅助考虑了多个物体间的关系性的检索查询的创建的技术。例如，为了解决上述课题，采用请求专利保护的结构。本申请包含多个解决上述课题的手段，举出其一个例子，提供一种具备处理器、与上述处理器连接且存储图像数据库的存储部、以及与上述处理器连接的显示部的图像处理装置。上述处理器若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息，使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息，将基于上述第1共现信息的第2对象的候补输出到上述显示部。另外，作为其他的例子，提供具备处理器、与上述处理器连接且显示具有查询输入区域的图像检索界面的显示部的图像检索界面显示装置。上述处理器若向上述查询输入区域输入第1对象，则将第2对象的候补显示到上述图像检索界面，若选择上述第2对象，则将上述第2对象显示到上述查询输入区域。另外，作为其他的例子，提供一种具备处理器、与上述处理器连接且存储图像数据库的存储部、与上述处理器连接的显示部的信息处理装置中的图像检索界面的显示方法。该图像检索界面的显示方法包含如下步骤：上述处理器若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息；上述处理器使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息；上述处理器将基于上述第1共现信息的第2对象的候补输出到上述显示部。根据本专利技术，能够辅助考虑了多个物体间的关系性的检索查询的创建。此外，与本专利技术相关的进一步的特征根据本说明书的记载、附图变得清楚。另外，上述以外的课题、构成以及效果根据以下的实施例的说明变得清楚。附图说明图1是表示实施例1中的图像检索系统的构成例的框图。图2是表示实施例1中的图像检索系统的硬件构成例的框图。图3A是表示实施例1中的图像数据库的构造例的图。图3B是表示实施例1中的图像数据库的构造例的图。图4A是表示实施例1中的图像中的物体的配置信息的第1例的图。图4B是表示实施例1中的图像中的物体的配置信息的第2例的图。图5是实施例1中的数据库登记处理的流程图的一个例子。图6是说明实施例1中，使用共现信息的查询输入辅助以及图像检索的例的图。图7是说明实施例1中共现信息生成的例子的图。图8是实施例1中的使用共现信息的查询输入辅助以及图像检索的处理的流程图的一个例子。图9是实施例1中的共现信息生成处理的流程图的一个例子。图10是实施例1中，图像检索处理的流程图的一个例子。图11A是表示实施例1中的图像检索界面的一个例子的图。图11B是表示实施例1中的图像检索界面的一个例子的图，表示变更了物体的配置时的图像检索界面。图12是实施例1中的系统整体处理的时序图的一个例子。图13是用于说明实施例2中的针对通过检索结果得到的图像的修正处理的图。图14是实施例2中的共现信息生成处理的流程图的一个例子。具体实施方式以下，参照附图对本专利技术的实施例进行说明。此外，附图示出了符合本专利技术的原理的具体的实施例，然而这些是用于理解本专利技术的，而绝不用于限定解释本专利技术。此外，有时对于各图中共用的构成标注相同的参照符号。＜实施例的概要＞以下说明的图像检索装置是进行着眼于图像中的物体的类似图像检索的装置。图像检索装置从新登记对象的图像中检测出物体，提取检测出的物体的特征量，推定类别。在数据库，与图像一起积蓄物体的配置信息和特征量。检索时，将输入的第一查询(物体的图像及其配置信息)作为条件，自动地进行图像检索。根据得到的检索结果，将包含第一查询的图像所包含的、其他的物体的信息从数据库获取，求出与第一查询的物体的共现信息。图像中的物体的共现性表示物体A和物体B在图像中同时存在的概率。以下的例中，图像中的物体的共现性按区域表示物体A存在于图像中的某区域X时的物体B的出现概率。图像检索装置使用求出的共现信息，对用户提示第二查询(物体及其配置信息)的候补。用户从提示的候补中选择所希望的物体，就能够将检索查询详细化。该反复操作的结果得到的检索查询成为似乎正确的物体的组合以及它们的配置，所以图像检索的精度提高。[实施例1]图1是表示实施例1的图像检索系统100的构成例的框图。图像检索系统100具备使用了物体的共现信息的查询输入辅助的用户界面。根据该构成，能够高效地执行着眼于图像中的物体的图像检索。图像检索系统100例如包含图像存储装置101、输入装置102、显示装置103、图像检索装置104。图像存储装置101是保存静态图像数据或者视频数据的存储介质，例如，使用计算机内置的硬盘驱动器，或者，以NAS(NetworkAttachedStorage，网络连接存储)或SAN(StorageAreaNetwork，存储区域网络)等的网络连接的存储系统构成。另外，图像存储装置101例如也可以是临时保存从照相机持续输入的图像数据的高速缓存。输入装置102例如是鼠标、键盘、触摸设备等用于将用户的操作传递给图像检索装置104的输入接口。显示装置103例如是液晶显示器等输出接口，用于图像检索装置104的检索结果的显示以及与用户的对话操作等。图像检索装置104提取检索所需的信息，进行向数据库的登记处理。登记处理包含：从积蓄在图像存储装置101中的图像检测出物体区域；对于检测出的各区域提取出图像特征量；推定物体的类别；将这些信息登记到图像数据库109。另外，图像检索装置104进行利用用户从输入装置102指定的检索查询从图像数据库109检索与检索查询一致的图像，并将检索结果显示到显示装置103的检索处理。检索处理中，用户指定查询。查询包含物体以及物体的配置信息。用户例如在显示于显示装置103的画布上指定物体的配置信息，输入物本文档来自技高网...

【技术保护点】
1.一种图像处理装置，其特征在于，具备：处理器；与上述处理器连接，且存储图像数据库的存储部；以及与上述处理器连接的显示部，上述处理器进行如下动作：若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息，使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息，将基于上述第1共现信息的第2对象的候补输出到上述显示部。

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，其特征在于，具备：处理器；与上述处理器连接，且存储图像数据库的存储部；以及与上述处理器连接的显示部，上述处理器进行如下动作：若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息，使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息，将基于上述第1共现信息的第2对象的候补输出到上述显示部。2.根据权利要求1所述的图像处理装置，其特征在于，上述配置信息包含上述第1对象的大小以及位置信息。3.根据权利要求1所述的图像处理装置，其特征在于，上述第1共现信息是按区域表示上述第1对象存在于图像的某区域时的其他对象的出现概率的信息。4.根据权利要求1所述的图像处理装置，其特征在于，上述处理器进行如下动作：若经由上述显示部接受上述第2对象的输入，则获取上述显示部中的上述第2对象的配置信息，使用上述第1对象和上述第1对象的上述配置信息以及上述第2对象和上述第2对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象以及上述第2对象这双方的相关关系的第2共现信息，将基于上述第2共现信息的第3对象的候补输出到上述显示部。5.根据权利要求1所述的图像处理装置，其特征在于，上述处理器进行如下动作：若经由上述显示部接受上述第2对象的输入，则获取上述显示部中的上述第2对象的配置信息；使用上述第2对象和上述第2对象的上述配置信息，获取基于上述图像数据库的表示与上述第2对象的相关关系的第2共现信息，将基于上述第2共现信息的第3对象的候补输出到上述显示部。6.根据权利要求1所述的图像处理装置，其特征在于，上述处理器进行如下动作：若经由上述显示部接受使用包含上述第1对象和上述第1对象的上述配置信息以及上述第2对象和上述第2对象的上述配置信息的检索查询的图像检索的指示，则创建包含上述第1对象和上述第2对象的合成图像，使用上述合成图像从上述图像数据库检索与上述检索查询类似的图像，并将检索结果显示到上述显示部。7.根据权利要求6所述的图像处理装置，其特征在于，上述处理器还进行如下动作：从上述图像数据库检索与包含上述第1对象和上述第1对象的上述配置信息的第1查询类似的图像，从上述图像数据库检索与包含上述第2对象和上述第2对象的上述配置信息的第2查询类似的图像，整合基于上述合成图像的检索结果、基于上述第1查询的检索结果和基于上述第2查询的检索结果，并将整合的结果显示到上述显示部。8.根据权利要求1所述的图像处理装置，其特征在于，上述处理器进行如下动作：若经由上述显示部接受使用包含上述第1对象和上述第1对象的上述配置信息...

【专利技术属性】
技术研发人员：渡边裕树，森田健一，广池敦，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本,JP