图像检索系统及图像检索方法技术方案

通过用户接口部９输入属性表的检索条件后，检索处理部１０对属性表蓄存部７中蓄存的属性表进行检索，把适合检索条件的属性信息输出到显示部１１进行显示。接下来，通过用户接口部９输入类似检索的检索条件后，检索处理部１０对图像信息蓄存部５中蓄存的图像数据进行检索，选择出具有适合检索条件的特征描述符组的图像数据，输出到显示部１１进行显示。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及从以模拟或数字方式记录的映像、静止图像等的图像数据中抽取特征量和属性信息，并利用所抽取的特征量和属性信息实施图像数据检索的。现有技术第1图表示作为以往的图像检索处理系统一例的在电子信息通信学会论文杂志D-II 1996年4月号(Vol.79-D-II N0.4，pp.476-483)中记载的系统的构成。这里，以静止图像为对象，由前处理部101的区域分割部103把图像分割成各个段，在被分割后的各段内附加关键。关键词包括概念关键词和场景记述关键词二种。概念关键词抽取部104利用预先分配给颜色信息的概念关键词根据各段的颜色及特征量取得概念关键词108。场景记述关键词记述部105从各段的图像特征量中取得“位置”、“颜色”、“形状”、“大小”、“方向”等有关谓词，有必要由用户107通过操作106从预先定义的谓词中选择出来，并予以记述，输出场景记述关键词109。在检索工具102中，预先设置了概念关键词和场景记述关键词，由用户111从预先设置的关键词中进行选择。特征鉴定部110根据用户所选择的关键词112与各图像中附加的关键词108、109实施特征量鉴定及图像检索处理。但是在上述图像检索处理系统中，由于根据用户所选择的概念关键词和场景记述关键词等关键词及各图像中附加的关键词实施特征量的鉴定，并基于该特征量实施图像检索处理，所以只能通过特征量检索所有的图像，因而检索时间较长。此外，在上述的图像检索处理系统中，由于未考虑各关键词的记述方法及存储方法等，所以有必要使图像服务器与作为客户的检索工具等一对一地对应，从而无法建立一种多个用户可通过网络利用各种检索工具实施图像检索的系统。此外由于仅仅以静止图像为对象，所以难以检索运动图像。为此，本专利技术考虑到了上述问题，其第1目的是提供能有效地实施图像检索处理的。此外本专利技术的第2目的是提供通过利用通用语法记述并生成检索关键词从而不依赖于分散在网络上的多个图像服务器的。本专利技术的第3目的是提供通过在从运动图像中抽取关键词时，不按帧单位而是按集中了多个帧的视频段单位抽取特征量，从而可容易地检索运动图像的。
技术实现思路
本专利技术涉及的图像检索系统具备从输入图像数据中抽取图像特征量生成特征描述符的特征描述符生成部、与输入图像数据相关联蓄存所生成的特征描述符的图像信息蓄存部、基于附加于输入图像数据输入的属性信息生成属性表的属性表生成部、输入与属性信息相关的检索条件后，检索上述属性表，输出适合该检索条件的属性信息，同时在输入与特征描述符相关的检索条件后，检索图像信息蓄存部，输出适合该检索条件的图像数据的图像检索部。这样便可以取得有效实施检索的效果。本专利技术涉及的图像检索系统的属性表生成部，基于定义了属性表数据结构的语法生成属性表，图像检索部根据属性表的语法实施检索。这样，可以取得短时高效检索的效果。本专利技术涉及的图像检索系统的特征描述符生成部，基于定义了特征描述符数据结构的语法生成特征描述符，图像检索部根据特征描述符的语法实施检索。这样，可以取得不依赖于分散在网络上的多个图像服务器实施图像检索的效果。本专利技术涉及的图像检索系统的特征描述符生成部，按帧单位抽取特征量，按集中了多个帧的视频段单位生成特征描述符。这样便可以取得可容易地实施运动图像检索的效果。该专利技术涉及的图像检索系统的特征描述符生成部，把由帧内与帧间组成的压缩映像数据作为输入图像数据，在帧内情况下，抽取规定的编码单位区域内的各像素值的平均值矩阵，只累计视频段中包含的帧内成分，作为帧内的特征描述符生成根据帧内数求得的该累计值的平均值和标准偏差，另一方面，在帧间情况下，抽取规定的编码单位区域中各像素的运动矢量矩阵，求出帧内的运动矢量平均值，对该平均值实施阈值处理，对零行程长度分类并抽取，作为帧间的特征描述符生成通过在各视频段中包含的帧间数求得的平均值与零行程长度分类的平均值。这样便可以取得较容易实施运动图像检索的效果。该专利技术涉及的图像检索系统的特征描述符生成部，把非压缩映像数据作为输入图像数据，从非压缩映像数据中抽取特征量生成特征描述符，图像信息蓄存部使非压缩映像数据基于规定的映像压缩方式被压缩后的压缩映像数据与特征描述符组相关联蓄存。这样，可以取得有效检索的效果。该专利技术涉及的图像检索系统的图像检索部，对图像信息蓄存部进行检索，在输出适合于所指定的特征描述符的图像数据时，读出预先存储的规定条件式，并基于该规定条件式对是否适合所指定的特征描述符进行判断。这样，可以取得有效检索的效果。该专利技术涉及的图像检索系统的输入图像数据为由监视摄像机记录的监视图像。这样，可以取得能发现入侵者的效果。该专利技术涉及的图像检索系统的输入图像数据为被蓄存的视频邮件图像。这样，可以取得用户能检索所需邮件的效果。该专利技术涉及的图像检索系统的输入图像数据为被蓄存的广播节目图像。这样，可以取得尽管用户未能准确记住节目信息，仍可以根据对映像的印象进行检索的效果。该专利技术涉及的图像检索系统的输入图像数据为由摄像机记录的映像。这样，可以取得以映像本身所具有的类似性作为关键码进行有效素材检索的效果。该专利技术涉及的图像检索方法，从输入图像数据抽取图像特征量生成特征描述符，使所生成的特征描述符与输入图像数据相关联蓄存，同时基于附加于输入图像数据输入的属性信息生成属性表。输入与属性信息相关的检索条件后检索属性表，并输出适合检索条件的属性信息，同时参照所输出的属性信息输入与特征描述符相关的检索条件后，检索上述所蓄存的图像数据，并输出适合该检索条件的图像数据。这样，可以取得有效检索的效果。该专利技术涉及的图像检索系统，由从输入图像数据抽取图像特征量生成特征描述符的特征描述符生成部、与输入图像数据的时空间结构相关联，在检索用描述数据中记述特征描述符的检索用描述数据生成部、将检索用描述数据与对应的输入图像数据一起蓄存的图像信息蓄存部、第1检索处理部、第2检索处理部、用户接口部组成，第2检索处理部把用户通过用户接口部传来的检索请求作为检索请求信息传送给第1检索处理部，同时接收从第1检索处理部传送的检索结果，并通过用户接口部向用户提示，第1检索处理部根据从第2检索处理部传送的检索请求信息对图像信息蓄存部所蓄存的输入图像数据的检索用描述数据进行分析，抽取特征描述符，基于所抽取的特征描述符实施适合判断处理求出检索结果，并把该检索结果传送给第2检索处理部，通过上述用户接口部向用户提示。这样，可以取得基于特征描述符有效检索图像数据的效果。该专利技术涉及的图像检索系统，具备用于计算由特征描述符生成部生成的特征描述符可靠度的特征描述符可靠度计算部，检索用描述数据生成部，与输入图像数据的时空间结构相关联把特征描述符及可靠度记述到检索用描述数据内，第1检索处理部根据由第2检索处理部所传送的检索要求信息对在图像信息蓄存部中蓄存的输入图像数据的检索用描述数据进行分析，抽取特征描述符及可靠度，基于所抽取的特征描述符及可靠度实施适合判断处理并求出检索结果，把该检索结果传送给第2检索处理部，通过用户接口部向用户提示。这样，可以取得有效检索的效果。本专利技术涉及的图像检索系统的第1检索处理部，在适合判断处理时基于特征描述符的可靠度，对基于特征描述符的适合判断的必要性进行评估，如果判断为没有必要进行适合性判断，则跳过适合判断处理本文档来自技高网...

【技术保护点】
一种图像检索系统，其特征在于：具备 特征描述符生成部，从输入图像数据中抽取图像特征量生成特征描述符； 图像信息蓄存部，与输入图像数据相关联蓄存所生成的上述特征描述符； 属性表生成部，基于附加于输入图像数据输入的属性信息生成属性表； 图像检索部，输入与属性信息相关的检索条件后检索上述属性表，输出适合该检索条件的属性信息，同时在输入与特征描述符相关的检索条件后，检索上述图像信息蓄存部，输出适合该检索条件的图像数据。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：关口俊一，井须芳美，西川博文，山田悦久，浅井光太郎，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：JP[日本]