人物服装特征提取装置及方法制造方法及图纸

从监视摄像机的输入影像中检测出人物区域，判定该人物区域中的人物的朝向，并且判定人物服装的分离可能性并生成服装部位分离信息，进而，考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征。基于人物的脸的朝向、人物的运动以及服装的对称性来判定人物的朝向。服装部位分离信息基于人物区域的几何学形状的方向信息、和表示通过人物区域以及背景区域而可视化的人物的服装部位的可视部位信息来生成。基于表示人物服装的种类和颜色的服装查询文本和提取出的人物的服装特征的对照结果来检索人物。

【技术实现步骤摘要】
【专利说明】 本申请是申请号为201080045981. 1、申请日为2010年10月13日、专利技术名称为"人 物服装特征提取装置、人物检索装置及其处理方法"的专利技术专利申请的分案申请。
本专利技术涉及从输入影像中提取人物服装特征的人物服装特征提取装置。另外，本 专利技术涉及基于从输入影像中提取出的人物服装特征来检索人物的人物检索装置。进而，本 专利技术涉及人物服装特征提取处理方法以及人物检索处理方法。 本申请基于2009年10月16日在日本提出的特愿2009-239360号专利申请而主 动优先权，并将其内容引用于此。
技术介绍
现有技术中，开发了各种人物检索方法以及监视系统、和图像保存检索系统。专利 文献1公开了在监视系统中从所保存的影像中检索人物的人物检索方法。在该监视系统 中，在录制影像时，提取人物的脸以及服装的信息并保存在数据库中。在人物检索时，将保 存在数据库中的脸/服装特征与作为查询所被赋予的图像的脸/服装特征进行比较，来判 定是否为同一人物。 参照图10来详述专利文献1中所公开的人物检索系统。图10表示人物检索装置 的构成，由脸区域检测/脸特征提取部1000、1020、穿衣区域检测/穿衣特征提取部1010、 1030、穿衣特征数据库1040、脸特征数据库1050、脸相似度计算部1060、穿衣相似度算出部 1070、以及人物相同性判定部1080构成。 脸区域检测/脸特征提取部1000从由监视系统取得的影像中进行脸区域检测以 及脸特征提取，并将提取出的脸特征输出到脸特征数据库1050中。穿衣区域检测/穿衣特 征提取部1010从由监视系统取得的影像中进行穿衣区域检测以及穿衣特征提取，并将提 取出的穿衣特征输出到穿衣特征数据库1040中。另一方面，脸区域检测/脸特征提取部 1020从所输入的查询图像中进行脸区域检测以及脸特征提取，并将查询脸特征输出给穿衣 相似度计算部1070。脸相似度计算部1060比较保存于脸特征数据库1050中的脸特征和从 脸区域检测/脸特征提取部1020输入的查询脸特征，并计算出脸相似度，将计算结果输出 给人物相同性判定部1080。穿衣相似度计算部1070比较保存在穿衣特征数据库1040中的 穿衣特征和从穿衣区域检测/穿衣特征提取部1030输入的查询穿衣特征，并计算出穿衣相 似度，将计算结果输出给人物相同性判定部1080。人物相同性判定部1080基于脸相似度计 算部1060所计算出的脸相似度和穿衣相似度计算部1070所计算出的穿衣相似度来判定人 物的相同性，并输出人物检索结果。 接下来，说明图10所示的人物检索装置的动作。首先，将从监视系统取得的影像 输入到脸区域检测/脸特征提取部1000以及穿衣区域检测/穿衣特征提取部1010。脸区 域检测/脸特征提取部1000对输入影像的各帧进行脸区域检测，对所检测出的脸区域进行 脸特征提取。从由输入影像检测出的脸区域中提取的脸特征被保存到脸特征数据库1050 中。 穿衣区域检测/穿衣特征提取部1010从输入影像中检测穿衣区域，提取其视觉特 征即穿衣特征。所提取出的穿衣特征被保存在穿衣特征数据库1040中。 人物检索时，将查询图像输入到脸区域检测/脸特征提取部1020以及穿衣区域检 测/穿衣特征提取部1030。脸区域检测/脸特征提取部1020以及穿衣区域检测/穿衣特 征提取部1030与所述脸区域检测/脸特征提取部1000以及穿衣区域检测/穿衣特征提取 部1010发挥相同的作用，提取查询脸特征以及查询穿衣特征。 脸相似度计算部1060将查询脸特征与保存在脸特征数据库105中的脸特征进行 比较，计算出脸相似度。另一方面，穿衣相似度计算部1070将查询穿衣特征与保存在穿衣 特征数据库1040中的穿衣特征进行比较，计算出穿衣相似度。人物相同性判定部1080综 合脸相似度和穿衣相似度来判定人物相同性，并据此输出人物检索结果。 专利文献2公开了一种图像保存/检索系统，检索具有与表现人类主观感知的色 调的色觉语言相符的图像特征的图像数据。在此，预先设定人类的自然语言所包含的色调 表现与颜色空间的像素的对应关系。另外，从保存在数据库中的图像数据中提取像素，计算 出与色调表现之间的相似度并保存。若赋予色调表现作为查询，则调查该色调表现与图像 数据之间的相似度，检索相似度高的图像数据并显示。 在先技术文献 专利文献 专利文献1 :JP特开2009-199322号公报 专利文献2 :JP特开2009-3581号公报 专利技术的概要 专利技术要解决的课题图10所示的人物检索系统是仅接受查询图像的系统，不能进行基于查询文本的 人物检索。即，是从查询图像中提取视觉特征（例如穿衣的颜色或花纹的信息）来进行人 物检索的系统，无法将表示"红色衣服"这样的语言表现的查询文本变换为视觉特征来进行 人物检索。另外，在从输入影像检测穿衣区域时，不考虑人物的朝向，不能将由人物的朝向 不同而引起的能看到的穿衣的差异纳入考虑的范畴。进而，由于提取穿衣区域整体的视觉 特征，因此在以"白色上衣配蓝色裤子"这样的上半身/下半身穿衣的视觉特征不同的情况 下，不能将上半身/下半身的穿衣的差异反映到人物检索中。因此，即使检索者要检索正面 朝向的人物，也会输出符合条件的人物以外的检索结果，另外，即使想要仅以上半身的穿衣 来执行人物检索，也会检索出上半身以外的穿衣部分的视觉特征类似的人物。这样，现有的 人物检索系统所输出的人物检索结果中包含较多的错误。 专利文献2的图像保存/检索系统针对如"红色衣服"那样由一种颜色构成的穿 衣能进行基于查询文本的人物检索，但由于查询文本仅能指定一种颜色，因此不能使用多 种颜色进行人物检索。与专利文献1相同，不能将人物朝向的差异、人物的上半身/下半身 的视觉特征的差异反映到人物检索结果中。
技术实现思路
用于解决课题的手段 本专利技术鉴于上述问题而提出，其目的在于提供一种能正确地提取包含在影像中的 人物服装的特征的人物服装特征提取装置。 另外，本专利技术提供一种对由影像取得的人物服装特征和查询文本进行对照来进行 人物检索的人物检索装置。 进而，本专利技术提供一种描述了人物服装特征提取处理方法和人物检索处理方法的 程序。 本专利技术所涉及的人物服装特征提取装置具备：人物区域检测部，其从输入影像中 检测出人物区域；人物朝向判定部，其判定人物区域中的人物的朝向；服装部位分离部，其 判定人物区域中的人物服装的分离可能性，并输出服装部位分离信息；服装特征提取部，其 考虑人物的朝向以及服装部位分离信息来提取人物区域中表示人物服装的视觉特征的服 装特征；和服装特征保存部，其保存所提取出的服装特征。 本专利技术所涉及的人物检索装置具备：服装特征检索部，其基于表示人物的服装的 种类和颜色的服装查询文本来检索服装特征参数；服装特征查询生成部，其基于服装特征 参数来输出服装特征查询；服装特征对照部，其将从服装特征保存部中检索出的服装特征 与服装特征查询进行对照，并输出其对照结果；和人物检索部，其基于对照结果来输出人物 检索结果。 本专利技术所涉及的人物服装特征提取方法执行如下处理：从输入影像中检测出人物 区域的人物区域检测处理；判定人物区域中的人物的朝向的人物朝向判定处理；判定人物 区域中的人物服装的分离可能性，本文档来自技高网...

【技术保护点】
一种人物服装特征提取装置，其特征在于，具备：人物区域检测部，其从输入影像中检测出人物区域；人物朝向判定部，其判定人物区域中的人物的朝向；服装部位分离部，其判定人物区域中的人物的服装的分离可能性，并输出服装部位分离信息；服装特征提取部，其考虑人物的朝向以及服装部位分离信息以提取表示人物区域中的人物服装的视觉特征的服装特征；和服装特征保存部，其保存所提取出的服装特征。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：大网亮磨，平川康史，高桥祐介，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：日本;JP