使用三维物体模型的图像匹配系统以及图像匹配方法技术方案

本发明专利技术的目的在于即使在每个物体只存在少数参照图像的情况下，也可以针对在姿势、照明不同的条件下所拍摄的物体的图像，从输入图像高速检索数据库中所存储的参照图像。参照图像匹配结果存储部（５０）将参照图像存储部（７０）中的各参照图像作为输入图像，并预先存储与代表三维物体模型存储部（２０）中的各代表三维物体模型进行匹配的结果；图像生成单元（３０）基于各代表三维物体模型生成输入条件与通过图像输入单元（１０）所得到的输入图像接近的比较图像；图像匹配单元（４０）计算输入图像与所生成的各图像的类似度；结果匹配单元（６０）计算所述图像匹配单元（４０）的匹配结果与所述参照图像匹配结果存储部（５０）中所存储的各参照图像的匹配结果的类似度，并按类似度从高到低的顺序提取匹配结果类似的参照图像，并显示在结果显示单元（８０）上。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及使用了三维物体模型的图像匹配系统、图像匹配方法以及图像匹配程序，特别是涉及以下图像匹配系统、图像匹配方法以及图像匹配程序，即对于在姿势、照明不同的条件下所拍摄的物体(人物的脸)的输入图像，可以从该输入图像来检索数据库(DB)中的参照图像。
技术介绍
1995年，电子信息通信学会论文杂志D-II，第J78-D-II卷，第11号，1639页～1649页，岛田等所著，《用于不依据脸部朝向的人物识别的辞典构成法》中记载有现有的图像匹配系统的一个例子(以下称为第一现有技术)。如图26所示，该第一现有技术的图像匹配系统包括图像输入部10、图像匹配部40、结果显示部80、参照图像存储部70和参照图像注册部75。具有这种结构的现有的图像匹配系统如下那样工作。参照图像存储部70中存储有预先通过参照图像注册部75所拍摄的各种物体的参照图像(人物的参照脸部图像等)。其中，对于参照图像来说，由于根据摄影时的条件(姿势、照明等条件)不同而大幅变化，所以对于一个物体要存储在各种条件下拍摄的多个(很多)图像。图像输入部10由照相机等来实现，并将拍摄的输入图像存储在存储器(图中未示出)中。图像匹配部40将通过图像输入部10所得到的输入图像和通过参照图像存储部70所得到的各参照图像进行比较，分别计算特征的类似度(或是距离值)，并选出各物体中类似度最大(或是距离具小)的参照图像。各个图像用浓淡特征来表现，在特征间的类似度计算或距离值计算中例如可使用规范化函数或欧几里得距离等。结果显示部80将该参照图像中所选出的类似度最大的物体的参照图像作为匹配结果加以显示(或者按照类似度从大到小的顺序显示作为候补的参照图像)。日本专利文献特开2000-322577号公报中记载有现有图像匹配系统的另一个例子(以下称为第二现有技术)。如图28所示，该现有的图像匹配系统包括图像输入部10、图像转换部35、部分图像匹配部45、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20和三维物体模型注册部25。具有这样的结构的现有的图像匹配系统如下那样工作。代表三维物体模型存储部20中存储有预先通过三维物体模型注册部25所得到的有代表性的一个或多个三维物体模型。关于通过图像输入部10所得到的输入图像和通过参照图像存储部70所得到的各参照图像共同的部分区域，图像转换部35使用通过代表三维物体模型存储部20所得到的三维物体模型，来转换该输入图像和该参照图像的双方或任意一方以生成部分图像，使得输入条件(例如姿势条件)相同。所谓部分区域，例如图29所示，是眼、鼻、口这样的特征部分，可以通过预先对各图像与三维物体模型指定特点来获得对应。部分图像匹配部45将通过图像转换部35得到的被转换的输入图像和各参照图像的部分图像进行比较，分别计算平均类似度，并选出各物体中类似度最大的参照图像。结果显示部80将该参照图像的类似度最大的物体作为匹配结果加以显示。在上述现有技术中，有下面所述的各种问题。第一，在上述第一及第二现有技术中存在以下问题，即对于所注册的物体，需要在各种条件下所拍摄的多个参照图像。其理由是，由于直接比较输入图像和参照图像，所以在输入图像的拍摄条件没有被限定时，为了对应多种姿势或照明条件，就需要预先准备接近输入图像的拍摄条件的参照图像。但是，实际上，姿势或照明条件存在无限的可能性，预先准备与各种条件相对应的大量图像在现实上是不可能的。第二，在第二现有技术中，由于转换输入图像或参照图像，使得姿势吻合，并进行比较，所以，存在以下问题，即三维物体模型的参照图像的数目不够多，或是若姿势差异较大，则转换引起的失真变大，从而不能正确匹配。此外，存在以下问题，即通过转换来使照明条件吻合是非常困难的，而且，由于在共同区域内比较图像，所以就必须存在共同的区域。第三，在各现有技术中，存在匹配耗时的问题。其理由是，在现有技术中，由于对输入图像和各物体的多个参照图像进行比较，所以当物体数是M个，而各物体的参照图像是L个时，至少需要进行L×M次的图像比较。
技术实现思路
本专利技术的目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使在只存在少数参照图像的情况下，也可以针对每个物体在不同姿势和照明条件下所拍摄的图像，从输入图像来检索出数据库中注册的参照图像。本专利技术的另一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而不进行转换输入图像或参照图像以使其姿势吻合的处理，就可以通过很少的三维物体模型的参照图像进行匹配，并且即使各图像未必存在共同的区域也可以进行匹配。本专利技术的又一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使不对所有物体生成某一必需数目的三维物体模型也可以进行图像的匹配。本专利技术的再一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使数据库中注册有关于很多物体的参照图像，也可以高速地进行检索。根据本专利技术，提供一种检索与输入图像类似的参照图像的图像匹配系统，所述图像匹配系统的特征在于，其包括用于将所述输入图像与多个代表三维物体模型进行匹配的单元；用于将所述参照图像与多个所述代表三维物体模型进行匹配的单元；利用所述输入图像与多个所述代表三维物体模型进行匹配的结果，和所述参照图像与多个所述代表三维物体模型进行匹配的结果，检索与所述输入图像类似的所述参照图像的单元。上述图像匹配系统还可以包括用于求出与所述参照图像对应的参照三维物体模型的单元，其中所述参照图像与所述输入图像类似；和利用所述参照三维物体模型和所述输入图像，重新检索与所述输入图像类似的所述参照图像的单元。上述图像匹配系统还可以包括用于求出与所述参照图像对应的参照三维物体模型的单元，其中所述参照图像与所述输入图像类似；基于所述参照三维物体模型，通过转换所述输入图像与所述参照图像的双方或任一方来使所述输入图像与所述参照图像的输入条件一致的转换单元；和通过将所述输入条件一致的所述输入图像与所述参照图像进行匹配来检索与所述输入图像对应的所述参照图像的单元。在上述图像匹配系统中，所述转换单元也可以预先转换所述参照图像，并使所述输入图像的输入条件与所述参照图像的输入条件一致。上述图像匹配系统也可以包括图像输入单元，用于输入所述输入图像；代表三维物体模型存储部，用于存储多个所述代表三维物体模型；图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像接近的、至少一个比较图像；图像匹配单元，用于计算所述输入图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像与代表三维物体模型之间的类似度；参照图像存储部，用于存储各物体的所述参照图像；参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；结果匹配单元，基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像本文档来自技高网...

【技术保护点】
一种图像匹配系统，用于检索与输入图像类似的参照图像，其特征在于，包括：用于将所述输入图像与多个代表三维物体模型进行匹配的单元；用于将所述参照图像与多个所述代表三维物体模型进行匹配的单元；和利用所述输入图像与多个所述代表三维物体模型进行匹配的结果，和所述参照图像与多个所述代表三维物体模型进行匹配的结果，检索与所述输入图像类似的所述参照图像的单元。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：滨中雅彦，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：JP[日本]