一种文档和／或图像检索方法，比较基于所拍摄的数字图像的特征点所计算的特征量和基于存储在数据库中的各文档和／或图像的特征点所预先计算的特征量，从数据库检索与所拍摄的数字图像相对应的文档和／或图像。从所拍摄的数字图像提取特征点；对所提取的各特征点定义特征点的局部集合；从所定义的局部集合选择特征点以定义局部集合的特征点子集；对于子集中的特征点的组合，确定不变量值作为表征各所选子集的值，不变量值对于几何变换是不变的；通过组合所确定的不变量值计算特征量；以及基于预先计算的文档和／或图像的特征量对数据库中的文档和／或图像进行投票处理，从而从数据库检索与所拍摄的数字图像相对应的文档和／或图像。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种利用数字照相机或扫描器等的文档和/或 图像检索方法及其程序，涉及一种文档和/或图像存储设备和检 索设备。
技术介绍
数字照相机的普及、多功能化和小型化在模式识别(pattern recognition)禾口々某体J里角罕(media understanding)4贞；或带来了谇斤的 可能。其中一个这种可能是将用户所获取的图像链接到任一各 种服务。这类可能性在字符和文档的领域中毫无例外地存在。 对于基于照相机的字符识别和文档和/或图像分析开展了深入 研究(例如，参考非专利文献1和2)。特别地，利用装配到移动 电话的数字照相机的接口是重要的，并且利用该接口的字符读 取处理和翻"i奪处理等多种处理现正在考虑中(例如，参考非专利 文献3和4)。用于检索基于图像的文档和/或图像数据，即，文档和/或 图^象的在先4支术方法如下。在Kauniskangas方法中，将文档和/ 或图像均分成段落区域和图形区域，其中，分类段落区域和图 形区域并以树形结构表示它们。为了检索，判断询问和数据库 中的文档和/或图像的各区域的匹配程度，并且输出具有最高匹 配度的图像作为检索结果(例如，参考非专利文献5)。 Hull公开了 一种基于各单词的字符的数量的文档索引方法和检索方法、 以及一种利用不变量的图像索引方法。还公开了这样一种方法，在该方法中，以词为单位分割文档的文本，并且通过各单词的字符数量的序列所定义的特征量 表示该文档。预先计算数据库中的文档的各部分的特征量，并 将其存储在散列表中。为了检索输入的图像，以相同方式计算 输入的图像的特征量。通过基于输入图像的特征量访问散列并进行投票来实现该检索(例如，参考专利文献l和非专利文献6)。上述方法处理平板扫描器等所获得的高分辨率正确方向图^f象(correct-orientation image)。因此，这些方法不能用于基于凄t 字照相机的文档和/或图像检索，将通过本专利技术对它们进行处 理。例如，hull方法基于假定在输入的图像中字符是可分开 的。在较低清晰度的图像或经过投影变换等几何变换的图像的 情况下，不满足该假定，通过本专利技术处理该情况。 专利文献l: JP-A-7(1995)-282088非专利文献1: D. Doermann， J. Liang and H. Li, "Progress in Camera-Based Document Image Analysis", Proc. ICDAR，03， pp.606-616(2003)非专利文南足2: K. Kise, S. Omachi, S. Uchida， M. Iwamura, "Current status and Future Prospects of Camera-Based Character Recognition and Document Image Analysis',, Technichal Report of the IEICE, P画U2004-246(2005.3)非专利文献3 : K. Yamada， S. Senda， "Ubiquitous Information Interface Using Mobile Camera", Infromation processing, 45，9，pp.923-297(2004)非专利文南史4: Y. Watanabe， Y. Okada, Y—B. Kim, T. Takeda， "Translation Camera", Proc. ICPR,98,pp.613-617(1998)非专利文南大5: K. Harmu， "Document Image Retrieval with Improvements in Database Quality", Academic Dissertation of University of Oulu(1999)非专利文献6: J丄Hull, "Document Image Matching and Retrieval with Multiple Distortion-Invariant Descriptors", Document Analysis Systems, pp.379-396(1995)
技术实现思路
本专利技术要解决的问题本专利技术旨在提供一种用于通过使用由数字照相机或扫描仪 等所捕获的文档和/或图像作为询问、从文档和/或图像数据库 检索文档和/或图像的方法。与此有关的问题如下(1) 由数字照相机或扫描仪等所捕获的询问的文档和/或图个文档。而且，询问图像在分辨率和照明条件上与存储在数据 库中的文档和/或图像有极大的不同。这更加使得该问题变得复 杂。换句话说，由于摄影角度，通常识别的询问的文档和/或图 像不同于存储在数据库中的文档和/或图像。这使得难以判断图 像中的对象的同一性。因此，需要一种能够适应摄影角度的差 异的方法。(2) 为了精确检查图像的特征量，应该从图像提取较大数量 的元素以定义特征量。然而，由于较大数量的元素，判断同一 性需要相当长的时间。因此，需要一种判断同一性不需要相当 长时间的方法。(3) 在处理多种文档和/或图像的情况下，存在更大量的相似 文档和/或图像。难以从相似的文档和/或图像提耳又正确匹配的 图像。因此，需要一种能够高精度地判断从相似的文档和/或图 像所提取的图像的同 一 性的方法。用于解决该问题的方法为了解决这些问题，本专利技术中引入以下想法。(1) 为了提供文档和/或图像的特征量而免受由于几何变换 而引起的变形的影响，特征量的计算使用对于几何变换的不变量。在本专利技术中，不变量的一个例子就是交比(cross-ratio)。交 比是基于共线的四个点或共面的5个点所计算的值，并且已知为 对于投影变换的不变量，投影变换是一种类型的几何变换。在 使用交比的情况下，通过点(特征点)定义感兴趣的文档和/或图 像的特征量。在英文文档的情况下，例如，使用单词的重心作 为用于计算交比的特征点。为了使可以利用图像的一部分进行 检索，基于针对文档和/或图像的各部分所计算的交比计算特征 量。除投影变换以外，还考虑仿射变换和相似变换。(2) 存在巨大量的特征点的可能组合，因此，考虑特征点的 所有可能组合的对应关系是不现实的。因此，在本专利技术中，对 于检索使用利用散列的投票处理，而无需特征点的外在对应关 系。在存储中，基于从文档和/或图像提取的特征点计算特征量， 并基于根据特征量所确定的索引将特征量存储在散列表中。在 检索中，以相同方式确定特征点、特征量和询问的索引，并且 为了向所存储的文档和/或图像投票访问散列表。对于文档和/ 或图像检索很少采用传统已知概念的投票处理。(3) 在基于交比的值检查图像的同 一 性的情况下，计算交比 所基于的特征点应具有图像之间的对应关系。然而，当相互关 联从各图像提取的N个点时，有N!个组合。为了确保充分的判 断精度，应该使用足够大量的特征点。然而，这将导致过大的 计算复杂度。几何散列方法中的大的计算复杂度0(N"是Hull的专利技术的 动机之一。说明了使用三个或四个或更多个特征点(感兴趣的点) 以提供对于旋转和缩放的不变量(后面说明的相似不变量)。然 而，即使使用本文档来自技高网...
【技术保护点】
一种文档和／或图像检索方法，用于通过比较基于所拍摄的数字图像的特征点所计算的特征量与基于存储在数据库中的各文档和／或图像的特征点所计算的特征量，来从数据库检索与所拍摄的数字图像相对应的文档和／或图像，所述方法包括：从所述拍摄的数字图像提取所述特征点；对所提取的各特征点定义特征点的局部集合；从所定义的局部集合选择特征点的子集；对于所述子集中的特征点的组合，确定不变量值作为表征各所选子集的值，所述不变量值对于几何变换是不变的；通过组合所确定的不变量值计算特征量；以及基于预先计算的文档和／或图像的特征量对所述数据库中的文档和／或图像进行投票处理；从而从所述数据库检索与所述拍摄的数字图像相对应的文档和／或图像。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：黄濑浩一，中居友弘，岩村雅一，
申请(专利权)人：公立大学法人大阪府立大学，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。