文档图像处理装置及方法制造方法及图纸

本发明专利技术公开了文档图像处理装置及方法。所述装置包括：信息获取单元，获取与携带标记的纸质文档对应的存储的文档模型以及从纸质文档捕捉的文档图像的信息，其中所述标记包括第一标记和第二标记；第一标记检测单元，检测所述文档图像中的第一标记并且获得第一标记的姿态；第二标记确定单元，根据变换和所述存储的文档模型的所述信息确定所述文档图像中的第二标记，其中所述变换根据第一标记的所述姿态和所述存储的文档模型的所述信息确定；及信息变换单元，根据更新的变换将所述存储的文档模型的所述信息转换到所述文档图像，其中，所述更新的变换基于所述变换和第二标记更新。与现有技术相比，本发明专利技术将提高从文档到文档图像的坐标变换的准确性。

Document Image Processing Device and Method

The invention discloses a document image processing device and a method. The device includes: an information acquisition unit, acquiring a stored document model corresponding to a paper document carrying a tag and information of a document image captured from a paper document, wherein the tag includes a first tag and a second tag, a first tag detection unit, detecting the first tag in the document image and obtaining the attitude of the first tag, and a second tag determination unit. The second tag in the document image is determined according to the transformation and the information of the stored document model, the transformation is determined according to the attitude of the first tag and the information of the stored document model, and the information transformation unit converts the information of the stored document model to the document image according to the updated transformation, in which the update is made. The transformation is updated based on the transformation and the second tag. Compared with the prior art, the present invention will improve the accuracy of coordinate transformation from document to document image.

【技术实现步骤摘要】
文档图像处理装置及方法
本专利技术涉及计算机视觉系统，更具体地，本专利技术涉及文档图像处理方法及装置，所述文档图像处理方法及装置将文档的坐标转换到对应的文档图像。
技术介绍
随着增强现实(AR)技术的发展，虚拟信息与实物或捕捉的实物图像叠加显示相应地尤为重要。近几年来，该技术被广泛应用于许多情境，例如面对面的商务会议，在这些情境中，需要确定文档姿态(例如，位置和方向)并进一步显示文档周围的一些相关内容。但在真实环境中，因为例如亮度变化、纸张变形等各种因素的一些影响，所以难以稳定、精确地确定文档姿态。近几年来，利用标记，进行基于AR技术的跟踪可得到文档姿态。美国专利US8233200B2公开了一种示例性的用于对象姿态识别的基于AR标记的跟踪技术，该技术包括：将已知表格的模型图像划分为通过至少三个对齐标记限定的区段，并且通过将捕捉的图像上对齐标记的位置与模型图像上对齐标记的位置进行比较，为每一个区段生成一个转换函数，然后将所述转换函数应用到区段内的其他标记来计算标记的正确位置。美国专利US7317557B2公开了另一种示例性的用于对象姿态识别的基于AR标记的跟踪技术，该技术提供了一种使用标记将文档图像的坐标转换为打印文档的坐标的方法。在相机从纸质文档或打印文档捕捉文档图像的情况下，有时纸质文档弯曲(bent)、卷曲(rolled)或折叠(folded)，因此所捕捉的文档图像可能会变形。并且由于变形，因此无法准确进行坐标变换。为了减小偏差，通用方法是在纸质文档上靠近目标位置或给定位置处添加标记。但是，由于标记必须足够大以被检测到以及与其他文档内容区分开，因此对于现有的纸质文档，没有足够的空间放置标记。此外，通过通用的AR标记，高精度地跟踪狭长对象或边缘空间狭长的对象非常具有挑战性。例如，纸质文档的边缘区域的空间比较狭窄，但是标记形状为正方形，则在增加标记的ID数量的情况下，标记的尺寸将在两个方向上增加。因此，该方法不适合纸质文档或狭长的对象，仍需找到一种新的方法来高精度地识别对象的姿态。
技术实现思路
因此，鉴于上面的
技术介绍
中的记载，本专利技术旨在解决上述问题。根据本专利技术的一个方面，提供一种文档图像处理装置，所述装置包括：信息获取单元，被构造为获取与携带标记的纸质文档对应的存储的文档模型以及从纸质文档捕捉的文档图像的信息，其中所述标记包括第一标记和第二标记；第一标记检测单元，被构造为检测所述文档图像中的第一标记并获得所述第一标记的姿态；第二标记确定单元，被构造为根据变换和所述存储的文档模型的所述信息确定所述文档图像中的第二标记，其中所述变换根据所述第一标记的所述姿态和所述存储的文档模型的所述信息确定；及信息变换单元，被构造为根据更新的变换将所述存储的文档模型的所述信息转换到所述文档图像，其中，所述更新的变换基于所述变换和所述第二标记更新。利用本专利技术，从文档到文档图像的坐标变换的准确性将得到提高。根据以下参照附图的描述，本专利技术的其他特性特征和优点将显而易见。附图说明并入本说明书中并构成本说明书一部分的附图以图示方式说明本专利技术的实施例，并且与文字描述一起用来解释本专利技术的原理。图1例示带有标记的纸质文档的示例。图2是示意性地示出可实现根据本专利技术实施例的技术的硬件配置的框图。图3是例示根据本专利技术一个实施例的文档图像处理装置的配置的框图。图4示意性地示出根据本专利技术一个实施例的文档图像处理的流程图。图5示意性地示出根据本专利技术的如图4中所示的步骤S430的流程图。图6例示从带有多个标记和一个第二标记的暂定位置的纸质文档捕捉的文档图像的示例。图7示意性地示出根据本专利技术另一实施例的使用新设计的第一标记进行对象姿态识别的流程图。图8示意性地示出根据本专利技术的如图7中所示的步骤S710的流程图。图9A、图9B、图9C、图9D和图9E例示新设计的第一标记的示例。图10例示根据本专利技术的带有新设计的标记的文档图像的示例。具体实施方式下面将参照附图详细地描述本专利技术的示例性实施例。应注意，下面的描述实质上仅为说明性和示例性的，并且决不意图限制本专利技术及其应用或用途。除非另有具体说明，否则实施例中阐述的组件和步骤的相对布置、数值表达式和数值并不限制本专利技术的范围。另外，本领域的技术人员已知的技术、方法和设备可能不会被详细地讨论，但在适当的情形中其应当是本说明书的一部分。请注意，相似的附图标记和字母指代附图中相似的项目，因此，一旦一个项目在一个附图中被定义，则不必在下面的附图中对其进行讨论。在本公开中，术语“第一”、“第二”等仅用来区分元素或步骤，而并不意图表示时间顺序、优先级或重要性。通常，纸张变形和/或相机镜头导致的文档图像变形是连续性的，因此，在文档图像中两个位置之间的偏移很小的情况下，偏移的偏差也很小。根据此观察和发现，本专利技术为利用携带标记的纸质文档的光学读取系统提出了文档与文档图像之间的坐标变换法。所提出的方法解决了由相机镜头和/或弯曲的纸张导致的文档图像变形的问题以提高坐标变换的准确性。在本专利技术中，对象可以是纸质文档，所述纸质文档可以是打印文档、手写文档或其他有形介质文档，而非电子文档。标记可包括两种类型，即，第一标记和第二标记。所述第一标记为可从文档图像检测到的主要标记。所述第二标记为可根据文档图像中的第一标记的姿态检测到的小型辅助标记，此处，姿态可以是位置、方向或角度；并且所述第二标记可用于校正文档图像中的目标位置或给定位置。接下来，将位置信息作为第一标记的姿态、文档图像作为对象来描述本专利技术的示例性实施例。然而，在位置被任何其他元素(诸如，方向或角度)替代时，亦可应用本专利技术的示例性实施例。图1例示带有标记的纸质文档的示例。纸质文档100携带一个第一标记110，所述第一标记包含两个位置112和114，及五个第二标记120、121、122、123和124，所述第二标记很小且被例示为图1中所示的黑色圆点。第一标记使用一种易与背景区分开的颜色，例如，纸张为白色而第一标记为黑色。第一标记的外形为正方形，而内部为特殊图案。所以可以与纸质文档的其他内容区分开。例如，如图1中所示，112和114显示第一标记的两个位置。第一标记的各边长度必须大于预定阈值。在一个实施例中，将阈值设置为30个像素。如图1中所示，120、121、122、123和124被例示为第二标记，所述第二标记在纸质文档上可以是黑色圆点。在一种实现方式中，每个第二标记的中央是第二标记的位置。在第二标记为黑色圆点的情况下，第二标记的尺寸可以为直径大于5个像素。文档图像处理所需的第二标记的数量取决于文档的内容、尺寸及变形。在一种实现方式中，在纸质文档上，本专利技术可将第二标记放置在靠近目标位置或给定位置处，所述目标位置或给定位置的坐标将被转换到对应的文档图像。此外，第一标记和第二标记的位置被保存在存储器中作为存储的文档模型的坐标。一方面，本专利技术根据检测到的第一标记计算第二标记的暂定位置，然后由于第二标记的尺寸非常小，因此在暂定位置附近文档图像的小区域中检测第二标记。即，在纸质文档上，可将第二标记放置在靠近目标位置或给定位置处。例如，如图1中所示，在纸质文档上，第二标记120、121、123和124均被放置在非常靠近文档边缘的位置；第二标记122被放置在非常靠近目标位置或给定位置125的位置。另本文档来自技高网...

【技术保护点】
1.一种文档图像处理装置，所述装置包括：信息获取单元，被构造为获取与携带标记的纸质文档对应的存储的文档模型以及从纸质文档捕捉的文档图像的信息，其中所述标记包括第一标记和第二标记；第一标记检测单元，被构造为检测所述文档图像中的所述第一标记并且获得所述第一标记的姿态；第二标记确定单元，被构造为根据变换和所述存储的文档模型的所述信息确定所述文档图像中的所述第二标记，其中所述变换根据所述第一标记的所述姿态和所述存储的文档模型的所述信息确定；及信息变换单元，被构造为根据更新的变换将所述存储的文档模型的所述信息变换到所述文档图像，其中，所述更新的变换基于所述变换和所述第二标记更新。

【技术特征摘要】
1.一种文档图像处理装置，所述装置包括：信息获取单元，被构造为获取与携带标记的纸质文档对应的存储的文档模型以及从纸质文档捕捉的文档图像的信息，其中所述标记包括第一标记和第二标记；第一标记检测单元，被构造为检测所述文档图像中的所述第一标记并且获得所述第一标记的姿态；第二标记确定单元，被构造为根据变换和所述存储的文档模型的所述信息确定所述文档图像中的所述第二标记，其中所述变换根据所述第一标记的所述姿态和所述存储的文档模型的所述信息确定；及信息变换单元，被构造为根据更新的变换将所述存储的文档模型的所述信息变换到所述文档图像，其中，所述更新的变换基于所述变换和所述第二标记更新。2.根据权利要求1所述的装置，其中所述存储的文档模型的所述信息至少包括：所述存储的文档模型的坐标、与所述纸质文档对应的所述第一标记的位置或方向或角度、与所述纸质文档对应的所述第二标记的位置。3.根据权利要求1所述的装置，其中所述第二标记确定单元：计算所述第二标记的暂定位置；分割所述文档图像以获得候选第二标记；计算每一个候选第二标记与所述暂定位置之间的距离；并且在所述距离小于阈值的情况下，所述候选第二标记为所述第二标记。4.根据权利要求1所述的装置，其中所述第二标记确定单元：计算所述第二标记的暂定位置；分割所述文档图像以获得候选第二标记；根据所述候选第二标记的尺寸、形状及所述候选第二标记与所述暂定位置之间的距离，计算每一个候选第二标记的分值；在所述候选第二标记分值最高的情况下，所述候选第二标记为所述第二标记。5.根据权利要求3或4所述的装置，其中所述第二标记的所述暂定位置根据所述变换和所述存储的文档模型中的所述第二标记的坐标计算。6.根据权利要求5所述的装置，其中所述更新的变换根据所述变换和所述文档图像中所述第二标记的暂定位置相对于所述第二标记的位置的坐标偏移更新。7.根据权利要求1所述的装置，其中所述更新的变换根据所述变换和所述文档图像中的给定位置与所述第二标记的位置之间的坐标偏移更新。8.根据权利要求7所述的装置，其中所述坐标偏移为加权平均坐标偏移，所述加权平均坐标偏移根据所述坐标和所述第二标记与所述给定位置之间的距离的倒数的对应权重确定。9.根据权利要求1所述的装置，其中所述第一标记包括第一识别部分和在一个方向展开的第二识别部分。10.根据权利要求9所述的装置，其中所述第一标记检测单元：确定所述文档图像中所述第一标记的候选第一识别部分；基于所述第一标记的所述候选第一识别部分的位置，确定所述第一标记的候选第二识别部分；验证所述第一标记的所述候选第二识别部分；在所述候选第二识别部分为所述第二识别部分的情况下，确定所述第一识别部分。11.根据权利要求10所述的装置，其中所述信息变换单元基于所述文档图像中所述第一识别部分的姿态，确定文档图像的姿态。12.根据权利要求9所述的装置，其中所述第一标记的所述第一识别部分的形状与所述第一标记的所述第二识别部分的形状不同。13.根据权利要求9所述的装置，其中所述第一标记的所述第一识别部分包括头部和尾部，其中所述第一标记的所述第二识别部分位于所述第一识别部分的所述头部与所述尾部之间。14.根据权利要求13所述的装置，其中所述第一识别部分的所述头部和所述尾部由形状或尺寸相同或不同的元素组成，并且...

【专利技术属性】
技术研发人员：郭瑞山，乔智勇，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP