用于图像捕捉和便于注解的方法和系统技术方案

一种用于捕捉和处理图像的方法，包括：用图像传感器来捕捉所捕捉图像；取回隐藏在所述捕捉图像中的隐写标记；基于所述隐藏标记来处理所述捕捉图像，从而生成已处理图像；取决于所述参考图像，使已处理图像与来自一组参考图像的参考图像匹配，并在捕捉图像上叠加元素。一种用户设备，包括适合于捕捉至少一个图像的图像传感器和被配置成取回所述捕捉图像中的隐藏标记并基于远程地处理的所述隐藏标记取回和注解来生成已处理图像的处理器；用户设备是具有匹配图像的远程服务器的系统的一部分。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于图像捕捉和便于注解的方法和系统。此外，本专利技术涉及一种适合于执行下文提出的方法的步骤的计算机程序产品。
技术介绍
文献W02012/019163公开了一种其中由蜂窝电话来捕捉静止或视频图像并取回对应于视频显示大小的矩形部分且然后识别此类部分内的隐藏标记的方法。文献W02011/088386公开了一种增强捕捉图像的现实的方式，该捕捉图像包括先前已被内容创作系统包括的隐藏数据。此外，US2007/0024527公开了一种其中在已由蜂窝电话捕捉并已使得其经受隐藏内容包括之后将图像连同此类隐藏内容一起发送到远程单元的方法。类似地，W02011/156475公开了一种其中在图像内包括关于位置的隐藏内容的方法。此类图像可以被蜂窝电话捕捉。该文献还公开了一旦由蜂窝电话显示、则将位置相关信息覆盖到所捕捉图像上。在增强现实解决方案中，一般地由用户用手持式照相机(诸如具有照相机的移动电话)来捕捉图像，并将其与存储在集合中的参考图像相比较。在匹配的情况下，即当所捕捉图像对应于先前存储参考图像中的一个的情况下，取回与此参考图像相关联的注解元素并将其叠加在捕捉图像上，导致加注解图像。由于参考图像的数目可能非常高，所以将参考图像的完整集合本地地存储在用户设备中通常是不可行的。此外，常常期望的是不同的用户可以添加、修改和共享参考图像，导致参考图像的集合的非常频繁的更新。因此，捕捉图像被频繁地发送到其中存储参考图像且其中执行配准和匹配过程的远程服务器。此常用方法遭受多个缺点。由于用户的用户设备不知道所捕捉图像中的哪一个与注解相关联，所以其需要将所有捕捉图像发送到远程服务器，其然后将尝试使每个捕捉并发射的图像与其集合中的每个参考图像相匹配。在视频图像的情况下，这导致视频流的无用传输，其中，许多帧并不与任何参考图像匹配，并且不能加注解，因此浪费带宽。此外，这还针对远程服务器导致增加的工作负荷，所述远程服务器需要处理其与参考图像一起接收的许多不相关图像。其它已知系统要求来自用户的用以例如通过选择发送命令来发起捕捉图像到服务器的传输的动作。这要求用户知道哪些捕捉图像可能与注解相关联，并且决定应发送哪些图像。如果接收的图像的捕捉条件不同于参考图像的捕捉条件，则甚至更加增加远程服务器的工作负荷。例如，如果从不同的距离和/或角度捕捉图像，则服务器可能需要对接收的图像进行修剪、旋转和/或以其它方式畸变，以便进行配准并验证可能的匹配。可能需要其它调整以补偿所捕捉中的和参考图像中的不同缩放因数、亮度、对比度、饱和度、白平衡等。然而，实时地识别许多接收的捕捉图像要求巨大的处理能力。此外，服务器并不预先知道应如何对捕捉图像进行配准，并且可能需要不同的调整一一例如通过以不同的可能方式对捕捉图像进行修剪或调整大小。因此本专利技术的目的是解决或至少缓解现有增强现实系统的上述问题。
技术实现思路
根据一方面，经由一种方法来实现这些目的，该方法包括用图像传感器来获得表示图像的捕捉数据；取回隐藏在所述捕捉数据中的隐写标记；基于所述隐藏标记对所述捕捉数据进行图像处理，从而生成表示已修改图像的图像处理数据；使所述图像处理数据与来自表示不同图像的一组参考数据的参考数据相匹配；取回与匹配参考数据相关联的注解；以及基于所述图像处理数据来再现注解图像。这具有这样的优点，即只需处理与隐藏标记相关联的捕捉图像的那些。隐藏标记可能易于例如被用户设备内的模块检测。因此，用户的设备可以挑选出包括那些隐藏标记中的一个且因此可能与参考图像匹配的那些图像，并且只将那些图像发送到远程服务器，导致发射减小的数据量。由于隐写标记被隐藏在图像中，所以其在没有某些特殊图像处理的情况下是不可见的，并且因此易于整合在现有静止或视频图像中。要求保护的方法具有另一优点，即使用包括在隐藏标记中的信息来处理表示捕捉图像的数据，导致可以更容易与表示参考图像的数据匹配的图像处理数据。例如，可以将隐藏标记用于确定应如何对捕捉图像进行调整大小、修剪、旋转或以其它方式变换以便匹配相应的参考图像。在一个实施例中，隐藏标记定义必须捕捉的图像的至少一个边界。在一个实施例中，可以使用隐藏标记来修正图像的几何畸变或白平衡、对比度、饱和度和/或亮度。这具有一旦已处理、则允许增强所得到的图像质量的优点。这还改善了图像数据的捕捉质量，产生例如更加稳定、更好地定中心以及另外改善的图像数据流。这使得与现有参考图像数据匹配和配准的过程更容易、更快速且更鲁棒(robust)。隐藏标记只需指示使图像稳定或另外对其进行图像处理所需的数据。该注解本身取决于用计算机视觉和特征识别方法确定的图像的可见内容。因此，可使得隐藏标记微小且易于隐藏。然而隐藏被用于确定隐藏标记中的注解的某些内容也是可能的。在一个实施例中，用照相机来捕捉连续图像，诸如连续静止图像或视频中的连续帧，直至在表示捕捉图像的数据中的一个中取回到隐藏标记为止。该过程包括尝试仅使包含隐藏标记的那些捕捉图像与所述参考图像匹配。表示没有任何隐藏标记的图像的数据未被发送到服务器且未被进一步处理，避免了带宽和计算资源的浪费。根据一个方面，还经由用户设备来寻求这些目的，包括适合于捕捉表示至少一个图像的数据的图像传感器和被配置成取回所述捕捉图像中的隐藏标记并基本所述隐藏标记取回来本地地生成已处理图像并匹配远程地处理的注解的处理器。这具有优点，即用户设备不需要执行图像匹配将需要的完整处理能力，而是相反地，其可以有利地用一种“预处理”来辅助远程处理器，其减少与远程处理器来回交换的数据量。在一个实施例中，用户设备包括适合于示出图像的显示器，并且处理器被配置成通过使得辅助符号出现到显示器上来帮助用户进行隐藏标记取回和图像捕捉。这具有优点，即使得用户参与增强现实的过程，并且同时地帮助用户设备在不引起进一步处理负担的情况下用外部人类支持来识别隐藏标记的至少一部分。优选地，在一个实施例中，当所述隐藏标记的自动完全识别失败时和/或当设备检测到用户可能移动其照相机或修改缩放因数或以任何其它可能方式改变捕捉条件以改善捕捉图像的隐藏标记取回和/或配准时，使得辅助符号出现到显示器上。在一个实施例中，用户设备本地地检测隐藏标记，而没有将那些图像发射到远程服务器以检测隐藏标记的任何需要。这提供了处理负担减少的优点，因为可以本地地且在没有任何数据传输的情况下检测隐藏标记。隐藏标记的使用可以用来决定捕捉图像是否与某些注解相关联，并且应本地地或在远程服务器中处理以取回那些注解。可以在设备内完成注解过程，例如使用存储在设备中或从服务器取回的某些参考模型，或者在存储参考模型且捕捉图像或捕捉图像的已处理版本被发送到的远程服务器中。本地地或在服务器中处理图像的决定可以取决于隐藏标记。替换地，设备可尝试本地地找到匹配参考图像，并且在其未能在其本地存储器中找到匹配参考图像时将捕捉图像或捕捉图像的图像处理版本发送到远程服务器。因此还经由一种系统来达到上述目的，该系统包括: 一至少一个用户设备，具有适合于捕捉表示图像的数据的图像传感器且具有被布置成用于识别所述数据中的隐藏标记的处理器；以及 一远程服务器，适合于接收和向所述至少一个用户设备发射数据，处理从所述用户设备发射的捕捉图像的至少一部分并将注解或被注解图像发送到所述本文档来自技高网...

【技术保护点】
一种用于捕捉和处理图像的方法，包括：用图像传感器（12）来捕捉表示捕捉图像（52）的数据；取回隐藏在所述捕捉数据中的隐写标记（30）；基于所述隐藏标记对所述捕捉数据进行图像处理，从而生成表示已修改图像的图像处理数据；使所述图像处理数据与来自表示不同图像的一组参考数据（21）的参考数据匹配；基于所述图像处理数据来再现注解图像（53）。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：L里梅，M蒙内伊，S阿耶，
申请(专利权)人：维迪诺蒂有限公司，
类型：发明
国别省市：瑞士;CH