图像标注方法和系统技术方案

一种方法包括：（a）起源用户用移动设备（1）捕获原始图像（2）；（b）在起源用户的移动设备（1）上显示具有第一标注（210）的图像（21）；（c）将第一数据信息（R1）发送到服务器（3），所述第一数据信息包括所述移动设备的时间和位置连同所述第一标注已经被显示的信息；（d）起源用户将所述图像传输到至少一个第二用户的第二设备（4）；（e）在所述第二设备上显示图像（22）；（f）将第二标注（211）与所述图像组合地显示给所述第二用户；（g）将第二数据信息（R2）发送到服务器（3），所述第二数据信息包括所述第二用户的设备（1’）的时间和位置连同所述第二标注（211）已经被显示的信息；（h）所述服务器（3）从所述位置和/或时间确定所述图像是由起源用户所捕获的原始图像还是被显示给第二用户的经传输的图像。

【技术实现步骤摘要】
【国外来华专利技术】图像标注方法和系统
本专利技术涉及与图像上现实增强信息的显示相关所使用的方法。
技术介绍
W02008032203涉及其中利用移动设备的用户捕获图像(例如，兴趣点的图像)的方法。图像的特征与源图像相比较以试图识别；图像然后被标记。那些标记被显示给用户，其可以点击或选择标记以得到与关键字相关的更多信息。本申请此外建议将标记发送给“视觉搜索服务器”。本文档从而涉及图像的自动分类，但不涉及其中标注叠加在所识别出的图像特征上的增强现实。 Tarumi H 等人在〃Communicat1n through virtual active objects overlaidonto the real world(关于协同虚拟环境的第三届国际会议的记录，CVE2000,旧金山，2000年9月10-12)中描述了用于创建并显示称为空间标记(SpaceTag)的虚拟对象的系统，其仅能在受限的区域和受限的时间段内被访问。空间标记(SpaceTag)能够由终端用户创建并被传输到服务器。它们可以与现实世界对象相关联并被显示为增强现实标注(augmentedreality annotat1n)。 EP1246080公开了在静态或视频图像上显示增强现实增强的信息的方法。在一个实施例中，山脉或其它地图特征的名称叠加在景观视图上。在另一实施例中，绘画展览中的参观者可以具有与在用移动器件所捕获的该图画的视图上显示的所选择图画有关的附加信息。视图的增强现实特征可以包括附加的标注、高亮等。 还由各种公司提出了增强的显示以用于标注广告，诸如公告板或报纸广告，并向客户提供与该广告有关的附加内容。
技术实现思路
本专利技术的目的在于提供基于增强现实的新方法。 本专利技术是基于发现越来越多的图像与增强现实内容(S卩，标注)相关联。很可能地是，那些图像中的一些将通过各种电子信道来传输到其它接收者，例如通过电子邮件、MMS、博客(blog)、社交网络等等。例如，一些用户可能想要将山脉、图画或广告的图像传输到其他用户。 如果增强现实变得更普遍，则很可能那些接收者中至少一些将检查他们接收到的那些图像是否与增强现实标注相关联。例如，一些用户将捕获在电子邮件中或以其它方式接收到的图像，并将该图像与增强现实内容相关联。当增强现实内容特别令人感兴趣时，发送者可能甚至邀请接收者这样做。 另外，越来越多的用户将创建增强现实模型以用于匹配于随后捕获的图像。那些增强现实模型中的一些将是专有的，其它模型将是公共的并对每个人可用，并且许多模型将例如通过社交网络而被共享或传输以用于允许朋友或相关用户访问附加的内容，当他们捕获到与该模型相匹配的图像时。 已经发现，对于增强现实内容的提供者来说，可能重要的是要知道经标注的视图是由起源用户(originating user)所捕获的原始视图,还是由接收者所接收到的该视图的经传输的图像。还可能重要的是要知道如何以及与谁共享增强现实模型。 增值内容提供者可能具有需要该信息的不同原因。例如，与稍后的观看者相比，一些提供者可能想要向第一起源用户提供不同的标注，可能甚至防止所述稍后的观看者访问那些标注。如果经标注的图像与广告相对应，则广告公司可能对第一视图收取与对随后的视图相比不同的费用，并且/或者想要为示出图像的病毒式分发(Viral distribut1n)准备报告。在一些情形下，可能想要告知捕获并分发图像的用户:该图像已经被显示并被一些接收者所标注。 在现有技术中，没有简单和鲁棒的方式用于知道经标注的视图是由起源用户所捕获的原始视图还是由接收者所接收到的该视图的经传输的图像。另外，没有简单的方式用于知道增强现实模型是否已经被共享。 因此，根据本专利技术的一个方面，利用一种方法使该信息可用，所述方法包括:Ca)起源用户用移动设备捕获原始图像；(c)包括所述移动设备的位置和时间的第一数据信息被存储；(d)起源用户与第二用户的第二设备共享所述图像，作为要标注的图像或者作为用于标注其它图像的模型；(e)在所述第二设备上显示经标注的图像；(g)包括所述第二设备的位置和时间的第二数据信息被存储。 所述各个步骤可以以上述标有字母的列表的字母表次序来执行。可替换地，所述各个步骤可以以不同的、非字母表次序来执行。类似和相同的步骤贯穿文档被标明有相同字母，其中以各种细节水平来描述它们。 第一和第二数据信息可以被集中存储在服务器中，例如在由所有用户的设备访问的中央数据库中。可替换地，在分布式系统中，第一和第二数据信息可以被存储在用户的设备中。 在一个实施例中，用户共享图像以使用以其它方式可用的增强现实模型来进行标注。所述第一和第二数据信息包括当显示那些经传输的图像时对应用户的设备的位置和时间。可替换地，所述第一和第二数据信息包括当那些图像被传输时对应用户的设备的位置和时间。 本实施例的方法还可以包括:(b)在起源用户的移动设备上显示原始图像，其中第一标注叠加在所述图像上并与所识别出的图像特征相关；(c)所述第一数据信息还包括以下信息:所述第一标注已经被显示在起源用户的移动设备上，(d)起源用户通过将所述图像传输到所述第二设备而共享所述图像作为要标注的图像；Ce)在所述第二设备上显示图像；(f)将第二标注与所述图像组合地显示给所述第二用户；(g)所述第二数据信息还包括以下信息:所述第二标注已经被显示给所述第二用户，所述第二信息还被发送到服务器；(h)所述服务器从所接收的位置和/或时间确定所述图像是由起源用户捕获的原始图像还是显示给第二用户的经传输的图像。 时间和位置可能不足以在所有情形下确定图像是原始的还是经传输的图像。然而，在诸如活动的统计分析等的许多应用中，不需要完美的准确性，并甚至不总是可靠的确定可能是极度有用的。当需要较高可靠性时，除了时间和位置之外还可以使用包括例如嵌入式水印的其它参数。 在另外的实施例中，用户共享稍后被接收者用于标注其它图像的增强现实模型。所述第一和第二数据信息包括在当共享增强现实模型的时刻时用户设备的时间和位置。因此，该实施例的方法可以包括:(b)所述第一数据信息包括当用作模型的所述图像由起源用户共享时所述第一移动设备的所述时间和位置；Cf)基于所述模型并叠加在另外的图像上，将第二标注显示给所述第二用户；(f ’)第二用户与第三用户共享所述模型；(g)所述第二数据信息包括当用作模型的所述图像由第二用户共享时所述第二移动设备的所述时间和位置。 本专利技术从而提供用以跟踪共享图像或共享的增强现实模型的方法和系统，尤其在增强现实社交网络中。然后，确定关于给定的共享增强现实内容以及其修改的分发的信息变成可能。 在本申请中，表达“增强现实模型”或者有时简单地“模型”指明对识别图像并回放增强现实内容所需的数据集。增强现实模型可以包括场景的2D或3D或全光(plenoptic)模型，或者标识场景并且能够与所捕获图像中的对应特征相匹配的特征列表，以及与该模型中的一个或若干元素相关联的一个或多个标注。 根据本专利技术的方面，提供了用于确定经标注的视图是由起源用户所捕获的原始视图还是由接收者所接收到的所述视图的经传输的图像的方法，所述方法包括以下步骤:(a)用第一移动设备捕获元素的图像；(b)在本文档来自技高网...

【技术保护点】
一种方法包括：（a）起源用户用第一移动设备（1）捕获原始图像（21）；（c）包括所述第一移动设备（1）的时间和位置的第一数据信息（R1）被存储；（d）起源用户与第二设备（4）的用户共享所述图像或者对应于所述图像的增强现实模型；（e）在所述第二设备（1’）上显示经标注的图像；（g）包括所述第二设备（1’）的时间和位置的第二数据信息（R2）被存储。

【技术特征摘要】
【国外来华专利技术】2011.11.08 CH 1791/20111.一种方法包括: (a)起源用户用第一移动设备(I)捕获原始图像(21); (c)包括所述第一移动设备(I)的时间和位置的第一数据信息(Rl)被存储； Cd)起源用户与第二设备(4)的用户共享所述图像或者对应于所述图像的增强现实模型； (e)在所述第二设备(I’)上显示经标注的图像； (g)包括所述第二设备0- )的时间和位置的第二数据信息(R2)被存储。2.根据权利要求1所述的方法，其中: (b)在起源用户的移动设备(I)上显示原始图像(21)，其中第一标注(210)被叠加在所述图像上并与所述图像的识别出的特征相关； (c)所述第一数据信息(Rl)还包括以下信息:所述第一标注已经被显示，所述第一数据信息(Rl)被发送到它被存储于其中的服务器(3); Cd)起源用户通过将所述图像传输到所述第二设备(4)而共享所述图像作为要标注的图像； (e)在所述第二设备上显示所述经传输的图像(22)； Cf)将第二标注(211)与所述经传输的图像组合地显示给所述第二用户； (g)所述第二数据信息(R2)还包括以下信息:所述第二标注已经被显示，所述第二信息还被发送到服务器(3)； (h)所述服务器(3)从所述位置和/或时间确定所述图像是由起源用户捕获的原始图像还是显示给第二用户的经传输的图像。3.根据权利要求2所述的方法，其中所述第二用户用包括相机的第二移动设备(I’)捕获显示在第二设备上的所述图像，并且其中由所述第二用户发起的第二标注(211)的所述显示由所述第二移动设备来执行。4.根据权利要求1到3中的一项所述的方法，其中与原始的、初始捕获的图像相关联的第一标注(210)与关联于任何后续传输的图像的第二标注(211)不同。5.根据权利要求1所述的方法，其中起源用户与第二设备的用户共享对应于所述图像的增强现实模型，并且其中: (b)所述第一数据信息(Rl)包括当用作模型的所述图像由起源用户共享时所述第一移动设备(I)的所述时间和位置； (f)基于所述模型并叠加在另外的图像上，将第二标注(211)显示给所述第二用户； (f ’ )第二用户与第三用户共享所述模型； (g)所述第二数据信息(R2)包括当用作模型的所述图像由第二用户共享时所述第二移动设备的所述时间和位置。6.根据权利要求1到5中的一项所述的方法，其中所述第一和第二数据信息被存储在中央服务器(3)中，并且被使得对所述第一移动设备(I)和所述第二设备(I’、4)可访问。7.根据权利要求1到6中的一项所述的方法，其中所述第一和第二数据信息以分布式方式存储在所述用户的设备中。8.根据权利要求1到7中的一项所述的方法，其中所述标注(210、211)取决于所述数据信息中的所述位置，以使得如果所述位置不同则将不同的标注叠加到相同图像上。9.根据权利要求1到8中的一项所述的方法，其中所述标注(210、211)取决于所述数据信息中的所述时间，以使得如果所述时间不同则将不同的标注叠加到相同图像上。10.根据权利要求1到9中的一项所述的方法，还包括: 与所述图像相关联的码； 所述标注(210、211)仅在所述码对所述第一相应地第二用户可用的情况下被显示。11.根据权利要求10所述的方法，其中所述码仅被使得可用于封闭用户群组。12.根据权利要求10或11中的一项所述的方法，其中所述码由所述第一用户传输给所述第二用户。13....

【专利技术属性】
技术研发人员：E劳佩，R里特，L里梅，
申请(专利权)人：维迪诺蒂有限公司，
类型：发明
国别省市：瑞士;CH