用于标注视图图像的至少一个特征的计算机化方法和设备技术

本发明专利技术涉及用于标注视图图像的至少一个特征的计算机化方法和设备。一种计算机化方法，用于标注视图图像的至少一个特征，包括步骤：利用便携式设备的图像传感器获取图像，该便携式设备基于至少一个条件检索至少一个条件，在多个特征标识方法中选择特征标识方法，应用该特征标识方法用于标识标注一些标识特征的至少一个特征。

【技术实现步骤摘要】
【国外来华专利技术】用于标注视图图像的至少一个特征的计算机化方法和设备
本专利技术涉及一种用于标注视图图像的至少一个特征的计算机化方法和设备。
技术介绍
所谓“介导现实”的概念表示通过一种设备修改现实视图的可能性，例如将其增强或减弱。表达“增强现实”和“减弱现实”分别表示物理真实世界环境的实时视图，其元素或特征通过虚拟输入增强，诸如叠加在所捕获图像上的图形元素或文本标注，或者分别减弱或抑制。例如，可以标注具有标识或特性信息的视图图像的突出特征。图像特征的标注不应该混淆整个图像用于分类或检索目的的标注，例如如YohanJin等人(Texas大学)在2005年1月1日的Springer，Ber1in-Heide1berg出版的(ISBN978-3-540-28792-6)多媒体信息系统进展，计算机科学讲义中的“Improvingimageannotationsusingwordnet”的第115页至130页中所述。图像特征标注会产生修改的图像或视频，例如，具有附加标注视频图像，在图像常规使用期间被叠加或者以其他方式提供给观看者。用于分类的图像标注通常会产生附加元数据，诸如附加关键字，与图像相关，并且在图像常规使用期间通常被隐藏起来。用于标注视图图像特征的方法和设备是已知的。EP1246080描述了一种用于标注发射无线电信号的特征的计算机化方法和设备。该特征可以借助于这个无线电信号加以标识。该标识的特征然后与标注与该特征相关联的数据有关，其接着被显示在该设备上。该特征可以是属于博物馆的元素，例如，其可以是油画或者是雕像，具有用于发射无线电信号的电路。EP1246080还描述了使用制图数据或其他采用数字形式的空间信息：在制图和图形数据之间匹配的对应生可以允许利用制图数据来标注图形数据。然而，在要标注的特征或元素属于风景的情况下，例如山脉视图中的山，EP1246080没有建议如何处理在博物馆中使用的采用相同设备的标注方法。很明显，山和风景元素不具有用于发射无线电信号的电路。另一方面，使用制图数据来标注特征的设备很难用于其中元素可以发射无线电信号的博物馆中。换句话说，EP1246080没有建议如何处理采用相同的设备标注属于不同环境和位置的视图图像的特征。EP2207113描述了用于基于设备的位置和方向来标注视图特征的计算机化方法和设备。EP1246080和EP2207113都简要地描述了在立体平画图像的情况下，即图像通过来自两个特定点的一对视图呈现，3D视图可以被用于处理2D视图不能解决的模糊性。这种3D模型主要用于邻近区域中的特征，诸如博物馆或公园中的雕塑，但是对于标识远程特征不是那么有用，且耗费时间。EP2154481描述了一种图像捕获设备，其可以根据设备的位置和方向，以及其自身缩放因数，从真实2D显示模式自动切换到虚拟3D显示模式。该设备接着自动选择图像呈现的类型，真实的或者虚拟的。JP2005292064描述了一种导航系统，用于输出三维显示数据，或者在不能获得三维数据或者不容易显示三维数据时输出二维显示数据。US2004030741描述了另一种导航系统，其允许手动选择2D或者3D图像显示。那么这些文档都与修改的现实设备无关。然后这就存在一种对计算机化方法和设备的需要，用于标注视图图像的至少一个特征，允许有效地处理属于不同环境和位置的特征的标注。如果是直播视频流的标注，通信网络从远程服务器为每个帧(或者每个不同类型的场景或对象)检索标注内容而产生的等待时间有时太长。另一方面，由于存储器和处理速度的限制，也不可能在便携式设备上存储所有标注。直播视频流的现有标注因此并不有效，或者是不可能的。因此，需要即时标注由设备的图像传感器产生的实时视频流。还需要减少通信成本，并且增加远程服务器和便携式设备之间的传送速度。因此本专利技术的目的就是避免或者减轻上述一个或多个缺陷。
技术实现思路
根据本专利技术，通过以下方式实现专利技术目的，借助于根据权利要求1的用于标注视图图像的至少一个特征的计算机化方法，借助于根据权利要求16的计算机可读存储介质，以及借助于根据权利要求17的用于标注视图图像的至少一个特征的系统。在上下文中的名词“特征”表示视图图像的任意元素或者特性。特征可以是例如但不限于，山、油画、雕像、人物、天气、报纸上的文章、海报、餐厅、街道上的任意其他元素，等等。特征可以是静态的，即在时间上具有固定位置，或者是动态的，即具有随时间变化的位置或其外观。在该后一种情况下，这种特征将不仅仅被标识，而且还被追踪。在一个实施例中，当特征的外观可以随时间动态变化时，例如在数字信号显示器上显示的广告片段，对该特征的标识和追踪可以使用视频流情况下的暂时帧间关系，或者可以使用图像的静态部分，这在时间窗口期间保持静态。名词“标注”表示一个或多个单词、符号、笑容符、绘图、线条、箭头图像等，其标识或者表征图像中的特定特征。在图像的常规观测期间，标注是可见的；例如，标注被添加到所标注图像上。如果特征没有被识别，其标注可能是一个问题标记。名词“标注”还可以表示音频消息，包括声音和/或口头表达。名词“标注”还可以进一步表示一系列音频消息或视频片段，即，视觉和音频消息。在一个实施例中，标注还可以是交互式的，例如，用户可以点击标注来触发一个动作。这样的动作的结果可以是菜单，要求用户输入或者显示不同信息给用户。在另一个实施例中，一旦相应特征被识别，菜单就被呈现给用户，而无需用户的交互。在另一个实施例中，用户需要在显示标注之前执行动作。例如，标注的特征是包含由16个点构成的方形的公告，要求用户描绘很少的直线，用于连接全部16个点。如果用户正确描绘了这些线条，该特征将被标注，例如包括掌声的音频标注。表达方式“便携式设备”可以表示但不限于，照相机、摄像机、移动电话、膝上型电脑、计算机、个人数字助理(PDA)、智能电话、游戏控制台。在摄像机的情况下，由这个摄像机获得的图像包括至少一个视频流的帧，可以是实时视频流。在上下文中，名词“条件”指定了参数之间的关系，其可以被用于在多个可用方法中选择一个特征标识方法。该条件可以依赖于从便携式设备的图像传感器或其他来源而获得的图像，比如：-一个或多个定位传感器-一个或多个基于网络的传感器-一个或多个便携式设备参数-一个或多个远程服务器。作为从图像检索条件的例子，图像一些特征的在先识别可以被用于选择标注方法。例如，该方法可以将图像中标识的特征分类，诸如在山的视图的图像中所出现的，诸如马特洪峰(Cervin)，在建筑物的图像中所出现的，诸如比萨斜塔，在雕塑的图像中所出现的，诸如掷铁饼者，或者在油画的图像中所出现的，诸如蒙娜丽莎。所标识的特征的分类的例子包括例如风景元素、城市元素、交通元素、特写元素等。如果条件依赖于便携式设备的位置，例如从类似于GPS的定位传感器和/或基于网络的定位传感器检测到的，所选择的标识方法可以依赖于例如用于选择合适标注方法的位置分类。分类的例子包括风景对城市视图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.12.21 CH 2131/101.一种计算机化方法，用于标注视图图像的至少一个特征，包括步骤：
利用便携式设备的图像传感器获取所述图像；
从所述便携式设备的参数中检索至少一个条件，所述便携式设备的参数至少包括所述便携式设备的情景模式或至少一个透镜参数；
基于所述至少一个条件，从多个可获得的特征标识方法中自动选择特征标识方法，其中所述多个可获得的特征标识方法包括以下两项：
第一特征标识方法，其基于在所述图像和一个或多个2D模型之间的匹配；以及
第二特征标识方法，其基于在所述图像和一个或多个3D模型之间的匹配；
应用所述特征标识方法，用于标识所述图像的多个特征，
确定所述图像的所述标识特征中的哪些将被标注，
标注所标识特征中的至少一些，产生具有添加标注的标注图像，
其中所述条件依赖于所述便携式设备的透镜参数，所述透镜参数包含指示前景焦点或背景焦点的焦距，
其中，当所述焦距指示背景焦点时，选择所述第一特征标识方法以使所述图像的特征与多个2D模型中的一个或更多个匹配，
其中，当所述焦距指示前景焦点时，选择所述第二特征标识方法以使所述图像的特征与多个3D模型中的一个或更多个投影匹配。


2.如权利要求1的方法，其中特征标识方法的所述选择依赖于所述图像的图像分析的结果。


3.如权利要求1的方法，其中所述条件依赖于所述便携式设备的地理位置。


4.如权利要求1的方法，其中所述条件包括所述图像传感器的透镜的至少一个设置参数，和/或所述便携式设备的至少一个参数。


5.如权利要求1的方法，还包括由用户验证所述选择的特征标识方法。


6.如权利要求5的方法，其中所述用户手动地将自动选择的特征标识方法替换为另一个特征标识方法。


7.如权利要求1的方法，包括：
-基于所述至少一个条件，在远程服务器上，自动选择特征标识数据和一组相应的标注备选；
-在所述便携式设备上，下载所述特征标识数据和所述一组相应的标注备选；
-选择要应用的特征标识方法；
-验证在所述选择和下载的特征标识数据和所述图像的标识特...

【专利技术属性】
技术研发人员：M·蒙内伊，S·阿耶，M·维特里，
申请(专利权)人：瑞士联邦理工大学，洛桑EPFL，
类型：
国别省市：