在增强现实中通过动态建模来进行鲁棒对象识别制造技术

本发明专利技术总体上描述了用于提供基于动态建模的鲁棒对象识别方案的技术。可以采用蜂窝区域的精细尺度时间结构上的相关，将区域分组为更高阶的实体。该实体表示丰富的结构，且可以用于对高级对象编码。可以将对象识别格式化为弹性图匹配。

【技术实现步骤摘要】
【国外来华专利技术】在增强现实中通过动态建模来进行鲁棒对象识别相关申请的交叉引用本申请要求于2010年3月10日提交的题为“ROBUST OBJECT RECOGNITION BYDYNAMIC MODELING IN AUGMENTED REALITY” 的美国专利申请序号 No. 12/720，858 的优先权。为了所有的目的，将该专利申请的公开内容以引用的方式并入本文中。
技术介绍
除非本文中另行指示，否则在本节中描述的材料对于本申请的权利要求不是现有技术，而且并不通过将其包括在本节中而认可其是现有技术。 增强现实(AR)指代具有通过虚拟(一般是计算机产生的)影像增强的元素的物理(真实)世界环境，从而创建了混合现实。传统上，该增强是实时的且在环境因素的上下文中，比如体育赛事、军事演习、游戏等等。AR技术通过添加对象识别和图像产生，使得与个人周围的真实世界相关的信息能够变为互动的且可数字化使用。可以存储并获取与环境和对象相关的人工信息，作为与实际世界视图层分离的信息层。本公开意识到AR系统存在若干限制。对象识别是AR的主要组成部分，且在对象识别中通常使用基于外观的方案。基于外观的对象识别方案可以处理以下各项的组合效果形状、反射比属性、场景中的姿态、照明条件、以及可比较效果。此外，可以通过与传统形状表示不同的自动学习阶段，获取基于外观的表示。然而，基于外观的识别技术依然存在各种挑战，因为其依赖于直接的基于外观的匹配，且不能成功地处理遮挡(occlusion)、异常数据(outlier)、以及变化的背景。换言之，基于外观的方案不是鲁棒的，其中，术语“鲁棒”指代在存在各种类型的噪声的情况下结果依然保持稳定，且可以容忍异常数据的特定部分。
技术实现思路
以下
技术实现思路
仅是说明性的，且不意在以任何方式加以限制。除了上述说明性方面、实施例和特征之外，通过参照附图以及以下详细描述，其他方面、实施例和特征将变得显而易见。本公开总体上描述了一种用于在增强现实(AR)系统中执行对象识别的方法。所述用于在增强现实(AR)系统中执行对象识别的方法可以包括将对象的二维图像转换为图像域表示。所述用于在增强现实(AR)系统中执行对象识别的方法还可以包括基于所述图像域表示的节点之间的链接，定义所述图像域中的属性图，以及定义模型域中的另一属性图。所述用于在增强现实(AR)系统中执行对象识别的方法还可以包括通过识别并激活属性图的对应节点之间的链接，匹配所述图像域中的属性图和所述模型域中的属性图。本公开还描述了一种用于在增强现实(AR)系统中执行对象识别的装置。所述用于在增强现实(AR)系统中执行对象识别的装置可以包括存储器，适于存储图像数据和图数据；以及第一处理单元，适于执行动态建模模块，其中，所述动态建模模块可以适于将二维(2D)图像从存储的图像数据变换为图像域表示，所述图像域表示包括链接节点的2D数组，且每个节点对图像域中的至少一个区别特征进行编码，确定表示所述图像域中的每个节点的所述至少一个特征的活动向量的顶点标签，确定表示所述图像域的节点之间的连通性的边标签，以及基于所述顶点标签和/或所述边标签中的一个或更多个来定义模型域中的属性图，所述属性图被存储在所述存储器中作为所述图数据的一部分。所述用于在增强现实(AR)系统中执行对象识别的装置还可以包括第二处理单元，适于执行图匹配模块，其中，所述图匹配模块适于识别并激活所述图像域中的节点和所述模型域中的对应节点之间的链接，以及减小具有类似特征的节点之间的连接的数目。本公开还描述了一种计算机可读存储介质，具有存储于其上的用于在增强现实(AR)系统中执行对象识别的指令。所述指令可以包括将对象的二维图像转换为包括多个链接节点在内的图像域表示，每个节点包括特征检测器的集合。所述指令还可以包括通过向所述二维图像的每个像素应用所述特征检测器，确定表示特征检测器的活动向量的顶点标签。所述指令还可以包括通过检测每个节点之间的链接，确定表示所述节点之间的连通 性的边标签。所述指令还可以包括基于所述顶点标签和所述边标签，产生所述图像域中的属性图，以及定义模型域中的属性图，其中，所述模型域中的属性图可以是所述图像域中的属性图的理想化副本。所述指令还可以包括基于属性图的顶点标签和边标签的匹配，确定所述图像域中的属性图和所述模型域中的属性图之间的连接，以及将所述连接简化为所述图像域和所述模型域之间的拓扑保留映射。本公开还描述了一种用于在增强现实(AR)系统中执行对象识别的系统。所述用于在增强现实(AR)系统中执行对象识别的系统可以包括至少一个传感器，适于捕捉实际场景的二维(2D)图像；以及图像处理服务器，适于将所述2D图像转换为图像域表示，所述图像域表示包括图像域中的节点的2D数组，每个节点包括特征检测器的集合。所述用于在增强现实(AR)系统中执行对象识别的系统还可以包括现实服务器，适于确定表示所述图像域中每个节点的至少一个特征的活动向量的顶点标签，确定表示所述图像域的节点之间的连通性的边标签，基于所述顶点标签和所述边标签定义所述图像域中的属性图以及模型域中的另一属性图，识别并激活所述图像域中的节点和所述模型域中的对应节点之间的链接，以及减少具有类似特征的节点之间的连接的数目。所述用于在增强现实(AR)系统中执行对象识别的系统还可以包括图像产生服务器，适于通过将所述2D图像与基于在所述图像域中的属性图和在所述图像域中的另一属性图之间的已减少的连接所呈现的虚拟图像重叠，来产生增强场景。附图说明根据与附图结合的以下描述和所附权利要求，本公开的前述和其他特征将变得更加完全地明显。请理解这些附图仅示出了根据本公开的若干实施例，且因此不应被视为对其范围进行了限制，将通过使用附图并利用附加特征和细节来描述本公开，在附图中图I示出了示例增强现实(AR)系统；图2示出了采用动态建模和图匹配的示例AR系统的框图；图3A示出了在示例动态建模子系统中的示例过程的框图；图3B示出了在示例图匹配子系统中的操作的图；图3C示出了在示例图选择子系统中的操作的图；图4示出了在采用动态建模和图匹配的系统中如何将输入图像表示为属性图5示出了通用计算设备，其可以用于实现AR系统中的动态建模和图匹配；图6是示出了可以由诸如图5中设备500之类的计算设备来执行的示例方法的流程图；以及图7示出了示例计算机程序产品的框图，其全部根据本文描述的至少一些实施例来布置。具体实施方式 在以下详细说明中，参考了作为详细说明的一部分的附图。在附图中，除非上下文另行指明，否则类似符号通常表示类似部件。具体实施方式部分、附图和权利要求书中记载的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当理解，在此一般性记载以及附图中图示的本公开的各方案可以按照在此明确公开的多种不同配置来设置、替换、组合、分割和设计。本公开大体上涉及与在AR系统中的基于动态建模和图匹配的鲁棒对象识别相关的方法、装置、系统、设备和/或计算机程序产品等。简而言之，基于动态建模的鲁棒对象识别方案采用了蜂窝区域的精细尺度时间结构中的相关，以将这些区域分组为更高阶的实体。该实体表示丰富的结构，且可以用于对高级对象编码。可以将对象识别格式化为弹性图匹配。图I示本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.03.10 US 12/720,8581.一种用于在增强现实AR系统中执行对象识别的方法，所述方法包括 将对象的二维图像转换为图像域表示； 基于所述图像域表示的节点之间的链接，定义图像域中的属性图； 在模型域中定义另一属性图；以及 通过识别并激活属性图的对应节点之间的链接，匹配所述图像域中的属性图和所述模型域中的属性图。2.根据权利要求I所述的方法，还包括 减少所述图像域和所述模型域中的属性图之间的连接的数目；以及 使用基于减少的连接的模式，后向标记所述二维图像的模型域表示。3.根据权利要求2所述的方法，还包括 通过将所述二维图像与所述模型域表示重叠来呈现复合图像。4.根据权利要求I所述的方法，还包括 确定与所述图像域表示中每个节点相关联的特征；以及 通过将特征应用于所述二维图像的像素，获得表示所述图像域表示中每个节点的局部特征的活动向量的顶点标签。5.根据权利要求4所述的方法，还包括 通过建立所述图像域表示的节点之间的链接，获得表示所述图像域表示的节点之间的连通性的边标签。6.根据权利要求5所述的方法，其中，将所述图像域中的属性图定义为所述图像域表示中的节点以及相关联的顶点标签和边标签的合集。7.根据权利要求I所述的方法，还包括 通过向与所述模型域中的每个节点相关的波动图像的集合应用时间求平均，估计所述模型域中的节点的实际属性值。8.根据权利要求7所述的方法，还包括 将所述模型域中的节点之间的绑定编码为时间相关。9.根据权利要求8所述的方法，还包括 基于编码的绑定，计算权重并将权重分配给所述模型域中的节点之间的链接。10.一种用于在增强现实AR系统中执行对象识别的装置，所述装置包括 存储器，适于存储图像数据和图数据； 第一处理单元，适于执行动态建模模块，其中，所述动态建模模块适于 将二维2D图像从存储的图像数据变换为图像域表示，所述图像域表示包括链接节点的2D数组，每个节点对图像域中的至少一个区别特征进行编码； 确定表示所述图像域中的每个节点的所述至少一个特征的活动向量的顶点标签； 确定表示所述图像域的节点之间的连通性的边标签；以及 基于所述顶点标签和/或所述边标签中的一个或多个来定义模型域中的属性图，所述属性图被存储在所述存储器中作为所述图数据的一部分；以及 第二处理单元，适于执行图匹配模块，其中，所述图匹配模块适于 识别并激活所述图像域中的节点和所述模型域中的对应节点之间的链接；以及 减小具有类似特征的节点之间的连接的数目。11.根据权利要求10所述的装置，其中，所述动态建模模块还适于 对所述图像域中的节点进行分组和选择性激活。12.根据权利要求11所述的装置，其中，所述动态建模模块还适于通过将所述图像域中具有类似特征向量的节点绑定在一起，对所述图像域中的节点进行分组。13.根据权利要求10所述的装置，其中，所述图匹配模块还适于通过以下步骤来识别和激活在所述图像域和所述模型域中的节点之间的链接 从所述存储器获取连接模式；以及 使用从所述存储器获取的连接模式，执行针对顶点位置的搜索。14.根据权利要求13所述的装置，其中，所述图匹配模块还适于 根据预定义的代价函数，匹配所述顶点标签和所述边标签。15.根据权利要求10所述的装置，还包括 第三处理单元，适于执行呈现模块，其中，所述呈现模块适于通过将所述二维图像与基于所述减少的连接的所述图像的模型域表示重叠，呈现复合图像。16.根据权利要求15所述的装置，其中，将第一处理单元、第二处理单元和第三处理单元分别集成到第一计算设备、第二计算设备和第三计算设备中，以及所述第一计算设备、所述第二计算设备和所述第三计算设备通过网络通信。17.根据权利要求15所述的装置，其中，所述第一处理单元、所述第二处理单元和所述第三处理单元是相同处理器的一部分。18.一种计算机...

【专利技术属性】
技术研发人员：亨利·梁，陈思越，
申请(专利权)人：英派尔科技开发有限公司，
类型：发明
国别省市：