用于提供增强现实的方法以及便携式终端技术

提供一种用于提供增强现实的方法以及便携式终端。所述方法包括：获得图像；根据被摄体的类型顺序地设置图像的候选区域；从候选区域检测被摄体中的至少一个；通过将虚拟对象映射到与在图像中检测到的被摄体的位置相应的位置来创建合成图像；向用户显示合成图像。

【技术实现步骤摘要】
用于提供增强现实的方法以及便携式终端
本公开涉及增强现实(AR)。更具体地讲，本公开涉及一种用于在三维(3D)空间中通过相机同时识别各种被摄体，并实时跟踪识别的被摄体的3D相机位姿跟踪方法。
技术介绍
增强现实(AR)是将由用户看到的真实世界与包括附加信息的虚拟世界合成并显示一个合成图像的虚拟现实。利用虚拟世界补充真实世界的AR使用通过计算机图形学创建的虚拟环境。计算机图形学附加地提供真实环境所必需的信息。AR技术通过将3D虚拟图像与由用户看到的真实图像重叠来将真实环境和虚拟屏幕显示为一个屏幕，从而允许获得关于真实环境的附加信息。一般而言，为了基于通过相机输入的图像来识别对象，使用与对象的类型相应的识别算法来识别在图像中的对象，并且使用跟踪算法来跟踪对象的3D运动。跟踪对象的3D运动作为用于AR技术的重要且基本的技术，从数学上指定真实相机查看真实对象的方向以允许虚拟内容的匹配。在没有精确3D跟踪的情况下，虚拟内容无法被精确匹配，使用户难以应对并因此丧失作为AR的价值。根据现有技术的AR提供方法，一个识别引擎仅识别特定对象(面部、字符等)，每个识别引擎具有其独立的识别和跟踪算法。此外，在现有技术的AR提供方法中，针对附加对象的识别需要开发识别算法和跟踪算法二者，并且针对附加对象的附加识别引擎不得不并列地连接到现有识别引擎。另外，虽然一些对象(诸如字符)可被识别，但是难以跟踪。因此，需要一种用于在3D空间中通过相机同时识别各种被摄体并实时跟踪识别的被摄体的改进的设备和方法。以上信息仅被提供为背景信息，用于帮助理解本公开。关于任何上述内容是否可用作对于本公开的现有技术，尚未确定且没有断言。
技术实现思路
本公开的各方面在于至少解决上述问题和/或缺点，并至少提供下述优点。本公开的另一方面在于提供一种用于提高开发的效率的方法，其中，对象识别引擎分别具有插入式结构，以按照手动方式或自动方式有组织地运行，并且，利用三维(3D)场景跟踪来一般化对象的跟踪，使得针对添加的对象仅需要开发识别算法。通过下述各种实施例，可理解将在本公开中提供的其它目的。根据本公开的一方面，提供一种用于提供增强现实(AR)的方法。所述方法包括:获得图像；根据被摄体的类型顺序地设置图像的候选区域；从候选区域检测被摄体中的至少一个；通过将虚拟对象映射到与在图像中检测到的被摄体的位置相应的位置来创建合成图像；向用户显示合成图像。根据本公开的另一方面，提供一种用于提供AR的便携式终端。所述便携式终端包括:相机模块，被配置为用于输出图像；控制器，被配置为用于根据被摄体的类型顺序地设置图像的候选区域，从候选区域检测被摄体中的至少一个，通过将虚拟对象映射到与在图像中检测到的被摄体的位置相应的位置来创建合成图像；显示单元，被配置为用于向用户显示合成图像。从以下结合附图公开本公开的各种实施例的详细描述中，本公开的其它方面、优点和突出特征将对本领域普通技术人员而言变得清楚。【附图说明】从以下结合附图的详细描述中，本公开的特定实施例的以上和其它方面、特征和优点将会更清楚，其中:图1是根据本公开的实施例的便携式终端的示意性框图；图2是根据本公开的实施例的便携式终端的前透视图；图3是根据本公开的实施例的便携式终端的后透视图；图4示出根据本公开的实施例的用于提供增强现实(AR)的便携式终端的主要组件；图5示出根据本公开的实施例的识别引擎；图6是根据本公开的实施例的用于提供AR的方法的流程图；图7是根据本公开的实施例的用于粗略识别的方法的流程图；图8A、图8B、图9A和图9B是根据本公开的实施例的用于描述粗略识别和精细识别的示图；图10是根据本公开的实施例的用于跟踪的方法的流程图；图1lA和图1lB是根据本公开的实施例的用于描述全局相机位姿的示图；图12A、图12B、图13A和图13B是根据本公开的实施例的用于描述用于估计全局相机位姿和局部场景位姿的方法的示图；图14A、图14B、图15A和图15B是根据本公开的实施例的用于描述使用跟踪信息的图像合成的示图。贯穿附图，同样的附图标号将被理解为指示同样的部分、组件和结构。【具体实施方式】参照附图的以下描述被提供以用于帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。虽然以下描述包括各种具体细节以帮助理解，但是这些具体细节将仅被视为仅仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可进行在此描述的各种实施例的各种改变和修改。另外，为了清晰和简明，可省略公知功能和构造的描述。以下描述和权利要求中使用的术语和词语不限于书面含义，而仅由专利技术人用来实现本公开的清楚且一致的理解。因此，本领域技术人员应清楚，提供本公开的各种实施例的以下描述仅用于说明目的而不用于限制由权利要求及其等同物限定的本公开的目的。将理解，单数形式包括复数指示物，除非上下文清楚地指出并非如此。因此，例如，参照“组件表面”包括参照一个或多个这样的表面。虽然本公开允许各种改变和实施例，但是特定实施例将在附图中被示出并在下文中描述。然而，本公开不限于描述的实施例并且应被理解为包括在本公开的精神和范围内包括的任何和所有的改变、等同物和替换。虽然序数(诸如“第一”、“第二”等)将被用于描述各种组件，但是这些组件不受所述术语限制。序数词仅被用于将一个组件与另一组件区别。例如，在不脱离本专利技术构思的教导的情况下，第一组件可被称为第二组件，同样地，第二组件也可被称为第一组件。在此使用的术语“和/或”包括一个或多个关联的列出的项目的任何及全部组合。这里使用的术语仅仅是为了描述各种实施例而并非意在限制。如这里所使用的情况，单数形式意在也包括复数形式，除非上下文清楚地另有指示。还将理解:当在本公开中使用时，术语“包括”和/或“具有”指定存在声明的特征、号码、步骤、操作、组件、元件或上述项的组合，但是并不排除存在或添加附加的特征、号码、步骤、操作、组件、元件或上述项的组合。在此使用的术语(包括技术术语和科学术语)与本领域技术人员通常理解的术语具有相同含义，只要所述术语未被不同地定义。应理解:在通常使用的词典中定义的术语具有与在现有技术中的术语的含义一致的含义。只要所述术语未被明显地定义，它们不被理想地或过度地分析为正式含义。在本公开中，终端可以是包括触摸屏的任意装置，终端可被称为便携式终端、移动终端、通信终端、便携式通信终端或便携式移动终端。例如，终端可以是智能电话、蜂窝电话、游戏控制台、电视机(TV)、显示器、车辆机头单元(vehicle head unit)、笔记本计算机、膝上型计算机、平板计算机、个人媒体播放器(PMP)、个人数字助理(PDA)等。可利用具有无线通信功能的袖珍型便携式通信终端来实施终端。终端也可以是柔性装置或柔性显示器。终端的典型结构与蜂窝电话相关联，可从终端的典型结构中省略或改变一些组件。图1是根据本公开的实施例的便携式终端的示意性框图。参照图1，可通过使用通信模块120、连接器165和耳机连接插孔167中的至少一个将便携式终端100与外部电子装置(未示出)连接。电子装置可包括可从便携式终端100中移除且可通过有线方式与便携式终端100连接的各种装置(诸如，例如，耳机、外部扬声器、通用串行总线(USB)本文档来自技高网...

【技术保护点】
一种用于提供增强现实（AR）的方法，所述方法包括：获得图像；根据被摄体的类型顺序地设置图像的候选区域；从候选区域检测被摄体中的至少一个；通过将虚拟对象映射到与在图像中检测到的被摄体的位置相应的位置来创建合成图像；以及向用户显示合成图像。

【技术特征摘要】
2013.03.08 KR 10-2013-00251861.一种用于提供增强现实(AR)的方法，所述方法包括: 获得图像； 根据被摄体的类型顺序地设置图像的候选区域； 从候选区域检测被摄体中的至少一个； 通过将虚拟对象映射到与在图像中检测到的被摄体的位置相应的位置来创建合成图像；以及 向用户显示合成图像。2.如权利要求1所述的方法，其中，设置候选区域的步骤包括: 在图像中检测第一图像区域，作为第一候选区域，其中，第一图像区域被估计为在被摄体之中的第一类型的被摄体；以及 在图像中检测第二图像区域，作为第二候选区域，其中，第二图像区域被估计为在被摄体之中的不同于第一类型的被摄体的第二类型的被摄体。3.如权利要求2所述的方法，其中，设置候选区域的步骤包括: 在图像中检测第三图像区域，作为第三候选区域，其中，第三图像区域被估计为在被摄体之中的不同于第一类型和第二类型的被摄体的第三类型的被摄体。4.如权利要求2所述的方法，其中，第一类型的被摄体是二维(2D)被摄体，第二类型的被摄体是三维(3D)被摄体。5.如权利要求2所述的方法，其中，针对第一候选区域和第二候选区域分别设置发现相应被摄体的概率。6.如权利要求2所述的方法，其中，在图像的整个区域上搜索第一候选区域，在图像的整个区域中除了第一候选区域以外的区域中搜索第二候选区域。7.如权利要求1所述的方法，其中，从候选区域检测被摄体中的至少一个的步骤包括: 检测被摄体中的所述至少一个的位姿。8.如权利要求7所述的方法，还包括:在连续捕捉的图像之中跟踪检测到的被摄体的位姿改变。9.如权利要求8所述的方法，还包括:根据跟踪的检测到的被摄体的位姿改变来改变虚拟对象的位姿。10.如权利要求8所述的方法，其中，跟踪位姿改变的步骤包括: 估计检测到的被摄体的相机位姿；以及 基于相机位姿来...

【专利技术属性】
技术研发人员：曹益焕，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR