增强现实系统技术方案

本发明专利技术提供了涉及增强现实(AR)设备的装置和技术。用于增强真实世界图像的设备包括：光源信息产生单元，针对由真实世界图像捕捉设备所捕捉的真实世界图像，基于捕捉真实世界图像的位置、时间以及日期，产生光源信息。光源信息包括与真实世界图像的真实世界光源的位置有关的信息。该设备还包括：阴影图像对准单元，接收从光源信息产生单元产生的光源信息。阴影图像对准单元基于从光源信息产生单元产生的光源信息，产生覆盖到真实世界图像上的虚拟对象的阴影图像。

【技术实现步骤摘要】
【国外来华专利技术】增强现实系统
技术介绍
增强现实(AR)关注于将真实世界和计算机产生的数据相结合，特别是将计算机图形对象实时混合到真实镜头中，用于向最终用户显示。AR的范围已经扩张到包括非视觉增强以及更广泛的应用领域，比如广告、导航、军事服务以及娱乐等等。为了使其成功部署，提供将这种计算机产生的数据(图像)无缝集成到真实世界的场景中已受到越来越多的关注。
技术实现思路
本专利技术提供了涉及增强现实(AR)设备的技术。在一个实施例中，一种用于增强真实世界图像的设备包括光源信息产生单元，针对由真实世界图像捕捉设备所捕捉的真实世界图像，基于捕捉真实世界图像的位置、时间以及日期，产生光源信息。光源信息包括与真实世界图像的真实世界光源的位置有关的信息。该设备还包括阴影图像对准单元，接收 从光源信息产生单元产生的光源信息。阴影图像对准单元基于从光源信息产生单元产生的光源信息，产生覆盖到真实世界图像上的虚拟对象的阴影图像。前述
技术实现思路
仅是说明性的，且不意在以任何方式加以限制。除了上述说明性方面、实施例以及特征之外，通过参考附图和以下详细描述，其他方面、实施例和特征将变得显而易见。附图说明图I示出了增强现实(AR)系统的说明性实施例的示意框图。图2A至2C示出了用于产生增强现实图像的说明性实施例，该增强现实图像叠加了虚拟对象的阴影图像。图3示出了图I的图像捕捉单元的说明性实施例的示意框图。图4示出了图I的AR产生器的说明性实施例的示意框图。图5示出了图4的AR图像产生单元的说明性实施例的示意框图。图6示出了用于基于无标记选择/对准技术来选择和对准虚拟对象并产生该虚拟对象的虚拟阴影图像的说明性实施例。图7A至7C示出了 AR系统的另一说明性实施例的示意图。图8示出了用于产生AR图像的方法的说明性实施例的示例流程图。具体实施例方式在以下详细说明中，参考了作为详细说明的一部分的附图。在附图中，除非上下文另行指明，否则类似符号通常表示类似部件。具体实施方式部分、附图和权利要求书中记载的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当理解，在此一般性记载以及附图中图示的本公开的各方案可以按照在此明确公开的多种不同配置来设置、替换、组合、分割和设计。增强显示(AR)技术将真实世界图像与虚拟对象的图像混合，以向观众提供虚拟对象存在于真实世界中的幻象。本公开所述的技术采用了新颖的AR设备来产生包括虚拟对象的虚拟阴影图像在内的混合图像，该虚拟阴影图像遵循真实图像中的真实对象的真实世界阴影图像或与其一致，使得虚拟阴影图像对于观众看起来就好像其是由投射真实世界阴影图像的相同真实世界光源(例如太阳)所投射出来的。图I示出了增强现实(AR)系统的说明性实施例的示意框图。参见图1，AR系统100可以包括图像捕捉单元110，被配置为捕捉真实世界图像；AR产生器120，被配置为通过将捕捉到的真实世界图像与一个或多个虚拟对象的图像以及他们相应的虚拟阴影图像叠加，来产生AR图像；以及显示单元130，被配置为显示由AR产生器120产生的增强现实图像。如本文所使用的，术语“虚拟对象”指代对象的几何形状表示，以及术语“虚拟阴影 图像”指代使用本领域众所周知的阴影呈现技术所呈现的虚拟对象的阴影图像。这种阴影呈现技术的示例包括(但不限于)阴影映射算法、阴影体积算法、以及柔和阴影算法。与虚拟对象和虚拟阴影图像有关的技术细节在本领域中是众所周知的，且本文不做进一步解释。图像捕捉单元110可以包括用于捕捉真实世界场景的真实世界图像的一个或多个数字相机(未示出)。在一个实施例中，图像捕捉单元Iio可以位于远离AR产生器120的位置，且可以与AR产生器120无线连接。在另一实施例中，图像捕捉单元110可以被布置在装有AR产生器120的相同外壳内。AR产生器120可以被配置为产生虚拟对象的虚拟阴影图像，该虚拟对象的图像要叠加到由图像捕捉单元Iio所捕捉的真实世界图像上。可以在AR产生器120中预先存储虚拟对象，或可以由AR产生器120从外部设备(例如服务器)接收虚拟对象。在一个实施例中，AR产生器120可以被配置为产生虚拟阴影图像，该虚拟阴影图像的大小、形状、方向和/或强度遵循真实世界图像中真实对象的真实世界阴影图像或与其一致。按这种方式产生的虚拟阴影图像对于AR图像的观众可以看起来好像其由投射真实世界阴影图像的相同真实世界光源所投射出来的。图2A至2C示出了用于产生与虚拟图像及其虚拟阴影图像叠加的AR图像的说明性实施例。图2A示出了真实世界场景的立体图的说明性实施例，图2B示出了不具有虚拟对象的虚拟阴影图像的图2A的真实世界场景的AR图像的说明性实施例，以及图2C示出了包括虚拟对象的虚拟阴影图像在内的图2A的真实世界场景的AR图像的说明性实施例。参见图2A至2C，图2A中真实世界场景2包括太阳20、高尔夫球洞21、其中的杆22、以及杆22的真实世界阴影23。图像捕捉单元110产生这种真实世界场景2的真实世界图像，并将其提供给AR图像产生器120。图2B和2C中的高尔夫球24及图2C中的高尔夫球24的阴影图像25是由AR图像产生器120所添加的虚拟图像。图2C中的高尔夫球24的虚拟阴影图像25与由真实世界太阳20所投射的杆22的真实世界阴影23具有相同的方向。如通过比较图2B和2C所意识到的，添加的虚拟阴影图像25为添加到AR图像上的高尔夫球24的虚拟图像带来了真实性，给出了好像其真实存在于这真实世界中的幻象。参见图1，AR产生器120可以被配置为估计真实世界光源(例如，太阳)相对于图像捕捉单元110的位置，且被配置为基于所估计的位置来产生虚拟阴影图像。在一个实施例中，AR产生器120可以被配置为基于图像捕捉单元110捕捉真实世界图像时的位置、时间和日期，来估计真实世界光源的位置。AR产生器120可以从相机单元110和/或外部设备(例如，服务器)至少部分地获得与位置、时间和/或日期有关的这种信息。下面将参照图3至5来详细解释与以下各项相关的技术细节(a)估计太阳的位置；以及(b)据此产生虚拟阴影图像和AR图像。显示单元130可以被配置为显示由AR产生器120所提供的增强现实图像。在一个实施例中，显示单元130可以用以下各项来实现阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、有机LED(OLED)、和/或等离子显示面板(I3DP)。 图3示出了图I的图像捕捉单元的说明性实施例的示意框图。参见图3，图像捕捉单元Iio可以包括相机单元310，被配置为产生真实世界图像；以及姿态检测单元320，被配置为测量相机单元310的方位和倾斜，并产生姿态信息(其包括与测量到的方位和倾斜有关的信息)。在另一实施例中，图像捕捉单元110可以可选地包括位置信息提供单元330和/或时间/日期信息提供单元340。相机单元310可以包括将光学真实世界图像转换为数字数据的一个或多个数字相机(未示出)。这种数字相机的示例包括(但不限于)电荷耦合器件(CDD)数字相机以及互补金属氧化物半导体(CMOS)数字相机。姿态检测单元320可以被配置为测量相应数字相机的方位和倾斜。在一个实施例中，姿态检测单元320可以包括陆地磁场传感器(例如，罗盘)本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.03.25 US 12/731,3071.ー种增强现实系统，包括 图像捕捉単元，被配置为捕捉真实世界图像；以及 增强现实AR产生器，包括 与所述图像捕捉単元通信的光源信息产生单元，被配置为基于捕捉所述真实世界图像时的位置、时间和日期中的至少ー项，产生由所述图像捕捉単元捕捉的所述真实世界图像的光源信息，所述光源信息包括与真实世界光源相对于所述图像捕捉単元的位置有关的信息；以及 AR图像产生単元，被配置为基于所产生的光源信息来产生虚拟对象的阴影图像，以及将所述虚拟对象和所述阴影图像叠加到所述真实世界图像上。2.根据权利要求I所述的系统，其中，所述图像捕捉单元还包括姿态检测単元，被配置为测量所述图像捕捉単元的方位和傾斜。3.根据权利要求2所述的系统，其中，所述AR图像产生単元包括 虚拟对象对准单元，被配置为基于所测量的所述图像捕捉単元的方位和倾斜来确定所述图像捕捉単元的參照系，以及确定所述虚拟对象相对于所述參照系的位置。4.根据权利要求3所述的系统，其中，所述虚拟对象对准单元还被配置为执行基于标记的选择/对准技术、无标记选择/对准技术、或混合选择/对准技木，以确定所述虚拟对象相对于所述參照系的位置。5.根据权利要求3所述的系统，其中，所述AR图像产生单元还包括 阴影图像对准单元，被配置为基于所述光源信息确定所述真实世界光源相对于所述參照系的位置，以及基于所确定的所述真实世界光源的位置产生所述虚拟对象的阴影图像。6.根据权利要求5所述的系统，其中，所述阴影图像对准单元还被配置为在所述真实世界光源的位置处设置仿真所述真实世界光源的虚拟光源，以及相对于所设置的虚拟光源呈现所述阴影图像。7.根据权利要求6所述的系统，其中，所述阴影图像对准単元至少包括 阴影映射単元，被配置为执行阴影映射算法，以呈现所述阴影图像， 阴影体积单元，被配置为执行阴影体积算法，以呈现所述阴影图像，或 柔和阴影单元，被配置为执行柔和阴影算法，以呈现所述阴影图像。8.根据权利要求6所述的系统，其中， 所述姿态检测单元被配置为提供与所述图像捕捉単元的方位和倾斜有关的更新；以及 所述阴影图像对准単元被配置为基于所述更新，产生新的阴影图像。9.根据权利要求6所述的系统，其中，所述阴影图像对准单元还被配置为从与所述AR系统通信的服务器接收针对所述真实世界图像的天气信息和地理信息中的至少ー项，以及至少基于针对所述真实世界图像的所述天气信息或所述地理信息来设置所述虚拟光源。10.根据权利要求9所述的系统，其中，所述阴影图像对准单元还被配置为基于针对所述真实世界图像的所述天气信息和所述地理信息中的至少ー项，确定所述虚拟光源的强度。11.根据权利要求I所述的系统，其中，所述图像捕捉单...

【专利技术属性】
技术研发人员：洪钟哲，金宰亨，尹钟敏，郑浩钟，
申请(专利权)人：比兹摩德莱恩有限公司，
类型：发明
国别省市：