用于照明插入内容的方法、系统和介质技术方案

提供了用于照明插入内容的系统和方法。例如，插入内容可以包括被插入到物理空间的图像中的增强现实内容。示例系统和方法可以包括确定图像内用于插入内容的位置。例如，图像可以由相机设备捕获。示例系统和方法还可以包括：基于所确定的用于插入内容的位置来识别图像的区域；基于所确定的区域来确定至少一个照明参数；以及使用所确定的至少一个照明参数来渲染内容。染内容。染内容。

【技术实现步骤摘要】
用于照明插入内容的方法、系统和介质
[0001]分案说明
[0002]本申请属于申请日为2018年10月4日的中国专利技术专利申请No.201880035466.1的分案申请。
[0003]相关申请的交叉引用
[0004]本申请是2018年10月3日提交的美国申请No.16/151,276的继续并要求其优先权，该申请要求于2017年10月4日提交的美国申请No.62/568,116的优先权，其全部公开内容通过引用合并于此。
[0005]本申请要求于2017年10月4日提交的美国申请No.62/568,116的优先权，其全部公开内容通过引用合并于此。

技术介绍

[0006]内容可以插入图像或用户的视野中。例如，增强现实(AR)系统可以通过插入内容来为用户生成沉浸式增强环境。沉浸式增强环境可以通过将计算机生成的内容叠加在用户真实世界的视野上来生成。例如，计算机生成的内容可以包括标签、文本信息、图像、子图形和三维实体。这些图像可以显示在用户视野中的某个位置，以便看起来像覆盖现实世界中的对象。类似地，计算机生成的内容可以覆盖在显示的图像上。应用于插入内容的照明可能会影响插入内容与图像其余部分的融合程度。

技术实现思路

[0007]本公开描述了用于照明插入的内容的系统和方法。例如，插入的内容可以包括被插入到物理空间的图像中的增强现实内容。
[0008]在一方面，示例方法可以包括确定图像内用于插入内容的位置。例如，图像可以由相机设备捕获。该示例方法还可以包括：基于所确定的用于插入内容的位置来识别图像的区域；基于所识别的区域来确定至少一个照明参数；以及使用所确定的至少一个照明参数来渲染内容。
[0009]在另一方面，示例方法包括捕获图像。图像可以由便携式计算设备的相机组件捕获。该方法还可以包括：确定图像内用于插入内容的位置；以及基于所确定的位置在图像平面上的投影来识别图像的第一区域。该方法可以进一步包括从图像的第一区域提取第一图像属性，并基于第一图像属性确定上照明参数。该方法还可以包括：基于所确定的位置在图像平面上的投影来识别图像的第二区域；从图像的第二区域提取第二图像属性；以及基于第二图像属性确定下照明参数。该方法还可以包括使用所确定的上照明参数和下照明参数来渲染内容。
[0010]在另一方面，一种系统，包括：相机；至少一个处理器；以及存储指令的存储器，所述指令在由至少一个处理器执行时使所述系统：捕获图像；以及确定图像内用于插入内容的位置；基于所确定的用于插入内容的位置来识别图像的区域；基于所识别的区域确定至少一个照明参数；使用所确定的至少一个照明参数来渲染内容；将渲染的内容插入图像以
生成增强图像；并使增强图像显示出来。
[0011]一种或多种实施方式的细节在附图和以下描述中阐述。根据说明书和附图以及根据权利要求书，其它特征将显而易见。
附图说明
[0012]图1是示出根据示例实施方式的系统的框图。
[0013]图2是示例物理空间的第三人称视角，其中用户通过图1的示例HMD正在体验AR环境。
[0014]图3A、3B和3C是描绘根据本文所述的实施方式的示例头戴式显示设备和控制器的图。
[0015]图4是经由示例便携式电子设备经历AR环境的用户的示意图。
[0016]图5是根据本文描述的实施方式的插入内容的示例方法的图。
[0017]图6是根据本文描述的实施方式的插入内容的示例方法的图。
[0018]图7A
‑
7D是根据本文所述的实施方式的插入内容的步骤的示意图。
[0019]图8示出了可用于实现本文描述的技术的计算机设备和移动计算机设备的示例。
具体实施方式
[0020]现在将详细参考本公开的非限制性示例，其示例在附图中示出。下面通过参考附图描述示例，其中，相同的附图标记指代相同的元件。当示出相同的附图标记时，不重复对应的描述，并且感兴趣的读者对于相同的元件的描述可以参考先前讨论的附图。
[0021]增强现实(AR)系统包括将计算机生成的内容插入用户对用户周围物理空间的感知的系统。计算机生成的内容可以包括标签、文本信息、图像、子画面和三维实体。在一些实施方式中，出于娱乐、教育或信息目的而插入内容。
[0022]示例AR系统是便携式电子设备，例如智能电话，其包括相机和显示设备。便携式电子设备可以使用相机捕获图像并且在显示设备上显示AR图像，其包括覆盖在由相机捕获的图像上计算机生成的内容。
[0023]另一示例AR系统包括用户佩戴的头戴式显示器(HMD)。HMD包括位于用户眼前的显示设备。例如，HMD可能会遮蔽用户的整个视野，因此用户只能看到显示设备显示的内容。在一些示例中，显示设备被配置为显示两个不同的图像，每个用户的眼睛都可以看到一个。例如，一个图像中的至少一些内容可以相对于另一图像中的相同内容稍微偏移，以便由于视差而产生对三维场景的感知。在一些实施方式中，HMD包括腔室，其中诸如智能电话的便携式电子设备可以放置在该腔室中，以允许通过HMD观看便携式电子设备的显示设备。
[0024]另一示例AR系统包括HMD，该HMD允许用户在佩戴HMD的同时看到物理空间。HMD可以包括微型显示设备，该微型显示设备可以显示覆盖用户视野的计算机生成的内容。例如，HMD可以包括至少部分透明的遮阳板，该遮阳板包括组合器，该组合器允许来自物理空间的光到达用户的眼睛，同时还将微显示设备显示的图像向用户的眼睛反射。
[0025]当将计算机生成的内容插入图像中时，可以将照明应用于该内容，以使该内容与图像的其余部分更紧密地匹配(例如，用户周围环境中的照明)。例如，可以使用光源或环境光图来渲染三维模型，该光源图或环境光图近似于在图像中捕获的光照条件。
[0026]AR系统可能需要以高速率实时刷新显示给用户的图像，诸如每秒24帧(FPS)、30FPS、60FPS或另一速率。用于根据图像确定或估计场景中的照明的传统技术可能需要进行大量的计算(或处理器周期)，以至于它们无法在AR系统中执行。一些传统技术需要有关环境中照明的先验信息，这对于使用AR系统的许多环境可能不可用。本文进一步描述的技术允许以逼真的方式来照明插入的内容，而不需要环境照明的先验知识，同时使用比传统技术少的处理器周期。另外，由于本文所述技术所需的处理周期数量减少，这些技术可允许以逼真的方式将内容插入捕获的图像/视频中，同时使用的功率比传统技术所需的功率少。在包括电池供电的移动设备的AR系统中，为插入的内容提供照明所需的功率的减少尤其重要。
[0027]示例AR系统捕获用户周围的物理空间的图像。系统然后可以确定插入内容的位置。例如，系统可以接收指示内容在屏幕上的位置的用户输入。可以将内容放置在用户指示的位置，或者放置在与诸如地板或地面的表面相对应的平面上，其在用户指示的位置下方。
[0028]接下来，系统可以确定图像中与该位置相对应的一个或多个区域。然后，系统可以从一个或多个区域提取图像属性，并使用这本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于照明插入内容的方法，包括：确定图像内用于插入内容的位置；基于用于插入所述内容的位置来识别所述图像的第一区域和所述图像的第二区域；基于所述第一区域确定第一照明参数以及基于所述第二区域确定第二照明参数；以及渲染包括所述第一照明参数和所述第二照明参数的所述内容，其中所述第一照明参数不同于所述第二照明参数。2.根据权利要求1所述的方法，进一步包括：从所述第一区域提取第一图像属性；缩放从所述第一区域提取的所述第一图像属性的第一值；以及使用为所述第一图像属性缩放的所述第一值作为所述第一照明参数。3.根据权利要求2所述的方法，其中，所述第一图像属性包括亮度值。4.根据权利要求2所述的方法，其中，所述第一图像属性包括饱和度值。5.根据权利要求2所述的方法，其中，所述第一图像属性包括色调值。6.根据权利要求2所述的方法，进一步包括：从所述第二区域提取第二图像属性；缩放从所述第二区域提取的所述第二图像属性的第二值；以及使用为所述第二图像属性缩放的所述第二值作为所述第二照明参数。7.根据权利要求1所述的方法，进一步包括：将包括所述第一照明参数和所述第二照明参数的所述内容插入所述图像中以生成增强图像；以及显示所述增强图像。8.根据权利要求1所述的方法，其中，渲染所述内容包括使用基于所述第一照明参数来发射光的顶置光源来遮蔽所述内容的所述第一区域。9.一种非暂时性计算机可读存储介质，包括存储在其上的指令，所述指令在由至少一个处理器执行时被配置为使计算系统至少：确定图像内用于插入内容的位置；基于用于插入所述内容的位置来识别所述图像的第一区域和所述图像的第二区域；基于所述第一区域确定第一照明参数以及基于所述第二区域确定第二照明参数；以及渲染包括所述第一照明参数和所述第二照明参数的所述内容，其中所述第一照明参数不同于所述第二照明参数。10.根据权利要求9所述的非暂时性计算机可读存储介质，进一步包括存储在其上的指令，所述指令在由所述至少一个处理器执行时被配置为使所述计算系统至少：从所述第一区域提取第一图像属性；缩放从所述第一区域提取的所述第一图像属性的第一值；以及使用为所述第一图像属性缩放的所述第一值作为所述第一照明参数。11.根据权利要求10所述的非暂时性计算机可读存储介质，其中，所述第一图像属性包括亮度值。12.根据权利要求10所述的非暂时性计算机可读存储介质，其中，所述第一图像属性包括饱和度值。
13.根据权利要求10所述的非暂时性计算机可读存储介质，其中，所述第一图像属性包括色调值。14.根据权利要求10所述的非暂时性计算机可读存储介质，进...

【专利技术属性】
技术研发人员：伊万，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：