一种绘制虚拟物体阴影的方法及设备技术

本申请涉及AR技术领域，提供一种绘制虚拟物体阴影的方法及设备，采用HDR全景图生成模型，得到真实场景的LDR图像对应的HDR全景图像，将KL散度作为损失函数，用HDR全景图像微调光照球谐特征模型，优化光照球谐特征模型原始的球面高斯强度分布，并节约了光照球谐特征模型的训练过程，省时省力；通过将优化的球面高斯强度分布中亮度值最大的点，确定为光源位置，并根据光源位置为叠加在LDR图像中显示的虚拟物体绘制阴影。由于HDR全景图像完整地记录了环境光照信息，包含环境光照的真实球面高斯强度分布，提高了光源位置确定的准确性，提升了虚拟物体阴影的绘制效果，进而提高了虚拟物体与真实场景的光照一致性，提升了用户的AR体验。体验。体验。

【技术实现步骤摘要】
一种绘制虚拟物体阴影的方法及设备


[0001]本申请涉及增强现实(Augmented Reality，AR)
，尤其涉及一种绘制虚拟物体阴影的方法及设备。

技术介绍

[0002]AR技术是在虚拟现实(Virtual Reality，VR)基础上发展起来的新技术，是通过计算机系统提供的信息增加用户对真实世界感知的技术，并将计算机系统生成的虚拟物体、虚拟场景、系统提示信息或关于真实物体的非几何信息等叠加到真实世界中，从而实现对真实世界的
″
增强
″
，已广泛应用在各行各业。
[0003]在AR体验中，用户对光照有微妙的感觉，通常将光照一致性作为虚实融合的重要指标，光照一致性是指让虚拟物体具有与真实物体相同的光照效果。光照一致性的目标是使虚拟物体的光照情况与真实场景中的光照情况一致，即虚拟物体与真实物体有着一致的明暗、阴影效果，以增强虚拟物体的真实感。
[0004]目前，相关技术为AR场景中的虚拟物体绘制阴影时，大多是采用深度神经网络，对摄像头采集的原始图像进行学习，输出环境贴图，并根据环境贴图确定光源位置，进而根据光源位置为虚拟物体绘制阴影效果。然而，由于AR设备的摄像头采集的原始图像一般为低动态范围(Low Dynamic Range，LDR)图像，包含的光照信息较少，导致光源位置估计的不够准确，进而降低了虚拟物体与真实场景的光照一致性，影响用户AR体验。

技术实现思路

[0005]本申请实施例提供了一种绘制虚拟物体阴影的方法及设备，用于提高虚拟物体与真实场景的光照一致性。
[0006]第一方面，本申请实施例提供一种绘制虚拟物体阴影的方法，应用于AR设备，包括：
[0007]获取所述AR设备的摄像头采集的任一真实场景的低动态范围LDR图像；
[0008]将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；
[0009]将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；
[0010]根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；
[0011]将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为叠加显示的虚拟物体绘制阴影。
[0012]第二方面，本申请实施例提供一种AR设备，包括处理器、存储器、摄像头和显示屏，所述显示屏、所述摄像头、所述存储器和所述处理器通过总线连接：
[0013]所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
[0014]获取所述摄像头采集的任一真实场景的低动态范围LDR图像，并由所述显示屏进行显示；
[0015]将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；
[0016]将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；
[0017]根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；
[0018]将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为所述显示屏中叠加显示的虚拟物体绘制阴影。
[0019]第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行一种绘制虚拟物体阴影的方法。
[0020]本申请的上述实施例中针对任一真实场景，获取AR设备的摄像头采集的LDR图像，通过HDR全景图生成模型，获得HDR全景图像，其中，HDR全景图像包含环境光照的真实球面高斯强度分布，这样，将HDR全景图像输入至光照球谐特征生成模型后，可以利用真实球面高斯强度分布优化光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布，并根据真实球面高斯强度分布和目标球面高斯强度分布，确定光源在虚拟场景中的位置，进一步地，根据光源的位置，为叠加显示在LDR图像中的虚拟物体绘制阴影。由于利用真实球面高斯强度分布优化光照球谐特征生成模型的原始球面高斯强度分布，无需对光照球谐特征生成模型进行训练，省时省力；并且，由于HDR全景图像包含环境光照的真实球面高斯强度分布，使得优化后的目标球面高斯强度分布能够真实的反映光源在虚拟空间中的位置，从而根据光源在虚拟场景中的位置为虚拟物体绘制阴影时，使得虚拟物体与真实场景具有一致的光照效果，提高了虚实融合的真实性，进而提升AR体验。
附图说明
[0021]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]图1示例性示出了本申请实施例提供的HDR全景图生成模型的训练方法流程图；
[0023]图2示例性示出了本申请实施例提供的绘制虚拟物体阴影的方法流程图；
[0024]图3示例性示出了本申请实施例提供的确定目标球面高斯强度分布流程图；
[0025]图4示例性示出了本申请实施例提供的光照球谐特征生成模型的微调方法流程图；
[0026]图5示例性示出了本申请实施例提供的确定目标球面高斯强度分布中光源位置的方法流程图；
[0027]图6示例性示出了本申请实施例提供的AR设备的结构图。
具体实施方式
[0028]为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0029]基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
[0030]为清楚描述本申请的实施例，下面对本申请的名词给出解释说明。
[0031]低动态范围(Low Dynamic Range，LDR)图像：将红(R)、绿(G)、蓝(B)三个色彩通道分别用8位整数描述的图像。LDR图像的存储格式包括JPG和PNG等。
[0032]高动态范围(Height Dynamic Range，HDR)图像：将红(R)、绿(G)、蓝(B)三个色彩通道分别用32位浮点数描述的图像。相比于LDR图像，HDR图像可以提供更多的动态范围和图像细节，HDR图像的存储格式包括HDR、TIF本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种绘制虚拟物体阴影的方法，其特征在于，应用于AR设备，包括：获取所述AR设备的摄像头采集的任一真实场景的低动态范围LDR图像；将所述LDR图像输入至高动态范围HDR全景图生成模型，获得HDR全景图像，所述HDR全景图像包含环境光照的真实球面高斯强度分布；将所述HDR全景图像输入至光照球谐特征生成模型，利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布；根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置；将虚拟物体叠加显示在所述LDR图像中，并根据所述光源的位置，为叠加显示的虚拟物体绘制阴影。2.如权利要求1所述的方法，其特征在于，所述利用所述真实球面高斯强度分布优化所述光照球谐特征生成模型的原始球面高斯强度分布，得到目标球面高斯强度分布，包括：确定所述真实球面高斯强度分布和所述原始球面高斯强度分布的KL散度损失值；若所述KL散度损失值大于等于预设散度阈值，则对所述光照球谐特征生成模型的参数进行微调，直至微调后的光照球谐特征生成模型的球面高斯强度分布与所述真实球面高斯强度分布的KL散度损失值小于所述预设散度阈值，获得所述光照球谐特征生成模型对应的目标球面高斯强度分布。3.如权利要求1所述的方法，其特征在于，所述根据所述真实球面高斯强度分布和所述目标球面高斯强度分布，确定光源在虚拟场景中的位置，包括：确定所述真实球面高斯强度分布中最大亮度的第一位置，以及，确定所述目标球面高斯强度分布中最大亮度的第二位置；确定所述第一位置和所述第二位置之间的位置偏差是否在预设取值区间内；若在，则根据所述第二位置，确定所述光源在虚拟场景中的三维坐标。4.如权利要求3所述的方法，其特征在于，所述根据所述第二位置，确定光源在虚拟场景中的三维坐标，包括：初始化所述目标球面高斯强度分布中各个点的初始位置；根据所述目标球面高斯强度分布中最大亮度的第二位置，确定所述各个点中中心点的目标位置；确定所述中心点的目标位置对应的三维坐标，并将所述三维坐标作为所述光源在虚拟场景中的位置。5.如权利要求3所述的方法，其特征在于，当所述第一位置和所述第二位置之间的位置偏差是否在预设取值区间内时，所述方法还包括：反向微调所述光照球谐特征生成模型的参数，直至所述第一位置和所述第二位置之间的位置偏差在预设取值区间内。6.一种AR设备，其特征在于，包括处理器、存储器、摄像头和显示屏，所述显示屏、所述摄像头、所述存储器和所述处理器通过总线连接...

【专利技术属性】
技术研发人员：蔡亚娟，孟亚州，宗达，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：