用于在真实环境的视图中表示虚拟对象的方法和系统技术方案

本发明专利技术涉及用于在真实环境的视图中表示虚拟对象的方法和系统，该方法包括如下步骤：提供由第一相机捕获的人脸的至少部分的第一图像的图像信息；提供至少一个人脸具体特性；将面部的图像区域的至少部分确定为第一图像的面部区域；根据第一图像的面部区域和至少一个人脸具体特性确定落在面部上的至少一个第一光；和根据至少一个第一光在显示装置上在真实环境的视图中调和虚拟对象。还包括：提供多个面部采样位置；为每个面部采样位置提供辐射传输函数；确定第一图像中的面部采样位置的至少部分的图像位置；根据与第一图像中的面部采样位置的至少部分的图像位置有关的强度信息和与面部采样位置的至少部分有关的辐射传输函数确定至少一个第一光。

Method and System for Representing Virtual Objects in Views of Real Environment

【技术实现步骤摘要】
用于在真实环境的视图中表示虚拟对象的方法和系统本申请是申请日为2015年3月25日、申请号为201510134695.7、名称为“用于在真实环境的视图中表示虚拟对象的方法和系统”的专利技术专利申请的分案申请。
本公开内容涉及用于在真实环境的视图中表示虚拟对象的方法和系统。
技术介绍
在增强现实(AugmentedReality,AR)中，真实环境的视图(例如真实环境的视频图像)与一个或多个虚拟对象的叠加在空间关系上结合，从而结合至真实环境。对于许多AR应用，虚拟对象应该无缝地集成在视图中，使得真实和虚拟对象无法区分开。因此，重要的是，利用在真实世界中可见的相同照明条件来照亮或者显示虚拟对象以及使虚拟对象改变光照，例如通过将阴影投射在来自现实场景的部件(部分)上。对于增强现实场景，照明条件通常是未知并且随机的，因此对于现实和虚拟对象通常难以或者甚至不可能具有一致的照明。在AR应用中对于现实和虚拟对象具有一致照明的可能方式是估计从真实环境发出的光。现有技术中的常规方法需要附加装置(例如镜子或者特殊相机(例如鱼眼相机)，以便估计环境光。这无疑限制了这些方法的可应用性。此外，大部分常规方法仅仅能估计环境光的方向，但是不能估计任何光源的位置。一种估计或者捕获环境光的方法是通过全景相机(如参考文献[3]中所描述的)或者通过捕获镜面球的图像(如参考文献[2]中所描述的)生成真实环境的全景图像。根据全景图像可以直接测量环境光。这种方法的一个问题是必须要附加设备，例如该附加设备需要鱼眼相机镜头或者镜面球，其中添加到场景的额外对象改变了原始场景。此外，该方法测量环境光的方向。估计环境光的另一方法是基于真实环境的图像和真实环境的已知模型。例如，Gruber等人在参考文献1中提出了使用RGB-D相机来捕获真实环境的深度图像，然后重构真实环境的表面。可以从基于深度数据的表面信息以及来自RGB-D相机的RGB数据的纹理信息估计环境光。
技术实现思路
因此，期望提供一种在真实环境的视图中表示虚拟对象的方法，该方法能够提高增强现实应用的可应用性，尤其是在具有未知照明条件的环境中。根据一个方面，公开了一种在真实环境的视图中表示虚拟对象的方法，包括提供由第一相机捕获的人脸的至少部分的第一图像的图像信息、提供至少一个人脸具体特性(humanfacespecificcharacteristic)、将第一图像中的面部的图像区域(图像面积，图像平面，imagearea)的至少部分确定为第一图像的面部区域(脸部区域，faceregion)、根据第一图像的面部区域和至少一个人脸具体特性来确定落在脸上的至少一个第一光、以及根据该至少一个第一光在显示装置上在真实环境的视图中调和(blendingin)虚拟对象。更具体地说，根据一个方面，公开了一种在真实环境的视图中表示虚拟对象的方法，包括：a)提供由第一相机捕获的人脸的至少部分的第一图像的图像信息，b)提供至少一个人脸具体特性，其中，所述至少一个人脸具体特性包括面部的至少部分的辐射传输特性，c)将第一图像中的面部的图像区域的至少部分确定为该第一图像的面部区域，d)根据所述第一图像的面部区域和所述至少一个人脸具体特性确定落到面部上的至少一个第一光，e)根据所述至少一个第一光在显示装置上在所述真实环境的视图中调和虚拟对象，其中，所述步骤d)包括步骤d1)-d4)d1)提供多个面部采样位置(面部样本位置，facesampleposition)，d2)为所述多个面部采样位置中的每一个提供辐射传输函数，d3)确定所述第一图像中的所述面部采样位置的至少部分的图像位置，以及d4)根据与所述第一图像中的所述面部采样位置的至少部分的所述图像位置有关的强度信息和与所述第一图像中的所述面部采样位置的至少部分有关的所述辐射传输函数来确定所述至少一个第一光，其中，根据训练方法确定所述辐射传输函数，所述训练方法包括：f1)在多个不同光照下提供人脸的多个图像的图像信息，其中，所述多个不同光照是已知的，f2)为所述多个图像中的每一个确定所述面部采样位置的至少部分的图像位置，f3)根据与所述多个图像的至少部分中的所述图像位置有关的强度信息和与所述多个图像的至少部分有关的照明和姿态为所述多个面部采样位置中的每一个确定相应的辐射传输函数。根据另一个方面，公开了一种用于在真实环境的视图中表示虚拟对象的系统，其包括被配置为执行上述步骤的处理系统。根据一个方面，该处理系统被配置为：接收由第一相机捕获的人脸的至少部分的第一图像的图像信息、提供至少一个人脸具体特性、将第一图像中的脸的图像区域的至少部分确定为第一图像的面部区域、根据第一图像的面部区域和至少一个人脸具体特性来确定落在脸上的至少一个第一光、以及与显示装置通信以根据该至少一个第一光在显示装置上在真实环境的视图中调和(blendin)虚拟对象。例如，处理系统被包括在移动装置(例如移动电话、平板计算机或者移动计算机(常常称作膝上型计算机))中和/或被包括在适配为与移动装置通信的服务器计算机中。该处理系统可以被包括在这些装置的仅仅一个中，例如被包括在移动装置中或者服务器计算机中，或者该处理系统可以是分布式系统，在该分布式系统中，通过被分布且彼此通信(例如，通过点对点通信或者经由网络)的一个或多个部件来分配和处理一个或多个处理任务。根据一个实施例，第一相机与显示装置关联，使得在人脸面对显示装置时人脸的至少部分由第一相机捕获。根据一个实施例，该系统包括包含第一相机和显示装置的移动装置，其中，显示装置的法线和第一相机的光轴以基本上相同的方向被定位。基本上相同的方向应该意指应包括方位角的小偏差，例如可达5°-10°。根据本专利技术的实施例，提出了使用体验AR应用并且已经存在于真实环境中的用户的面部来估计环境光(即从环境发出的光)。这具有各种优点。用户的面部是可获得的，因此不必增加额外的几何形状并且不需要多余的设备。人脸受限于几何形状和材料的变化范围，从而基于可以运行更快和更有效的有效假设和限制而允许某种预处理和优化算法。由于只要用户面对或者注视真实环境的增强视图，用户的面部就总是可获得的，所以可以支持动态变化的光照。在使用情况下，例如其中虚拟对象是人可穿戴的对象或者衣服，用户的面部靠近该增强的位置，这是另一个益处。如参考文献[4，5]中所描述的，可以在可变的光照下在面部识别的区域中估计来自人脸的光照，以便减去光照的影响并且收回无光照图像，以便更好地识别面部特征。在这里，光照是应该去除的干扰因素。如参考文献[6]中所描述的，面部的光照可被估计和变换成在面部重新照明的区域内的另一个光照。焦点在于适应面部本身的外观，而不是使用回收光来始终照亮附加对象。根据一个实施例，当第一相机捕获第一图像时，所确定的至少一个第一光与第一相机相关。根据一个实施例，用于光估计的至少一个人脸具体特性包括但不限于以下中的至少一个：普通3D面部模型、面部的至少部分的几何形状、面部的至少部分的材料特性、面部的至少部分的颜色、面部的至少部分的辐射传输特性、面部的至少部分的反射特性、以及面部的至少部分的适合等级。根据一个实施例，确定至少一个第一光包括确定至少一个第一光的至少一个特性，其中，至少一个第一光的至少一个特性包括强度、波长以及方向中本文档来自技高网...

【技术保护点】
1.一种在真实环境的视图中表示虚拟对象的方法，包括：获得由第一相机捕获的真实环境中的人脸的至少一部分的图像；确定所述图像中人脸的所述至少一部分的与一个或多个面部采样位置对应的图像位置；根据与图像中的图像位置对应的面部采样位置相关联的强度信息，确定第一光的至少一个特征；以及根据所述第一光的所述至少一个特征生成虚拟对象。

【技术特征摘要】
2014.03.25 EP PCT/EP2014/0559381.一种在真实环境的视图中表示虚拟对象的方法，包括：获得由第一相机捕获的真实环境中的人脸的至少一部分的图像；确定所述图像中人脸的所述至少一部分的与一个或多个面部采样位置对应的图像位置；根据与图像中的图像位置对应的面部采样位置相关联的强度信息，确定第一光的至少一个特征；以及根据所述第一光的所述至少一个特征生成虚拟对象。2.根据权利要求1所述的方法，其中所述一个或多个面部采样位置中的每个面部采样位置与针对一个或多个光方向的入射光和反射光的辐射率相关联。3.根据权利要求1所述的方法，其中所述第一光的所述至少一个特征包括所述第一光的方向。4.根据权利要求1所述的方法，其中所述第一光的所述至少一个特征包括所述第一光的波长。5.根据权利要求1所述的方法，其中生成所述虚拟对象包括根据所述第一光的所述至少一个特征照亮所述虚拟对象的至少一部分。6.根据权利要求1所述的方法，其中确定第一光的所述至少一个特征包括：获得与所述图像的包括所述人脸的区域有关的深度信息；以及根据与所述图像的包括所述人脸的所述区域有关的所述深度信息来确定所述第一光的所述至少一个特征。7.根据权利要求1所述的方法，还包括：将所述图像中的非面部图像区域的至少一部分确定为背景区域；根据所述背景区域确定至少一个第二光；以及进一步根据第二光来生成所述虚拟对象。8.一种计算机可读介质，所述计算机可读介质包括用于在真实环境的视图中表示虚拟对象的计算机可读代码，所述计算机可读代码能够由一个或多个处理器执行以：获得由第一相机捕获的真实环境中的人脸的至少一部分的图像；确定所述图像中人脸的所述至少一部分的与一个或多个面部采样位置对应的图像位置；根据与图像中的图像位置对应的面部采样位置相关联的强度信息，确定第一光的至少一个特征；以及根据所述第一光的所述至少一个特征生成虚拟对象。9.根据权利要求8所述的计算机可读介质，其中所述一个或多个面部采样位置中的每个面部采样位置与针对一个或多个光方向的入射光和反射光的辐射率相关联。10.根据权利要求8所述的计算机可读介质，其中所述第一光的所述至少一个特征包括所述第一光的方...

【专利技术属性】
技术研发人员：塞巴斯蒂安·克诺尔，彼得·梅耶尔，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US