呈现含真实对象及其虚拟副本的场景的图像的方法和设备技术

用于呈现包括一个或多个真实对象的场景的方法和设备。虚拟对象与每个真实对象相关联，与真实对象相关联的虚拟对象对应于该真实对象的虚拟副本。虚拟副本用于呈现变换，当例如真实对象被虚拟对象碰到时该变换可以被应用于真实对象，然后虚拟对象替换场景内的对应真实对象。为了给场景带来真实感，使用从真实对象的图像获得的纹理信息来对经变换的虚拟对象的可见部分进行纹理化。通过使用关于与经变换的虚拟对象的可见部分相对应的真实对象的部分的可见性的信息，在图像中选择纹理信息。

【技术实现步骤摘要】
呈现含真实对象及其虚拟副本的场景的图像的方法和设备
本公开涉及图像处理的领域，例如在诸如例如头戴式显示器(HMD)、平板或智能电话之类的移动设备上消费的增强现实视频内容的背景中。
技术介绍
增强现实(AR)是允许例如实时地在增强现实场景中将虚拟对象与真实世界对象混合的技术，该增强现实场景可以在显示设备(诸如头戴式显示器(HMD)、平板、智能电话或电视显示屏)上显示的一个或多个图像中表示。该技术也被称为混合现实。例如当虚拟对象在AR场景中移动并碰到一个或多个真实对象时，可能发生AR场景的真实与虚拟对象之间的交互。例如，在真实场景由放在桌子上的卡片盒组成并且利用在桌子上滚动的虚拟球体来增强的情况下，预期的是，当球体将碰撞盒子时，不仅可以修改球体轨迹，而且盒子可以移动(根据对象的重量和速率，从一些轻微的振动到强烈的发射)。等人在“Geometricmodificationsappliedtorealelementsinaugmentedreality”(2011XIII虚拟现实研讨会)中讨论了能够实时地在真实对象中执行修改的AR系统，旨在提供真实和虚拟对象之间交互的逼真手段。图1A示出了表示在等人的AR系统中使用的真实场景的图像10的示例，该场景包括其中有真实对象100的真实对象。真实对象100对应于立方体，例如，卡片盒。标记101被应用于真实对象100的面上，标记101用于得到相对于真实对象的真实世界中的照相机位置，以用于正确插入虚拟对象。图1B示出了图像11，其中利用真实对象100的虚拟副本110替换真实对象100，变形被应用于虚拟副本110。例如通过使用真实对象100的3D模型来获得虚拟副本110。通过使用从真实对象100的图像10获得的动态纹理对虚拟副本110进行纹理化。在原始场景10中，真实对象100的顶表面被真实对象100本身遮挡，而在图像11的AR场景中，以不正确的纹理显示上表面112。从图像10取回包括标记101的真实对象100的可见面的纹理，并将其重新用作虚拟副本110的前面111和上面112的纹理信息，导致与图像11的真实感有关的问题。
技术实现思路
说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的引用表示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括该特定的特征、结构或特性。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为结合其他实施例(无论是否明确描述)影响这样的特征、结构或特性是在本领域技术人员的知识范围内的。本公开涉及一种呈现包括至少一个真实对象的场景的方法，该方法包括：-接收表示场景的至少一个图像；-将变换应用于与至少一个真实对象的虚拟副本相对应的虚拟对象；-在该至少一个图像中，通过使用与该至少一个图像中的真实对象相关联的纹理信息来呈现所变换的虚拟对象的至少一个第一部分，纹理信息是根据表示该至少一个图像中的与对应于所变换的虚拟对象的所述至少一个第一部分的真实对象的至少一个第二部分相关联的可见性的信息所选择的。根据特定特性，该呈现包括：-当该至少一个第二部分在该至少一个图像中可见时，选择与真实对象的该至少一个第二部分相关联的纹理信息；-当该至少一个第二部分在该至少一个图像中不可见时，选择与真实对象的至少一个第三部分相关联的纹理信息。根据特定特性，利用网格对虚拟对象进行建模，该至少一个第三部分是通过使用与该至少一个第三部分相关联的一部分网格的至少一个顶点和与该至少一个第二部分相关联的一部分网格的至少一个顶点之间的关系所获得的。根据另一特性，基于与网格的顶点相关联的法线建立该关系。根据特定特性，利用与网格的网格元素相关联的颜色信息建立该关系。根据特定特性，纹理信息是从利用表示场景的多个图像的纹理数据更新的纹理映射所获得的，时间戳与纹理数据相关联，时间戳取决于用于更新纹理映射的多个图像中的图像。根据特定特性，纹理映射的更新取决于以下信息中的至少一个：-与关联于纹理数据的该至少一个第一部分相关联的法线；-与纹理数据相关联的时间戳信息；-采集设备相对于该至少一个真实对象的位置。本公开还涉及一种被配置为呈现包括至少一个真实对象的场景的设备，该设备包括存储器和被配置为执行呈现包括至少一个真实对象的场景的上述方法的操作的至少一个处理器。本公开还涉及一种被配置为呈现包括至少一个真实对象的场景的多媒体/通信终端。本公开还涉及一种计算机程序产品，其包括程序代码的指令，用于当该程序在计算机上执行时，由至少一个处理器执行呈现包括至少一个真实对象的场景的上述方法。本公开还涉及一种(非临时性)处理器可读介质，其中存储有用于使处理器至少执行呈现包括至少一个真实对象的场景的上述方法的指令。附图说明当阅读以下描述时，将更好地理解本公开，并且其他具体特征和优点将显现，该描述参考附图，附图中：-图1A示出了根据背景的包括真实对象的真实场景的图像，并且图1B示出了包括与图1A的真实对象相对应的虚拟对象的增强现实场景的图像；-图2示出了根据本原理的示例性实施例的真实对象的图像；-图3示出了根据本原理的示例性实施例的与图2的真实对象相对应的虚拟对象的表示；-图4A、图4B和图5A、图5B示出了根据本原理的示例性实施例的应用于图3的虚拟对象的变换；-图6示出了根据本原理的示例性实施例的用于对图4B和图5B的经变换的虚拟对象进行纹理化的纹理映射；-图7示出了根据本原理的示例性实施例的呈现包括图2的真实对象的经变换的表示的场景的方法；-图8概略地示出了根据本原理的示例性实施例的被配置为实现图7的方法的示例性装置的结构。具体实施方式现在参考附图描述主题，其中相同的参考标号始终用于指代相同的元素。在以下描述中，为了说明的目的，阐述许多具体细节以便提供对主题的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践主题实施例。将参考呈现包括一个或多个真实对象的场景的方法的特定实施例来描述本原理。虚拟对象与每个真实对象相关联，与真实对象相关联的虚拟对象对应于该真实对象的虚拟副本。虚拟副本用于呈现当例如真实对象被虚拟对象碰到时可以应用于真实对象的变换(即平移和/或旋转和/或缩放)，然后虚拟对象替换场景内的对应的真实对象。为了给场景带来真实感，使用从(多个)真实对象的(多个)图像获得的纹理信息来对(多个)经变换的虚拟对象的(多个)可见部分进行纹理化。通过使用关于与(多个)经变换的虚拟对象的可见部分相对应的(多个)真实对象的部分的可见性的信息，在图像中选择纹理信息。图2示出了根据本原理的特定且非限制性实施例的真实场景的真实对象20。在图2的示例中，真实对象20是具有一般形状的长方体的一包口香糖。当然，真实对象20既不限于一包口香糖的示例，也不限于具有一般形状的长方体的对象，而是扩展到任何形状的任何真实对象，例如球、桌子、棱锥。利用位于真实世界中的采集设备200(例如照相机或网络摄像机)来采集真实场景的一个或多个图像。采集设备200的姿势例如通过图像处理(例如通过在位于真实对象上或真实对象附近的真实场景基准标记的(多个)图像中跟踪)来确定。这样的方法为例如由Fakhr-eddineAbabsa等人在ACMSIGGRAPHVRCAI，2004本文档来自技高网...

【技术保护点】
一种呈现包括至少一个真实对象(40)的场景的方法，所述方法包括：‑接收(71)表示所述场景的至少一个图像；‑将变换应用(72)于与真实对象(40)相对应的虚拟对象(41)；‑在所述至少一个图像中，通过使用与所述至少一个图像中的所述真实对象(40)相关联的纹理信息来呈现(73)所变换的虚拟对象(41)的至少一部分，所述纹理信息是根据表示所述至少一个图像中的与对应于所变换的虚拟对象(41)的所述至少一部分的所述真实对象(40)的至少一部分相关联的可见性的信息所选择的，其中：○如果所述真实对象(40)的所述至少一部分可见，则要用于呈现的纹理信息对应于所述真实对象(40)的所述至少一部分的纹理信息；○如果所述真实对象(40)的所述至少一部分不可见，则要用于呈现的纹理信息对应于根据映射信息选择的所述真实对象的一部分，所述映射信息将所述真实对象的3D模型的不同部分相互关联。

【技术特征摘要】
2016.05.20 EP 16305579.11.一种呈现包括至少一个真实对象(40)的场景的方法，所述方法包括：-接收(71)表示所述场景的至少一个图像；-将变换应用(72)于与真实对象(40)相对应的虚拟对象(41)；-在所述至少一个图像中，通过使用与所述至少一个图像中的所述真实对象(40)相关联的纹理信息来呈现(73)所变换的虚拟对象(41)的至少一部分，所述纹理信息是根据表示所述至少一个图像中的与对应于所变换的虚拟对象(41)的所述至少一部分的所述真实对象(40)的至少一部分相关联的可见性的信息所选择的，其中：○如果所述真实对象(40)的所述至少一部分可见，则要用于呈现的纹理信息对应于所述真实对象(40)的所述至少一部分的纹理信息；○如果所述真实对象(40)的所述至少一部分不可见，则要用于呈现的纹理信息对应于根据映射信息选择的所述真实对象的一部分，所述映射信息将所述真实对象的3D模型的不同部分相互关联。2.根据权利要求1所述的方法，其中所述映射信息包括在映射表中，其中所述3D模型的每个第一部分与不同于所述第一部分的所述3D模型的至少一个第二部分相关联。3.根据权利要求2所述的方法，其中所述第一部分与所述3D模型的多个第二部分相关联，表示偏好的索引与每个第二部分相关联，所述多个第二部分中的第二部分是当所述第一部分不可见时根据表示与所述第二部分相关联的可见性的信息并且根据与所述第二部分相关联的索引所选择的。4.根据权利要求1至3之一所述的方法，其中基于与所述3D模型的不同部分相关联的法线来建立所述映射信息。5.根据权利要求1至3之一所述的方法，其中基于与所述3D模型的不同部分相关联的颜色信息来建立所述映射信息。6.根据权利要求1至3之一所述的方法，其中所述纹理信息是从利用表示场景的多个图像的纹理数据更新的纹理映射所获得的，时间戳与所述纹理数据相关联，所述时间戳取决于用于更新纹理映射的多个图像中的图像。7.根据权利要求6所述的方法，其中所述纹理映射的更新取决于以下信息中的至少一个：-与关联于纹理数据的所变换的虚拟对象(41)的至少一部分相关联的法线；-与纹理数据相关联的时间戳信息；-采集设备相对于至少一个真实对象的位置。8.一种被配置为呈现包括至少一...

【专利技术属性】
技术研发人员：M弗拉德特，P罗伯特，A劳伦，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR