在增强现实中渲染虚拟物体的方法及装置制造方法及图纸

本发明专利技术提供了一种在增强现实中渲染虚拟物体的方法及装置，所述方法包括以下步骤：S1：获取现实场景的图像数据；S2：根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据；S3：使用人工智能算法将参考物体的图像数据的光照数据迁移至虚拟物体的图像数据中以得出目标虚拟物体。本发明专利技术基于人工智能算法将现实场景中的参考物体的光照迁移至虚拟场景中的虚拟物体上，使虚拟物体与现实场景更真实的融合。

Method and device of rendering virtual object in augmented reality

The invention provides a method and a device for rendering a virtual object in augmented reality, the method comprises the following steps: S1: acquiring image data of a real scene; S2: identifying image data of a reference object from the acquired image data of a real scene according to the relevant information of a virtual object in a virtual scene; S3: using an artificial intelligence algorithm to count the image of a reference object The illumination data is transferred to the image data of the virtual object to obtain the target virtual object. Based on the artificial intelligence algorithm, the invention migrates the light of the reference object in the real scene to the virtual object in the virtual scene, so as to make the virtual object and the real scene more real fusion.

【技术实现步骤摘要】
在增强现实中渲染虚拟物体的方法及装置
本专利技术涉及增强现实
，更具体地讲，涉及一种在增强现实中渲染虚拟物体的方法及装置。
技术介绍
增强现实(AugmentedReality，简称AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，该技术通过实时地计算摄像机影像的位置及角度并加上相应虚拟模型以实现将虚拟模型加载到真实世界中并进行互动。但是，在增强现实中对虚拟模型的渲染问题一直是影响视觉体验的关键，特别是对虚拟模型的光照渲染，对视觉体验的影响最大。现有技术中，在增强现实中对虚拟模型的光照渲染是通过人为设置的虚拟光源来进行渲染，被渲染的虚拟模型显示起来有突兀感，不能很好的融合到真实世界中以满足用户的要求。此外，对虚拟模型的光照渲染还可以通过lightprobe、光照贴图等传统的方法来解决，但这些方法通常会受到场景限制和器材限制，并不能大范围的使用，具有其使用局限性。
技术实现思路
本专利技术针对现有技术的不足，提供了一种在增强现实中渲染虚拟物体的方法及装置，通过人工智能算法将现实场景中的参考物体的光照迁移至虚拟场景中的虚拟物体上，以使虚拟物体与现实场景更真实的融合。根据本专利技术的一方面，提供了一种在增强现实中渲染虚拟物体的方法，所述方法包括以下步骤：S1：获取现实场景的图像数据；S2：根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据；S3：使用人工智能算法将参考物体的图像数据的光照数据迁移至虚拟物体的图像数据中以得出目标虚拟物体。优选地，所述虚拟物体的相关信息包括虚拟物体的材质参数和/或虚拟物体在虚拟场景中的位置信息。优选地，所述步骤S2包括：根据虚拟物体的材质参数从获取的现实场景的图像数据中识别出与虚拟物体材质类似的同类别物体的图像数据，或者根据虚拟物体在虚拟场景中的位置信息从获取的现实场景的图像数据中识别出与虚拟物体的位置邻近的物体的图像数据。优选地，所述步骤S3包括：将与虚拟物体材质类似的同类别物体的图像数据的光照数据迁移至虚拟物体的图像数据中，或者将与虚拟物体的位置邻近的物体的图像数据的光照数据迁移至虚拟物体的图像数据中。优选地，将与虚拟物体材质类似的同类别物体的图像数据的光照数据迁移至虚拟物体的图像数据中的步骤包括：对虚拟场景中的虚拟物体的3D模型进行初步渲染；基于人工智能算法将同类别物体的光照数据迁移至初步渲染后的虚拟物体上以得出带有光照的虚拟物体的图像数据；对所述带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体。优选地，将与虚拟物体位置邻近的物体的图像数据的光照数据迁移至虚拟物体的图像数据中的步骤包括：对虚拟场景中的虚拟物体的3D模型进行初步渲染；基于人工智能算法将与虚拟物体位置邻近的物体的光照数据和阴影数据迁移至初步渲染后的虚拟物体上以得出目标虚拟物体。优选地，所述对虚拟场景中的虚拟物体进行初步渲染的步骤包括：根据当前用户的姿态数据来使用环境光渲染虚拟物体以得到用户当前视角的初步渲染的虚拟物体的图像数据。优选地，所述对所述带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体的步骤包括：对带有光照的虚拟物体的图像数据进行阴影识别以获取虚拟物体的光照方向，并依据获取的虚拟物体的光照方向和虚拟物体放置的平面位置来渲染虚拟物体的阴影图像。根据本专利技术的另一方面，提供了一种在增强现实中渲染虚拟物体的装置，所述装置包括：场景数据模块，被配置为获取现实场景的图像数据；物体识别模块，被配置为根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据；数据处理模块，被配置为使用人工智能算法将参考物体的图像数据的光照数据迁移至虚拟物体的图像数据中以得出目标虚拟物体。优选地，所述虚拟物体的相关信息包括虚拟物体的材质参数和/或虚拟物体在虚拟场景中的位置信息。优选地，所述物体识别模块被配置为：根据虚拟物体的材质参数从获取的现实场景的图像数据中识别出与虚拟物体材质类似的同类别物体的图像数据，或者根据虚拟物体在虚拟场景中的位置信息从获取的现实场景的图像数据中识别出与虚拟物体的位置邻近的物体的图像数据。优选地，所述数据处理模块被配置为：将与虚拟物体材质类似的同类别物体的图像数据的光照数据迁移至虚拟物体的图像数据中，或者将与虚拟物体的位置邻近的物体的图像数据的光照数据迁移至虚拟物体的图像数据中。优选地，对与虚拟物体材质类似的同类别物体的图像数据进行光照迁移时，所述数据处理模块被配置为：对虚拟场景中的虚拟物体的3D模型进行初步渲染；基于人工智能算法将同类别物体的光照数据迁移至初步渲染后的虚拟物体上以得出带有光照的虚拟物体的图像数据；对所述带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体。优选地，对与虚拟物体位置邻近的物体的图像数据进行光照迁移时，所述数据处理模块被配置为：对虚拟场景中的虚拟物体的3D模型进行初步渲染；基于人工智能算法将与虚拟物体位置邻近的物体的光照数据和阴影数据迁移至初步渲染后的虚拟物体上以得出目标虚拟物体。优选地，所述数据处理模块还被配置为：根据当前用户的姿态数据来使用环境光渲染虚拟物体以得到用户当前视角的初步渲染的虚拟物体的图像数据。优选地，所述二次渲染为对带有光照的虚拟物体的图像数据进行阴影识别以获取虚拟物体的光照方向，并依据虚拟物体的光照方向和放置的平面位置来渲染虚拟物体的阴影图像。根据本专利技术的另一方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器运行时，所述处理器执行如上所述的在增强现实中渲染虚拟物体的方法。根据本专利技术的另一方面，提供了一种计算机设备，包括处理器和存储计算机程序的存储器，所述计算机程序被处理器运行时，所述处理器执行如上所述的在增强现实中渲染虚拟物体的方法。附图说明下面将结合附图进行本专利技术的详细描述，本专利技术的上述特征和其它目的、特点和优点将会变得更加清楚，其中：图1示出根据本专利技术的实施例的一种在增强现实中渲染虚拟物体的方法的流程图；图2示出根据本专利技术的实施例的一种在增强现实中渲染虚拟物体的装置的框图。在附图中，相同的标号将被理解为表示相同的元件、特征和结构。具体实施方式以下，参照附图来详细说明本专利技术的实施例。其中，相同的标号始终表示相同的部件。图1是示出根据本专利技术的实施例的一种在增强现实中渲染虚拟物体的方法的流程图。如图1所示，在步骤S1，获取现实场景的图像数据。根据本专利技术的实施例，具体地，通过拍摄设备如相机、摄像机等获取现实场景的图像数据并将拍摄得到的图像数据进行存储，其中，获取的图像数据包括图片数据和/或视频数据。接下来，在步骤S2，根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据。具体地，虚拟物体的相关信息包括虚拟物体的材质参数和/或虚拟物体在虚拟场景中的位置信息，因此，可根据虚拟物体的材质参数从本文档来自技高网...

【技术保护点】
1.一种在增强现实中渲染虚拟物体的方法，其特征在于，所述方法包括以下步骤：/nS1：获取现实场景的图像数据；/nS2：根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据；/nS3：使用人工智能算法将参考物体的图像数据的光照数据迁移至虚拟物体的图像数据中以得出目标虚拟物体。/n

【技术特征摘要】
1.一种在增强现实中渲染虚拟物体的方法，其特征在于，所述方法包括以下步骤：
S1：获取现实场景的图像数据；
S2：根据虚拟场景中的虚拟物体的相关信息从获取的现实场景的图像数据中识别出参考物体的图像数据；
S3：使用人工智能算法将参考物体的图像数据的光照数据迁移至虚拟物体的图像数据中以得出目标虚拟物体。


2.如权利要求1所述的方法，其特征在于，所述虚拟物体的相关信息包括虚拟物体的材质参数和/或虚拟物体在虚拟场景中的位置信息。


3.如权利要求2所述的方法，其特征在于，所述步骤S2包括：
根据虚拟物体的材质参数从获取的现实场景的图像数据中识别出与虚拟物体材质类似的同类别物体的图像数据，或者根据虚拟物体在虚拟场景中的位置信息从获取的现实场景的图像数据中识别出与虚拟物体的位置邻近的物体的图像数据。


4.如权利要求3所述的方法，其特征在于，所述步骤S3包括：
将与虚拟物体材质类似的同类别物体的图像数据的光照数据迁移至虚拟物体的图像数据中，或者将与虚拟物体的位置邻近的物体的图像数据的光照数据迁移至虚拟物体的图像数据中。


5.如权利要求4所述的方法，其特征在于，将与虚拟物体材质类似的同类别物体的图像数据的光照数据迁移至虚拟物体的图像数据中的步骤包括：
对虚拟场景中的虚拟物体的3D模型进行初步渲染；
基于人工智能算法将同类别物体的光照数据迁移至初步渲染后的虚拟物体上以得出带有光照的虚拟物体的图像数据；
对所述带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体。


6.如权利要求4所述的方法，其特征在于，将与虚拟物体位置邻近的物体的图像数据的光照数据迁移至虚拟物体的图像数据中的步骤包括：
对虚拟场景中的虚拟物体的3D模型进行初步渲染；
基于人工智能算法将与虚拟物体位置邻近的物体的光照数据和阴影数据迁移至初步渲染后的虚拟物体上以得出目标虚拟物体。


7.如权利要求5或6所述的方法，其特征在于，所述对虚拟场景中的虚拟物体进行初步渲染的步骤包括：
根据当前用户的姿态数据来使用环境光渲染虚拟物体以得到用户当前视角的初步渲染的虚拟物体的图像数据。


8.如权利要求5所述的方法，其特征在于，所述对所述带有光照的虚拟物体的图像数据进行二次渲染以得出目标虚拟物体的步骤包括：
对带有光照的虚拟物体的图像数据进行阴影识别以获取虚拟物体的光照方向，并依据获取的虚拟物体的光照方向和虚拟物体放置的平面位置来渲染虚拟物体的阴影图像。


9.一种在增强现实中渲染虚拟物体的装置，其特征在于，所述装置包括：
场景数据模块，被配置为获取现实场景的图像数据；
物体识别...

【专利技术属性】
技术研发人员：白雪莲，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏;32