图像处理方法和图像处理装置制造方法及图纸

本申请公开了一种图像处理方法和图像处理装置，属于虚拟引擎技术领域

【技术实现步骤摘要】
图像处理方法和图像处理装置


[0001]本申请属于虚拟引擎
，尤其涉及一种图像处理方法和图像处理装置
。

技术介绍

[0002]虚拟引擎
(Unreal Engine
，
UE)
为游戏工程师和图形工作者提供了便利的开发工具链和一系列功能模块，可用于游戏开发
、
三维重建
、
训练模拟及多媒体展示等
。
在使用过程中，相关技术中，主要通过在场景中放置场景相机
(SceneCapure)
以获取想要的相关数据
。
然而，各
Capture
之间独立渲染，每一个
Capture
仅能输出一种类型的图像，当需要多种类型的信息图时，需在场景中设置多个用于输出不同类型的图像的
SceneCapure
以获取全部所需的类型的图像，渲染效率较低，造成资源浪费
。

技术实现思路

[0003]本申请旨在至少解决现有技术中存在的技术问题之一
。
为此，本申请提出一种图像处理方法和图像处理装置，能够通过一个场景相机同时输出目标色彩图
、
目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高
。
[0004]第一方面，本申请提供了一种图像处理方法，应用于虚拟引擎，所述虚拟引擎包括场景相机，所述场景相机对应有独立的渲染流程模块，该方法包括：
[0005]获取所述场景相机采集的数据；
[0006]将所述数据输入至所述渲染流程模块；所述渲染流程模块包括设置于后效流程模块之前的目标流程模块，所述目标流程模块为融合用于生成色彩图的第一子流程
、
生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；
[0007]获取所述渲染流程模块分别输出的所述数据对应的目标色彩图
、
目标深度图和目标分割图中的至少两种
。
[0008]根据本申请的图像处理方法，通过融合色彩图
、
深度图和分割图对应的
Pass
得到目标流程模块，并将该目标流程模块添加至场景相机的渲染管线内且在后效之前，使得能够通过一个场景相机同时输出目标色彩图
、
目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高
。
[0009]根据本申请的一个实施例，所述渲染流程模块的渲染流程依次为
PrePass、BasePass、Lighting、Translucency、GetImage
以及后效流程；所述虚拟引擎采集的数据包括单场景相机采集的数据
、
多场景相机中的一个相机采集的数据以及所述多场景相机中的单一场景信道数据中的至少一种
。
[0010]根据本申请的一个实施例，在所述目标流程模块为融合所述第一子流程
、
所述第二子流程和所述第三子流程所得到的模块的情况下，所述获取所述渲染流程模块分别输出的所述数据对应的目标色彩图
、
目标深度图和目标分割图中的至少两种，包括：
[0011]获取所述渲染流程模块分别输出的所述目标色彩图
、
所述目标深度图和所述目标分割图
。
[0012]根据本申请的一个实施例，所述目标分割图包括目标场景中目标对象的真实图像和所述目标对象在镜子中的镜中虚像中的至少一种
。
[0013]根据本申请的图像处理方法，通过目标流程模块进行图像分割，在对三维场景下的真实图像进行分割的同时，还可以对镜子中的虚像进行图像分割，以得到目标对象在镜子中的镜中虚像，基于现有的接口即可获取场景镜子中虚拟物体的分割图像，扩展了虚拟引擎的功能，且操作简单方便，成本低
。
[0014]根据本申请的一个实施例，所述镜中虚像通过如下步骤确定：
[0015]对所述数据进行初始图像分割，获取所述目标场景中的多个对象；所述多个对象包括所述镜子；
[0016]采用光线跟踪算法处理所述多个对象，获取所述镜中虚像
。
[0017]根据本申请的一个实施例，所述采用光线跟踪算法处理所述多个对象，获取所述镜中虚像，包括：
[0018]从所述场景相机发射目标光线；
[0019]在所述目标光线击中所述镜子对应的多个像素中目标像素的情况下，获取沿所述镜子的法线反射的反射光线；
[0020]基于所述多个对象中第一个被所述反射光线击中的对象，确定所述镜中虚像
。
[0021]根据本申请的一个实施例，所述基于所述多个对象中第一个被所述反射光线击中的对象，确定所述镜中虚像，包括：
[0022]获取所述多个对象对应的多个颜色值；
[0023]基于所述多个对象中第一个被所述反射光线击中的对象对应的标识，从所述多个颜色值中确定与所述标识匹配的目标颜色值；
[0024]将所述目标像素的颜色值设置为所述目标颜色值，确定所述镜中虚像
。
[0025]根据本申请的图像处理方法，通过光线追踪算法对镜子中的虚像进行分割，可以得到一个或多个对象对应的镜中虚像而非简单的镜子对象，能够根据现有的接口获取场景镜子中虚拟物体的分割图像，除此之外，也突破了
256
数量的限制，可以标注高达千万的对象，适用范围较广
。
[0026]第二方面，本申请提供了一种图像处理装置，应用于虚拟引擎，所述虚拟引擎包括场景相机，所述场景相机对应有独立的渲染流程模块，该装置包括：
[0027]第一处理模块，用于获取所述场景相机采集的数据；
[0028]第二处理模块，用于将所述数据输入至所述渲染流程模块；所述渲染流程模块包括设置于后效流程模块之前的目标流程模块，所述目标流程模块为融合用于生成色彩图的第一子流程
、
生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；
[0029]第三处理模块，用于获取所述渲染流程模块分别输出的所述数据对应的目标色彩图
、
目标深度图和目标分割图中的至少两种
。
[0030]根据本申请的图像处理装置，通过融合色彩图
、
深度图和分割图对应的
Pass
得到目标流程模块，并将该目标流程模块添加至场景相机的渲染管线内且在后效之前，使得能
够通过一个场景相机同时输出目标色彩图
、
目标深度图和目标分割图等多种不同类型的图像，实现场景中的单场景相机获取多种图像，显著提高渲染效率，减少资源浪费，且输出的图像分辨率较高
。
[0031]第三方面，本申请提供了一种电子设备，包括存储器...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，其特征在于，应用于虚拟引擎，所述虚拟引擎包括场景相机，所述场景相机对应有独立的渲染流程模块，所述方法包括：获取所述场景相机采集的数据；将所述数据输入至所述渲染流程模块；所述渲染流程模块包括设置于后效流程模块之前的目标流程模块，所述目标流程模块为融合用于生成色彩图的第一子流程
、
生成深度图的第二子流程和生成分割图的第三子流程中至少两个子流程所得到的模块；获取所述渲染流程模块分别输出的所述数据对应的目标色彩图
、
目标深度图和目标分割图中的至少两种
。2.
根据权利要求1所述的图像处理方法，其特征在于，所述渲染流程模块的渲染流程依次为
PrePass、BasePass、Lighting、Translucency、GetImage
以及后效流程；所述虚拟引擎采集的数据包括单场景相机采集的数据
、
多场景相机中的一个相机采集的数据以及所述多场景相机中的单一场景信道数据中的至少一种
。3.
根据权利要求1所述的图像处理方法，其特征在于，在所述目标流程模块为融合所述第一子流程
、
所述第二子流程和所述第三子流程所得到的模块的情况下，所述获取所述渲染流程模块分别输出的所述数据对应的目标色彩图
、
目标深度图和目标分割图中的至少两种，包括：获取所述渲染流程模块分别输出的所述目标色彩图
、
所述目标深度图和所述目标分割图
。4.
根据权利要求1‑3任一项所述的图像处理方法，其特征在于，所述目标分割图包括目标场景中目标对象的真实图像和所述目标对象在镜子中的镜中虚像中的至少一种
。5.
根据权利要求4所述的图像处理方法，其特征在于，所述镜中虚像通过如下步骤确定：对所述数据进行初始图像分割，获取所述目标场景中的多个对象；所述多个对象包括所述镜子；采用光线跟踪算法处理所述多个对象，获取所述镜中虚像
。6.
根据权利要...

【专利技术属性】
技术研发人员：杨英，柳学成，符传坚，武文博，巫昆仑，
申请(专利权)人：北京通用人工智能研究院，
类型：发明
国别省市：