一种图像处理方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、设备及可读存储介质，涉及图像处理技术领域，以提高图像的渲染效果。该方法包括：获取待处理场景的第一图像；根据所述第一图像和光源预测模型，得到所述待处理场景的第一光源信息，其中，光源预测模型用于预测所述待处理场景的光源信息；根据所述第一光源信息，对目标对象的图像进行渲染。本申请实施例可以提高图像的渲染效果。染效果。染效果。

【技术实现步骤摘要】
一种图像处理方法、装置、设备及可读存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法、装置、设备及可读存储介质。

技术介绍

[0002]增强现实(Augmented Reality，AR)广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
[0003]现实场景中的光源很复杂，大部分场景也不止一盏光源。如果在实时渲染引擎中渲染后得到与现实场景中光照不一致的灯光，则将导致虚拟模型和AR中真实场景模型光照现象具有较大的差异，从而导致获得的虚拟模型的渲染效果较差。

技术实现思路

[0004]本申请实施例提供一种图像处理方法、装置、设备及可读存储介质，以提高图像的渲染效果。
[0005]第一方面，本申请实施例提供了一种图像处理方法，包括：
[0006]获取待处理场景的第一图像；
[0007]根据所述第一图像和光源预测模型，得到所述待处理场景的第一光源信息，其中，光源预测模型用于预测所述待处理场景的光源信息；
[0008]根据所述第一光源信息，对目标对象的图像进行渲染。
[0009]第二方面，本申请实施例还提供一种图像处理装置，包括：
[0010]第一获取模块，用于获取待处理场景的第一图像；
[0011]第二获取模块，用于根据所述第一图像和光源预测模型，得到所述待处理场景的第一光源信息，其中，光源预测模型用于预测所述待处理场景的光源信息；
[0012]第三获取模块，用于根据所述第一光源信息，对目标对象的图像进行渲染。
[0013]第三方面，本申请实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的图像处理方法中的步骤。
[0014]第四方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如上所述的图像处理方法中的步骤。
[0015]在本申请实施例中，通过获得的待处理场景的第一光源信息对所述待处理场景中的增强现实场景对目标对象的图像进行渲染。由于获取了待处理场景的光源信息，因此，可提高目标对象融入到真实场景的融合度，提高了渲染后的图像的效果。
附图说明
[0016]图1是本申请实施例提供的图像处理方法的流程图之一；
[0017]图2是本申请实施例提供的光源预测模型的获取流程图；
[0018]图3是本申请实施例中第二环境光信息的获取示意图；
[0019]图4是本申请实施例中用于获得光源图的网络架构的示意图；
[0020]图5是本申请实施例提供的图像处理装置的结构图。
具体实施方式
[0021]本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0022]本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]参见图1，图1是本申请实施例提供的图像处理方法的流程图，如图1所示，包括以下步骤：
[0025]步骤101、获取待处理场景的第一图像。
[0026]其中，所述待处理场景可以指的是任意的包括增强现实场景的场景。该第一图像包括通过相机获取的高动态范围成像(High Dynamic Range Imaging，HDR)全景图像。
[0027]步骤102、根据所述第一图像和光源预测模型，得到所述待处理场景的第一光源信息。其中，光源预测模型用于预测所述待处理场景的光源信息。
[0028]其中，所述第一光源信息包括所述待处理场景的第一光源参数以及第一环境光信息。所述第一光源参数包括光源方向、光源距离以及光源颜色。
[0029]其中，所述第一光源信息，可表示为：
[0030]L
p
表示待处理场景的光源信息集合，表示环境光信息如，环境光的RGB颜色值。
[0031]每个光源的光源参数可表示为：
[0032]其中，表示三维向量下的光源方向(相对摄像机)，d
i
表示距离(相对摄像机，单位为米；可以使用EnvyDepth来获取)，表示光源颜色。
[0033]步骤103、根据所述第一光源信息，对目标对象的图像进行渲染。
[0034]在本申请实施例中，结合图2所示，可按照如下方式得到所述光源预测模型：
[0035]S1、获取训练数据集，其中，所述训练数据集包括多张HDR全景图像。
[0036]在本申请实施例中，可获取多张HDR全景图像，选择其中的一部分作为训练数据集，另一部分作为测试验证数据集。每个数据集中也都可包括多张HDR全景图像。
[0037]S2、根据所述训练数据集，得到第一输出向量。
[0038]在此步骤中，例如可将所述训练数据集中的HDR全景图像输入到卷积神经网络(如密集卷积网络(Dense Convolution Network，DCN)，如DenseNet121)中，生成第一输出向量，如3072维向量
[0039]S3、根据所述第一输出向量，得到第二光源信息。
[0040]如图3所示，将第一输出向量输入至全连接网络(如512层)中进行训练，输出层输出第二光源信息，即四层向量数据，包括光源方向、光源距离以及光源颜色(每个参数包括N个，N大于或等于1)，以及一个全局的环境光的颜色值
[0041]S4、根据预获取的光源数据、所述第二光源信息进行回归学习，得到所述光源预测模型。
[0042]在此，预获取的光源数据包括光源参数，所述光源参数包括光源方向、光源距离以及光源颜色。
[0043]在此，将第二光源信息与预获取的光源数据做均方根误差(Root Mean Squared Error，RMSE)进行回归学习，得到所述光源预测模型。其中，在学习时，使用的学习率可以为0.9。
[0044]其中，预获取的光源数据可通过如下方式获得：
[0045]S1、确定所述多张HDR全景图像中每个光源像素的深度值，并生成多张深度图。
[0046]例如，在此可利用EnvyDepth来预测HDR全景图像中每个光源像素的深度值，并生成深度图。
[0047]S2、识别所述多张HDR全景图像中的光源，得到多张光源图。
[0048]在此，使用预先训练的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理场景的第一图像；根据所述第一图像和光源预测模型，得到所述待处理场景的第一光源信息，其中，所述光源预测模型用于预测所述待处理场景的光源信息；根据所述第一光源信息，对目标对象的图像进行渲染。2.根据权利要求1所述的方法，其特征在于，按照如下方式得到所述光源预测模型：获取训练数据集，其中，所述训练数据集包括多张高动态范围成像HDR全景图像；根据所述训练数据集，得到第一输出向量；根据所述第一输出向量，得到第二光源信息；根据预获取的光源数据、所述第二光源信息进行回归学习，得到所述光源预测模型。3.根据权利要求2所述的方法，其特征在于，所述预获取的光源数据包括光源参数，所述光源参数包括光源方向、光源距离以及光源颜色；按照如下方式得到所述预获取的光源数据：确定所述多张HDR全景图像中每个光源像素的深度值，并生成多张深度图；识别所述多张HDR全景图像中的光源，得到多张光源图；根据所述深度图得到所述光源方向和所述光源距离，以及，根据所述光源图得到所述光源颜色。4.根据权利要求3所述的方法，其特征在于，所述根据所述深度图得到所述光源方向和所述光源距离，包括：以所述全景图像的左下角为原点，确定光源中心在所述全景图像中的位置，并根据所述光源中心在所述全景图像中的位置得到所述光源中心的归一化坐标；确定所述全景图像的宽高比；根据相机的近裁剪面、远裁剪面、视场角以及所述宽高比，得到投影矩阵；根据所述归一化坐标以及所述深度值，得到所述光源中心的参考坐标；根据所述参考坐标和所述投影矩阵，得到所述光源中心在相机空间下的坐标；根据所述光源中心在相机空间下的坐标以及相机的位置，得到所述光源方向和所述光源距离。5.根据权利要求3所述的方法，其特征在于，所述根据所述光源图得到所述光源颜色，包括：将所述光源图中所有像素的颜...

【专利技术属性】
技术研发人员：苏明南，王乐，廖智勇，苏宗涛，许江毅，陈志鹏，
申请(专利权)人：咪咕文化科技有限公司中国移动通信集团有限公司，
类型：发明
国别省市：