一种基于深度学习的像素级色彩一致性方法和装置制造方法及图纸

本申请公开了一种基于深度学习的像素级色彩一致性方法和装置，其中，该方法包括：获取图像数据集，其中，所述图像数据集包括RGB三通道图像和三分图；通过抠图模型对所述RGB三通道图像和所述三分图进行抠图操作，得到第一抠图结果，其中，所述抠图模型包括Unet网络、注意力机制和循环抠图机制；基于所述第一抠图结果进行色彩校正，得到结果图像。本申请能够减少图像的特征流失，提升图像边缘细节信息提取能力，增强合成图像的色彩一致性。增强合成图像的色彩一致性。增强合成图像的色彩一致性。

【技术实现步骤摘要】
一种基于深度学习的像素级色彩一致性方法和装置


[0001]本申请涉及图像处理领域，尤其涉及一种基于深度学习的像素级色彩一致性方法和装置。

技术介绍

[0002]随着虚拟现实、增强现实等技术的发展，图像的虚实结合逐渐走向大众视野。作为虚实结合技术中所处理的主要问题之一，合成后图像的真实感是研究的热门，而所融入物体与原本图像之间的色彩一致是影响真实感的重要因素之一。现有的图像色彩处理方法，主要分为两类：
[0003]1、修图软件：类似PS(Photoshop，照片商店)等修图软件有着强大的图像处理功能，但对于非专业人士，其学习使用方法是一个繁琐的过程；
[0004]2、色彩校正算法：
[0005]a)有人提出将颜色正常的区域从图像序列中提出，混合到一张高质量的图像中。虽然该方法在一定程度上取得的成功，可以得到效果较为理想的合成图像，但是需要多次将图像序列作为输入，需要较大的计算量，而且不能直接应用于单个图像；
[0006]b)对于视频颜色较为灰暗部分的增强方法，有人提出，首先利用采样的色调映射曲线构造每个视频帧的多次图像序列，然后以时空感知的方式逐步融合图像序列，得到增强的视频，但是这种方法只适用于颜色较为灰暗的区域。
[0007]特别地，现有技术中的光照双向估计法步骤主要如下：
[0008]1、给定一副输入图像，双光照估计，获得欠曝光区域；
[0009]2、将图像进行反转，获得过曝光区域；
[0010]3、对获得的曝光区域和欠曝光区域进行曝光校正；
>[0011]4、将欠曝光校正图像、正常曝光图像和过曝光校正图像进行融合，得到最终输出。
[0012]综合来看，一方面，现有技术需要掌握PS等修图软件的使用技巧，另一方面，现有技术中色彩校正算法大多用来校正颜色过度或颜色欠缺的问题，因此其实用性有着一定的限制。此外，虽然存在一些两者兼顾的色彩校正算法，但这些算法通常处理速度慢且效果不理想。
[0013]另外，合成图像可能需要先进行抠图操作，现有图像抠图算法主要分为传统图像抠图方法和基于深度学习的方法：
[0014]a)传统图像抠图方法，如基于贝叶斯公式的数学方法，通过假设临近的像素和相近颜色的像素具有相似的不透明度来简化模型，但这是一个病态问题，未知量过多，虽然通过简单的颜色假设也可大量的减少变量数，但需要较多的先验知识，抠图过程较为繁琐；
[0015]b)基于深度学习的方法，是通过大量的数据来学习样本内在规律和表示，得到端到端的映射。现有方法大多基于卷积神经网络，在面对抠图任务存在着如下的缺点：一是图像在相临像素点得到的图像块重叠部分过多，从而导致网络参数冗余，造成计算资源的浪费，影响运行效率；二是为了扩大感受野不得不抛弃精度，下采样操作在扩大感受野的同时
会忽略部分像素，导致一些图像细节信息丢失，最终致使抠图精度下降，同时提高精度和扩大感受野成为不可兼得的问题。
[0016]特别地，基于多尺度通道注意力的抠图网络模型，其模型步骤主要如下：
[0017]1、输入是由RGB(Red Green Blue，红绿蓝)图像和单通道三分图的联合输入，经过卷积与标准化；
[0018]2、将得到的图像经过下采样后得到特征图与经过ASPP(atrous spatial pyramid pooling，空洞空间卷积池化金字塔)模块所提取的低级空间特征相融；
[0019]3、将得到的融合结果经过通道域注意力机制；
[0020]4、将通道域注意力机制的输入编码输入解码器得到最终结果。
[0021]一般来讲，抠图算法的评价通常包括四个标准：均方误差、绝对误差和、连接性误差和梯度误差。但由上述方法可知现有技术难以满足要求，一方面，现有技术需要大量先验知识，抠图过程繁琐，另一方面，现有技术运行效率较低，抠图精度和感受野难以均衡。
[0022]综上所述，现有技术中，图像色彩一致性在抠图算法和色彩校正方面均存在不足：抠图算法需要大量先验知识，过程繁琐，运行效率较低，难以均衡抠图精度和感受野；手动色彩校正需要学习修图软件的复杂使用技巧，色彩校正算法实用性存在限制，处理速度慢且效果不理想。抠图算法和色彩校正方面存在的不足说明图像色彩一致性问题仍有待进一步研究。
[0023]相关术语解释：
[0024](1)色彩一致性：色彩一致性问题是指图像中，融入新的、原本不属于该图像场景中的物体时，会产生融入物体表面与场景颜色有所差异，为了提高图像合成后的真实感，校正新加入图像与原本场景在色彩上差异，使得最终图像更和谐，更符合人类眼睛感受的一类问题。
[0025](2)卷积神经网络(Convolutional Neural Network，CNN)：卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift
‑
invariant classification)，因此也被称为“平移不变人工神经网络(Shift
‑
Invariant Artificial Neural Networks,SIANN)”[0026](3)长短期记忆网络(Long Short
‑
Term Memory，LSTM)：长短期记忆网络是一种时间循环神经网络，是为了解决一般的RNN(循环神经网络，Recurrent Neural Network)存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。
[0027](4)注意力机制(Attention)：注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。深度学习attention机制是对人类视觉注意力机制的仿生，本质上是一种资源分配机制。生理原理就是人类视觉注意力能够以高分辨率接收于图片上的某个区域，并且以低分辨率感知其周边区域，并且视点能够随着时间而改变。
[0028](5)Unet：Unet网络结构模型中较浅的卷积块用于提取低级特征，例如图像内的颜色、位置等信息。较深的卷积块则能够提取更高层次的语义特征，如像素间类别信息。是一种典型的Encoder
‑
Decoder(编码器
‑
解码器)结构，且编码结构和解码结构是相对称的，形
如英文字母U，故称之为U
‑
Net网络结构。
[0029](6)Encoder
‑
Decoder模型：Encoder
‑
Decoder并不是一个具体的模型，而是一个通用的框架。所谓编码，就是将输入序列通过某种模型转化成一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的像素级色彩一致性方法，其特征在于，包括：获取图像数据集，其中，所述图像数据集包括RGB三通道图像和三分图；通过抠图模型对所述RGB三通道图像和所述三分图进行抠图操作，得到第一抠图结果，其中，所述抠图模型包括Unet网络、注意力机制和循环抠图机制；基于所述第一抠图结果进行色彩校正，得到结果图像。2.根据权利要求1所述的方法，其特征在于，所述通过抠图模型对所述RGB三通道图像和所述三分图进行抠图操作，得到第一抠图结果，包括：将所述RGB三通道图像和所述三分图输入到Unet网络的编码器，输出第一特征图像；将所述RGB三通道图像和所述三分图进行空洞池化，得到空洞池化图像；合成所述第一特征图像和所述空洞池化图像，得到合成图像；通过所述注意力机制对所述合成图像进行卷积操作，得到第二特征图像；将所述第二特征图像输入到Unet网络的解码器，输出第二抠图结果；通过循环抠图机制对所述第二抠图结果执行循环抠图，得到所述第一抠图结果。3.根据权利要求2所述的方法，其特征在于，所述注意力机制包括通道域注意力机制和空间域注意力机制，所述通过所述注意力机制对所述合成图像进行卷积操作，得到第二特征图像，包括：获取通道域注意力机制权重矩阵和空间域注意力权重矩阵；基于所述通道域注意力机制权重矩阵和所述空间域注意力权重矩阵对所述合成图像进行卷积操作，得到所述第二特征图像。4.根据权利要求2所述的方法，其特征在于，所述通过循环抠图机制对所述第二抠图结果执行循环抠图，得到所述第一抠图结果，包括：计算所述第二抠图结果的抠图分数；在所述抠图分数小于所述预设抠图分数阈值的情况下，基于所述第二抠图结果重复执行所述抠图操作；在所述重复执行次数达到预设数量的情况下，得到所述第一抠图结果。5.根据权利要求4所述的方法，其特征在于，还包括：在所述抠图分数大于或等于所述预设抠图分数阈值的情况下，得到所述第一抠图结果。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述色彩校正包括局部色彩校正和整体色彩...

【专利技术属性】
技术研发人员：黄海，薛俊笙，陈洪，李琳，徐嵩，景晓军，陈傲然，朱玥琰，田耒，
申请(专利权)人：咪咕文化科技有限公司，
类型：发明
国别省市：