基于CNN-LSTM组合模型的黑白图片的着色方法和系统技术方案

本发明专利技术公开了一种基于CNN‑LSTM组合模型的黑白图片的着色方法和系统，该方法包括：采集多张彩色初始图像，将多张彩色初始图像转换为多张黑白图像，基于多张彩色图像和多张黑白图像分别形成训练集和测试集；将训练集中的多张黑白图像和多张彩色图像输入CNN‑LSTM卷积神经网络模型中，分别生成黑白和彩色特征图谱，将黑白特征图谱和生成彩色特征图谱进行色彩匹配测试以最终获得着色网络模型；利用着色网络模型对待着色的黑白图像进行着色。本发明专利技术可以使最终得到的着色网络模型的着色准确度得到提升，自动化地对黑白图像进行着色，消除了各逐帧图片的颜色不一致性，从而可以产生更平滑的色彩图像，并获得整体美观的观看体验。

Black and white image coloring method and system based on cnn-lstm composite model

【技术实现步骤摘要】
基于CNN-LSTM组合模型的黑白图片的着色方法和系统
本申请涉及图像识别
，特别是涉及基于CNN-LSTM组合模型的黑白图片的着色方法和系统。
技术介绍
图像着色是一种图像增强的基本手段，是一种为图像或视频添加颜色的计算机辅助处理技术，通过对黑白图片补色可以得到更好的视觉效果，在娱乐、教育和科研方面以及医疗等方面都有非常广泛的应用。现有技术中的图像着色方法主要包括以下两种，一种是基于用户提示的着色方法，另一种是不需任何着色提示即可对黑白图片进行着色。第一种着色方法需要人工干预，增加了人力成本和时间成本；第二种着色方法通过采用深度学习方法，该方法使用低级视觉片和空间像素坐标作为深度神经网络的输入，从单个图像自动提取适合用户指定笔画的特征。使用深度神经网络作为分类器，根据整个图像上的提取特征来估计用户笔画概率，这些概率表示每个像素属于每个笔画的可能性；尽管这种着色方法实现了自动化。但是该方法的着色效果不佳，着色单一和准确率也相对较低。
技术实现思路
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。根据本申请的一个方面，提供了一种基于CNN-LSTM组合模型的黑白图片的着色方法，该方法包括以下步骤：采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，基于所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；利用所述着色网络模型对待着色的黑白图像进行着色。可选地，所述多张彩色初始图像是从原始视频中提取的帧图片。可选地，所述多张彩色初始图像来源于ImageNet数据集。可选地，所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层，所述全连接层连接于池化层后。可选地，所述生成所述黑白特征图谱包括以下子步骤：将多张黑白图像输入到卷积层获得第一特征图谱；将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；将所述联合特征输入Softmax层以对黑白图像中的对象进行分类并生成CIELab颜色空间数据；将所述CIELab颜色空间数据输入LSTM长短时记忆网络结构中进行训练，获得着色训练模型。可选地，在每层卷积层后添加ReLU非线性层，利用ReLU非线性层作为跟随每个卷积层的激活函数。可选地，所述获得着色训练模型包括以下子步骤：利用所述CIELab颜色空间数据建立目标函数，利用该目标函数用以预测颜色和地面真实颜色之间的欧几里德损失；该目标函数为：其中，L2为预测颜色和地面真实颜色之间的欧几里德损失；Y是目标函数，是目标函数的映射；h和w分别为CIELab颜色空间的通道的高度和宽度；给定映射模型其中该映射模型中的颜色的概率分布为：其中，q是量化的a，b值的数量；比较预测反对基本事实模型Z，定义该基本事实模型为并将地面实况颜色的目标函数Y转换为矢量Z,其中，g为节点数量，t为时间参数；利用交叉熵损失函数对颜色级稀有度重新平衡损失，该交叉熵损失函数为：其中，Lcl为交叉熵损失函数值；v为加权数值；q为量化的a，b值的数量；h和w分别为CIELab颜色空间的通道的高度和宽度；利用映射模型Z的使用函数H(Z)对Y进行着色；所述使用函数H(Z)的公式为：可选地，在所述利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征步骤前还包括标准化步骤：利用批量标准化方法对第二特征图谱进行处理获得标准化的特征图谱。根据本申请的另一个方面，提供了一种基于CNN-LSTM组合模型的黑白图片的着色系统，该系统包括：采集模块，用于采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；训练模块，用于将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，将所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；着色网络模型生成模块，用于将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；着色模块，用于利用所述着色网络模型对待着色的黑白图像进行着色。可选地，所述多张彩色初始图像是从原始视频中提取的帧图片。可选地，所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层；所述全连接层连接于池化层后；所述训练模块执行以下操作：将多张黑白图像输入到卷积层获得第一特征图谱；将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；将所述联合特征输入Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIELab颜色空间数据；将所述CIELab颜色空间数据输入LSTM长短时记忆网络结构进行训练训练学习，获得着色训练模型。本申请的基于CNN-LSTM组合模型的黑白图片的着色方法，由于将黑白图像输入到CNN-LSTM组合模型中进行训练，并且将彩色图像作为最终匹配的目标，基于彩色图像和黑白图像的特征图谱的特征间的误差进行反向传播并修改权重，可以使最终得到的着色网络模型的着色准确度得到提升，从而可以自动化地对黑白图像进行着色，消除了各逐帧图片的颜色不一致性，从而可以产生更平滑的色彩图像，并获得整体美观的观看体验。根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。附图说明后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应本文档来自技高网...

【技术保护点】
1.一种基于CNN-LSTM组合模型的黑白图片的着色方法，该方法包括以下步骤：/n采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；/n将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，将所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；/n将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；/n利用所述着色网络模型对待着色的黑白图像进行着色。/n

【技术特征摘要】
1.一种基于CNN-LSTM组合模型的黑白图片的着色方法，该方法包括以下步骤：
采集多张彩色初始图像，将每张彩色初始图像转换为相对应的黑白图像以获得多张黑白图像，基于所述多张彩色图像和所述多张黑白图像分别形成训练集和测试集；
将训练集中的多张黑白图像输入CNN-LSTM卷积神经网络模型中，提取该多张黑白图像的特征生成黑白特征图谱；将训练集中的多张彩色图像输入CNN-LSTM卷积神经网络模型中，提取该多张彩色图像的特征生成彩色特征图谱，将所述黑白特征图谱和所述生成彩色特征图谱进行色彩匹配测试以获得着色训练模型；
将所述测试集中的测试样本输入所述着色训练模型中，并将所述测试样本中的黑白图像和彩色图像进行色彩匹配测试，以生成色彩匹配测试结果；根据所述色彩匹配测试结果迭代更新所述着色训练模型，以生成着色网络模型；
利用所述着色网络模型对待着色的黑白图像进行着色。


2.根据权利要求1所述的着色方法，其特征在于：所述多张彩色初始图像是从原始视频中提取的帧图片。


3.根据权利要求1所述的着色方法，其特征在于：所述多张彩色初始图像来源于ImageNet数据集。


4.根据权利要求1所述的着色方法，其特征在于：所述CNN-LSTM卷积神经网络模型中的CNN结构包括多组转换层和全连接层，每组转换层包括卷积层和池化层，所述全连接层连接于池化层后。


5.根据权利要求4所述的着色方法，其特征在于：所述生成所述黑白特征图谱包括以下子步骤：
将多张黑白图像输入到卷积层获得第一特征图谱；
将所述第一特征图谱输入到池化层并利用反向传播方法获得第二特征图谱；
利用全连接层将所述第二特征图谱中的特征和第一特征图谱中的特征进行联合形成联合特征；
将所述联合特征输入Softmax层并依据所述联合特征对黑白图像中的对象进行分类，根据分类结果生成CIELab颜色空间数据；
将所述CIELab颜色空间数据输入LSTM长短时记忆网络结构中进行训练，获得着色训练模型。


6.根据权利要求5所述的着色方法，其特征在于：在每层卷积层后添加ReLU非线性层，利用ReLU非线性层作为跟随每个卷积层的激活函数。


7.根据权利要求5所述的着色方法，其特征在于：所述获得着色训练模型包括以下子步骤：
利用所述CIELab颜色空间数据建立目标函数，利用该目标函数用以预测颜色和地面真实颜色之间的欧几里德损失；
该目标函数为：
其中，L2为预测颜色和地面真实颜色之间的欧几里德损失；Y是目标函数，是目标函数的映射；h和w分别为CIELab颜色空间的通道的高度和宽度；
给定映射模型其中该映射模型中的颜色的概率分布为：

【专利技术属性】
技术研发人员：宋旭博，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：北京;11