一种基于卷积神经网络的灰阶图像着色方法及其装置制造方法及图纸

本发明专利技术实施例公开了一种基于卷积神经网络的灰阶图像着色方法及其装置，其中，该方法包括：收集图片集；选择向量化的卷积神经网络模型VCNN，并构造相应的网络结构；修改所述向量化的卷积神经网络模型VCNN；对所述图片集中的图片进行转换，获得相应YUV颜色空间的图片，从中随机抽取64x64的Y值块，同时抽取相应位置的U值块和V值块；训练网络，利用反向传播算法和随机梯度下降法更新网络参数；得到经过训练的网络后，利用网络进行着色，输入灰度块，输出相应的U值和V值，获得彩色图片。实施本发明专利技术实施例，解决了需要人为提供涂鸦或样例图片的缺点，实现全自动的图片着色，并解决了着色速度慢、着色效果不稳定的缺点，使得着色效果较自然而且稳定。

【技术实现步骤摘要】
一种基于卷积神经网络的灰阶图像着色方法及其装置
本专利技术涉及图像处理
，尤其涉及一种基于卷积神经网络的灰阶图像着色方法及其装置。
技术介绍
随着信息科学技术的进步，图形处理器(GraphicsProcessingUnit，GPU)技术的飞速发展大大提高了计算机的计算能力，同时也促进了图形与图像处理领域的飞速发展。由于以前的摄影技术的不足，只能拍摄黑白的照片，所以留下了很多珍贵的黑白照片，因为想要对这些黑白照片着色，所以有了对黑白照片着色的技术需求。在ICCV发表的《Deepcolorization》利用了全连接网络，以单个像素所提取的低、中、高水平特征对像素进行着色。具体的做法是训练一个全连接网络，网络的输入是单个像素的128维特征，输出是YUV颜色空间的U,V值。其中，低水平的特征为像素周围的7x7区域的灰度值，即49维；中等水平的特征为2010在IEEEtransaction发表的《DAISY:AnEfficientDenseDescriptorAppliedtoWide-BaselineStereo》文章中的DAISY特征，共32维；高水平特征是利用最新的语义特征提取算法，得到47维。即一个像素可以得到128维的特征描述，然后训练全连接网络，使这128维的特征回归到U,V值，即可以从灰度图得到各个像素的128维特征后，放入训练好的全连接网络后，即可得到U,V值。另有现有技术，设计了一个用卷积神经网络进行着色的模型，在训练的时候是以一整张图片提取全集特征，然后提取中层特征，考虑了图片全局因素对于着色效果的影响，在网络的中间融合了中层特征和全局特征，利用这些特征来拟合映射。现有的一些着色算法大致分为三类，一类是在着色前对灰度图进行一些初始的涂画，最后的结果按照初始的涂画进行着色，这种方法需要人为的进行着色，并不是一个比较好的方案；另一种方法是，在需要对灰度图进行着色前需要提供样例图片，提供的样例图片对着色效果有非常大的影响，所以要求样例图片比较接近需要着色的图片；还有一类是利用深度学习的方法，去拟合灰度图片到彩色图的映射。在上述《Deepcolorization》文章中，所用的方法是实验了从灰度图产生的各种特征，然后组合了三个特征来进行回归。首先，从一个灰度像素得到低，中，高水平共128维特征需要花费不少时间，网络是逐个像素的进行着色，一张图片着色需要花费不少时间。其次，这个方法是对现有的一些特征算法进行试验组合，由于现有的特征的局限性，使此方法在有些图像的着色效果并不好。在上文提到的《LettherebeColor！:JointEnd-to-endLearningofGlobalandLocalImagePriorsforAutomaticImageColorizationwithSimultaneousClassification》文章中，首先它模型的着色速度非常慢，因为它每个小块都要引入全局的特征；其次是它的模型的最终结果是经过几层上采样的结果得来的，经过上采样后会忽略掉一些颜色的细微差异，也容易造成最后结果的不稳定。在现有的一些算法中，基于涂鸦的方法的缺点是：需要人工参与，耗费人力，速度慢，着色效果很多程度受到人为参与的涂鸦所产生的影响；基于样例的方法的缺点是：人工参与，耗费人力，速度相对比较慢，而效果也与人为参与所选择的样例图片有很大影响；基于深度学习的方法：网络模型过于复杂，速度相对慢，效率低，效果也不稳定。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于卷积神经网络的灰阶图像着色方法及其装置，解决了需要人为提供涂鸦或样例图片的缺点，实现全自动的图片着色，并解决了着色速度慢、着色效果不稳定的缺点，使得着色效果较自然而且稳定。为了解决上述问题，本专利技术提出了一种基于卷积神经网络的灰阶图像着色方法，所述方法包括：收集图片集；选择向量化的卷积神经网络模型VCNN，并构造相应的网络结构；修改所述向量化的卷积神经网络模型VCNN；对所述图片集中的图片进行转换，获得相应YUV颜色空间的图片，从中随机抽取64x64的Y值块，同时抽取相应位置的U值块和V值块；训练网络，利用反向传播算法和随机梯度下降法更新网络参数；得到经过训练的网络后，利用网络进行着色，输入灰度块，输出相应的U值和V值，获得彩色图片。优选地，所述选择向量化的卷积神经网络模型VCNN，并构造相应的网络结构的步骤，包括：选择向量化的卷积神经网络模型VCNN作为整个着色网络的基础网络模型；根据所述向量化的卷积神经网络模型VCNN构造相应的网络结构。优选地，所述对所述图片集中的图片进行转换，获得相应YUV颜色空间的图片，从中随机抽取64x64的Y值块，同时抽取相应位置的U值块和V值块的步骤，包括：将下载的RGB颜色空间的图片转换为YUV颜色空间的图片；随机抽取YUV颜色空间的图片，再随机抽取图片中的64x64的区域，抽取出64x64的Y值作为训练网络的输入，以及相同位置的U值和V值，作为与训练网络的输出作对比的真实U,V值。优选地，所述将下载的RGB颜色空间的图片转化为YUV颜色空间的图片的步骤，包括：根据下述公式将下载的RGB颜色空间的图片转化为YUV颜色空间的图片：Y'＝0.299*R'+0.587*G'+0.114*B'；U'＝-0.147*R'-0.289*G'+0.436*B'；V'＝0.615*R'-0.515*G'-0.100*B'。优选地，在所述获得彩色图片的步骤之后，包括：将得到的彩色图片经过引导滤波器处理，获得最终的彩色图。相应地，本专利技术还提供一种基于卷积神经网络的灰阶图像着色装置，所述装置包括：收集模块，用于收集图片集；构造模块，用于选择向量化的卷积神经网络模型VCNN，并构造相应的网络结构；修改模块，用于修改所述向量化的卷积神经网络模型VCNN；转换模块，用于对所述图片集中的图片进行转换，获得相应YUV颜色空间的图片，从中随机抽取64x64的Y值块，同时抽取相应位置的U值块和V值块；训练模块，用于训练网络，利用反向传播算法和随机梯度下降法更新网络参数；输入模块，用于得到经过训练的网络后，利用网络进行着色，输入灰度块，输出相应的U值和V值，获得彩色图片。优选地，所述构造模块包括：选择单元，用于选择向量化的卷积神经网络模型VCNN作为整个着色网络的基础网络模型；构造单元，用于根据所述向量化的卷积神经网络模型VCNN构造相应的网络结构。优选地，所述转换模块包括：转换单元，用于将下载的RGB颜色空间的图片转换为YUV颜色空间的图片；抽取单元，用于随机抽取YUV颜色空间的图片，再随机抽取图片中的64x64的区域，抽取出64x64的Y值作为训练网络的输入，以及相同位置的U值和V值，作为与训练网络的输出作对比的真实U,V值。优选地，所述转换单元还用于根据下述公式将下载的RGB颜色空间的图片转化为YUV颜色空间的图片：Y'＝0.299*R'+0.587*G'+0.114*B'；U'＝-0.147*R'-0.289*G'+0.436*B'；V'＝0.615*R'-0.515*G'-0.100*B'。优选地，所述装置还包括：滤波器，用于把得到的彩色图片经过引导滤波器处理，获得最终的彩色图。在本专利技术实施例中本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的灰阶图像着色方法，其特征在于，所述方法包括：收集图片集；选择向量化的卷积神经网络模型VCNN，并构造相应的网络结构；修改所述向量化的卷积神经网络模型VCNN；对所述图片集中的图片进行转换，获得相应YUV颜色空间的图片，从中随机抽取64x64的Y值块，同时抽取相应位置的U值块和V值块；训练网络，利用反向传播算法和随机梯度下降法更新网络参数；得到经过训练的网络后，利用网络进行着色，输入灰度块，输出相应的U值和V值，获得彩色图片。

【技术特征摘要】
1.一种基于卷积神经网络的灰阶图像着色方法，其特征在于，所述方法包括：收集图片集；选择向量化的卷积神经网络模型VCNN，并构造相应的网络结构；修改所述向量化的卷积神经网络模型VCNN；对所述图片集中的图片进行转换，获得相应YUV颜色空间的图片，从中随机抽取64x64的Y值块，同时抽取相应位置的U值块和V值块；训练网络，利用反向传播算法和随机梯度下降法更新网络参数；得到经过训练的网络后，利用网络进行着色，输入灰度块，输出相应的U值和V值，获得彩色图片。2.如权利要求1所述的基于卷积神经网络的灰阶图像着色方法，其特征在于，所述选择向量化的卷积神经网络模型VCNN，并构造相应的网络结构的步骤，包括：选择向量化的卷积神经网络模型VCNN作为整个着色网络的基础网络模型；根据所述向量化的卷积神经网络模型VCNN构造相应的网络结构。3.如权利要求1所述的基于卷积神经网络的灰阶图像着色方法，其特征在于，所述对所述图片集中的图片进行转换，获得相应YUV颜色空间的图片，从中随机抽取64x64的Y值块，同时抽取相应位置的U值块和V值块的步骤，包括：将下载的RGB颜色空间的图片转换为YUV颜色空间的图片；随机抽取YUV颜色空间的图片，再随机抽取图片中的64x64的区域，抽取出64x64的Y值作为训练网络的输入，以及相同位置的U值和V值，作为与训练网络的输出作对比的真实U,V值。4.如权利要求3所述的基于卷积神经网络的灰阶图像着色方法，其特征在于，所述将下载的RGB颜色空间的图片转化为YUV颜色空间的图片的步骤，包括：根据下述公式将下载的RGB颜色空间的图片转化为YUV颜色空间的图片：Y'＝0.299*R'+0.587*G'+0.114*B'；U'＝-0.147*R'-0.289*G'+0.436*B'；V'＝0.615*R'-0.515*G'-0.100*B'。5.如权利要求1所述的基于卷积神经网络的灰阶图像着色方法，其特征在于，在所述获得彩色图片的步骤之后，包括：将...

【专利技术属性】
技术研发人员：梁湘国，苏卓，李波，冷成财，罗笑南，
申请(专利权)人：中山大学，南昌航空大学，
类型：发明
国别省市：广东,44