基于卷积神经网络进行壁画图像去噪和线描画生成的方法技术

本发明专利技术涉及一种基于卷积神经网络进行壁画图像去噪和线描画生成的方法，包括下列两个部分：第一部分：利用深度卷积神经网络DCNN对图像去噪。第二部分：利用基于全卷积神经网络FCN和深度监督网络边缘检测算法HED进行边缘提取：构造用于边缘提取的训练数据集；构建边缘提取网络模型；改进FCN和16层的卷积神经网络VGG，在每一个卷积层后面增加一个侧面输出层，每一个侧面输出层都和一个分类器相连，侧面输出层被实现为具有内核大小为1和输出数为1的卷积层；然后去除VGG的全链接层和第五个池化层并增加一个混合权重层，用来将所有的侧输出层的预测结果连接到一起并且在训练的过程中学习混合权重；训练边缘提取网络模型。

【技术实现步骤摘要】
基于卷积神经网络进行壁画图像去噪和线描画生成的方法
本专利技术涉及计算机视觉与数字图像处理领域，尤其涉及基于卷积神经网络对古代壁画图像去噪以及线描画生成的过程。
技术介绍
壁画是古文物的核心组成部分，具有重要的历史文化价值。而对于壁画图像的修复和保护工作中，壁画线描画的绘制是其工作中重要的一个方面。线描画生成对于壁画的保护与修复以及后续工作来说也都极富意义，它也是研究考古等工作的基础。传统的线描绘制主要依靠手工临摹，或是经过拍照或录制，再比对着进行线描画的绘制。这些过程相对复杂和耗时。经过检索发现，目前与壁画图像处理相关的专利技术专利主要集中在古代图像数字化修复、图像采集以及分类识别等方面。而对于古代图像线描画的绘制过程的涉及较少，仅有的研究也是利用传统滤波器去噪以及利用传统边缘提取算法进行线描画提取，现有成果虽然能在局部得到较好的提取效果，但是在全局范围内存在笔道密集处笔画提取结果不清晰和笔道稀疏位置笔画宽度过细等问题。传统方法存在的问题会导致得到的图像具有较低的使用价值，工作效率不高。参考文献[1]李传朋,秦品乐,张晋京.基于深度卷积神经网络的图像去噪研究[J].计算机工程,2017,34(3):253-260.[2]XieS,TuZ.Holistically-nestededgedetection[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.2015:1395-1403.[3]ZhangK,ZuoW,ChenY,etal.Beyondagaussiandenoiser:Residuallearningofdeepcnnforimagedenoising[J].IEEETransactionsonImageProcessing,2017,26(7):3142-3155.[4]WangSD,MaZY,LiuXH,etal.Coherence-enhancinglinedrawingforcolorimages[J].ScienceChinaInformationSciences,2013,56(11):1-11.[5]KangH,LeeS,ChuiCK.Coherentlinedrawing[C]//Proceedingsofthe5thinternationalsymposiumonNon-photorealisticanimationandrendering.ACM,2007:43-50.[6]ArbelaezP,MaireM,FowlkesC,etal.Contourdetectionandhierarchicalimagesegmentation[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2011,33(5):898-916.[7]ZhangZ,XingF,ShiX,etal.Semicontour:Asemi-supervisedlearningapproachforcontourdetection[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2016:251-259.
技术实现思路
本专利技术的目的提供一种可以提升绘图效果的画图像去噪和线描画生成的方法。技术方案如下：一种基于卷积神经网络进行壁画图像去噪和线描画生成的方法，包括下列两个部分：第一部分：利用深度卷积神经网络DCNN对图像去噪步骤1：准备DCNN所需的训练数据集；步骤2：设置DCNN卷积层结构与激活函数，采用整流线性单元ReLU作为激活函数；步骤3：设定DCNN的损失函数为其中是所需干净图像Y的估计值，目标在于最小化损失函数以找到深度卷积神经网络DCNN的最优参数θ，为避免梯度爆炸的问题，在训练过程中保证梯度保持在一定范围内变化；步骤4：设计DCNN的网络结构；设计滤波器尺寸为，去除所有池化层，设置网络深度为10，每个卷积层中设置64个5×5的卷积核；步骤5：设定初始学习率为0.1，使用Caffe框架利用训练数据集对DCNN进行训练；步骤6：对噪声图像进行去噪处理；将带有噪声的壁画图像输入到训练好的DCNN中进行去噪，并用有噪声壁画图像减去DCNN的输出图像得到清晰的去噪后图像。第二部分：利用基于全卷积神经网络FCN和深度监督网络边缘检测算法HED进行边缘提取，方法如下：步骤7：构造用于边缘提取的训练数据集；步骤8：构建边缘提取网络模型；改进FCN和16层的卷积神经网络VGG，在每一个卷积层后面增加一个侧面输出层，每一个侧面输出层都和一个分类器相连，侧面输出层被实现为具有内核大小为1和输出数为1的卷积层；然后去除VGG的全链接层和第五个池化层并增加一个混合权重层，用来将所有的侧输出层的预测结果连接到一起并且在训练的过程中学习混合权重，得到一个带有侧面输出层的FCN网络结构即为边缘提取网络模型；步骤9：用准备好的用于边缘提取的训练数据集以最小的损失函数为目标训练设计好的边缘提取网络模型；步骤10：将第一部分得到的去噪后图像作为输入输入到边缘提取网络进行边缘提取；从侧面输出层和混合权重层同时获得边缘预测结果，最终的输出就是将这些结果进行聚合提取得到的线描画。本专利技术提出一种将基于深度学习的图像去噪与边缘提取两种方法融合进壁画线描画生成过程的处理过程，得到效果增强，笔画在整体效果上更均匀更连续的高质量线描画。减少了对于文物的破坏同时也极大的改善当前线描画的生成效果和工作效率。利用表现效果较好的深度卷积神经网络DCNN进行图像去噪，利用holistically-nestededgedetection算法HED进行边缘提取。经过卷积神经网络自主学习将带有噪声的彩色的壁画图像经过两次端到端的图像处理过程转换成对应的高质量线描图，生成效果好并且适用范围广。附图说明附图1基于卷积神经网络进行古代图像去噪和线描画生成流程图附图2去噪过程(第一部分)处理流程示意图附图3边缘提取(第二部分)处理流程示意图附图4去噪过程(第一部分)网络结构示意图附图5边缘提取(第二部分)网络结构示意图附图6未处理、去噪后、线描图图像效果示意图附图7未处理、去噪后、线描图图像效果示意图具体实施方式在深度学习领域，有对边缘提取的大量研究，也有对古代图像去噪的尝试，本专利技术旨在将深度学习应用于壁画线描画的生成过程来拓展绘图方法。相比于传统线描提取方法的结果，利用深度学习算法进行边缘提取更加注重于全局效果，可以提取出在全局范围内效果更好的线描画，绘图准确率更高，笔画宽度更均匀，并且在笔画密集与稀疏交接部位具有更好的笔画连续性。其次由于古代壁画图像普遍存在缺损氧化等现象，会产生较大噪声，因此本专利技术对古代图像处理具有针对性的提出了在深度学习进行边缘提取之前对于古代图像资源的特殊性而预先进行一次端到端的卷积处理，去除大量冗余信息后再用深度学习来提取线描画。这个预处理步骤的加入比直接使用一次端到端的深度学习进行边缘提取出的图像有更强的笔画效果，降低了结果图像的模糊度，为后续工作提供更好的输入图像。本专利技术通过融合两种基于深度学习图像处本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络进行壁画图像去噪和线描画生成的方法，包括下列两个部分：第一部分：利用深度卷积神经网络DCNN对图像去噪步骤1：准备DCNN所需的训练数据集；步骤2：设置DCNN卷积层结构与激活函数，采用整流线性单元ReLU作为激活函数；步骤3：设定DCNN的损失函数为

【技术特征摘要】
1.一种基于卷积神经网络进行壁画图像去噪和线描画生成的方法，包括下列两个部分：第一部分：利用深度卷积神经网络DCNN对图像去噪步骤1：准备DCNN所需的训练数据集；步骤2：设置DCNN卷积层结构与激活函数，采用整流线性单元ReLU作为激活函数；步骤3：设定DCNN的损失函数为其中是所需干净图像Y的估计值，目标在于最小化损失函数以找到深度卷积神经网络DCNN的最优参数θ，为避免梯度爆炸的问题，在训练过程中保证梯度保持在一定范围内变化；步骤4：设计DCNN的网络结构；设计滤波器尺寸为，去除所有池化层，设置网络深度为10，每个卷积层中设置64个5×5的卷积核；步骤5：设定初始学习率为0.1，使用Caffe框架利用训练数据集对DCNN进行训练；步骤6：对噪声图像进行去噪处理；将带有噪声的壁画图像输入到训练好的DCNN中进行去噪，并用有噪声壁画图像减去DCNN的输出图像得到清晰的去噪后图像...

【专利技术属性】
技术研发人员：陈岩岩，陈锦言，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12