A method of image editing and propagation based on an improved convolution neural network is introduced. First, combined convolution is introduced to replace the traditional convolution. Through this structure, a more reasonable image feature can be extracted, and the parameters of the model and the number of convolution are reduced. At the same time, a biased loss function weighted by the background class is introduced to prevent the background class from being mistaken and cause color overflow. The method includes the following steps: an interactive image is written on an image to be processed; a training set and a test set are extracted from the image according to the strokes; the improved convolution neural network is used to train the model; the model is tested by the trained model, and the image color is finally realized. One
【技术实现步骤摘要】
一种基于改进的卷积神经网络实现图像编辑传播的方法
本专利技术涉及一种图像编辑传播的方法,特别是一种基于改进的卷积神经网络实现图像编辑传播的方法。
技术介绍
随着数字多媒体硬件的发展和软件技术的兴起,图像色彩处理的需求不断增长,在显示设备上进行快速高效的图像颜色处理变得尤其重要。编辑传播是指通过用户交互的方式,用户对图像中不同的物体给予不同的颜色笔触,进行特征提取和识别,实现图像编辑处理的过程。目前,基于单幅图像的编辑传播算法有很多,主要分为两大类。第一类方法可以通过一些约束,将编辑传播问题转换为一个优化问题,通过解该优化问题实现编辑传播。比如在保持流行结构的约束条件下,通过保持这种流行结构来实现编辑传播。但是在处理片段的图像区域时,需要更多的笔触才能达到满意的效果,并且该类方法往往比消耗计算机的内存以及处理时间。另一类方法是将该问题转换为一个分类问题,可以使用一些分类模型实现编辑传播。使用卷积神经网络等分类模型对笔触覆盖的像素点提取特征,根据提取到的特征将不同的像素点染为不同的颜色,从而将该问题转换为一个分类问题。然而当我们使用卷积提取特征时,也意味着我们假定了模型的几何变换是固定的。这样先验知识不利于模型的泛化,尤其是对训练集较小的数据集。
技术实现思路
本专利技术要克服图像编辑传播中对笔触要求较高、模型泛化能力不好导致图像上色不好的问题,提出一种基于改进的卷积神经网络实现图像编辑传播的方法,该方法能提取更加合理的图像特征,同时能够改善编辑传播过程中颜色溢出的问题。本专利技术使用组合卷积来提取笔触覆盖的像素点的特征,并结合有偏的损失函数可以实现基于较少笔触的 ...
【技术保护点】
1.一种基于改进的卷积神经网络实现图像编辑传播的方法,具体步骤如下:
【技术特征摘要】
1.一种基于改进的卷积神经网络实现图像编辑传播的方法,具体步骤如下:1)、通过交互的方式对一幅待处理的图像加以笔触;具体包括:对于一幅待处理的图像,通过photoshop等图像处理软件,对该图像加以任意颜色的笔触;2)、根据笔触从图像中提取训练集和测试集;具体包括:(21)训练集的提取:在笔触覆盖的所有像素点中,随机选取10%的像素点,并且以图像左上角作为坐标原点,得到这些像素点的相对坐标;然后分别以这些坐标为中心,选取9*9的邻域,得到大小为9*9的图像小片,并记录这些中心坐标的坐标值;这里在提取9*9邻域的时候,可能会发生邻域的选取超出边界的情况,处理的办法是分别对图像的四条边进行四个像素点的扩充,扩充的像素点的值用零填充;最后将这些像素点所覆盖的笔触颜色作为该图像小片的标签;(22)测试集的提取:使用SLIC方法,将待处理的图像划分成超像素集;这里要求调整SILC方法中的参数,使得超像素划分得到的超像素在保持合理性的同时尽量接近于一个矩形;每一个超像素包含多个像素点,将多个像素点的坐标求和取平均并向下取整,得到一个新的坐标;再将此坐标作为中心坐标,选取9*9邻域,得到多个大小为9*9的图像小片,并保存这些中心坐标值;最后将这些图像小片作为测试集;3)、利用改进的卷积神经网络进行模型训练;具体包括:(31)提出组合卷积的结构,具体步骤如下:101)组合卷积由可变形卷积和可分离卷积组成,用来替换传统卷积神经网络中的卷积层,可以提取有效的特征;以输入特征的左上角为坐标原点,可以得到输入特征图中每一个元素的坐标值(xi,yi),xi表示某元素的x轴坐标,yi表示某元素的y轴坐标;然后对xi和yi进行随机地偏移,公式可以表示为:xi'=xi+Δfxi,yi'=yi+Δfyi,这里的Δfxi表示x轴坐标随机偏移的量,xi'表示偏移后的x轴坐标,Δfyi表示y轴坐标随机偏移的量,yi'表示偏移后的y轴坐标;根据每一个元素偏移...
【专利技术属性】
技术研发人员:刘震,陈丽娟,汪家悦,
申请(专利权)人:浙江工业大学,
类型:发明
国别省市:浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。