图像颜色编辑方法及装置制造方法及图纸

本发明专利技术提供了一种图像颜色编辑方法及装置，所述方法通过用户输入的不同类别的用户交互信息，确定待编辑图像中每一类别的种子像素集对应的距离图，并将每一距离图作为待编辑图像的一个新的通道图，结合待编辑图像的RGB三个通道图，确定预设数量的多通道图像子块。基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据深度特征，得到待编辑图像中每一像素所属类别的概率。最后根据得到的概率，并基于最小化的图像分割能量函数，确定待编辑图像中每一像素所属类别，并对所述待编辑图像的颜色进行编辑。本实施例提供的图像颜色编辑方法，有效的结合待编辑图像中像素的距离信息和颜色信息，从而保证了图像颜色编辑的准确性。

Image color editing method and device

The present invention provides an image color editing method and device. The method determines the distance map of the seed pixel set corresponding to each category of the image to be edited, and each distance map is a new channel map of the image to be edited, and the RG of the image to be edited is combined with the user interactive information input by the user. B three channel diagrams to determine the preset number of multi-channel image sub blocks. Based on the trained multi feature joint network model, the depth feature of each multi channel image subblock is extracted. According to the depth feature, the probability of each pixel in the image to be edited is obtained. Finally, based on the obtained probability, and based on the minimized image segmentation energy function, the category of each pixel in the image to be edited is determined, and the color of the image to be edited is edited. The image color editing method provided by the present embodiment effectively combines the distance information and color information of the pixels in the image to ensure the accuracy of the image color editing.

【技术实现步骤摘要】
图像颜色编辑方法及装置
本专利技术涉及图像处理领域，更具体地，涉及图像颜色编辑方法及装置。
技术介绍
目前，随着手机拍照功能和数码相机的普及，人们在生活中常常会拍摄出大量的图像和视频。且伴随着互联网的迅速发展，人们会在互联网上进行图片和视频的分享。为此，人们希望寻求方便快捷的图像和视频处理工具以满足实际应用的需求，其中图像的颜色编辑技术近年来倍受研究人员关注。现有的图像颜色编辑方法主要分为两大类：基于用户交互的图像颜色编辑方法和基于实例的图像颜色编辑方法。其中，基于用户交互的图像颜色编辑方法需要用户具有一定的图像处理的专业素质，通过提供充足的用户交互信息以得到令用户满意的图像颜色编辑结果；基于实例的图像颜色编辑方法则需要用户提供合适的彩色参考图像，此类方法的颜色编辑效果几乎完全取决于提供的彩色参考图像，即当所选的彩色参考图像与待编辑图像的风格迥异时，此类方法很难得到理想的图像颜色编辑结果。随着深度学习的发展，深度神经网络(DeepNeuralNetwork，DNN)被广泛地应用于图像语义分类、目标物体检测、场景图像语义分割等任务且取得了突破性成绩，这是因为DNN具有监督式端到端逐层特征自学习方式和强大的特征表达能力。近几年，研究学者提出了许多基于DNN的图像颜色编辑工作。在结合DNN后，基于实例的图像颜色编辑方法首先根据提供的大规模图像数据库，通过训练DNN以获得网络模型的参数，即构建训练后的网络模型。在训练结束后，用户只需要将待编辑图像作为深度神经网络的输入，通过进行网络的前向计算就能很快地进行图像颜色编辑，且颜色编辑效果得到了明显改善。而基于用户交互的图像颜色编辑方法是将待编辑图像和用户交互图像作为网络的输入，并进行网络模型训练；已训练的网络模型能够传播用户交互图像上的颜色信息到原图像上，从而得到最终的颜色编辑结果。现有技术中有研究人员从彩色图像数据库中采样彩色图像作为训练样本，且进行精确的特征提取，包括较低层次的原图像子块、中等层次的DAISY特征和高层次语义特征，以训练网络模型。最后利用双边滤波技术进一步改善网络输出的色度图，从而最终获得理想的彩色化结果。由于需要对所有训练样本进行精确的分割，且得到的颜色编辑结果依赖于图像分割，当所没有对应的分割类别时，会导致图像颜色编辑结果很不理想。
技术实现思路
为克服上述问题或者至少部分地解决上述问题，本专利技术提供了一种图像颜色编辑方法及装置。一方面，本专利技术提供了一种图像颜色编辑方法，包括：S1，基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；S2，将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；S3，基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；S4，根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑。优选地，所述从所述多通道图像中预设位置处提取预设数量的多通道图像子块，具体包括：从所述多通道图像的每一个通道图中所述预设位置处选取预设数量组像素点，每组像素点构成一个图像子块，所有通道图中相同位置处的图像子块构成一个多通道图像子块。优选地，所述多特征联合网络模型具体包括：深度特征抽取层、全连接层和概率估计层；所述深度特征抽取层用于提取所述多通道图像子块中的深度特征；所述全连接层用于将提取到的深度特征进行全连接；所述概率估计层，用于根据全连接后的深度特征，采用soft-max函数得到所述待编辑图像中每一像素所属类别的概率。优选地，每一类别对应唯一的类别标签值，所述多特征联合网络模型通过如下方法进行训练以确定模型参数：将所述预设数量的多通道图像子块中每一多通道图像子块以及所述每一多通道图像子块对应的类别标签值作为一个训练样本，根据所有训练样本对所述多特征联合网络模型进行训练；基于随机梯度下降算法，当训练次数达到所述预设数量时，或者所述多特征联合网络模型的模型参数使所述多特征联合网络模型的损失函数收敛时，则结束训练；所述损失函数用于基于所述待编辑图像中每一像素所属类别的概率，度量所述每一多通道图像子块对应的类别标签估计值与所述每一多通道图像子块对应的类别标签值的接近程度。优选地，所述基于用户交互信息的类别，提取待编辑图像上不同类别的像素以构成不同类别的种子像素集具体包括：提取所述待编辑图像上与每一类别的用户交互信息对应的像素，并构成每一类别的种子像素集；其中，每一类别的种子像素集中种子像素的数量满足几何分布，每一类别的种子像素集中种子像素在所述待编辑图像上的位置满足高斯分布。优选地，所述根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图，具体包括：对于所述不同类别的种子像素集中任一类别的种子像素集，计算所述待编辑图像上每一像素与所述任一类别的种子像素集中种子像素之间的最小空间距离，并将计算得到的每一最小空间距离作为所述待编辑图像对应位置上的像素值，确定所述任一类别的种子像素集对应的所述待编辑图像的距离图。优选地，若判断获知计算得到的任一最小空间距离大于255，则将所述任一最小空间距离更新为255。另一方面，本专利技术还提供了一种图像颜色编辑装置，包括：距离图确定单元、多通道图像子块提取单元、概率确定单元和颜色编辑单元。其中，距离图确定单元，用于基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；多通道图像子块提取单元，用于将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；概率确定模块，用于基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；颜色编辑单元，用于根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑。另一方面，本专利技术还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的方法。另一方面，本专利技术还提本文档来自技高网...

【技术保护点】
一种图像颜色编辑方法，其特征在于，包括：S1，基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素以构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；S2，将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；S3，基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；S4，根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑。

【技术特征摘要】
1.一种图像颜色编辑方法，其特征在于，包括：S1，基于不同类别的用户交互信息，提取待编辑图像上不同类别的像素以构成不同类别的种子像素集，并根据所述待编辑图像上每一像素与每一类别的种子像素集中每一种子像素之间的空间距离，确定每一类别的种子像素集对应的所述待编辑图像的距离图；S2，将每一个所述距离图作为所述待编辑图像的一个新的通道图，并结合所述待编辑图像的RGB三个通道图，确定所述待编辑图像的多通道图像，并从所述多通道图像中预设位置处提取预设数量的多通道图像子块，所述预设位置为所述多通道图像中与每一类别的用户交互信息对应的位置；S3，基于训练好的多特征联合网络模型，提取每一多通道图像子块中的深度特征，根据所述深度特征，得到所述待编辑图像中每一像素所属类别的概率；S4，根据得到的所述待编辑图像中每一像素所属类别的概率以及最小化的图像分割能量函数，确定所述待编辑图像中每一像素所属类别，并根据所述待编辑图像中每一像素所属类别，对所述待编辑图像的颜色进行编辑。2.根据权利要求1所述的方法，其特征在于，所述从所述多通道图像中预设位置处提取预设数量的多通道图像子块，具体包括：从所述多通道图像的每一个通道图中所述预设位置处选取预设数量组像素点，每组像素点构成一个图像子块，所有通道图中相同位置处的图像子块构成一个多通道图像子块。3.根据权利要求1所述的方法，其特征在于，所述多特征联合网络模型具体包括：深度特征抽取层、全连接层和概率估计层；所述深度特征抽取层用于提取所述多通道图像子块中的深度特征；所述全连接层用于将提取到的深度特征进行全连接；所述概率估计层，用于根据全连接后的深度特征，采用soft-max函数得到所述待编辑图像中每一像素所属类别的概率。4.根据权利要求3所述的方法，其特征在于，每一类别对应唯一的类别标签值，所述多特征联合网络模型通过如下方法进行训练以确定模型参数：将所述预设数量的多通道图像子块中每一多通道图像子块以及所述每一多通道图像子块对应的类别标签值作为一个训练样本，根据所有训练样本对所述多特征联合网络模型进行训练；基于随机梯度下降算法，当训练次数达到所述预设数量时，或者所述多特征联合网络模型的模型参数使所述多特征联合网络模型的损失函数收敛时，则结束训练；所述损失函数用于基于所述待编辑图像中每一像素所属类别的概率，度量所述每一多通道图像子块对应的类别标签估计值与所述每一多通道图像子块对应的类别标签值的接近程度。5.根据权利要求1所述的方法，其特征在于，所述基于不同类别的用户交互信息，提取待编辑图像...

【专利技术属性】
技术研发人员：桂彦，郭林，曾光，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南,43