一种基于深度相似的编辑传播方法及系统技术方案

本申请公开了一种基于深度相似的编辑传播方法及系统，该方法包括：对用户交互信息进行欧氏距离变换得到距离图，其中，所述距离图用于描述所述图像中的各个像素点与交互点之间的距离关系；使用转换的距离图和原图像作为构建好的神经网络的输入，训练网络模型，得到所述神经网络模型的模型参数；将待处理图像和用户交互信息转换的距离图输入到训练后的所述神经网络模型中进行前馈神经网络计算得到概率图；对所述概率图进行全局能量优化以进行编辑传播。通过本申请解决了现有技术中编辑传播方法所存在问题中的至少之一，从而可以在灰度图像彩色化和实例分割方向上取得较好的结果。果。果。

【技术实现步骤摘要】
一种基于深度相似的编辑传播方法及系统


[0001]本申请涉及到图像处理领域，具体而言，涉及一种基于深度相似的编辑传播方法及系统。

技术介绍

[0002]随着数字多媒体硬件的发展和软件技术的兴起，图像色彩处理的需求不断增长，在显示设备上进行快速高效的图像色彩处理变得尤其重要。编辑传播是根据用户在图像中提供稀疏地交互像素点，通过利用图像的颜色、纹理、空间坐标等特征相似性传播用户交互信息至整幅图像的技术。目前，该技术已广泛应用于图像色度调整、图像分割、灰度图像彩色化和彩色图像重着色等。编辑传播可以看作一种多分类问题，根据图像像素i的图像特征向量X
i
，估计其概率向量y
i
∈[0,1]n
，即像素i属于n种类标记的可能性。已有许多方法用于解决编辑传播问题,如全局能量优化、平滑函数插值、流形保持和概率模型等,这些方法在获得高质量图像编辑结果的同时,也提高了编辑传播的效率。
[0003]随着深度学习技术的发展，深度神经网络(DNN)被广泛地应用于图像语义分类、目标物体检测、场景图像语义分割等任务且取得了突破性成绩，这是因为DNN的监督式端到端逐层特征自学习方式和展示出的强大的特征表达能力。近几年，研究者们提出了许多基于DNN的图像颜色编辑处理工作。在结合深度神经网络后，基于实例的图像颜色编辑处理方法的关键在于：首先根据提供的大规模图像数据库，通过训练设计的深度神经网络以获得网络模型的参数，即构建网络模型。在训练结束后，用户只需要将待处理的图像作为深度神经网络的输入，通过进行网络的前向计算就能很快地进行图像颜色的编辑，且颜色编辑效果得到了明显改善。而基于用户交互的图像颜色编辑处理方法是将原图像和用户交互图像作为网络的输入，并进行网络模型训练；已训练的网络模型能够传播用户交互上的颜色信息到整幅图像，从而得到最终的颜色编辑结果。
[0004]Endo等(Endo Y,Iizuka S,Kanamori Y,et al.DeepProp:extracting deep features from a single image for edit propagation[J].Computer Graphics Forum,2016)利用神经网络从输入图像中学习并提取深度特征，用于编辑传播，这样可以根据输入的图像自动地调整特征权重，避免了传统方法中手动调整参数的过程。该方法的网络由视觉特征提取层和空间特征提取层两个子网络构成，分别学习输入图像的深度视觉特征和空间特征。输入图像经过网络模型输出得到概率图，从而最终获得理想的彩色化结果。
[0005]Gui等(Yan Gui，Guang Zeng.Joint learning of visual and spatial features for edit propagation from a single image.Computer Graphics Forum,2019)将用户交互信息转换为距离图并与原图像在通道上级联生成多通道图像。根据已交互的像素点随机抽取多通道图像子块，抽取的图像子块同时包含外观特征和空间特征信息，并用这些子块进行网络训练，该网络从这些子块中学习提取深度特征。将学习好的深度神经网络模型作为分类器，估计图像中每个像素属于不同类别的概率值。最后，经过条件随机场(CRF)后处理进一步优化概率图，最终得到高质量的编辑结果。
[0006]基于单图像的编辑传播方法能够很好地处理具有简单背景的图像，但在处理具有物体遮挡和小物体等复杂场景的图像时，这类方法通常难以准确地估计目标对象的形状和位置，从而容易导致不准确的编辑结果。另外，由于图像像素间的相似性度量依赖于低层级的图像特征(如颜色、纹理和像素坐标等),传统方法通常需要选取合适的图像特征和手动调整特征的权重(重要度),需要耗费大量的计算时间和占用计算机内存资源，这不能给用户一个方便快捷的使用体验,阻碍了编辑传播方法的实际应用。
[0007]文献(Endo Y,Iizuka S,Kanamori Y,et al.DeepProp:extracting deep features from a single image for edit propagation[J].Computer Graphics Forum,2016)所述的方法由于两个子网络的深度不同及训练的先后顺序的原因，导致该方法不适合用于处理更依赖空间特征进行编辑传播的情况。虽然不用手动调整参数就能取得比传统方法很好的编辑结果，但是提供的用户交互数量并没有减少。此外，每次测试新的图像，网络就要重新训练一次。由于网络的初始参数是随机的，多次训练和预测结果可能会不同，且多次预测的结果之间的差别很大，可能会比较好，可能会比较差。
[0008]文献(Yan Gui，Guang Zeng.Joint learning of visual and spatial features for edit propagation from a single image.Computer Graphics Forum,2019)所述的方法在训练时只用了一些多通道图像子块进行训练，虽然其中包含空间信息和外观信息，但是这些都是局部信息，不能很好地利用局部与全局的信息，仍需要提供大量的用户交互才能够得到不错的编辑结果。另一方面，该方法存在测试新图像时，需要重新训练网络。同样，由于网络初始化是随机生成的，导致训练完后的模型具有不确定性，使在相同的输入下会产生不同的图像编辑结果。
[0009]上述文献中的方法均有利有弊，需要提出一种新的解决方案。

技术实现思路

[0010]本申请实施例提供了一种基于深度相似的编辑传播方法及系统，以至少解决现有技术中编辑传播方法所存在问题中的至少之一。
[0011]根据本申请的一个方面，提供了一种基于深度相似的编辑传播方法，包括：对用户交互信息进行欧氏距离变换得到距离图，其中，所述距离图用于描述所述图像中的各个像素点与交互点之间的距离关系；使用转换的距离图和原图像作为构建好的神经网络的输入，训练网络模型，得到所述神经网络模型的模型参数；将待处理图像和用户交互信息转换的距离图输入到训练后的所述神经网络模型中进行前馈神经网络计算得到概率图；对所述概率图进行全局能量优化以进行编辑传播。
[0012]进一步地，在使用转换的距离图和原图像作为构建好的神经网络的输入，训练网络模型之前，还包括：利用多尺度特征抽取模块、目标区域定位模块和多类别分类模型构建所述神经网络模型，其中，所述神经网络模型为深度神经网络模型。
[0013]进一步地，所述多尺度特征抽取模型用于抽取图像的深度特征，利用多尺度特征抽取模块、目标区域定位模块和多类别分类模型构建所述神经网络模型包括：将所述图像输入到所述多尺度特征抽取模型中，得到所述多尺度特征抽取模型输出的深度特征；将所述深度特征和所述距离图通过所述目标区域定位模型进行处理，得到特征序列；使用所述多类别分类模型对所述特征序列进行动态分类。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相似的编辑传播方法，其特征在于，包括：对用户交互信息进行欧氏距离变换得到距离图，其中，所述距离图用于描述所述图像中的各个像素点与交互点之间的距离关系；使用转换的距离图和原图像作为构建好的神经网络的输入，训练网络模型，得到所述神经网络模型的模型参数；将待处理图像和用户交互信息转换的距离图输入到训练后的所述神经网络模型中进行前馈神经网络计算得到概率图；对所述概率图进行全局能量优化以进行编辑传播。2.根据权利要求1所述的方法，其特征在于，在使用转换的距离图和原图像作为构建好的神经网络的输入，训练网络模型之前，还包括：利用多尺度特征抽取模块、目标区域定位模块和多类别分类模型构建所述神经网络模型，其中，所述神经网络模型为深度神经网络模型。3.根据权利要求2所述的方法，其特征在于，所述多尺度特征抽取模型用于抽取图像的深度特征，利用多尺度特征抽取模块、目标区域定位模块和多类别分类模型构建所述神经网络模型包括：将所述图像输入到所述多尺度特征抽取模型中，得到所述多尺度特征抽取模型输出的深度特征；将所述深度特征和所述距离图通过所述目标区域定位模型进行处理，得到特征序列；使用所述多类别分类模型对所述特征序列进行动态分类。4.根据权利要求1至3中任一项所述的方法，其特征在于，使用转换的距离图和原图像作为构建好的神经网络的输入，训练网络模型包括：使用PascalVOC 2012数据集中的图像以及这些图像对应的距离图作为训练数据对所述神经网络模型进行训练。5.根据权利要求1至3中任一项所述的方法，其特征在于，对构建好的神经网络模型进行训练包...

【专利技术属性】
技术研发人员：桂彦，魏武，梁敏，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：