图像处理方法技术

本申请实施例提供了一种图像处理方法

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理
，具体而言，本申请涉及一种图像处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着人们对图像视觉效果的要求不断提高，在许多应用场景中，灰度图像逐渐被彩色图像所替代
。
例如，在日常生活中，用户期望获得更加清晰
、
色彩更加真实的照片
。
因此黑白照片已逐渐被彩色照片替代
。
又或者，对于海洋浮游生物的科学成像观测而言，通过彩色图像替代灰度图像，有助于对目标种类的识别鉴定，因此使用户对海洋浮游生物的观测精度得到提高
。
[0003]可以理解，一些获取彩色图像存在困难的应用场景也依然存在
。
在这些应用场景中，由于成像原理所致，可能无法或不便直接对场景中的目标实施真彩色成像，而应用最终却对真彩色图像有获取需求
。
因此，可采用间接的方法获得上述场景中感兴趣目标的真彩色图像
。
例如，可采用着色算法进行灰度图像的着色
。
然而，现有着色算法所得到的彩色图像的着色效果与感兴趣目标的真实色彩效果相差往往较大，尚不能满足对例如科学成像在内的很多后续应用需求
。
[0004]由上可知，如何提高着色的准确性改善着色效果是尚待解决的问题
。

技术实现思路

[0005]本申请各实施例提供了一种图像处理方法
、<br/>装置
、
电子设备及存储介质，可以解决相关技术中存在的着色效果较差的问题
。
所述技术方案如下：
[0006]根据本申请实施例的一个方面，一种图像处理方法，包括：获取目标对象的待处理图像；对所述待处理图像进行图像特征提取，得到第一特征图；基于所述待处理图像所属的色系，确定所述待处理图像的着色参考信息，并将所述着色参考信息融合至所述第一特征图，得到具有所述着色参考信息的第二特征图；基于由第一训练集训练得到的参考调色板，对所述第二特征图进行着色，得到所述待处理图像的图像着色结果，所述第一训练集包括所述目标对象的至少一彩色图像，所述参考调色板是所述第一训练集中所述目标对象的彩色图像所包含颜色的集合
。
[0007]根据本申请实施例的一个方面，一种图像处理装置，包括：图像获取模块，用于获取目标对象的待处理图像；特征提取模块，用于对所述待处理图像进行图像特征提取，得到第一特征图；信息融合模块，用于基于所述待处理图像所属的色系，确定所述待处理图像的着色参考信息，并将所述着色参考信息融合至所述第一特征图，得到具有所述着色参考信息的第二特征图；图像着色模块，用于基于由第一训练集训练得到的参考调色板，对所述第二特征图进行着色，得到所述待处理图像的图像着色结果，所述第一训练集包括所述目标对象的至少一彩色图像，所述参考调色板是所述第一训练集中所述目标对象的彩色图像所包含颜色的集合
。
[0008]在一示例性实施例中，所述信息融合模块包括：色系分类单元，用于对所述待处理图像进行色系分类，确定所述待处理图像的色系类别；色系编码单元，用于对所述待处理图像的色系类别进行编码，得到所述待处理图像的色系编码向量，作为所述待处理图像的着色参考信息
。
[0009]在一示例性实施例中，所述图像着色模块包括：颜色分类单元，用于对所述第二特征图中的像素进行颜色分类，确定所述第二特征图中像素的颜色类别；着色单元，用于根据所述参考调色板指示的所述目标对象的彩色图像包含的颜色
、
以及所述第二特征图中像素的颜色类别，进行所述第二特征图的着色，得到所述待处理图像的图像着色结果
。
[0010]在一示例性实施例中，所述着色单元包括：颜色编码子单元，用于针对所述第二特征图中的每一个像素，对所述像素的颜色类别进行编码，得到所述像素的颜色编码向量；向量提取子单元，用于基于所述像素的颜色编码向量，从所述参考调色板中提取得到与所述像素的颜色编码向量对应的调色板向量，所述调色板向量用于表示所述目标对象的彩色图像包含的颜色；解码子单元，用于根据提取得到的所述调色板向量，对所述第二特征图中像素的颜色编码向量进行解码，得到待融合的色彩通道；融合子单元，用于将所述待处理图像中像素的灰度作为待融合的亮度通道，并将所述色彩通道和所述亮度通道进行融合，得到所述待处理图像的图像着色结果
。
[0011]在一示例性实施例中，所述装置还包括：网络构建模块，用于构建对所述待处理图像进行着色的视觉网络，所述视觉网络包括调色板模块
、
着色参考模块
、
着色模块，其中，所述调色板模块，用于由所述第一训练集训练得到所述参考调色板；所述着色参考模块，包括分类器和编码器，用于确定所述待处理图像的所述着色参考信息；所述着色模块，包括提取器
、
组合器和解码器，所述提取器用于得到所述第一特征图；所述组合器用于将所述着色参考信息融合至所述第一特征图，得到具有所述着色参考信息的所述第二特征图；所述解码器用于得到所述待处理图像的图像着色结果
。
[0012]在一示例性实施例中，所述调色板模块包括：图像获取单元，用于获取所述第一训练集；图像遍历单元，用于针对所述第一训练集中所述目标对象的彩色图像进行遍历，所述遍历包括：确定遍历到的彩色图像中的感兴趣区域；对确定的感兴趣区域中的像素进行颜色信息提取；聚类单元，用于基于提取得到的颜色信息，对所述第一训练集中所述目标对象的彩色图像所包含的颜色进行聚类；直至满足设定条件，训练得到所述参考调色板
。
[0013]在一示例性实施例中，所述装置还包括：评价模块，用于对基于所述视觉网络着色得到的所述图像着色结果进行着色效果评价处理，得到所述视觉网络的着色评价结果，所述着色评价结果用于表示所述图像着色结果的着色效果；所述评价模块包括：图像对获取单元，用于获取第二训练集，所述第二训练集包括所述目标对象的至少一图像对，所述图像对包括彩色图像及对应的灰度图像；颜色特征提取单元，用于针对所述图像对中的彩色图像及对应的灰度图像，分别对所述彩色图像和所述灰度图像的图像着色结果进行颜色特征提取，得到所述彩色图像和所述图像着色结果的颜色特征；差异确定单元，用于根据所述彩色图像和所述图像着色结果的颜色特征，确定所述彩色图像与所述图像着色结果的色彩差异性；评价单元，用于基于所述彩色图像与所述图像着色结果的色彩差异性，确定所述视觉网络的着色评价结果
。
[0014]根据本申请实施例的一个方面，一种电子设备，包括：至少一个处理器
、
至少一个
存储器
、
以及至少一条通信总线，其中，存储器上存储有计算机程序，处理器通过通信总线读取存储器中的计算机程序；计算机程序被处理器执行时实现如上所述的图像处理方法
。
[0015]根据本申请实施例的一个方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，其特征在于，所述方法包括：获取目标对象的待处理图像；对所述待处理图像进行图像特征提取，得到第一特征图；基于所述待处理图像所属的色系，确定所述待处理图像的着色参考信息，并将所述着色参考信息融合至所述第一特征图，得到具有所述着色参考信息的第二特征图；基于由第一训练集训练得到的参考调色板，对所述第二特征图进行着色，得到所述待处理图像的图像着色结果，所述第一训练集包括所述目标对象的至少一彩色图像，所述参考调色板是所述第一训练集中所述目标对象的彩色图像所包含颜色的集合
。2.
如权利要求1所述的方法，其特征在于，所述基于所述待处理图像所属的色系，确定所述待处理图像的着色参考信息，包括：对所述待处理图像进行色系分类，确定所述待处理图像的色系类别；对所述待处理图像的色系类别进行编码，得到所述待处理图像的色系编码向量，作为所述待处理图像的着色参考信息
。3.
如权利要求1所述的方法，其特征在于，所述基于由第一训练集训练得到的参考调色板，对所述第二特征图进行着色，得到所述待处理图像的图像着色结果，包括：对所述第二特征图中的像素进行颜色分类，确定所述第二特征图中像素的颜色类别；根据所述参考调色板指示的所述目标对象的彩色图像包含的颜色
、
以及所述第二特征图中像素的颜色类别，进行所述第二特征图的着色，得到所述待处理图像的图像着色结果
。4.
如权利要求3所述的方法，其特征在于，所述根据所述参考调色板指示的所述目标对象的彩色图像包含的颜色
、
以及所述第二特征图中像素的颜色类别，进行所述第二特征图的着色，得到所述待处理图像的图像着色结果，包括：针对所述第二特征图中的每一个像素，对所述像素的颜色类别进行编码，得到所述像素的颜色编码向量；基于所述像素的颜色编码向量，从所述参考调色板中提取得到与所述像素的颜色编码向量对应的调色板向量，所述调色板向量用于表示所述目标对象的彩色图像包含的颜色；根据提取得到的所述调色板向量，对所述第二特征图中像素的颜色编码向量进行解码，得到待融合的色彩通道；将所述待处理图像中像素的灰度作为待融合的亮度通道，并将所述色彩通道和所述亮度通道进行融合，得到所述待处理图像的图像着色结果
。5.
如权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：构建对所述待处理图像进行着色的视觉网络，所述视觉网络包括调色板模块
、
着色参考模块
、
着色模块，其中，所述调色板模块，用于由所述第一训练集训练得到所述参考调色板；所述着色参考模块，包括分类器和编码器，用于确定所述待处理图像的所述着色参考信息；所述着色模块，包括提取器
、
组合器和解码器，所述提取器用于得到所述第一特征图；所...

【专利技术属性】
技术研发人员：郭冠男，李剑平，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：