图像处理方法、图像处理装置、存储介质与电子设备制造方法及图纸

本公开提供一种图像处理方法、装置、存储介质与电子设备，涉及图像与视频处理技术领域。该方法包括：获取待处理图像；所述待处理图像包括待填充像素；通过预先配置的固定卷积核对所述待处理图像进行卷积处理，得到中间图像；所述固定卷积核具有固定的参数，所述固定卷积核中的参数按照预设方向排布；所述中间图像不包括待填充像素；利用预先训练的图像优化模型对所述中间图像进行优化处理，得到目标图像。本公开结合了非机器学习算法与机器学习各自的优点，能够为缺失的像素计算出准确的像素值，提高图像质量。提高图像质量。提高图像质量。

【技术实现步骤摘要】
图像处理方法、图像处理装置、存储介质与电子设备


[0001]本公开涉及图像与视频处理
，尤其涉及一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备。

技术介绍

[0002]在图像处理中，经常需要对缺失的像素值进行补充。例如，在拜耳图像中，R、G、B三个通道的像素值均是不完整的，需要将每个通道内的像素值补充完整，才能够得到RGB图像。
[0003]相关技术中，大多是基于图像中已有的像素值进行插值，计算出缺失的像素值。然而，通过插值计算的像素值，其准确性难以得到保证，导致插值后的图像质量不高。

技术实现思路

[0004]本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备，以至少在一定程度上解决相关技术中对缺失的像素值补充后图像质量不高的问题。
[0005]根据本公开的第一方面，提供一种图像处理方法，包括：获取待处理图像；所述待处理图像包括待填充像素；通过预先配置的固定卷积核对所述待处理图像进行卷积处理，得到中间图像；所述固定卷积核具有固定的参数，所述固定卷积核中的参数按照预设方向排布；所述中间图像不包括待填充像素；利用预先训练的图像优化模型对所述中间图像进行优化处理，得到目标图像。
[0006]根据本公开的第二方面，提供一种图像处理装置，包括：图像获取模块，被配置为获取待处理图像；所述待处理图像包括待填充像素；卷积处理模块，被配置为通过预先配置的固定卷积核对所述待处理图像进行卷积处理，得到中间图像；所述固定卷积核具有固定的参数，所述固定卷积核中的参数按照预设方向排布；所述中间图像不包括待填充像素；优化处理模块，被配置为利用预先训练的图像优化模型对所述中间图像进行优化处理，得到目标图像。
[0007]根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像处理方法及其可能的实现方式。
[0008]根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的图像处理方法及其可能的实现方式。
[0009]本公开的技术方案具有以下有益效果：
[0010]一方面，本方案采用固定卷积核与图像优化模型先后进行图像的卷积处理与优化处理，来填充待处理图像中的待填充像素并实现图像的全局优化，结合了非机器学习算法与机器学习各自的优点，相比于相关技术中的插值算法，不受插值方向的影响，能够为缺失的像素计算出准确的像素值，得到高质量的目标图像。另一方面，由于采用固定卷积核进行卷积处理，有利于降低图像优化模型的复杂度，提高图像处理效率，这使得本方案能够实现
图像的实时处理，以便部署到视频实时处理等场景中。
附图说明
[0011]图1示出本示例性实施方式的运行环境系统架构的示意图；
[0012]图2示出本示例性实施方式中一种图像处理方法的流程图；
[0013]图3示出本示例性实施方式中图像超分辨率重建的示意图；
[0014]图4示出本示例性实施方式中拜耳图像的示意图；
[0015]图5示出本示例性实施方式中一种获取待处理图像的流程图；
[0016]图6示出了本示例性实施方式计算已填充像素的差值的示意图；
[0017]图7示出本示例性实施方式中确定补偿值的流程图；
[0018]图8示出本示例性实施方式中确定灰度值的示意图；
[0019]图9示出本示例性实施方式中固定卷积核的示意图；
[0020]图10示出本示例性实施方式中全局模型以及图像处理的示意图；
[0021]图11示出本示例性实施方式中的图像处理方法的示意性流程图；
[0022]图12示出本示例性实施方式中一种图像处理装置的结构示意图；
[0023]图13示出本示例性实施方式中一种电子设备的结构示意图。
具体实施方式
[0024]下文将结合附图更全面地描述本公开的示例性实施方式。
[0025]附图为本公开的示意性图解，并非一定是按比例绘制。附图中所示的一些方框图可能是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在硬件模块或集成电路中实现这些功能实体，或在网络、处理器或微控制器中实现这些功能实体。实施方式能够以多种形式实施，不应被理解为限于在此阐述的范例。本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或多个实施方式中。在下文的描述中，提供许多具体细节从而给出对本公开实施方式的充分说明。然而，本领域技术人员应意识到，可以在实现本公开的技术方案时省略其中的一个或多个特定细节，或者可以采用其它的方法、组元、装置、步骤等替代一个或多个特定细节。
[0026]相关技术中，基于图像中已有的像素值进行插值，计算出缺失的像素值。然而，若插值方向选择的不合适，则计算出的像素值不准确，会导致插值后图像中存在拉链伪影、锯齿等问题，影响图像质量。
[0027]鉴于上述问题，本公开的示例性实施方式提供一种图像处理方法。预先配置固定卷积核并训练图像优化模型，对包含待填充像素的待处理图像进行卷积处理与优化处理，得到目标图像。在目标图像中，待处理图像中的待填充像素得到填充，目标图像的质量较高。
[0028]下面结合图1对本示例性实施方式的运行环境系统架构进行说明。
[0029]参考图1所示，系统架构100可以包括终端110和服务器120。终端110可以是手机、平板电脑、智能穿戴设备等电子设备。服务器120泛指提供本示例性实施方式中图像处理相关服务的后台系统，可以是一台服务器或多台服务器的集群。终端110和服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。
[0030]在一种实施方式中，可以由终端110执行本示例性实施方式中的图像处理方法。示例性的，可以由服务器120配置固定卷积核并训练图像优化模型，将固定卷积核与图像优化模型部署到终端110；或者，可以由终端110在本地配置固定卷积核并训练图像优化模型；又或者，可以由终端110在本地配置固定卷积核，由服务器120训练图像优化模型并部署到终端110。终端110获取待处理图像，例如可以是去马赛克(demosaic)前的拜耳图像，然后采用固定卷积核与图像优化模型对待处理图像进行处理，以实现相当于去马赛克的效果，得到目标图像。
[0031]在一种实施方式中，可以由服务器120执行本示例性实施方式中的图像处理方法。示例性的，可以由服务器120配置固定卷积核并训练图像优化模型，终端110将待处理图像上传至服务器120，由服务器120执行图像处理方法，得到目标图像。后续还可以将目标图像返回给终端110。
[0032]由上可知，本示例性实施方式中，图像处理方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。
[0033]下面结合图2对图像处理方法的流程进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像；所述待处理图像包括待填充像素；通过预先配置的固定卷积核对所述待处理图像进行卷积处理，得到中间图像；所述固定卷积核具有固定的参数，所述固定卷积核中的参数按照预设方向排布；所述中间图像不包括待填充像素；利用预先训练的图像优化模型对所述中间图像进行优化处理，得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述通过预先配置的固定卷积核对所述待处理图像进行卷积处理，得到中间图像，包括：采用所述固定卷积核分别对所述待处理图像中以每个待填充像素为中心的局部区域进行卷积运算，得到所述每个待填充像素对应的中间像素值；以所述每个待填充像素对应的中间像素值填充所述待处理图像中的待填充像素，得到所述中间图像。3.根据权利要求1所述的方法，其特征在于，所述固定卷积核的数量为多个，不同的所述固定卷积核具有不同的尺寸或不同的参数排布特征。4.根据权利要求3所述的方法，其特征在于，所述通过预先配置的固定卷积核对所述待处理图像进行卷积处理，得到中间图像，包括：分别通过每个所述固定卷积核对所述待处理图像进行卷积处理，得到多张中间图像；所述利用预先训练的图像优化模型对所述中间图像进行优化处理，得到目标图像，包括：利用所述图像优化模型对所述多张中间图像进行融合与优化处理，得到所述目标图像。5.根据权利要求1所述的方法，其特征在于，在通过预先配置的固定卷积核对所述待处理图像进行卷积处理前，所述方法还包括：获取预先训练的全局模型，所述全局模型包括固定卷积层与所述图像优化模型，所述固定卷积层包括所述固定卷积核；所述通过预先配置的固定卷积核对所述待处理图像进行卷积处理，得到中间图像，包括：将所述待处理图像输入所述全局模型，通过所述固定卷积层对所述待处理图像进行卷积处理，得到所述中间图像。6.根据权利要求5所述的方法，其特征在于，所述全局模型通过以下方式训练：获取第一样本图像与所述第一样本图像对应的标签图像，所述第一样本图像包括待填充像素，所述标签图像不包括待填充像素；将所述第一样本图像输入待训练的全局模型，输出第二样本图像；在固定所述固定卷积核的参数的情况下，基于所述第二样本图像与所述标签图像，更新所述全局模型的参数。7.根据权利要求6所述的方法，其特征在于，所述获取第一样本图像与所述第一样本图像对应的标签图像，包括：获取所述标签图像；所述标签图像中的像素均不为空值；将所述标签图像中的部分像素置为空值，得到所述标签图像对应的所述第一样本图
像；所述第一样本图像中空值的像素为待填充像素。8.根据权利要求1所述的方法，其特征在于，所述获取待处理图像，包括：获取拜耳图像中的G通道图像；所述G通道图像包括已填充像素和待填充像素，所述G通道图像中的已填充像素的G像素值不为空值，所述G通道图像中的待填充像素的G像素值为空值；对所述G通道图像进行绿平衡处理，得到所述待处理图像。9.根据权利要求8所述的方法，其特征在于，所述对所述G通道图像进行绿平衡处理，得到所述待处理图像，包括：获取所述G通道图像中的每个已填充像素与其相邻的已填充像素之间的差值；根据所述每个已填充像素与其相邻的已填充像素之间的差值，确定所述每个已填充像素的补偿值；在所述G通道图像中，利用所述每个已填充像素的补偿值分别对所述每个已填充像素进行补偿，得到所述待处理图像。10...

【专利技术属性】
技术研发人员：林桥洲，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：