图像增强处理方法及装置制造方法及图纸

本发明专利技术公开了一种图像增强处理方法及装置，属于图像处理领域。所述方法包括：采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。本发明专利技术提供的图像增强处理方法的处理效果较好，处理效率较高。

Image enhancement processing method and device

The invention discloses an image enhancement processing method and device, which belongs to the field of image processing. The method includes: using the first regression network model to process the specified image, obtaining the content feature map of the specified image, processing the gradient map of the specified image by the second regression network model, obtaining the edge feature map of the specified image, and using the fusion processing model for the content features. The image is merged with the edge feature map to get the restored image. The image enhancement processing method provided by the invention has better processing effect and higher processing efficiency.

【技术实现步骤摘要】
图像增强处理方法及装置
本专利技术涉及图像处理领域，特别涉及一种图像增强处理方法及装置。
技术介绍
图像增强是一种用于增强图像中的有用信息，改善图像的视觉效果的方法。相关技术中，对于在低光照场景下拍摄的低光照图像，终端一般会采用预先配置的图像增强处理算法对该低光照图像进行增强处理。例如，终端可以调整该低光照图像中每个像素的红绿蓝(RGB)值，进而改善该低光照图像的视觉效果。但是，相关技术中的图像增强处理方法只能整体调高整幅低光照图像的亮度，其处理效果较差。
技术实现思路
本专利技术实施例提供了一种图像增强处理方法及装置，可以解决相关技术中的图像增强处理方法处理效果较差的问题。技术方案如下：一方面，提供了一种图像增强处理方法，所述方法包括：采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。另一方面，提供了一种图像增强处理装置，所述装置包括：第一处理模块，用于采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；第二处理模块，用于采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；第三处理模块，用于采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。又一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所提供的图像增强处理方法。再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所提供的图像增强处理方法。本专利技术实施例提供的技术方案带来的有益效果是：综上所述，本专利技术实施例提供了一种图像增强处理方法及装置，可以采用第一回归网络模型得到该指定图像的内容特征图，该内容特征图可以反映指定图像的场景信息，并可以采用第二回归网络模型得到该指定图像的边缘特征图，最后对该内容特征图和该边缘特征图进行融合处理后得到恢复图像。由于该恢复图像能够有效恢复指定图像的场景信息和边缘特征，因此有效改善了图像增强处理的效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种图像增强处理方法的应用场景的示意图；图2是本专利技术实施例提供的一种图像增强处理方法的流程图；图3是本专利技术实施例提供的另一种图像增强处理方法的流程图；图4是本专利技术实施例提供的一种图像增强处理方法的算法框图；图5是本专利技术实施例提供的一种采用第二回归网络模型对指定图像的梯度图进行处理的方法流程图；图6是本专利技术实施例提供的一种对增强处理模型进行训练的方法流程图；图7是本专利技术实施例提供的一种图像增强处理装置的结构示意图；图8是本专利技术实施例提供的另一种图像增强处理装置的结构示意图；图9是本专利技术实施例提供的一种终端的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。相关技术中，终端除了可以采用调整RGB值的方式对低光照图像进行增强处理，还可以采用基于视网膜皮层理论(Retinextheory)的算法对该低光照场景下拍摄的低光照图像进行增强处理。具体的，终端可以基于图像分解的方法将拍摄得到的低光照图像分解为反射层(也称反射图像)和光照图(也称照度图像)，然后可以直接将该反射层作为场景内容的恢复结果，得到恢复图像，或者可以采用该光照图对反射层进行微调后，将微调后的反射层作为场景内容的恢复结果，得到恢复图像。但是基于视网膜皮层理论的算法需要同时估计出准确的反射层和光照图，两者都必须精确才能得到理想的处理效果。而本专利技术实施例提供的图像增强处理方法，可以采用回归网络模型分别提取指定图像(例如低光照图像)的内容特征图和边缘特征图，其中该内容特征图可以用于反映指定图像的场景内容，该边缘特征图可以反映指定图的边缘特征，因此将该内容特征图和边缘特征图进行融合处理得到的恢复图像能够在恢复场景真实内容的同时，保证指定图像的细节边缘特征也得到有效恢复，其处理效果较好。请参考图1，其示出了本专利技术实施例提供的图像增强处理方法的应用场景的示意图。该图像增强处理方法可以应用于具有拍摄功能的终端00中。参考图1，该终端00可以为智能手机，或者，该终端00也可以为计算机、平板电脑、照相机、可穿戴设备或者车载设备等，本专利技术实施例对该终端00的类型不做限定。在本专利技术实施例中，终端00中可以安装有图像处理类应用程序01，终端00在启动该图像处理类应用程序01后，可以采用本专利技术实施例提供的图像增强方法，对指定图像进行图像增强处理。该指定图像可以为终端00通过该图像处理类应用程序01拍摄得到的图像，或者可以为终端00通过其他拍摄类应用程序拍摄得到的图像，或者还可以为终端00中预先存储的图像。请参考图2，其示出了本专利技术一个实施例提供的图像增强处理方法的流程图。本实施例以该图像增强处理方法应用于图1所示的终端00来举例说明。参考图2，该方法可以包括：步骤101、采用第一回归网络模型对指定图像进行处理，得到该指定图像的内容特征图。该第一回归网络模型可以为基于卷积神经网络的网络模型。该内容特征图可以用于反映该指定图像的场景信息，也即是，可以反映该指定图像中具体包含哪些拍摄对象。步骤102、采用第二回归网络模型对该指定图像的梯度图进行处理，得到该指定图像的边缘特征图。进一步的，终端可以获取该指定图像的梯度图，该梯度图可以反映该指定图像中每个像素的邻域内的灰度变化。终端采用第二回归网络模型对该梯度图进行处理后，即可得到该指定图像的边缘特征图。该第二回归网络模型可以为基于卷积神经网络和循环神经网络的网络模型，该边缘特征图可以用于反映该指定图像的边缘特征。其中，图像的边缘是指图像中特性(如像素灰度、纹理等)分布的不连续处，边缘一般存在于图像中物体与背景之间或者物体与物体之间。步骤103、采用融合处理模型，对该内容特征图和该边缘特征图进行融合处理，得到恢复图像。该融合处理模型可以为基于卷积神经网络的模型。终端通过融合处理模型，对该内容特征图和该边缘特征图进行融合处理所得到的恢复图像，不仅可以恢复指定图像的场景信息，还可以有效恢复该指定图像的边缘特征，该恢复图像的视觉效果较好，有效提高了该图像增强处理方法的处理效果。需要说明的是，上述第一回归网络模型、第二回归网络模型以及融合处理模型的组合即为本专利技术实施例提供的增强处理方法所采用的增强处理模型。综上所述，本专利技术实施例提供了一种图像增强处理方法，该方法可以采用第一回归网络模型得到该指定图像的内容特征图，并可以采用第二回归网络模型得到该指定图像的边缘特征图，最后对该内容特征图和该边缘本文档来自技高网...

【技术保护点】
1.一种图像增强处理方法，其特征在于，所述方法包括：采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。

【技术特征摘要】
1.一种图像增强处理方法，其特征在于，所述方法包括：采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图；采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图；采用融合处理模型，对所述内容特征图和所述边缘特征图进行融合处理，得到恢复图像。2.根据权利要求1所述的方法，其特征在于，所述第一回归网络模型包括：N个卷积块，以及与所述N个卷积块一一对应的N个反卷积块，所述N为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；所述采用第一回归网络模型对指定图像进行处理，得到所述指定图像的内容特征图，包括：采用所述N个卷积块依次对所述指定图像进行处理，得到中间特征图；采用所述N个反卷积块依次对所述中间特征图进行处理，得到所述内容特征图。3.根据权利要求2所述的方法，其特征在于，所述N等于3；所述N个卷积块包括第一卷积块、第二卷积块和第三卷积块，其中，所述第一卷积块包括：两个腐蚀卷积层和一个卷积层；所述第二卷积块包括：两个卷积层和一个下采样卷积层；所述第三卷积块包括：三个卷积层；所述N个反卷积块包括第一反卷积块、第二反卷积块和第三反卷积块，其中，所述第一反卷积块包括：三个卷积层；所述第二反卷积块包括：一个反卷积层和两个卷积层；所述第三反卷积块包括：一个反卷积层和两个卷积层。4.根据权利要求1所述的方法，其特征在于，所述第二回归网络模型包括：M个卷积块、与所述M个卷积块一一对应的M个反卷积块以及循环神经网络模型，所述M为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；所述采用第二回归网络模型对所述指定图像的梯度图进行处理，得到所述指定图像的边缘特征图，包括：采用所述M个卷积块依次对所述指定图像的梯度图进行处理，得到中间梯度特征图；采用所述M个反卷积块依次对所述中间梯度特征图进行处理，得到第一特征图；确定所述循环神经网络模型在不同梯度方向上的权重值；基于确定权重值的所述循环神经网络模型，对所述第一特征图进行处理，得到所述指定图像的边缘特征图。5.根据权利要求4所述的方法，其特征在于，所述第二回归网络模型，还包括：下采样模型，所述下采样模型包括多个不同尺度的下采样卷积层；所述确定所述循环神经网络模型在不同梯度方向上的权重值，包括：采用所述多个不同尺度的下采样卷积层分别对叠加图像进行处理，得到多个不同尺度的第二特征图，其中，所述叠加图像为对所述指定图像和所述梯度图进行叠加后得到的图像；对所述第一特征图和所述多个不同尺度的第二特征图进行分层处理，确定所述循环神经网络模型在不同梯度方向上的权重值。6.根据权利要求4所述的方法，其特征在于，所述M等于3；所述M个卷积块包括第四卷积块、第五卷积块和第六卷积块，其中，所述第四卷积块包括：两个卷积层和一个下采样卷积层；第五卷积块包括：两个卷积层和一个下采样卷积层；第六卷积块包括：三个卷积层；所述M个反卷积块包括第四反卷积块、第五反卷积块和第六反卷积块，其中，第四反卷积块包括：三个卷积层；第五反卷积块包括：一个反卷积层和两个卷积层；第六反卷积块包括：一个反卷积层和两个卷积层。7.根据权利要求1至6任一所述的方法，其特征在于，所述第一回归网络模型包括：N个卷积块，以及与所述N个卷积块一一对应的N个反卷积块；所述第二回归网络模型包括：M个卷积块、与所述M个卷积块一一对应的M个反卷积块；所述N和M均为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不...

【专利技术属性】
技术研发人员：任文琦，马林，刘威，操晓春，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44