图像处理方法及装置制造方法及图纸

本公开提供一种图像处理方法及装置，涉及图像处理技术领域，能够解决现有技术方案中对图像的处理无法兼顾高质量显示与低占用带宽的问题。具体技术方案为：将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域；对关键区域对应的图像编码处理后得到关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成非关键区域对应的图像数据。本公开用于在图像处理中兼顾高质量显示与低占用带宽。

Image Processing Method and Device

【技术实现步骤摘要】
图像处理方法及装置
本公开涉及图像处理
，尤其涉及图像处理方法及装置。
技术介绍
图像是人们获取信息的主要渠道，随着技术的发展，图像质量越来越高，相应的，图像数据量也越来越大，对于图像的传输，由于传输时带宽有限，一般都需要对图像进行压缩处理后再进行传输。现有图像压缩可分为有损压缩和无损压缩两大类。目前业界主流的有损压缩算法例如JPEG等，其设计目标是在不影响人类可分辨的图片质量的前提下，尽可能的压缩文件大小，这意味着去掉了一部分图片的原始信息；而无损压缩算法例如PNG-24使用直接色的点阵图，无损压缩后的数据量是有损压缩的五倍左右，但是，显示效果的提升却相对较小。目前现有的图像处理方案中存在以下问题：有损压缩图像显示效果差、无损压缩占用带宽高，在传输带宽有限的情况下，对图像的处理无法兼顾高质量显示与低占用带宽。
技术实现思路
本公开实施例提供一种图像处理方法及装置，能够解决现有技术方案中对图像的处理无法兼顾高质量显示与低占用带宽的问题。所述技术方案如下：根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域；对关键区域对应的图像编码处理后得到关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成非关键区域对应的图像数据。通过显著性检测神经网络确定出目标图像的关键区域以及非关键区域，对于非关键区域的图像采用生成对抗网络生成显示效果更好且数据量更小的图像，对于关键区域的图像不做高压缩比的压缩处理，从而在传输带宽有限的情况下，对图像的处理可以兼顾高质量显示与低占用带宽。在一个实施例中，将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域，包括：将目标图像输入显著性检测神经网络获取目标图像对应的显著图；根据显著图确定目标图像的关键区域以及非关键区域。在一个实施例中，对关键区域对应的图像编码处理后得到关键区域对应的图像数据，包括：对关键区域对应的图像采用无损压缩算法处理后得到关键区域对应的图像数据。对于关键区域的图像采用无损压缩算法处理可以有效保证用户关注的部分图像内容的图像质量，提高用户体验。在一个实施例中，根据显著图确定目标图像的关键区域以及非关键区域，包括：根据预设阈值对显著图进行处理；其中，显著图中灰度值大于预设阈值的像素点赋值为1，显著图中灰度值小于或等于预设阈值的像素点赋值为0；根据处理后的显著图与目标图像进行矩阵点乘运算确定关键区域，并根据关键区域与目标图像确定非关键区域。在一个实施例中，显著性检测神经网络以及生成对抗网络中包含的卷积神经网络中数据类型为16位定点；显著性检测神经网络以及生成对抗网络中的稀疏矩阵是按照以下方式存储的：按照预设顺序存储稀疏矩阵中的非零值后将非零值记为1转化为二进制矩阵并存储。通过简化卷积神经网络中的数据类型以及稀疏矩阵的数据存储，可以有效节省存储空间并且可以加快处理速度。在一个实施例中，显著性检测神经网络是基于VGG卷积神经网络搭建的。根据本公开实施例的第二方面，提供一种图像处理装置，该装置包括：确定模块，用于将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域；处理模块，用于对关键区域对应的图像编码处理后得到关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成非关键区域对应的图像数据。通过显著性检测神经网络确定出目标图像的关键区域以及非关键区域，对于非关键区域的图像采用生成对抗网络生成显示效果更好且数据量更小的图像，对于关键区域的图像不做高压缩比的压缩处理，从而在传输带宽有限的情况下，对图像的处理可以兼顾高质量显示与低占用带宽。在一个实施例中，确定模块具体用于：将目标图像输入显著性检测神经网络获取目标图像对应的显著图；根据显著图确定目标图像的关键区域以及非关键区域。在一个实施例中，处理模块具体用于：对关键区域对应的图像采用无损压缩算法处理后得到关键区域对应的图像数据。对于关键区域的图像采用无损压缩算法处理可以有效保证用户关注的部分图像内容的图像质量，提高用户体验。在一个实施例中，确定模块具体用于包括：根据预设阈值对显著图进行处理；其中，显著图中灰度值大于预设阈值的像素点赋值为1，显著图中灰度值小于或等于预设阈值的像素点赋值为0；根据处理后的显著图与目标图像进行矩阵点乘运算确定关键区域，并根据关键区域与目标图像确定非关键区域。在一个实施例中，显著性检测神经网络以及生成对抗网络中包含的卷积神经网络中数据类型为16位定点；显著性检测神经网络以及生成对抗网络中的稀疏矩阵是按照以下方式存储的：按照预设顺序存储稀疏矩阵中的非零值后将非零值记为1转化为二进制矩阵并存储。通过简化卷积神经网络中的数据类型以及稀疏矩阵的数据存储，可以有效节省存储空间并且可以加快处理速度。在一个实施例中，显著性检测神经网络是基于VGG卷积神经网络搭建的。本公开实施例提供的图像处理方法及装置，通过显著性检测神经网络确定出目标图像的关键区域以及非关键区域，对于非关键区域的图像采用生成对抗网络生成显示效果更好且数据量更小的图像，对于关键区域的图像不做高压缩比的压缩处理，从而在传输带宽有限的情况下，对图像的处理可以兼顾高质量显示与低占用带宽。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是本公开实施例提供的一种图像处理方法的流程示意图；图2是本公开实施例中用于描述显著性的一个示意图；图3是本公开实施例提供的一个显著图的示意图；图4是本公开实施例中生成对抗网络生成图像的流程示意图；图5是本公开实施例提供的一种图像处理方法的实施示意图；图6是本公开实施例提供的一种图像处理方法的效果示意图；图7是本公开实施例中用于描述稀疏矩阵存储的一个示意图；图8是本公开实施例提供的一种图像处理装置的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。本公开实施例提供一种图像处理方法，应用于图像发送设备，例如可以是服务器、移动终端等设备，如图1所示，该图像处理方法包括以下步骤：101、将目标图像输入预设的显著性检测神经网络确定目标图像的关键区域以及非关键区域。视觉显著性(VisualAttentionMechanism，VA)是指面对一个场景时，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人们感兴趣区域被称之为显著区域。例如图2海洋中的水母相对于海洋更显著。视觉显著性检测计算是指利用卷积神经网络(ConvolutionalNeuralNetworks，CNN)模拟人的视觉注意机制，对视场中信息的重要程度进行计算。在本公开的一个实施例中，显著性检测神经网络可以基于VGG卷积神经网络搭建。VGG卷积神经网络的优点是简化了神经网络结构，基于VGG卷积神本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：将目标图像输入预设的显著性检测神经网络确定所述目标图像的关键区域以及非关键区域；对所述关键区域对应的图像编码处理后得到所述关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成所述非关键区域对应的图像数据。

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：将目标图像输入预设的显著性检测神经网络确定所述目标图像的关键区域以及非关键区域；对所述关键区域对应的图像编码处理后得到所述关键区域对应的图像数据，并通过预设的生成对抗网络的生成器生成所述非关键区域对应的图像数据。2.根据权利要求1所述的方法，其特征在于，所述将目标图像输入预设的显著性检测神经网络确定所述目标图像的关键区域以及非关键区域，包括：将所述目标图像输入所述显著性检测神经网络获取所述目标图像对应的显著图；根据所述显著图确定所述目标图像的关键区域以及非关键区域。3.根据权利要求1所述的方法，其特征在于，所述对所述关键区域对应的图像编码处理后得到所述关键区域对应的图像数据，包括：对所述关键区域对应的图像采用无损压缩算法处理后得到所述关键区域对应的图像数据。4.根据权利要求2所述的方法，其特征在于，所述根据所述显著图确定所述目标图像的关键区域以及非关键区域，包括：根据预设阈值对所述显著图进行处理；其中，所述显著图中灰度值大于所述预设阈值的像素点赋值为1，所述显著图中灰度值小于或等于所述预设阈值的像素点赋值为0；根据所述处理后的显著图与所述目标图像进行矩阵点乘运算确定所述关键区域，并根据所述关键区域与所述目标图像确定所述非关键区域。5.根据权利要求1所述的方法，其特征在于，所述显著性检测神经网络以及所述生成对抗网络中包含的卷积神经网络中数据类型为16位定点；所述显著性检测神经网络以及所述生成对抗网络中的稀疏矩阵是按照以下方式存储的：按照预设顺序存储...

【专利技术属性】
技术研发人员：陈海宝，孙浩然，刘奕晨，
申请(专利权)人：西安万像电子科技有限公司，
类型：发明
国别省市：陕西,61