基于神经网络的图像处理方法及装置制造方法及图纸

本发明专利技术提供了一种基于神经网络的图像处理方法，包括：使用生成模型对第一图像进行填充运算来获得第二图像，其中，第一图像为对原始图像进行尺寸压缩后生成的图像，所述第二图像的尺寸与所述原始图像的尺寸成指定比例；使用判别模型对原始图像和第二图像进行有监督学习来获得第一对比结果，并且使用细节对比模型来计算原始图像的特征图和第二图像的特征图，进而确定第二对比结果，其中，第二对比结果表示原始图像的特征图和第二图像的特征图的差异；基于第一对比结果和第二对比结果来训练生成模型和判别模型。本发明专利技术的图像处理方法能够还原较高压缩比的图像，从而大幅度提高图像的压缩比，节约传输图像服务的带宽需求和存储空间需求。

【技术实现步骤摘要】
基于神经网络的图像处理方法及装置
本专利技术涉及图像处理，尤其涉及基于神经网络的图像处理方法及装置。
技术介绍
图像压缩指以较少的数据量有损或无损地表示原来的像素矩阵的技术，从而用更加高效的格式存储和传输数据。图像数据之所以能被压缩，就是因为数据中存在着冗余，比如：图像中相邻像素间的相关性引起的空间冗余、不同彩色平面或频谱带的相关性引起的频谱冗余等。数据压缩的目的就是通过去除这些数据冗余来减少表示数据所需的比特数。图像的压缩分为有损压缩和无损压缩，有损压缩是指在压缩过程中忽略掉一些不敏感的信息，虽然不能完全还原出原数据，但能获取更高的压缩比。无损压缩则指仅去除数据的冗余信息，通过信息熵的方式来进行重新编码，来获取尽可能高的压缩比，无损压缩后的数据能够完整的还原出原数据。图像放大是指对图像进行尺寸上的放大。很显然原始图像中的信息不足以包含放大后所有的图像信息，所以这种放大一定是失真的。图像放大算法即研究如何在尽量减少失真的情况下，通过不同的插值方法，把原始图像放大到指定的尺寸上。常见的图像放大算法有双线性插值，双立方插值等方法。神经网络(NeuralNetwork)是一种人为设计的网络结构，其本质是多层感知机(Multi-layerPerceptron)。感知机由若干神经元(Neuron)构成，每个神经元从外部或其它节点收到输入信号，并通过激活函数得到输出信号，就像大脑中神经元的信号传递。神经元按层相连，形成网络结构。与神经细胞不同，人工神经元的信号能够反向传播，这种反馈机制让感知机具备学习功能。除了学习功能，多层感知机可以表示非线性映射，因此神经网络能够帮助人们解决一些相对复杂的问题，如模式识别、自动控制、决策评估、预测等。应用场景分为有监督学习，无监督学习和半监督学习等，通过定义不同的损失函数来描述目标、拟合参数来达到网络的目的。
技术实现思路
针对目前在图像处理中只能还原较低压缩比的图像的问题，本专利技术一方面提供了一种基于神经网络的图像处理方法，包括：使用生成模型对所述第一图像进行填充运算来获得第二图像，其中，所述第一图像为对原始图像进行尺寸压缩后生成的图像，所述第二图像的尺寸与所述原始图像的尺寸成指定比例；使用判别模型对所述原始图像和所述第二图像进行有监督学习来获得第一对比结果，并且使用细节对比模型来计算所述原始图像的特征图和所述第二图像的特征图，进而确定第二对比结果，其中，所述第二对比结果表示所述原始图像的特征图和所述第二图像的特征图的差异；基于所述第一对比结果和所述第二对比结果来训练所述生成模型和所述判别模型。一个实施例中，所述方法还包括：利用训练后的生成模型来还原第三图像，其中，所述第三图像为经压缩的图像。一个实施例中，所述第二图像的尺寸与所述原始图像的尺寸相同。一个实施例中，使用生成模型对第一图像进行填充运算来获得第二图像包括：使用生成模型对第一图像进行多层卷积运算来获得第二图像。一个实施例中，基于所述第一对比结果和所述第二对比结果来训练所述生成模型和所述判别模型包括：将所述第一对比结果和所述第二对比结果作为模型损失，使用反向传播方法来训练所述生成模型和所述判别模型。一个实施例中，所述第一对比结果为正误损失，并且所述第二对比结果为细节损失。一个实施例中，所述细节损失为针对进行标注的关键区域的细节损失。一个实施例中，所述细节对比模型基于细节对比网络的特征图隐含层来构建。一个实施例中，所述生成模型和/或所述判断模型基于卷积神经网络来构建。本专利技术另一方面提供了一种基于神经网络的图像处理装置，包括：存储器，其用于存储指令；以及处理器，其耦合到所述存储器，所述指令在由所述处理器执行时使得所述装置执行上述任一项所述的方法。本专利技术另一方面提供了一种计算机可读存储介质，所述存储介质包括指令，所述指令被执行时，使得所述计算机的处理器执行上述任一项所述的方法。本专利技术的图像处理方法能够还原较高压缩比的图像，从而大幅度提高图像的压缩比，节约传输图像服务的带宽需求和存储空间需求；与传统的图像插值放大算法相比，通过卷积神经网络进行图像生成，得到的图像更加清晰、精准，细节还原更佳，可以承载更高的放大比例；通过引入特征图卷积层作为额外的损失来加强生成模型的图像细节还原度；可以通过更加自定义化的损失函数定义来增强模型性能，比如：对文件影印的图像数据库的样本的文字区域进行标注，增加文字区域的细节损失惩罚，使生成模型对文字区域更加敏感，根据需求突出更重要的信息。附图说明图1根据本专利技术的实施例的基于神经网络的图像处理方法的流程图100；图2根据本专利技术的基于神经网络的图像处理方法的一个实施例的流程图200；图3本专利技术的实施例的基于神经网络的图像处理装置300的示意图。具体实施方式以下参考附图详细描述本公开的各个示例性实施例。附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。本文所使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”，表示还可以包括其他内容。术语“基于”是“至少部分地基于"。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”，等等。对于相关领域普通技术人员已知的技术、方法和装置可能不作详细讨论，但在适当情况下，所述技术、方法和装置应当被视为说明书的一部分。对于附图中的各单元之间的连线，仅仅是为了便于说明，其表示至少连线两端的单元是相互通信的，并非旨在限制未连线的单元之间无法通信。术语解释正误损失：描述生成的图像跟原来图像相比是否真实的量化衡量，例如，用交叉熵来衡量。细节损失：描述两个图像细节之间的差异的量化衡量。细节对比网络：对比图像细节获得细节损失的神经网络，即经过大规模图像分类数据集(例如，ImageNet数据集)训练完成的深度神经网络的若干卷积层形成的网络，例如，残差网络(ResNet)。图1示出了根据本专利技术的实施例的基于神经网络的图像处理方法的流程图100。步骤S101：使用生成模型对第一图像进行填充运算来获得第二图像，其中，第一图像为对原始图像进行尺寸压缩后生成的图像，所述第二图像的尺寸与所述原始图像的尺寸成指定比例。这里所涉及的原始图像包括未经压缩的场景图像，比如用户身份证、护照、文件影印等场景的图像等等。步骤S102：使用判别模型对原始图像和第二图像进行有监督学习来获得第一对比结果，并且使用细节对比模型来计算原始图像的特征图和第二图像的特征图，进而确定第二对比结果，其中，第二对比结果表示原始图像的特征图和第二图像的特征图本文档来自技高网...

【技术保护点】
1.一种基于神经网络的图像处理方法，包括：使用生成模型对第一图像进行填充运算来获得第二图像，其中，所述第一图像为对原始图像进行尺寸压缩后生成的图像，所述第二图像的尺寸与所述原始图像的尺寸成指定比例；使用判别模型对所述原始图像和所述第二图像进行有监督学习来获得第一对比结果，并且使用细节对比模型来计算所述原始图像的特征图和所述第二图像的特征图，进而确定第二对比结果，其中，所述第二对比结果表示所述原始图像的特征图和所述第二图像的特征图的差异；基于所述第一对比结果和所述第二对比结果来训练所述生成模型和所述判别模型。

【技术特征摘要】
1.一种基于神经网络的图像处理方法，包括：使用生成模型对第一图像进行填充运算来获得第二图像，其中，所述第一图像为对原始图像进行尺寸压缩后生成的图像，所述第二图像的尺寸与所述原始图像的尺寸成指定比例；使用判别模型对所述原始图像和所述第二图像进行有监督学习来获得第一对比结果，并且使用细节对比模型来计算所述原始图像的特征图和所述第二图像的特征图，进而确定第二对比结果，其中，所述第二对比结果表示所述原始图像的特征图和所述第二图像的特征图的差异；基于所述第一对比结果和所述第二对比结果来训练所述生成模型和所述判别模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用训练后的生成模型来还原第三图像，其中，所述第三图像为经压缩的图像。3.根据权利要求1所述的方法，其特征在于，所述第二图像的尺寸与所述原始图像的尺寸相同。4.根据权利要求1所述的方法，其特征在于，使用生成模型对第一图像进行填充运算来获得第二图像包括：使用生成模型对第一图像进行多层卷积运算来获得第二图像。5.根据权利要求1所...

【专利技术属性】
技术研发人员：安睿，
申请(专利权)人：众安信息技术服务有限公司，
类型：发明
国别省市：广东,44