本申请公开了人工智能领域中的一种图像处理方法与装置、神经网络训练的方法与装置。该图像处理方法包括：确定待处理图像中的多个区域图像中每个区域图像对应的纹理复杂度信息；根据所述每个区域图像的纹理复杂度信息，确定所述每个区域图像对应的图像压缩模型，其中，不同的纹理复杂度信息对应不同的图像压缩模型；利用所述每个区域图像对应的压缩模型对所述每个区域图像进行压缩。该方法通过对于待处理图像中不同纹理复杂度的区域图像，使用与该区域图像纹理复杂度相对应的压缩模型进行图像的压缩，提高待处理图像的整体压缩效果。提高待处理图像的整体压缩效果。提高待处理图像的整体压缩效果。
【技术实现步骤摘要】
图像处理方法与装置、神经网络训练的方法与装置
[0001]本申请涉及人工智能领域，并且更具体地，涉及一种图像处理方法与装置、神经网络训练的方法与装置。
技术介绍
[0002]人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
[0003]图像压缩能够减小图像数据中的冗余信息，因此，图像压缩对于提高图像的存储效率和传输效率有着重要意义。传统的图像压缩方法如联合图像专家组(joint photographic experts group，JPEG)在中高码率区域有较好的压缩效果，在低码率区域，传统的图像压缩方法的压缩效果不够理想。
[0004]可以通过神经网络对图像进行压缩，该方法主要利用神经网络和对应的非线性变换提取图像特征，从而达到压缩目的。这种方法相比传统的图像压缩方法，可以省去复杂的参数设计和模块设计。在解压时，可以采用神经网络进行解码以重构图像。如何提高神经网络对图像的压缩性能，成为一个亟需解决的技术问题。
技术实现思路
[0005]本申请提供一种图像处理方法与装置、及神经网络训练的方法与装置，能够提高神经网络对图像的压缩效果。
[0006]第一方面，提供了一种图像处理方法，所述方法包括：确定待处理图像中的多个区域图像中每个区域图像对应的纹理复杂度信息；根据所述每个区域图像对应的纹理复杂度信息，确定所述每个区域图像对应的图像压缩模型，其中，不同的纹理复杂度信息对应不同的图像压缩模型；利用所述每个区域图像对应的图像压缩模型对所述每个区域图像进行压缩。
[0007]一张完整的图像的不同区域中，图像的纹理复杂度可能并不相同。例如，在天空、海滩等背景区域，图像的纹理复杂度较低；在包括人物等目标的兴趣区域或前景区域，图像复杂度较高。
[0008]通过将待处理图像划分为多个区域图像，对每个区域图像分别使用与该图像纹理复杂度相对应的压缩模型进行图像的压缩，可以对待处理图像中不同纹理复杂度的区域进行与该纹理复杂度相适应的压缩处理，以提高对待处理图像整体的压缩效果。
[0009]结合第一方面，在一些可能的实现方式中，所述方法还包括：利用与压缩所述每个
区域图像的图像压缩模型对应的图像解压模型，对所述每个区域图像压缩后得到的图像特征进行解压缩，得到所述每个区域图像对应的区域解压图像；对所述多个区域解压图像进行拼接处理和优化处理，得到恢复后的待处理图像，所述优化处理包括对所述多个区域解压图像的边沿进行调整。
[0010]由于对一张完整的图像进行了划分，将各个用于处理不同纹理复杂度的图像解压模型通过解压得到的区域解压图像进行拼接，两个相邻的区域解压图像在拼接之后可能出现线条不连续或颜色差异等。通过对一个或多个区域解压图像的边沿区域的像素进行调整，可以使得对经过压缩、解压、拼接处理后的完整图像与处理前的图像之间的图像失真度更小。
[0011]结合第一方面，在一些可能的实现方式中，所述确定待处理图像中的多个区域图像中每个区域图像对应的纹理复杂度信息，包括：计算每个区域图像中每个像素的梯度大小；根据所述每个像素的梯度大小，确定每个区域图像的纹理复杂度信息。
[0012]可以根据像素的亮度或其他颜色的表示方式，确定像素的梯度大小。
[0013]可以利用该区域图像中各个像素的梯度大小的中位数或平均数表示该区域图像的纹理复杂度。
[0014]结合第一方面，在一些可能的实现方式中，所述方法还包括：将所述待处理图像划分为所述多个区域图像，所述多个区域图像不重叠，且所述多个区域图像包括所述待处理图像中的全部像素。
[0015]多个区域图像包括所述待处理图像中的全部像素并且该多个区域图像不重叠，可以降低码率。
[0016]第二方面，提供一种神经网络训练方法，所述方法包括：确定训练图像中的多个训练区域图像中每个训练区域图像对应的纹理复杂度信息；根据所述每个训练区域图像对应的训练纹理复杂度信息，确定所述每个训练区域图像对应的编解码模型，其中，不同的纹理复杂度信息对应不同的编解码模型，每个所述编解码模型用于对输入的所述训练区域图像进行压缩，并对压缩结果进行解压得到多个解压训练区域图像；根据率失真调整所述编解码模型的参数，所述率失真根据所述解压训练区域图像和所述训练区域图像得到。
[0017]通过在训练过程中，针对每种纹理复杂度的训练区域图像，训练与该纹理复杂度相对应的编解码器，使得每个编解码器对于与之相对应的纹理复杂度的图片的压缩性能更好。
[0018]一张完整的图像中，图像的纹理复杂度可能并不相同。例如，在天空、海滩等背景区域，图像的纹理复杂度较低；在包括人物等目标的兴趣区域或前景区域，图像复杂度较高。将一张完整图像划分为多个个区域，从而利用每个区域的图像对编解码器进行训练，能够使得训练数据更加符合编解码器的图像对应的纹理复杂度，从而提升每个编解码器对于与之相对应的纹理复杂度的图片的压缩性能。
[0019]结合第二方面，在一些可能的实现方式中，通过融合模型对所述多个解压训练区域图像进行拼接处理和优化处理，得到所述训练恢复图像，所述优化处理包括对至少一个所述解压训练区域图像的边沿进行调整；根据所述训练恢复图像与所述训练图像之间的图像失真度，调整所述融合模型的参数。
[0020]通过采用融合模型，能够使得编解码器处理后的图像在拼接后图像失真度更小。
[0021]还可以根据所述训练恢复图像与所述训练图像之间的图像失真度，调整所述编解码模型的参数。
[0022]可选地，可以通过“端到端”的方式训练图像处理过程中所需的神经网络模型。
[0023]根据训练恢复图像与所述待处理训练图像的图像失真度，计算率失真，从而根据率失真调整编解码模型、融合模型的参数，完成对编解码模型和融合模型的训练，从而可以实现对图像处理过程中所需的神经网络模型的“端到端”的训练，降低了神经网络训练的复杂度。
[0024]应当理解，率失真可以根据图像失真度和码率确定。码率用于表示图像的压缩程度，可以根据编解码模型的压缩结果确定。
[0025]应当理解，融合模型还可以对解压训练区域图像的边沿之外的其他区域进行调整。
[0026]结合第二方面，在一些可能的实现方式中，所述确定训练图像中的多个训练区域图像中每个训练区域图像对应的纹理复杂度信息，包括：计算每个训练区域图像中每个像素的梯度大小；根据所述每个像素的梯度大小，确定每个训练区域图像的纹理复杂度信息。
[0027]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：确定待处理图像中的多个区域图像中每个区域图像对应的纹理复杂度信息；根据所述每个区域图像对应的纹理复杂度信息，确定所述每个区域图像对应的图像压缩模型，其中，不同的纹理复杂度信息对应不同的图像压缩模型；利用所述每个区域图像对应的图像压缩模型对所述每个区域图像进行压缩。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用与压缩所述每个区域图像的图像压缩模型对应的图像解压模型，对所述每个区域图像压缩后得到的图像特征进行解压缩，得到所述每个区域图像对应的区域解压图像；对所述多个区域解压图像进行拼接处理和优化处理，得到恢复后的待处理图像，所述优化处理包括对至少一个所述区域解压图像的边沿进行调整。3.根据权利要求1或2所述的方法，其特征在于，所述确定待处理图像中的多个区域图像中每个区域图像对应的纹理复杂度信息，包括：计算每个区域图像中每个像素的梯度大小；根据所述每个像素的梯度大小，确定每个区域图像的纹理复杂度信息。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：将所述待处理图像划分为所述多个区域图像，所述多个区域图像不重叠，且所述多个区域图像包括所述待处理图像中的全部像素。5.一种神经网络训练方法，其特征在于，所述方法包括：确定训练图像中的多个训练区域图像中每个训练区域图像对应的纹理复杂度信息；根据所述每个训练区域图像对应的训练纹理复杂度信息，确定所述每个训练区域图像对应的编解码模型，其中，不同的纹理复杂度信息对应不同的编解码模型，每个所述编解码模型用于对输入的所述训练区域图像进行压缩，并对压缩结果进行解压得到多个解压训练区域图像；根据率失真调整所述编解码模型的参数，所述率失真根据所述解压训练区域图像和所述训练区域图像得到。6.如权利要求5所述的神经网络训练方法，其特征在于，所述方法还包括：通过融合模型对所述多个解压训练区域图像进行拼接处理和优化处理，得到训练恢复图像，所述优化处理包括对至少一个所述解压训练区域图像的边沿进行调整；根据所述训练恢复图像与所述训练图像之间的图像失真度，调整所述编解码模型和所述融合模型的参数。7.根据权利要求5或6所述的方法，其特征在于，所述确定训练图像中的多个训练区域图像中每个训练区域图像对应的纹理复杂度信息，包括：计算每个训练区域图像中每个像素的梯度大小；根据所述每个像素的梯度大小，确定每个训练区域图像的纹理复杂度信息。8.根据权利要求5-7中任一项所述的方法，其特征在于，所述方法还包括：将所述训练图像划分为所述多个训练区域图像，所述多个训练区域图像不重叠，且所述多个训练区域图像包括所述训练图像中的全部像素。9.一种图像处理装置，其特征在于，包括存储模块和处理模块；所述存储模块用于存储程序指令；
当所述程序指令在所述处理器中执行时，所述处理模块用于：确定待处理图像中的多个区域图像中每个区域图像对应的纹理复杂度信息；根...
【专利技术属性】
技术研发人员：赵政辉，马思伟，王晶，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。