一种基于神经网络自动构建的影像数据压缩方法技术

本发明专利技术公开了一种基于神经网络自动构建的影像数据压缩方法，包括步骤：待压缩影像数据预处理；初始化神经网络种群；神经网络种群的迭代训练与更新；神经网络种群演化；导出数据完成压缩。其显著效果是：通过神经网络对影像数据进行编码和重建，将影像数据压缩存储至神经网络的参数中，大幅减少了数据占用的存储空间；具有更强的通用性和易用性，能够用于压缩各种类型、不同规模、不同复杂度的影像数据集。集。集。

【技术实现步骤摘要】
一种基于神经网络自动构建的影像数据压缩方法


[0001]本专利技术涉及到影像数据处理
，具体涉及一种基于神经网络自动构建的影像数据压缩方法。

技术介绍

[0002]随着科学技术的发展，智能终端、监控摄像头、遥感卫星等传感器的数量快速增加，使得影像数据的规模也呈爆炸式增长，同时这些传感器的分辨率越来越高，拍摄的影像数据占用的空间也越来越大，使得存储和传输这些影像数据都需要付出较高的代价，降低这些影像数据存储空间的压缩方法具有很高的经济价值和实用价值。
[0003]传统的影像数据压缩方法主要分为无损压缩方法和有损压缩方法，无损影像数据压缩方法通过消除数据中的冗余信息，利用编码替代数据中重复出现的长编码，达到降低数据存储空间的目的。解压缩的过程是利用压缩文件中保存的长编码对应关系，将编码还原为长编码，从而恢复原始的数据。当影像内容简单时，无损数据压缩方法具有较好的压缩效果，但当影像数据内容变复杂时，无损数据压缩方法的压缩效果则会明显降低。
[0004]有损影像数据压缩方法是利用人眼自动使用相近颜色填补丢失颜色的机制，通过算法删除影像中人眼不敏感的颜色变化，以减少数据的存储空间，压缩后的影像数据无法还原。有损影像数据压缩方法能够压缩复杂的影像数据，但需要大幅压缩影像数据存储空间时，压缩后影像数据的信息损失严重。
[0005]综上，传统的影像数据压缩方法压缩和解压速度较快，且具有较强的通用性，能够被应用于处理不同类型的影像数据，但在处理大规模复杂影像数据，且需要保证影像质量时，传统的影像数据压缩方法则会出现数据压缩率低的问题。
[0006]此外，随着近年影像处理和深度学习技术的发展，有研究人员基于编码解码的思想设计神经网络用于压缩影像数据。基于深度学习的影像数据压缩方法能够大幅提高影像数据的压缩比，这类方法存在如下缺陷：一是通常针对某一类影像、某一个影像数据集甚至某一张影像设计特定的网络结构，而设计神经网络是一件专业性较强的工作；二是已有的神经网络都是针对一批数据手动设计的神经网络，当数据规模不断变化时，设计人员难以根据数据集的情况设计出大小合适的神经网络，而且设计的神经网络都需要花很长的时间来进行测试调整，这使得人工设计的深度神经网络不具有通用性，难以被应用到压缩不同类型、不同规模、不同复杂度的影像数据集。

技术实现思路

[0007]针对现有技术的不足，本专利技术的目的是提供一种基于神经网络自动构建的影像数据压缩方法，该方法基于神经网络自动构建技术为不同的数据集自动演化生成不同的神经网络，通过神经网络对影像数据进行压缩和解压，兼具高压缩比和高通用性的优点。
[0008]为达到上述目的，本专利技术采用的技术方案如下：
[0009]一种基于神经网络自动构建的影像数据压缩方法，其关键在于，包括如下步骤：
[0010]步骤1、待压缩影像数据预处理：
[0011]将待压缩影像数据进行归一化处理，并对处理后的影像数据进行聚类分组；
[0012]步骤2、初始化神经网络种群：
[0013]对神经网络种群进行参数配置，根据配置的参数和步骤1获得的数据集随机初始化神经网络种群；
[0014]步骤3、神经网络种群的迭代训练与更新：
[0015]使用步骤1获得的数据集对神经网络种群通过迭代训练的方式进行压缩和解压，并根据解压结果与原始影像的误差对种群中神经网络的参数进行更新；
[0016]步骤4、神经网络种群演化：
[0017]依据种群中神经网络的训练结果，淘汰训练结果较差的神经网络，并随机从种群中挑选神经网络进行演化，当达到最大演化次数时进入步骤5，否则返回步骤3继续训练种群中的神经网络；
[0018]步骤5、导出数据完成压缩：
[0019]选取训练误差最小的神经网络，导出该神经网络的压缩模型对影像数据的编码，同时导出其解压模型的网络结构和参数，完成影像数据的压缩。
[0020]进一步的，步骤1中对待压缩影像数据进行预处理的具体步骤如下：
[0021]步骤1.1、分析待压缩的影像数据集，根据影像的特征评估影像数据集需要划分的组数；
[0022]步骤1.2、将待压缩的影像数据集中的影像归一化处理；
[0023]步骤1.3、使用K
‑
Means算法对影像数据集进行聚类分组，使得同一组内的影像数据相似。
[0024]进一步的，使用K
‑
Means算法对影像数据集进行聚类分组过程如下：
[0025]S1、从待压缩的影像数据集中随机选取3张影像作为聚类中心；
[0026]S2、计算待压缩的影像数据集中影像与聚类中心的距离，将影像的分组标记为距离较近的聚类中心；
[0027]S3、根据分组结果，更新聚类中心，返回步骤S2循环，直到聚类中心不再变化；
[0028]S4、根据聚类结果，将数据集中的影像分组为D1,D2,D3。
[0029]进一步的，步骤2中配置的参数包括神经网络种群中初始神经网络数量、神经网络种群中神经网络最大数量、种群演化最大次数、交叉演化的概率、变异演化的概率、每个批次输入神经网络的影像数量、神经网络参数的学习率。
[0030]进一步的，步骤3中神经网络种群的迭代训练与更新的具体过程为：
[0031]步骤3.1、将步骤1聚类分组获得的影像数据集输入神经网络的压缩模型对影像数据进行下采样，然后生成影像数据的编码；
[0032]步骤3.2、将编码输入神经网络的解压模型对编码进行解码，输出重建后的影像数据；
[0033]步骤3.3、计算解压模型重建的影像数据与原始影像数据之间的误差；
[0034]步骤3.4、利用得到的误差计算神经网络中参数的更新梯度，通过反向传播对解压模型和压缩模型中的参数进行更新。
[0035]进一步的，步骤3.3中解压模型重建的影像数据与原始影像数据之间的误差计算
方式为：
[0036][0037]L是L1与MSSSIM的混合损失函数，其中，α为平衡因子，L
MSSSIM
为感知误差，L
l1
为平均绝对误差，为MSSSIM中的高斯核。
[0038]进一步的，步骤4中神经网络种群演化的过程如下：
[0039]步骤4.1、根据步骤3种群中神经网络的训练结果，对神经网络种群中的神经网络进行排序；
[0040]步骤4.2、根据排序结果淘汰种群中误差较大的神经网络，被淘汰的神经网络不再参与后期的训练和演化；
[0041]步骤4.3、从种群中随机挑选未被淘汰的神经网络，对被挑选的神经网络进行演化以产生新的神经网络加入种群。
[0042]进一步的，步骤4.3对被挑选的神经网络进行演化时包括交叉演化和变异演化，所述交叉演化是将两个神经网络中的结构进行随机交叉，所述变异演化包括增加或修改网络结构中的某一层，过程如下：
[0043]从种群中随机挑选两个未被淘汰的神经网络进行交叉演化，互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络自动构建的影像数据压缩方法，其特征在于，包括如下步骤：步骤1、待压缩影像数据预处理：将待压缩影像数据进行归一化处理，并对处理后的影像数据进行聚类分组；步骤2、初始化神经网络种群：对神经网络种群进行参数配置，根据配置的参数和步骤1获得的数据集随机初始化神经网络种群；步骤3、神经网络种群的迭代训练与更新：使用步骤1获得的数据集对神经网络种群通过迭代训练的方式进行压缩和解压，并根据解压结果与原始影像的误差对种群中神经网络的参数进行更新；步骤4、神经网络种群演化：依据种群中神经网络的训练结果，淘汰训练结果较差的神经网络，并随机从种群中挑选神经网络进行演化，当达到最大演化次数时进入步骤5，否则返回步骤3继续训练种群中的神经网络；步骤5、导出数据完成压缩：选取训练误差最小的神经网络，导出该神经网络的压缩模型对影像数据的编码，同时导出其解压模型的网络结构和参数，完成影像数据的压缩。2.根据权利要求1所述的基于神经网络自动构建的影像数据压缩方法，其特征在于：步骤1中对待压缩影像数据进行预处理的具体步骤如下：步骤1.1、分析待压缩的影像数据集，根据影像的特征评估影像数据集需要划分的组数；步骤1.2、将待压缩的影像数据集中的影像归一化处理；步骤1.3、使用K
‑
Means算法对影像数据集进行聚类分组，使得同一组内的影像数据相似。3.根据权利要求2所述的基于神经网络自动构建的影像数据压缩方法，其特征在于：使用K
‑
Means算法对影像数据集进行聚类分组过程如下：S1、从待压缩的影像数据集中随机选取3张影像作为聚类中心；S2、计算待压缩的影像数据集中影像与聚类中心的距离，将影像的分组标记为距离较近的聚类中心；S3、根据分组结果，更新聚类中心，返回步骤S2循环，直到聚类中心不再变化；S4、根据聚类结果，将数据集中的影像分组为D1,D2,D3。4.根据权利要求1所述的基于神经网络自动构建的影像数据压缩方法，其特征在于：步骤2中配置的参数包括神经网络种群中初始神经网络数量、神经网络种群中神经网络最大数量、种群演化最大次数、交叉演化的概率、变异演化的概率、每个批次输入神经网络的影像数量、神经网络参数的学习率。5.根据权利要求1所述的基于神经网络自动构建的影像数据压缩方法，其特征在于：步骤3中神经网络种群的迭代训练与更新的具体过程为：...

【专利技术属性】
技术研发人员：文力，李朋龙，敖影，丁忆，张滔，罗鼎，马泽忠，张孝成，肖禾，李晓龙，胡艳，张灿，刘亦凡，范文武，吕帅，
申请(专利权)人：重庆市地理信息和遥感应用中心，
类型：发明
国别省市：