一种自调整采样优化的图像分类方法、设备及介质技术

本发明专利技术提供一种自调整采样优化的图像分类方法、设备及介质，包括：获取训练图像；最小化训练图像分类的交叉熵，自动确定深度神经网络的网络结构和参数；采用得到的所述深度神经网络对待分类图像进行处理，得到图像分类结果。本发明专利技术能基于给定的图像数据，自动调整设计基于深度神经网络的图像分类方法，减少人为设计的繁杂性和人力资源消耗，同时在计算资源限定的情况下，能实现较高的分类准确率，保证了图像分类方法的稳定性和实用性。了图像分类方法的稳定性和实用性。了图像分类方法的稳定性和实用性。

【技术实现步骤摘要】
一种自调整采样优化的图像分类方法、设备及介质


[0001]本专利技术涉及人工智能和图像处理
，具体涉及一种自调整采样优化的图像分类方法，及其计算机设备及可读存储介质。

技术介绍

[0002]随着计算能力的发展和大数据的获取，人工智能在近些年来取得了飞速的发展，对于图像分类等图像处理应用需求也越来越高。最初的图像处理由于设备采集到的图像质量不高，对特征提取的要求也比较低，所以主要采用的技术是手工特征的提取。后来随着图像质量的不断提升，产业界对图像处理的精度要求也不断提高。一些手工设计的特征提取算子例如LBP和信号处理方法例如傅里叶分析，进一步促进了图像处理的发展。但是手工设计的特征学习算子是基于科学家对给定图像的认识和分析，始终保留着人为先验带来的认识偏见，同时对于未知图像的泛化能力较差，并且在大数据集的自然图像分类任务上的性能始终无法超越人类。而神经网络则是将特征提取算子和分类器联合在一起进行端到端的训练，通过大数据驱动的方式使得网络自动学习到最适用于图像分类目标的特征提取滤波器组。神经网络的出现摒弃了人为的手工设计特征也无需繁杂的图像预处理工作，并且在图像分类任务上达到了超越人类专家的性能。虽然神经网络的出现使得人们无需手工设计特征提取算子，并且大幅提高了图像分类的性能，但是神经网络本身的架构仍然是依赖行业专家进行手工设计搭建。
[0003]手动设计的神经网络在过去的十多年里在图像分类任务上取得了不错的效果，但日渐复杂的神经网络以及各式各样的图像分类需求使得设计网络成为了一种繁杂、效率低下且资源消耗大的工作。自调整采样优化则赋予机器自主设计针对特定图像分类的网络的能力，为工业应用中针对图像分类任务的深度神经网络搭建提供了一种更加高效和便捷的解决方案，例如高效应用于不同目标的图像数据(如自然图像、医学图像等)，高效配置于不同计算资源的设备(如中心服务器、边缘设备等)。随着算力的提升以及大数据的发展，基于神经网络的图像分类方法在近些年来得到了一定的关注和发展，比如，Googlenet、Resnet、Densenet等神经网络架构在自然图像数据集ImageNet上的图像分类精度已经超过人类，但是过长的网络设计时间和特定的面向数据集使得基于神经网络的图像分类方法不具有实用性。因此，现在需要新的基于神经网络的图像分类方法在保证较高性能的同时大幅度降低网络设计的时间，并根据特定数据集自适应地进行设计调整，使得图像分类方法能实际部署在工业应用中。
[0004]另外，现有的基于神经网络的图像分类方法还存在以下不足：(1)针对给定的图像数据，手工设计基于神经网络的图像分类方法，设计过程繁杂且效率低下；(2)手工设计的基于神经网络的图像分类方法，由于专家知识的局限，导致其不是最佳的图像分类方法，性能较差，有较大提升空间。

技术实现思路

[0005]本专利技术针对现有技术的不足，提供了一种自调整采样优化的图像分类方法，能根据给定的图像数据，自动确定深度神经网络的网络结构和参数，用于图像分类，大幅度减少设计时间和人力资源消耗，同时在限定计算资源的情况下，能实现更高的图像分类准确率。
[0006]根据本专利技术的第一方面，提供一种自调整采样优化的图像分类方法，包括：
[0007]获取训练图像；
[0008]最小化训练图像分类的交叉熵，自动确定深度神经网络的网络结构和参数；
[0009]采用得到的所述深度神经网络对待分类图像进行处理，得到图像分类结果。
[0010]可选地，将训练图像分为两部分，将训练图像分为两部分，其中，所述最小化训练图像分类的交叉熵，自动确定深度神经网络的网络结构和参数，包括：
[0011]S1，根据图像分类所有可能的操作，在限定网络层数的情况下，利用基本单元构建超网络，所述超网络是由包含所有可能操作和所有可能层间连接边的基本单元堆叠而成；
[0012]S2，基于超网络的结构参数，利用Gumbel
‑
Softmax重参数化的技术从超网络采样基本单元中操作和边的选择个数；然后进一步使用Gumbel
‑
Softmax的Subset采样的技术采样对应数目的操作和边，得到对应的采样网络；
[0013]S3，将第一部分训练图像输入所述采样网络，生成预测类别标签；根据所述预测类别标签与真实类别标签，计算图像分类交叉熵损失；利用梯度下降方法根据所述图像分类交叉熵损失更新超网络的网络参数；
[0014]S4，将第二部分训练图像输入所述采样网络，生成预测类别标签；根据所述预测类别标签与真实类别标签，计算图像分类交叉熵损失，以及所述超网络的结构参数的后验概率与M稀疏诱导先验概率的KL散度损失，将所述KL散度损失和所述图像分类交叉熵损失相加得到整体损失函数；利用梯度下降方法根据所述整体损失函数对所述超网络的结构参数进行训练更新，并通过不断降低退火温度系数来降低采样网络和目标网络的偏差；
[0015]重复S2～S4不断迭代更新所述超网络的网络参数和结构参数，直到收敛，将更新得到的新基本单元堆叠构建目标网络；
[0016]S5，将全部训练图像输入所述目标网络，生成预测的图像类别标签，根据所述预测的图像类别标签与真实的图像类别标签，计算图像分类的交叉熵损失，训练目标网络直至收敛，用于图像分类。
[0017]可选地，所述KL散度损失，是操作和边各自的选择个数的后验概率和M稀疏诱导先验概率，以及操作和边的后验概率和M稀疏诱导先验概率的相对熵之和。
[0018]可选地，所述M稀疏诱导先验概率，是指先验概率分布为其中Z是取决于有限空间量化精度的归一化常数因子，并通过优化后验概率与所述M稀疏诱导先验概率的KL散度损失，使得M个结构参数的后验概率趋向于其余的趋向于0。
[0019]进一步的，对于基本单元中的边以及每一条边上的操作都赋予所述M稀疏诱导先验概率，通过优化其与后验概率的相对熵，使得结构参数趋向于稀疏化，降低自调整采样过程中的不确定性，减少采样网络和目标网络的偏差。
[0020]可选地，所述后验概率，是指利用Gumbel
‑
Softmax重参数化技术得到的近似真实离散概率分布的Concrete概率分布，其使得所述Concrete概率分布的参数能利用梯度下降
方法进行更新求解，同时随着退火温度系数的降低，逐渐减小与真实离散分布的偏差。
[0021]根据本专利技术的第二方面，提供一种计算机设备，包括存储器、处理器及存储在存储上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的自调整采样优化的图像分类方法。
[0022]根据本专利技术的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的自调整采样优化的图像分类方法。
[0023]根据本专利技术的第四方面，提供一种芯片系统，包括处理器，所述处理器与存储器的耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述的自调整采样优化的图像分类方法。...

【技术保护点】

【技术特征摘要】
1.一种自调整采样优化的图像分类方法，其特征在于，包括：获取训练图像；最小化训练图像分类的交叉熵，自动确定深度神经网络的网络结构和参数；采用得到的所述深度神经网络对待分类图像进行处理，得到图像分类结果。2.根据权利要求1所述的自调整采样优化的图像分类方法，其特征在于，将训练图像分为两部分，其中，所述最小化训练图像分类的交叉熵，自动确定深度神经网络的网络结构和参数，包括：S1，根据图像分类所有可能的操作，在限定网络层数的情况下，利用基本单元构建超网络，所述超网络是由包含所有可能操作和所有可能层间连接边的基本单元堆叠而成；S2，基于超网络的结构参数，利用Gumbel
‑
Softmax重参数化的技术从超网络采样基本单元中操作和边的选择个数；然后进一步使用Gumbel
‑
Softmax的Subset采样的技术采样对应数目的操作和边，得到对应的采样网络；S3，将第一部分训练图像输入所述采样网络，生成预测类别标签；根据所述预测类别标签与真实类别标签，计算图像分类交叉熵损失；利用梯度下降方法根据所述图像分类交叉熵损失更新超网络的网络参数；S4，将第二部分训练图像输入所述采样网络，生成预测类别标签；根据所述预测类别标签与真实类别标签，计算图像分类交叉熵损失，以及所述超网络的结构参数的后验概率与M稀疏诱导先验概率的KL散度损失，将所述KL散度损失和所述图像分类交叉熵损失相加得到整体损失函数；利用梯度下降方法根据所述整体损失函数对所述超网络的结构参数进行训练更新，并通过不断降低退火温度系数来降低采样网络和目标网络的偏差；重复S2～S4不断迭代更新所述超网络的网络参数和结构参数，直到收敛，将更新得到的新基本单元堆叠构建目标网络；S5，将全部训练图像输入所述目标网络，生成预测的图像类别标签，根据所述预测的图像类别标签与真实的图像类别标签，计算图像分类的交叉熵损失，训练目标网络直至收敛，用于图像分类。3.根据权利要求2所述的自调整采样优化的图像分类方法，其特征在于，所述KL散度损失，是操作和边各自的选择个数...

【专利技术属性】
技术研发人员：戴文睿，王曜明，刘育辰，李成林，邹君妮，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：