一种自动分组的多尺度轻量型深度卷积神经网络优化方法技术

本发明专利技术公开了一种自动分组的多尺度轻量型深度卷积神经网络优化方法，包括：步骤1，采用对称正余弦算法进行演化搜索得到待评价种群；步骤2，对待评价种群使用多尺度轻量型卷积神经网络在图像分类任务上进行适应度评价，得到被评价后的种群；步骤3，将被评价后的种群中最好的个体解码得到最终的网络模型SCA_MblockNet，并进行模型性能评估。本发明专利技术提出的自动分组技术应用于原有的深度卷积神经网络多尺度卷积结构的特征融合模块中，设计出一种改进的多尺度轻量型深度卷积神经网络，在无需领域知识和人工干预的情况下，能将原有卷积神经网络在图像分类数据集上的平均精确度提高2.56％，与几个先进的同类竞争者相比具有显著优势。

【技术实现步骤摘要】
一种自动分组的多尺度轻量型深度卷积神经网络优化方法
本专利技术属于进化深度卷积神经网络结构优化技术研究领域，具体涉及一种自动分组的多尺度轻量型深度卷积神经网络优化方法。
技术介绍
深度卷积神经网络(DCNN)是深度神经网络(DNN)的一种，因为其表现出色的特征提取能力而在计算机视觉(CV)和图像处理领域得到了广泛的应用和发展。卷积神经网络(CNN)是最合适的图像内容表示学习算法之一，并在图像分割、目标检测以及图像分类任务中表现出优秀的性能。例如，在图像分类任务中，从1995年LeNet的问世，到2012年AlexNet在ImageNet挑战赛上表现突出，再到2015年VGGNet，ResNet的提出和2016年DenseNet逐渐展示出卷积神经网络的性能优势。然而，其网络结构复杂，参数量和计算量庞大的不足，导致深度卷积神经网络难以在移动端应用。因此，如何提高卷积神经网络的效率使其能够移植到移动端也成为研究者们致力研究的任务。传统上，大多采用网络剪枝、减少网络层数、优化超参数以及优化网络结构减少网络参数量等简化神经网络的方法。大量的研究工作表明，网络结构的优化对提高卷积神经网络的效率具有重要意义。2016年，SqueezeNet的提出使得轻量化神经网络的研究成为研究者们关心的课题。轻量型深度卷积神经网络的结构设计则是从网络结构的优化方面进行研究的，其主要分为深度可分离卷积和分组卷积两种方法。可分离卷积是将卷积运算分成两层及以上的卷积运算，先将少量卷积与数据进行卷积运算，然后采用1*1的点卷积运算，将输出结构还原为输入结构。例如，轻量型深度可分离网络MobileNet的基本单元可分为深度卷积和逐点卷积两部分。深度卷积对每个输入通道采用不同的卷积核，每个通道之间相互独立，能够在一定程度上减少计算量。分组卷积方法包括多分辨率卷积核分组、多尺度分组以及多通道分组等，通过平衡计算量和表现性能进行设计和应用。例如2017年，ShuffleNet将轻量化模型与压缩模型的方法相结合，在原始ResNet的基础上，采用通道重组、分组卷积和深度卷积进行改进。通过多尺度分组的方式能够在一定程度上将计算量和参数量降低。目前，在深度卷积网络结构优化设计方面主要分为手动、半自动半手动以及自动设计三大类。传统的网络采用手动的方式设计，但需要专家根据领域知识设计。半自动网络结构设计也需要一定的专业知识进行调整。例如，遗传卷积神经网络(GeneticCNN)、模块设计方法(Block-QNN-S)、分层表示方法以及高级神经体系结构搜索方法(NSANet)，都需要一定的专业知识帮助设计。自动网络结构设计及优化方法，无需任何人工干预和手动调整。例如，大规模进化方法以及笛卡尔遗传规划方法等，不需要专家和先验知识可以搜索出针对特定问题或任务最匹配的结构。现阶段为止，绝大多数自动设计网络结构和参数的方法都是基于进化算法的。进化算法是一种群智能优化方法，该方法不需要领域知识，通过模拟生物的演化过程设计，目的在于寻找特定优化问题的最优解决方案。主流的进化算法包括差分进化、粒子群优化、遗传算法、人工蜂群算法、蚁群算法、教与学算法以及正余弦优化算法等。目前，在神经网络结构设计和搜索方面使用较多的是遗传算法和粒子群优化算法。2020年，孙亚楠等人利用遗传算法的编码性质，将不同的模块和潜在的最优卷积深度编码到个体上，设计出可变长度的基因编码策略，通过变异、交叉和选择，自动演化深度卷积神经网络的结构和连接权重。通过使用遗传算法优化后的卷积神经网络的性能得到一定程度的提升，依然存在由于变长编码策略使其交叉过程的设计具有困难度较高，且交叉过程本身是为定长编码设计的，因此，由变长编码交叉后的子代可能具有多样性不足的局限性。2020年，一种自动搜索卷积神经网络结构的粒子群优化算法被提出，通过更新粒子速度和位置，自动搜索以达到网络结构加速优化的目的，该方法不需要变异和交叉过程，因此，不需要考虑粒子编码长度不一致的情况。正余弦算法也是一种直接通过种群中个体位置的更新并且没有变异和交叉过程，使用起来更加简单和方便，从而在决策空间中搜索最优值的方法。
技术实现思路
本专利技术提出一种自动分组的多尺度轻量型深度卷积神经网络优化方法，其主要目标是改进传统的轻量级深度卷积神经网络的特征融合模块，使其针对不同的深度学习问题或任务，能构建与之最佳匹配的通道分组比例，从而达到增加网络的性能和计算代价的目的。为了达到上述目的，本专利技术采用的技术方案为：一种自动分组的多尺度轻量型深度卷积神经网络优化方法，采用了对称正余弦优化算法对原有基于非均匀分组的多尺度轻量型卷积神经网络中的多尺度卷积模块的通道分组比例进行优化改进，具体步骤包括：步骤1：采用对称正余弦算法进行演化搜索得到待评价种群；步骤2：对步骤1搜索到的待评价种群，使用多尺度轻量型卷积神经网络在图像分类任务上进行适应度评价，得到被评价后的种群，图像分类任务是指采用公用图像分类数据集CIFAR-10作为训练数据集和测试数据集；步骤3：将步骤2中得到的被评价后的种群中最好的个体解码得到最终的网络模型SCA_MblockNet，并进行模型性能评估。进一步地，步骤1所述的采用对称正余弦算法进行演化搜索的具体做法为：步骤1.1：种群初始化，针对待确定的多尺度轻量型卷积模块中的分组比例问题，对进化算法中的种群的个体进行编码，并设置个体的初始适应度值为0，并随机初始化最佳个体；步骤1.2：实例化处理，将待提高的网络分类性能表现看作待优化的目标，设计出需要优化的目标函数，根据实际情况对原有对称正余弦算法位置更新公式中的参数进行设置，以更适合待解决问题的需求，确定评价指标是将个体解码后得到的卷积神经网络的性能表现作为个体的适应度评价指标；步骤1.3：种群更新，使用对称正余弦算法在决策空间中搜索最佳的决策变量，根据对称正余弦算法中的位置变化公式更新个体在决策空间中的位置，检查个体更新后的每一维是否超过设定的边界值，若超过则使用镜像对称的方式进行越界处理；步骤1.4：网络训练及测试，使用每个个体对应的网络在图像分类任务上进行训练和测试，并得到对应的训练时间和分类精度；步骤1.5：环境选择，根据个体的适应度选出下一代个体，根据适应度值选出最优个体Gbest；步骤1.6：判断是否满足预先设定的误差精度或最大迭代次数，若不满足，则返回种群更新，否则，输出待评价种群P。进一步地，步骤2所述的使用多尺度轻量型卷积神经网络进行适应度评价具体做法为：步骤2.1：输入待评价种群P；步骤2.2：对于待评价种群中的每个个体执行解码，将图像分类数据集CIFAR-10的一部分，作为待评价种群的训练数据集Dtrain和测试数据集Dtest进行精度趋势预测，设置训练世代数epoch，设置批处理大小batch_size，设置每次训练的迭代次数iterations，然后在图像分类数据集CIFAR-10上进行网络训练和网络测试；步骤2.3：解码，将解码后的个体信息加入到神经网络的结本文档来自技高网...

【技术保护点】
1.一种自动分组的多尺度轻量型深度卷积神经网络优化方法，其特征在于，采用了对称正余弦优化算法对原有基于非均匀分组的多尺度轻量型卷积神经网络中的多尺度卷积模块的通道分组比例进行优化改进，具体步骤包括：/n步骤1：采用对称正余弦算法进行演化搜索得到待评价种群；/n步骤2：对步骤1搜索到的待评价种群，使用多尺度轻量型卷积神经网络在图像分类任务上进行适应度评价，得到被评价后的种群，图像分类任务是指采用公用图像分类数据集CIFAR-10作为训练数据集和测试数据集；/n步骤3：将步骤2中得到的被评价后的种群中最好的个体解码得到最终的网络模型SCA_MblockNet，并进行模型性能评估。/n

【技术特征摘要】
1.一种自动分组的多尺度轻量型深度卷积神经网络优化方法，其特征在于，采用了对称正余弦优化算法对原有基于非均匀分组的多尺度轻量型卷积神经网络中的多尺度卷积模块的通道分组比例进行优化改进，具体步骤包括：
步骤1：采用对称正余弦算法进行演化搜索得到待评价种群；
步骤2：对步骤1搜索到的待评价种群，使用多尺度轻量型卷积神经网络在图像分类任务上进行适应度评价，得到被评价后的种群，图像分类任务是指采用公用图像分类数据集CIFAR-10作为训练数据集和测试数据集；
步骤3：将步骤2中得到的被评价后的种群中最好的个体解码得到最终的网络模型SCA_MblockNet，并进行模型性能评估。


2.根据权利要求1所述的一种自动分组的多尺度轻量型深度卷积神经网络优化方法，其特征在于，步骤1所述的采用对称正余弦算法进行演化搜索的具体做法为：
步骤1.1：种群初始化，针对待确定的多尺度轻量型卷积模块中的分组比例问题，对进化算法中的种群的个体进行编码，并设置个体的初始适应度值为0，并随机初始化最佳个体；
步骤1.2：实例化处理，将待提高的网络分类性能表现看作待优化的目标，设计出需要优化的目标函数，根据实际情况对原有对称正余弦算法位置更新公式中的参数进行设置，以更适合待解决问题的需求，确定评价指标是将个体解码后得到的卷积神经网络的性能表现作为个体的适应度评价指标；
步骤1.3：种群更新，使用对称正余弦算法在决策空间中搜索最佳的决策变量，根据对称正余弦算法中的位置变化公式更新个体在决策空间中的位置，检查个体更新后的每一维是否超过设定的边界值，若超过则使用镜像对称的方式进行越界处理；
步骤1.4：网络训练及测试，使用每个个体对应的网络在图像分类任务上进行训练和测试，并得到对应的训练时间和分类精度；
步骤1.5：环境选择，根据个体的适应度选出下一代个体，根据适应度值选出最优个体Gbest；
步骤1.6：判断是否满足预先设定的误差精度或最大迭代次数，若不满足，则返回种群更新，否则，输出待评价种群P。


3.根据权利要求1所述的一种自动分组的多尺度轻量型深度卷积神经网络优化方法，其特征在于，步骤2所述的使用多尺度轻量型卷积神经网络进行适应度评价具体做法为：
步骤2.1：输入待评价种群P；
步骤2.2：对于待评价种群中的每个个体执行解码，将图像分类数据集CIFAR-10的一部分，作为待评价种群的训练数据集Dtrain和测试数据集Dtest进行精度趋势预测，设置训练世代数epoch，设置批处理大小batch_size，设置每次训练的迭代次数iterations，然后在图像分类数据集CIFAR-10上进行网络训练和网络测试；
步骤2.3：解码，将解码后的个体信息加入到神经网络的结构中，得到具有新的多尺度分组卷积模块的网络；
步骤2.4：网络训练，将得到的带有新的多尺度分组卷积模块SCA_Mblock1和SCA_Mblock2的网络对特定的图像数据集进行训练，得到带有新的多尺度分组卷积模块SCA_Mblock1和SCA_Mblock2的网络的训练精度、训练损失以及训练后的临时网络模型；
步骤2.5：网络测试，将训练后的临时网络模型处理特定的图像分类问题得到网络的测试精度和测试损失，同时，记录每个个体...

【专利技术属性】
技术研发人员：王彬，向甜，金海燕，江巧永，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61