一种基于遗传算法的卷积神经网络特征图挑选方法技术

本发明专利技术公开了一种基于遗传算法的卷积神经网络特征图挑选方法，涉及遗传算法技术领域。该基于遗传算法的卷积神经网络特征图挑选方法，当种群中有个体的适应度值大于原始分类网络srcNet的精度值，并且该个体的二进制编码中0的数量满足用户的需求时，也即丢弃的特征图的数量满足用户的需求时停止迭代，可以通过遗传算法的优势，即全局搜索和并行计算的能力，对不同特征图进行评估和选择，根据种群大小的设定，选择保留适应度较高的个体，从而保持种群的精英性，从而便于选择最优特征图组合，提高模型的速度和精度；遗传算法还可以考虑不同特征图的重要性，从而在选择特征图时进行权衡，减少特征图之间冗余性，提高模型泛化能力。能力。

【技术实现步骤摘要】
一种基于遗传算法的卷积神经网络特征图挑选方法


[0001]本专利技术涉及遗传算法
，特别涉及一种基于遗传算法的卷积神经网络特征图挑选方法。

技术介绍

[0002]卷积神经网络(Convolutional Neural Networks，CNN)搜索的概念早已存在，1989年Miller等人提出神经进化方法用于进化人工神经网络的权重，对如今CNN搜索方法产生了深远影响，受到学术界和工业界的广泛关注；神经网络架构搜索通过搜索策略在搜索空间中采样一个CNN结构，然后使用特定的性能评估策略评估模型性能，随后将评估后的值反馈给搜索策略；
[0003]1)、卷积神经网络中的特征图通常具有较高的维度，例如在图像识别任务中，特征图可能有几十甚至几百个通道。这导致在模型中处理特征图时计算复杂度较高，速度较慢；
[0004]2)、在卷积神经网络中，不同通道的特征图可能会有较高的冗余性，即它们可能包含了相似的信息，影响模型性能；
[0005]3)、特征图的重要性不均衡，不同通道的特征图在模型中的重要性可能不一样，有些特征图对模型性能的贡献较大，而有些特征图对模型性能的贡献较小。因此，如何根据不同特征图的贡献情况进行选择，成为一个需要解决的问题。
[0006]以上这些原因导致了在卷积神经网络中选择最优的特征图变得复杂和困难，从而需要设计一种基于遗传算法的方法来解决这一问题。
[0007]现有技术在解决卷积神经网络中选择特征图的问题上，主要有以下两种方法：
[0008]1)、基于人工经验的方法：通过专业领域的知识和经验，手动选择特征图；例如，设计者可以根据特征图的通道数、位置、尺寸等特性，选择具有高区分度和鲁棒性的特征图；这种方法简单易行，但依赖于人工经验，可能忽略了一些重要的特征图；
[0009]2)、基于自动化选择的方法：使用自动化的算法或技术，通过对特征图的评估和选择来优化模型；例如，可以使用基于稀疏性、重要性评估、梯度信息等的方法来选择特征图；这种方法具有一定的自动化程度，但可能受限于对特征图的评估准则和方法的选择，可能存在选择偏差和过度拟合的问题。
[0010]然而，现有技术还存在一些不足之处，包括但不限于以下几点：
[0011]1)、选择准则不明确：在特征图选择过程中，评估和选择的准则可能不明确或者难以确定，导致选择的特征图不一定是最优的；
[0012]2)、可解释性差：某些方法在特征图选择过程中缺乏可解释性，难以理解和解释选择的特征图对模型性能的贡献和作用，限制了方法的可靠性和可应用性；
[0013]3)、模型泛化能力不足：特征图的选择可能会导致特征图之间的冗余性较高，从而降低模型的泛化能力，对未知数据的预测性能可能不佳。
[0014]因此，现有技术在解决卷积神经网络中选择特征图的问题上仍存在一些不足之处，需要进一步改进和优化；本专利技术专利方法旨在解决这些不足，并提供一种更高效、更准
确、更具可解释性的卷积神经网络特征图选择方法。

技术实现思路

[0015]本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供一种基于遗传算法的卷积神经网络特征图挑选方法，以解决上述
技术介绍
中提出的问题。
[0016]为实现上述目的，本专利技术提供如下技术方案：以分类网络作为研究对象，其他类型的网络(比如分割网络、回归网络、目标检测网络等)的操作步骤类似；对于一个N(N>2)层的分类网络，前N
‑
1层为卷积层，用于特征提取，第N层(也即最后一层)为全连接层，用于输出分类结果；每一个卷积层里包括了多个特征图(通常是64，128，512，1024)，每一个特征图都是对分类对象的特征描述，本专利技术专利的目的就是在不降低精度的前提下，尽可能的减少特征图的数量，从而达到降低计算量，提升分类识别速度的目的；每一个卷积层里可能还包含了池化、非线性激活、注意力提取等操作，因为这些操作不影响特征图的挑选，所以这里不讨论这些操作。
[0017]对于一个设计好的分类网络，先在一个给定的分类数据集上进行训练，该数据集要分成两部分：训练集和测试集；按照常规的训练方法进行训练，当在测试集上的精度连续5次不再增加时即可停止训练，并保存训练好的模型参数，从而得到一个训练好的网络srcNet。
[0018]分类网络srcNet训练完成后，即可进行特征图的挑选；首先定义一个新的网络gaNet，把srcNet的结构复制给gaNet，然后先从gaNet网络的第一个卷积层开始，修改该卷积层的参数，把输出特征图数量这一参数设置为变量ga_num，相应的第二个卷积层的输入特征图数量这一参数的值也重新设置为变量ga_num，网络的其他参数保持不变。
[0019]执行遗传算法中的初始化种群这一步，随机生成一组初始的二进制编码，也即是0和1组成的多组数字串，作为遗传算法的种群；种群中的每一行的二进制数据即为该种群的个体，每一个个体的二进制数的数量为原始网络srcNet中第一个卷积层的输出特征图数量这一参数的值，0代表不选择该特征图，1代表选择该特征图。种群的个体数量由用户来设定，值越大，则最终挑选出的特征图的数量通常会越少，从而能更好的提升最终的分类识别速度，但挑选所耗费的时间会越长，一般情况下设为30或者50。
[0020]对于种群中的每一个个体，把个体对应的二进制数据BD传入gaNet网络中，然后统计二进制编码数据BD中的1的数量，然后把该数量的值赋值给步骤(3)中的变量ga_num。
[0021]对二进制编码数据BD进行遍历，先找到第一个值为1的数，假设该数对应的序号为i，则表示选中了srcNet网络中第一个卷积层的第i个特征图，则把该特征图的参数复制给gaNet网络中第一个卷积层的第一个特征图。再找到第二个值为1的数，假设该数的序号为j，则表示选中了srcNet网络中第一个卷积层的第j个特征图，则把该特征图的参数复制给gaNet网络中第一个卷积层的第二个特征图，如此循环下去，就完成了gaNet网络中第一个卷积层的初始化；
[0022]对于gaNet网络中第二个卷积层，所以采用正态分布的初始化方法；
[0023]对于gaNet网络中其余的卷积层和最后一个全连接层，其初始化参数从srcNet网络中复制；
[0024]对已经完成初始化的gaNet网络，采用常规的训练方法进行训练，当在测试集上的
精度连续5次没有增加时，则停止该次训练，记录该次训练最好的精度值，作为S5中对应的个体的适应度值。
[0025]对于gaNet网络中第二个卷积层，因为改变了输入参数，其初始化的值无法从srcNet网络中复制，所以采用正态分布的初始化方法。
[0026]对于gaNet网络中其余的卷积层和最后一个全连接层，其初始化参数从srcNet网络中复制。
[0027]对已经完成初始化的gaNet网络，采用常规的训练方法进行训练，当在测试集上的精度连续5次没有增加时，则停止该次训练，记录该次训练最好的精本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于遗传算法的卷积神经网络特征图挑选方法，其特征在于：所述挑选方法以分类网络作为研究对象，其他类型的网络(比如分割网络、回归网络、目标检测网络等)的操作步骤类似；对于一个N(N>2)层的分类网络，前N
‑
1层为卷积层，用于特征提取，第N层(也即最后一层)为全连接层，用于输出分类结果，每一个卷积层里包括了多个特征图；所述挑选方法具体包括以下步骤：S1、对于一个设计好的分类网络，先在一个给定的分类数据集上进行训练，该数据集要分成两部分：训练集和测试集；按照常规的训练方法进行训练，当在测试集上的精度满足预设的停止条件时即可停止训练，并保存训练好的模型参数，从而得到一个训练好的网络srcNet；S2、分类网络srcNet训练完成后，即可进行特征图的挑选，首先定义一个新的网络gaNet，把srcNet的结构复制给gaNet；然后先从gaNet网络的第一个卷积层开始，修改该卷积层的参数，把输出特征图数量这一参数设置为变量ga_num，相应的第二个卷积层的输入特征图数量这一参数的值也重新设置为变量ga_num，网络的其他参数保持不变；S3、随机生成一组初始的二进制编码，也即是0和1组成的多组数字串，作为遗传算法的种群；种群中的每一行的二进制数据即为该种群的个体，每一个个体的二进制数的数量为原始网络srcNet中第一个卷积层的输出特征图数量这一参数的值，0代表不选择该特征图，1代表选择该特征图；S4、对于种群中的每一个个体，把个体对应的二进制数据BD传入gaNet网络中，然后统计二进制编码数据BD中的1的数量，然后把该数量的值赋值给S3中的变量ga_num；S5、对二进制编码数据BD进行遍历，先找到第一个值为1的数，假设该数对应的序号为i，则表示选中了srcNet网络中第一个卷积层的第i个特征图，则把该特征图的参数复制给gaNet网络中第一个卷积层的第一个特征图；再找到第二个值为1的数，假设该数的序号为j，则表示选中了srcNet网络中第一个卷积层的第j个特征图，则把该特征图的参数复制给gaNet网络中第一个卷积层的第二个特征图，如此循环下去，就完成了gaNet网络中第一个卷积层的初始化；对于gaNet网络中第二个卷积层，所以采用正态分布的初始化方法；对于gaNet网络中其余的卷积层和最后一个全连接层，其初始化参数从srcNet网络中复制；对已经完成初始化的gaNet网络，采用常规的训练方法进行训练，当在测试集上的精度连续5次没有增加时，则停止该次训练，记录该次训练最好的精度值，作为S5中对应的个体的适应度值。S6、对于种群中的每一个个体，重复S5，即得到了种群中的每一个个体对应的适应度值，对种群中所有个体的适应度值，将其标准化...

【专利技术属性】
技术研发人员：曾成斌，
申请(专利权)人：贵州理工学院，
类型：发明
国别省市：