一种组卷积数目搜索方法和装置制造方法及图纸

本发明专利技术涉及神经网络技术领域，特别是涉及一种组卷积数目搜索方法和一种组卷积数目搜索装置，其方法包括：基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定包含满足预设精度条件的多个所述子网结构的种群；对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，可以在不同的部署情况下，选择其合适的子网，相较人工配置而言，本方法可以有效的减少了人工配置组卷积数目的时间，同时，通过修改子网的卷积核大小，重新训练子网，就可以进一步提高子网的精度，本方法实现简单，应用广泛，且精度更高。

【技术实现步骤摘要】
一种组卷积数目搜索方法和装置
本专利技术涉及神经网络
，特别是涉及一种组卷积数目搜索方法和一种组卷积数目搜索装置。
技术介绍
随着深度学习方法的发展，卷积神经网络在计算机视觉、目标检测、语义分割等领域都取得了重大突破。为获取更高的准确率，卷积神经网络所涉及的参数量变得越来越庞大，则限制其在资源有限的平台上进行部署，例如，神经网络vgg16，参数量达到1.3亿个，需要300亿个乘加操作才能对单张尺寸为224x224的图片进行分类分析，导致绝大多数的平台无法对神经网络提供合理的计算空间和存储空间。且目前依旧采用人工将卷积神经网络配置到应用场景中，在配置组卷积参数的时候，需要进行大量的尝试，且配置结果的准确率较低，当更换应用场景后则又需要重新对其参数进行配置，另外采用人工设定的方式在面对上千层卷积网络时就更显得低效，大大降低了卷积神经网络的部署效率。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种组卷积数目搜索方法和相应的一种组卷积数目搜索装置。为了解决上述问题，本专利技术实施例公开了一种组卷积数目搜索的方法，包括：基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定包含满足预设精度条件的多个所述子网结构的种群；对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。进一步地，所述基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数，包括：确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。进一步地，采用伯努利采样方法对各个所述的分组数目进行采样，其中，各个所述选择层中的各个分组数目被采样的概率均等。进一步地，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证，包括：集合多个所述子网结构为初始化种群；将预设的交叉数、变异数以及变异概率同步所述初始化种群；对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群；进一步地，确定包含满足预设精度条件的多个所述子网结构的种群，包括：基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；将所述上一代种群中的K个子网结构进行交叉得到M个子网结构、变异得到N个子网结构；将M个子网结构和N个子网结构形成并集作为下一代种群。进一步地，所述对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网，包括：同步超网结构的权重参数对所述种群中的多个所述子网结构进行训练，以更新所述种群中的多个所述子网结构的模型参数；再次采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证，得到验证精度最高的最佳子网。进一步地，所述通过所述超网结构对所述最佳子网进行再次训练，得到最终子网，包括：根据最终子网的各选择层的分组数目的采样信息，确定该分组数目下卷积层的卷积核尺寸大小；根据所述分组数目增大所述卷积核的尺寸大小。还提供了一种组卷积数目搜索装置，包括：构建模块，用于基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；验证模块，用于采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；确定模块，用于确定包含满足预设精度条件的多个所述子网结构的种群；训练模块，用于对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。本专利技术实施例包括以下优点：通过训练好一个超网，就可以在不同的部署情况下，选择其合适的子网。相较人工配置而言，本方法可以有效的减少了人工配置组卷积数目的时间，同时，通过修改子网的卷积核大小，重新训练子网，就可以进一步提高子网的精度。本方法实现简单，应用广泛，且精度更高。附图说明图1是本专利技术的一种组卷积数目搜索方法实施例的步骤流程图；图2是本专利技术的一种组卷积数目搜索装置实施例的结构框图；图3是本专利技术的一种组卷积数目搜索方法的计算机设备的结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。需要说明的，本实施例中的组卷积数目搜索方法中的组卷积数目指示子网结构，在本实施例中，将卷积层融合与超网结构的每层选择层中，卷积的过程中，卷积层可被分组为多种数目，多层的分组数目串联即为组卷积数目，也就是与超网结构相对应的子网结构；根据分组数目的不同，则应用本方法于实际检测中的准确度也不同，即通过本方法搜索得到的组卷积数目，以该卷积数目确定子网的配置情况并将该配置情况应用于模型中，得以提高模型精度的同时，还能提高检测事项的准确度。本方法主要应用于计算机视觉、目标检测、语义分割等领域。参照图1，示出了本专利技术的一种组卷积数目搜索方法实施例的步骤流程图，具体可以包括如下步骤：S1，基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；S2，采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；S3，确定包含满足预设精度条件的多个所述子网结构的种群；S4，对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。上述实施例中，在已训练好的超网结构中，通过演化学习方法，搜索满足条件多个子网，将搜索到的多个子网结构根据超网结构的权重进行训练后通过验证得到最佳子网，即得到满足条件的组卷积数目。这里所满足的条件包括对所得到最佳子网的模型达到的精度要求、参数数量要求以及检测时间要求等。对于不同的应用平台，需要不同的模型参数，这就意味着需要通过在超网结构的搜索空间中为不同的应用平台适配相应的子网结构。而不同的子网结构的参数量是不同的，参数量越大的子网结构所占用的存储空间便越大，则会影响模型搭载在平台的参数运行的速度。具体地，在超网结构中获取到多个子网结构以及模型参数后，将各个子网集合为一个种群，通过交叉、变异对该种群进行逐代演化，直至得到包含满足预设精度条件的多个所述子网结构的种群，其实在这一步，通过查看种群中的各个子网结构便可得到里面精度最高的最佳子网，但为了进一步搜索到精度更高的子网结构，对种群中的多个所述子网进行模型训练，而再次训练后的多个子网结构其本文档来自技高网...

【技术保护点】
1.一种组卷积数目搜索方法，其特征在于，包括：/n基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；/n采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；/n确定包含满足预设精度条件的多个所述子网结构的种群；/n对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。/n

【技术特征摘要】
1.一种组卷积数目搜索方法，其特征在于，包括：
基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数；
采用交叉和/或变异的验证方法对多个所述子网结构的参数进行验证；
确定包含满足预设精度条件的多个所述子网结构的种群；
对所述种群中的多个所述子网结构进行模型训练，得到验证精度最高的最佳子网。


2.根据权利要求1所述方法，其特征在于，所述基于预设的超网结构中构建多个子网结构，获取各个子网结构的模型参数，包括：
确定所述超网结构的选择层，其中，每个选择层包含多个卷积层，对多个所述卷积层进行分组，形成多种可采样的分组数目；
将各个所述选择层中所采样的其中一种分组数目进行串联构成所述子网结构，其中，每个选择层中的任一分组数目可被重复采样，以构成多个不同的子网结构；
构建多个所述子网结构至所述超网结构收敛，得到各个所述子网结构的模型参数。


3.根据权利要求2所述的方法，其特征在于，采用伯努利采样方法对各个所述的分组数目进行采样，其中，各个所述选择层中的各个分组数目被采样的概率均等。


4.根据权利要求1所述的方法，其特征在于，所述采用交叉/或变异的验证方法对多个所述子网结构进行验证，包括：
集合多个所述子网结构为初始化种群；
将预设的交叉数、变异数以及变异概率同步所述初始化种群；
对所述初始化种群进行迭代生成下一代种群，以得到包含验证精度最高的最佳子网的最终种群。


5.根据权利要求4所述的方法，其特征在于，所述确定包含满足预设精度条件的多个所述子网结构的种群，包括：
基于初始化种群根据预设迭代次数不间断生成相对于上一代种群的下一代种群；
将所述上一代种群中的K个子网结构...

【专利技术属性】
技术研发人员：魏萍，庄伯金，王少军，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44