基于神经网络拓扑结构的轻量化神经网络结构搜索方法技术

本发明专利技术公开了基于神经网络拓扑结构的轻量化神经网络结构搜索方法，该方法包括：对待检测图像数据集进行预处理，得到预处理后的图像数据集；构建神经网络拓扑结构搜索空间并根据神经网络拓扑结构设计拓扑复杂度评估指标；将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行二次搜索处理并结合拓扑复杂度评估指标，构建轻量化神经网络拓扑结构；根据所述轻量化神经网络拓扑结构对所述待检测图像数据集进行图像检测处理。通过使用本发明专利技术，能够极大地降低人工劳动的成本且提高神经网络结构搜索的效率。本发明专利技术作为基于神经网络拓扑结构的轻量化神经网络结构搜索方法，可广泛应用于神经网络图像检测技术领域。泛应用于神经网络图像检测技术领域。泛应用于神经网络图像检测技术领域。

【技术实现步骤摘要】
基于神经网络拓扑结构的轻量化神经网络结构搜索方法


[0001]本专利技术涉及神经网络图像检测
，尤其涉及基于神经网络拓扑结构的轻量化神经网络结构搜索方法。

技术介绍

[0002]目前煤矸分选的工业现场广泛采用图像识别技术，设计高效神经网络通常需要专业知识储备丰富的人工专家经过多次试错和反复调参，才能寻找到效果较好的网络结构；人工设计神经网络劳动成本大，设计周期长，并且寻找到的网络结构往往是次优结构，另外在工业生产现场，煤炭来源、生产批次会频繁变动，煤炭和矸石外观特征也会频繁发生变化，这需要模型根据这些变化及时作出相应调整，只调整网络参数是难以消除这种偏差的，需要同时对网络的结构和参数进行调整；然而工业现场人员缺乏的这种专业能力，难以根据任务变化而及时调整网络参数；手工设计神经网络需要巨大的劳动成本和较长的设计周期，难以满足工业现场网络模型频繁变化的需要；因此发展出神经网络结构搜索，让机器代替人工自动地搜索设计出搜索空间下的性能最优的神经网络结构；神经网络结构搜索是模型压缩的重要手段之一，神经网络结构搜索(NAS)通常以测试集准确率作为单一目标函数进行搜索能够获得准确率较高的网络结构，但往往得到的网络参数量也是十分庞大，运算成本非常高，运算速度慢，占用大量储存空间，难以在工业设备等计算资源有限的边缘设备、移动设备上高效部署。

技术实现思路

[0003]为了解决上述技术问题，本专利技术的目的是提供基于神经网络拓扑结构的轻量化神经网络结构搜索方法，能够极大地降低人工劳动的成本且提高神经网络结构搜索的效率。
[0004]本专利技术所采用的第一技术方案是：基于神经网络拓扑结构的轻量化神经网络结构搜索方法，包括以下步骤：
[0005]对待检测图像数据集进行预处理，得到预处理后的图像数据集；
[0006]构建神经网络拓扑结构搜索空间并根据神经网络拓扑结构设计拓扑复杂度评估指标；
[0007]将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行二次搜索处理并结合拓扑复杂度评估指标，构建轻量化神经网络拓扑结构；
[0008]根据所述轻量化神经网络拓扑结构对所述待检测图像数据集进行图像检测处理。
[0009]进一步，所述对待检测图像数据集进行预处理，得到预处理后的图像数据集这一步骤，其具体包括：
[0010]获取待检测图像数据集；
[0011]对待检测图像数据集的尺寸进行调整处理，得到尺寸一致的待检测图像数据集；
[0012]通过随机翻转方法对尺寸一致的待检测图像数据集进行数据增强处理，得到增强图像数据集；
[0013]对增强图像数据集进行划分处理，得到预处理后的图像数据集。
[0014]进一步，所述构建神经网络拓扑结构搜索空间并根据神经网络拓扑结构设计拓扑复杂度评估指标这一步骤，其具体包括：
[0015]确定网络层数、各网络层的特征图数量和各网络层之间的连接方式，构建神经网络拓扑结构搜索空间；
[0016]将各网络层的特征图视为节点并进行连线处理，并设置对应的复杂度权重系数；
[0017]对神经网络拓扑结构搜索空间的输出网络层至输入网络层进行添加辅助线操作处理，构建强连通图；
[0018]根据强连通图计算其对应的强连通分量；
[0019]结合复杂度权重系数、特征图节点连线数量、各网络层的特征图数量和强连通分量，构建拓扑复杂度评估指标。
[0020]进一步，所述拓扑复杂度评估指标的计算公式如下所示：
[0021][0022]上式中，α
i
表示第i层的卷积运算操作的复杂度权重系数，E表示神经网络拓扑结构的强连通图的连线数量，N表示神经网络拓扑结构的特征图数量，P表示神经网络拓扑结构的强连通分量数量，T表示神经网络拓扑结构的拓扑复杂度评估指标。
[0023]进一步，所述将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行二次搜索处理并结合拓扑复杂度评估指标，构建轻量化神经网络拓扑结构这一步骤，其具体包括：
[0024]将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行第一次阶段搜索，并构建优化神经网络拓扑结构搜索空间；
[0025]结合拓扑复杂度评估指标，将预处理后的图像数据集输入至优化神经网络拓扑结构搜索空间进行第二次阶段搜索处理，构建轻量化神经网络拓扑结构；
[0026]所述轻量化神经网络拓扑结构包括第一处理模块、第二处理模块和全连接层，其中，所述第一处理模块和第二处理模块分别包括三个正常单元和一个衰减单元。
[0027]进一步，所述将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行第一次阶段搜索，并构建优化神经网络拓扑结构搜索空间这一步骤，其具体包括：
[0028]根据随机搜索策略将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行第一次阶段搜索，得到第一搜索结果；
[0029]根据第一搜索结果获取对应的准确率计算结果；
[0030]对所有的准确率计算结果进行排序处理并根据选取规则选取对应的神经网络拓扑结构，所述选取规则为选取准确率较高的前50个神经网络拓扑结构；
[0031]根据对应的神经网络拓扑结构计算对应的单元有效性概率并剔除神经网络拓扑结构中有效性概率最低的单元，构建优化神经网络拓扑结构搜索空间。
[0032]进一步，所述结合拓扑复杂度评估指标，将预处理后的图像数据集输入至优化神经网络拓扑结构搜索空间进行第二次阶段搜索处理，构建轻量化神经网络拓扑结构这一步骤，其具体包括：
[0033]将预处理后的图像数据集输入至优化神经网络拓扑结构搜索空间进行迭代搜索
处理，得到第二搜索结果；
[0034]根据第二搜索结果获取第二准确率计算结果；
[0035]将拓扑复杂度评估指标与第二准确率计算结果进行加权求和计算，得到TCNAS评价指标；
[0036]循环上述搜索过程与加权求和计算过程，直至所述搜索次数达到预设阈值，停止搜索过程，输出每一搜索过程对应的TCNAS评价指标；
[0037]选取最高TCNAS评价指对应的优化神经网络拓扑结构搜索空间，输出轻量化神经网络拓扑结构。
[0038]进一步，所述轻量化神经网络拓扑结构的TCNAS评价指标的计算公式如下所示：
[0039]TCNAS＝(1
‑
β)*accuracy
‑
β*T
[0040]上式中，β表示根据实际任务需要设定的准确率和拓扑结构复杂度之间的权重系数，accuracy表示正确率，T表示神经网络拓扑结构的拓扑复杂度评估指标，TCNAS表示轻量化神经网络拓扑结构的TCNAS评价指标示数
[0041]本专利技术方法的有益效果是：本专利技术首先基于神经网络拓扑结构搜索空间进行预处理，添加辅助线构建强连通图，然后计算强连通图中的强连通分量，对神经网络结构的中间层特征图看作节点，特征图之间的卷积运算操作看作连线，每种卷积运算操作设定相应的权重，得出神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于神经网络拓扑结构的轻量化神经网络结构搜索方法，其特征在于，包括以下步骤：对待检测图像数据集进行预处理，得到预处理后的图像数据集；构建神经网络拓扑结构搜索空间并根据神经网络拓扑结构设计拓扑复杂度评估指标；将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行二次搜索处理并结合拓扑复杂度评估指标，构建轻量化神经网络拓扑结构；根据所述轻量化神经网络拓扑结构对所述待检测图像数据集进行图像检测处理。2.根据权利要求1所述基于神经网络拓扑结构的轻量化神经网络结构搜索方法，其特征在于，所述对待检测图像数据集进行预处理，得到预处理后的图像数据集这一步骤，其具体包括：获取待检测图像数据集；对待检测图像数据集的尺寸进行调整处理，得到尺寸一致的待检测图像数据集；通过随机翻转方法对尺寸一致的待检测图像数据集进行数据增强处理，得到增强图像数据集；对增强图像数据集进行划分处理，得到预处理后的图像数据集。3.根据权利要求2所述基于神经网络拓扑结构的轻量化神经网络结构搜索方法，其特征在于，所述构建神经网络拓扑结构搜索空间并根据神经网络拓扑结构设计拓扑复杂度评估指标这一步骤，其具体包括：确定网络层数、各网络层的特征图数量和各网络层之间的连接方式，构建神经网络拓扑结构搜索空间；将各网络层的特征图视为节点并进行连线处理，并设置对应的复杂度权重系数；对神经网络拓扑结构搜索空间的输出网络层至输入网络层进行添加辅助线操作处理，构建强连通图；根据强连通图计算其对应的强连通分量；结合复杂度权重系数、特征图节点连线数量、各网络层的特征图数量和强连通分量，构建拓扑复杂度评估指标。4.根据权利要求3所述基于神经网络拓扑结构的轻量化神经网络结构搜索方法，其特征在于，所述拓扑复杂度评估指标的计算公式如下所示：上式中，α
i
表示第I层的卷积运算操作的复杂度权重系数，E表示神经网络拓扑结构的强连通图的连线数量，N表示神经网络拓扑结构的特征图数量，P表示神经网络拓扑结构的强连通分量数量，T表示神经网络拓扑结构的拓扑复杂度评估指标。5.根据权利要求4所述基于神经网络拓扑结构的轻量化神经网络结构搜索方法，其特征在于，所述将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行二次搜索处理并结合拓扑复杂度评估指标，构建轻量化神经网络拓扑结构这一步骤，其具体包括：将预处理后的图像数据集输入至神经网络拓扑结构搜索空间进行第一次阶段搜索，并构建优化神经网络拓扑结构...

【专利技术属性】
技术研发人员：朱文博，胡勇聪，李艾园，陈建文，王修才，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：