输变电巡检模型网络结构搜索方法、系统及存储介质技术方案

一种输变电巡检模型网络结构搜索方法、系统及存储介质，属于深度神经网络结构设计技术领域，搜索方法包括根据输变电巡检任务需求设计多个基础网络模块；从多个基础网络模块中选择若干数量的模块构建超网络；采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将选择出的所有基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。本发明专利技术基于超网络剪枝策略实现神经网络结构搜索，通过基础网络模块设计、超网络构建、超网络剪枝训练三个步骤实现神经网络结构的自动化搜索，能够便捷高效的自动设计性能优异的神经网络结构，避免过多算力消耗，提高深度学习模型的研发效率，降低研发成本，减少人力消耗。减少人力消耗。减少人力消耗。

【技术实现步骤摘要】
输变电巡检模型网络结构搜索方法、系统及存储介质


[0001]本专利技术属于深度神经网络结构设计
，具体涉及一种输变电巡检模型网络结构搜索方法、系统及存储介质。

技术介绍

[0002]随着计算机与GPU(graphics processing unit)算力的增长，深度神经网络不仅在语音识别、图像理解以及自然语言处理等人工智能领域得到广泛应用，而且在癌症检测、自动驾驶和复杂游戏等复杂系统中也得到应用。深度神经网络在识别任务中已经超越了人类的准确度，对比传统算法有着巨大的突破，如手工设计的方向梯度直方图(histogram of oriented gradient,HOG)特征(Dalal和Triggs,2005)和尺度不变特征变换(scale
‑
invariantfeature transform,SIFT)特征(Lowe,2004)等。这些性能的提升主要是由于深度神经网络能够提取很高层次的特征，从而得到对输入数据更加有效的表示。除此之外，GPU算力的提升使得神经网络的层数进一步增加，表征能力进一步增强。神经网络的结构从A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种输变电巡检模型网络结构搜索方法，其特征在于，包括：根据输变电巡检任务需求设计多个基础网络模块；从多个基础网络模块中选择若干数量的模块构建超网络；采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构。2.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，在所述根据输变电巡检任务需求设计多个基础网络模块的步骤中，采用以下原则设计基础网络模块：在邻近输入的卷积层中，使用1
×
1小卷积核提取特征，减少模型参数量，而在邻近输出的卷积层中，使用3
×
3大卷积核，捕获更多更高阶的抽象特征；使用两个串联小卷积核来代替一个大卷积核；使用1
×
1卷积核实现线性变换、输入输出channel变换；将一个n
×
n的卷积拆分成一个1
×
n和一个n
×
1的非对称卷积核，实现相同卷积效果；将大面积卷积核优化成Depthwise卷积与Pointwise卷积；使用全局平均池化代替全连接层。3.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，所述根据输变电巡检任务需求设计多个基础网络模块的步骤还包括计算基础网络模块的算力消耗；所述计算基础网络模块的算力消耗包括以下步骤：选取边缘侧计算设备进行测试，整个测试过程中测试设备保持一致；将单个基础网络模块重复堆叠后进行测试再取平均值，不同模块的堆叠次数保持一致；在所选取的测试设备上对堆叠好的待测试基础网络模块按下式进行测试：t
i
＝T
i
/(n*m)式中，n表示测试轮数，m表示堆叠次数，T
i
表示第i类基础网络模块测试的总时间，t
i
表示第i类基础网络模块的算力消耗时间。4.根据权利要求3所述的输变电巡检模型网络结构搜索方法，其特征在于，所述根据输变电巡检任务需求设计多个基础网络模块的步骤还包括构建基础网络模块评分表，所述基础网络模块评分表内容包括网络层号、模块标识、模块结构、算力消耗以及模块评分；模块结构描述模块的层数、结构、神经元连接方式、激活函数信息；模块评分初始为1或者人为专家指定，后续根据使用情况进行变更调整。5.根据权利要求4所述的输变电巡检模型网络结构搜索方法，其特征在于，在从多个基础网络模块中选择若干数量的模块构建超网络的步骤中，选择方法包括以下几种方法中的任意一种：将全部的基础网络模块都用于超网络构建；根据基础网络模块评分表，指定模块数量，按照评分的高低顺序分别选择每一层的模块；根据基础网络模块评分表，指定模块数量，按照评分构造概率分布模型，评分高的模块被选择的概率高，评分低模型被选择的概率低，通过随机抽样方式选择每一层的模块。6.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，在从多个基
础网络模块中选择若干数量的模块构建超网络的步骤中，超网络的构建方式为：输入层结构根据目标业务和训练样本集进行确定；隐藏层的数量等于网络层数，隐藏层结构由选取的基础结构模块以并联方式组成；连接层位于每两个相邻隐藏层间，连接层的结构与其接入隐藏层的最后一层网络一致；输出层结构根据输变电巡检任务需求进行确定，是由若干全连接层组成的网络。7.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，在从多个基础网络模块中选择若干数量的模块构建超网络的步骤中，超网络的构建方式为：将超网络嵌入到一个已知的网络结构中，复用固定的一部分网络结构。8.根据权利要求1所述的输变电巡检模型网络结构搜索方法，其特征在于，所述采用剪枝策略对超网络进行训练，从超网络的每一个隐藏层选择出一个最优基础网络模块，将所有隐藏层选择出的最优基础网络模块按顺序进行串联，获得输变电巡检模型目标网络结构的步骤包括：确定算力消耗影响因子W
t
；设定训练批次数量num、权重系数的上限阈值max和下限阈值min；进行num次训练过程，完成num次训练过程后，得到隐藏层内各基础网络模块与连接模块的权重W，并且令W
ki
代表第k层第i类基础网络模块的权重，令t
ki
表示代表第k层第i类基础网络模块的计算消耗时间；判断各基础网络模块与连接模块的权重系数W
ki
‑
W
t
*t
ki
是否大于上限阈值max，若有则保留该模块并剪枝该隐藏层其他所有模块；判断各基础网络模块与连接模块的权重系数W
ki
‑
W
t
*t
ki
是否小于下限阈值min，若有则剪枝该模块；返回再次进行num次训练过程并执行对应的判断和剪枝操作，直至每个隐藏层中都只剩下一个基础网络模块；剪枝各隐藏层间的连接层，将剩余隐藏层进行拼接后得到的网络作...

【专利技术属性】
技术研发人员：郭鹏天，王晓辉，王勇，季知祥，李道兴，刘坤岐，
申请(专利权)人：国网山东省电力公司国家电网有限公司，
类型：发明
国别省市：