基于端到端的可微架构搜索方法技术

本发明专利技术公开了一种基于端到端的可微架构搜索方法，包括搭建端到端的可微架构搜索网络，该网络包括由线性网络子结构构成的主干网络、颈部网络、检测头，三者搜索空间分别为A1、A2、A3；对搜索空间松弛化处理；选取目标检测任务的数据集训练网络并采用梯度下降搜索策略更新网络得到最佳结构参数，将用最佳结构参数搭建的网络作为目标检测网络，用数据集再次训练至收敛,得到最终目标检测网络。本发明专利技术能根据目标检测任务自动搜索设计出符合需求的网络架构，且搜索结果更偏向于轻量化神经网络，满足边缘设备对轻量化模型的需求。本发明专利技术学习效率高、计算消耗少，主干网络、颈部网络、检测头的搜索空间进行搜索，从而真正实现端到端的搜索。搜索。搜索。

【技术实现步骤摘要】
基于端到端的可微架构搜索方法


[0001]本专利技术涉及一种深度学习中神经网络架构搜索领域，尤其涉及一种基于端到端的可微架构搜索方法。

技术介绍

[0002]一般而言，目标检测网络被人为划为成三部分：主干网络 Backbone，脖颈 Neck，检测头Head。Backbone代表检测网络初始部分，这部分主要负责进行特征提取，常用的Backbone有ResNet，VGG等。Head位于网络的末尾，主要用于利用之前提取处理好的特征进行分类预测以及坐标回归。Neck 则是位于Backbone和Head之间的网络，通常而言是为了进一步更好的提取信息特征，如多尺度特征融合。
[0003]近年来，NAS 在图像目标检测领域取得的成果逐年增加，但是大多数都是针对目标检测骨干网络或者特征融合层 (Feature Pyramid Networks，FPN)等单个目标检测网络组件进行搜索。
[0004]Chen等人受one
‑
shot NAS方法的启发，提出的DetNAS就是针对单一的backbone进行搜索。DetNAS的框架包括三个步骤：（1）在ImageNet上预训练one
‑
shot supernet；（2）在测试数据集上微调one
‑
shot supernet；（3）使用进化算法EA在经过训练的supernet上进行体系架构搜索Wang等人提出NAS
‑
FCOS则是针对neck部分和head部分进行同时搜索，所采用的搜索策略为强化学习。r/>[0005]但现有的技术所存在的问题主要有两点：（1）只针对单一的目标检测网络组件进行搜索。目标检测网络有3部分，但是DetNAS和NAS
‑
FCOS都只搜索了其中1个或2个组件，而最近的研究：Mnasfpn: Learning latency
‑
aware pyramid architecture for object detection on mobile devices表明，直接针对整个检测网络进行端到端的搜索会具有更好的效果。
[0006]（2）搜索策略太耗时。DetNAS和NAS
‑
FCOS都采用的计算量巨大的遗传算法或强化学习策略进行搜索，这类策略需要极大的计算量，带来了极大的时间成本和人力成本。

技术实现思路

[0007]本专利技术的目的就在于提供一种解决上述问题，克服只能针对单一的目标检测网络组件进行搜索，且搜索策略太耗时的缺陷的，基于端到端的可微架构搜索方法。
[0008]为了实现上述目的，本专利技术采用的技术方案是这样的：一种基于端到端的可微架构搜索方法，包括以下步骤；（1）搭建一用于执行目标检测任务的端到端的可微架构搜索网络，包括主干网络、颈部网络、检测头，所述检测头输出端分为两路，分别连接坐标回归网络和分类网络；（2）构建主干网络、颈部网络、检测头的搜索空间A1、A2、A3；
（21）构建线性网络子结构T
‑
cell；所述T
‑
cell包括依次设置的输入节点、第一节点、第二节点、输出节点；输入节点、第一节点间设有数个特征提取操作，第一节点、第二节点设有数个逐点卷积操作，第二节点、输出节点设有数个激活操作；（22）用T
‑
cell搭建主干网络、颈部网络、检测头；所述主干网络由3个T
‑
cell串联而成，依次为T
‑
cell1、T
‑
cell2、T
‑
cel3；所述颈部网络包括9个T
‑
cell，其中每3个串联构成一组，分别第一组、第二组和第三组，T
‑
cell1、T
‑
cell2、T
‑
cel3的输出分别接第一组、第二组和第三组的输入；所述检测头包括2个串联的T
‑
cell；（23）根据主干网络、颈部网络、检测头的结构，得到对应的搜索空间A1、A2、A3；（3）对搜索空间松弛化处理；（4）选取目标检测任务的数据集，包括训练集、测试集和验证集；（5）用数据集训练端到端的可微架构搜索网络，根据下式得到A1、A2、A3的最佳结构参数α
*
、β
*
、γ
*
；式中，α、β、γ为A1、A2、A3的结构参数，α∈A1、β∈A2、γ∈A3；ω为以α、β、γ搭建的端到端的可微架构搜索网络的网络权值，ω
*
(α,β,γ)为该网络训练至收敛后的网络权值；、分别为目标检测任务在验证集和训练集上的损失；（6）将以α
*
、β
*
、γ
*
搭建的端到端的可微架构搜索网络作为目标检测网络Net1，用数据集再次训练至Net1收敛,得到最终目标检测网络Net
best
。
[0009]作为优选：步骤（3）对搜索空间松弛化处理，具体为，对每个T
‑
cell，将相邻节点间的每项操作分别作为一条边，用混合操作计算得到一混合输出，再送入下一节点；混合操作时，将相邻两节点按信号流向分别标记为N1和N2，输入特征从N1输入，经混合操作后从N2输出，混合操作采用下式计算；式中，x为输入特征，O为N1和N2间所有操作的集合，o∈O，是O中一项操作，o(x)表示N1和N2间对x用o操作，α
o
为o(x)的权重，out(x)为混合操作后的输出，m为归一化常数，且。
[0010]作为优选：步骤（5）具体为；（a1）输入n个训练集中的训练数据x1，x2，
…
，x
n
；（a2）对每个训练数据，经主干网络的t
‑
cell1、T
‑
cell2、T
‑
cell3分别得到第一主干网络输出、第二主干网络输出、第三主干网络输出；（a3）将、、分别送入颈部网络的第一组、第二组和第三组中，得到第一组
到第三组的输出；（a4）调整尺寸至相同，再进行特征融合得到颈部网络输出特征F4；（a5）将F4送入检测头，经检测头的2个T
‑
cell得到检测头输出；（a6）将送入坐标回归网络和分类网络，计算回归损失l
position
和分类损失l
class
；（a7）通过l
position
和l
class
进行反向传播，采用梯度下降更新网络权值ω；（a8）固定网络权值ω；（a9）输入n个测试集中的测试数据t1，t2，
…
，t
n
，对每个测试数据，按步骤（a1）
‑
（a6）处理得到l
position
和l
class
；（a10）通过（a9）得到的l
position
和l
class
进行反向传播，采用梯度下降更新结构参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端到端的可微架构搜索方法，其特征在于：包括以下步骤；（1）搭建一用于执行目标检测任务的端到端的可微架构搜索网络，包括主干网络、颈部网络、检测头，所述检测头输出端分为两路，分别连接坐标回归网络和分类网络；（2）构建主干网络、颈部网络、检测头的搜索空间A1、A2、A3；（21）构建线性网络子结构T
‑
cell；所述T
‑
cell包括依次设置的输入节点、第一节点、第二节点、输出节点；输入节点、第一节点间设有数个特征提取操作，第一节点、第二节点设有数个逐点卷积操作，第二节点、输出节点设有数个激活操作；（22）用T
‑
cell搭建主干网络、颈部网络、检测头；所述主干网络由3个T
‑
cell串联而成，依次为T
‑
cell1、T
‑
cell2、T
‑
cel3；所述颈部网络包括9个T
‑
cell，其中每3个串联构成一组，分别第一组、第二组和第三组，T
‑
cell1、T
‑
cell2、T
‑
cel3的输出分别接第一组、第二组和第三组的输入；所述检测头包括2个串联的T
‑
cell；（23）根据主干网络、颈部网络、检测头的结构，得到对应的搜索空间A1、A2、A3；（3）对搜索空间松弛化处理；（4）选取目标检测任务的数据集，包括训练集、测试集和验证集；（5）用数据集训练端到端的可微架构搜索网络，根据下式得到A1、A2、A3的最佳结构参数α
*
、β
*
、γ
*
；式中，α、β、γ为A1、A2、A3的结构参数，α∈A1、β∈A2、γ∈A3；ω为以α、β、γ搭建的端到端的可微架构搜索网络的网络权值，ω
*
(α,β,γ)为该网络训练至收敛后的网络权值；、分别为目标检测任务在验证集和训练集上的损失；（6）将以α
*
、β
*
、γ
*
搭建的端到端的可微架构搜索网络作为目标检测网络Net1，用数据集再次训练至Net1收敛,得到最终目标检测网络Net
best
。2.根据权利要求1所述的基于端到端的可微架构搜索方法，其特征在于：步骤（3）对搜索空间松弛化处理，具体为，对每个T
‑
cell，将相邻节点间的每项操作分别作为一条边，用混合操作计算得到一混合输出，再送入下一节点；混合操作时，将相邻两节点按信号流向分别标记为N1和N2，输入特征从N1输入，经混合操作后从N2输出，混合操作采用下式计算；式中，x为输入特征，O为N1和N2间所有操作的集合，o∈O，是O中一项操作，o(x)表示N1和N2间对x用o操作，α
o
为o(x)的权重，out(x)为混合操作后的输
出，m为归一化常数，且。3.根据权利要求1所述的基于端到端的可微架构搜索方法，其特征在于：步骤（5）具体为；...

【专利技术属性】
技术研发人员：程先琼，严张豹，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：