基于神经网络架构搜索(NAS)的活体检测技术制造技术

本发明专利技术公开了一种基于神经网络架构搜索(NAS)的活体检测技术。本发明专利技术采用AutoFormer的架构搜索算法对活体检测流程中的检测网络进行动态调整，在基于细胞的搜索空间中，自我调节网络架构的深度、输入信息的嵌入尺寸，自我注意力机制的头数，查询/键/值维度以及感知层(MLP)的输出比率。这种动态搜索调节结构的方式使编码器可以自动化组合不同的构件，从而打破了传统编码模型设计中所有构件共享一个相同结构的限制。这种架构搜索算法可以生成不同结构的模型，通过调节自身的网络架构来适应多样的检测任务、不同的数据集以及差异化的噪声干扰。NAS可以自动化地在不需要人工干预的情况下针对特定活体检测深度模型任务提出最有效的架构。有效的架构。有效的架构。

【技术实现步骤摘要】
基于神经网络架构搜索(NAS)的活体检测技术


[0001]本专利技术涉及电子信息
，特别涉及一种基于神经网络架构搜索(NAS)的活体检测技术。

技术介绍

[0002]随着活体检测技术的成熟，金融科技领域逐渐对动态人脸识别的技术需求越来越旺盛。其中神经网络结构搜索技术(NeuralArchitectureSearch)在新兴人脸识别的应用场景中具有灵活性，自动化等优势。现有的活体人脸检测捕捉成像主要使用固定的神经网络结构对特定场景下的人脸进行预训练，再将预训练的网络参数提取出来应用于特定的任务进行测试。对不同的人脸检测子任务，工业界主要以两种方案对网络进行优化。一是对预训练的模型在特定任务上喂新的数据集进行参数的调整，二是重新更改模型结构，使用自监督学习的方式训练一个新的静态网络结构模型。比如较为流行的Retinaface,MTCNN,VisionTransformer等多任务网络，都是依赖特定任务对静态的级联神经网络进行参数优化。这些训练方法所设计的神经网络结构在初始化的时候已被固定。
[0003]然而，这种单一传统的神经网络结构设计难以匹配日新月异的数据集以及不断发展的任务场景。过去针对静态神经网络模型结构的改进无法满足实际检测数据集分布域不均匀，背景噪声干扰等多种变化。同时，静态网络的设计结构在实际应用中存在鲁棒性差，适应性弱等局限性，因为单一神经网络结构的参数优化难以胜任不同的测试场景。例如，明暗不同光线下静态模型结构的鲁棒性会有较大变动，人脸矫正时静态模型难以适配不同的仿射变换参数以应对新的角度需求，检测背景有其它人脸作为噪声时单一的神经网络结构难以锁定主体目标框，等等。并且，基于人为经验的模型结构的选取，在很大程度上依赖于人类的专业知识，通常需要大量手动的试错。
[0004]因此，对于活体检测项目，设计方案需要从静态的神经网络结构需要逐渐向自动化调节的神经网络结构演变。

技术实现思路

[0005]本专利技术要解决的技术问题是克服现有技术的缺陷，提供基于神经网络架构搜索(NAS)的活体检测技术，使得模型可以基于不同的活体检测任务搜寻特定的网络架构。与过去的静态网络活体检测不同，本专利技术采用AutoFormer的架构搜索算法对活体检测流程中的检测网络进行动态调整，在基于细胞的搜索空间中，自我调节网络架构的深度、输入信息的嵌入尺寸，自我注意力机制的头数，查询/键/值维度以及感知层(MLP)的输出比率。这种动态搜索调节结构的方式使编码器可以自动化组合不同的构件，从而打破了传统编码模型设计中所有构件共享一个相同结构的限制。这种架构搜索算法可以生成不同结构的模型，通过调节自身的网络架构来适应多样的检测任务、不同的数据集以及差异化的噪声干扰。NAS可以自动化地在不需要人工干预的情况下针对特定活体检测深度模型任务提出最有效的架构。
[0006]本专利技术提供了如下的技术方案：
[0007]本专利技术提供一种基于神经网络架构搜索(NAS)的活体检测技术，包括以下步骤：
[0008]S1、初始化网络架构的最大搜索空间S，将最大网络模型定义为超级网络(supernet)，让全部可能的活体检测模型结构都被包含其中。对于每个字任务，预设其子网络的目标函数为：
[0009][0010]其中θ
*
为搜索空间S中理论上的最优模型架构,Eva为当前任务的评价指标；
[0011]S2、使用基于One
‑
Shot的搜索策略，将网络空间表示为连续分布空间，通过基于梯度的方法进行优化。将网络空间表示为一个有向无环图，其节点连接和激活函数组合成一个矩阵，其中每个元素代表了连接和激活函数的权重。在搜索时使用了Softmax函数将搜索空间变成了连续空间，使目标函数成为可微函数。在搜索时，遍历全部节点，使用节点上全部连接的加权进行计算，同时优化结构权重和网络权重；
[0012]S3、基于当前活体检测的具体任务选取自动初始化的评价指标L
t
,引导S2中的搜索策略更新。比如针对活体目标框的定位，选取GenuineAcceptanceRate(GAR),FalceAcceptanceRate(FAR),FalseRejectionRate(FRR),而对于真伪识别的模型搜索，采用mAP和F1得分等指标；
[0013]S4、在S2定义的过参数化超级网络(S)中进行搜索,交替地训练网络权重和模型权重(w
d
)：
[0014][0015]最终只保留其中一个最优子结构。搜索结束后，基于S3定义的评估指标选择权重最大的连接和激活函数，形成当前活体检测所需要的最终网络架构；
[0016]S5、提取S4步骤中搜索出的最优网络结构与搜索时的参数，作为当前特定任务活体检测的模型结构；
[0017]S6、在当前任务的人脸检测视频样本集上微调参数，生成最适合目标场景的活体检测模型。
[0018]作为本专利技术的一种优选技术方案，S1步骤中预处理的具体实现方式，包含以下：
[0019]S1.1、搜索空间中可能涉及堆叠在一起的所有层配置集；
[0020]S1.2、包含跳过连接的更复杂的体系结构；
[0021]S1.3、为了降低最大搜索空间的维数和冗余量，对不同子模块进行设计。随后子模块堆叠在一起就可以生成一系列有效的模型架构。
[0022]作为本专利技术的一种优选技术方案，步骤S2中网络架构的搜索策略，包含以下：
[0023]S2.1、用于活体检测模型搜索的权重纠缠训练策略。让不同的子网模块能够在每一层的共同部分共享权重；
[0024]S2.2、对于一个具有l层堆栈的子网α∈A，其结构和权重表示为：
[0025]α＝(α1，α2，...，α
l
)
[0026]w＝(w1，w2，...，w
l
)
[0027]其中，α
i
表示第i层的采样块，w
i
是块权重。在架构搜索过程中，每层都有多个块的
选择，如图2所示；
[0028]S2.3、基于S2.2中，从属于搜索空间的n个区块候选集中选取α
i
和w
i
：
[0029][0030][0031]其中b
i
是搜索空间中的一个候选区块，是候选区块的权重；
[0032]S2.4、为了使S2.3中同一层的不同候选区块尽可能多地共享权重，对于任何两个同一层的块和使用权重纠缠的方式使w
i
和w
j
的权重更新相互作用，如图3所示；
[0033]S2.5、采用S2.4的权重纠缠策略采集同质构件。如具有不同头数的自我注意模块(构件1)，以及具有不同隐含尺寸的多层感知器(构件2)。由于同质构件在结构上是兼容的，因此权重可以相互共享。在实施过程中，对于每一层，我们只需要存储N个同质候选块中最大的一块的权重。其余较小的组件块可以直接从最大的组件块中提取权重。
...

【技术保护点】

【技术特征摘要】
1.基于神经网络架构搜索(NAS)的活体检测技术，其特征在于，包括以下步骤：S1、初始化网络架构的最大搜索空间S，将最大网络模型定义为超级网络(supernet)，让全部可能的活体检测模型结构都被包含其中；对于每个字任务，预设其子网络的目标函数为：其中θ
*
为搜索空间S中理论上的最优模型架构,Eva为当前任务的评价指标；S2、使用基于One
‑
Shot的搜索策略，将网络空间表示为连续分布空间，通过基于梯度的方法进行优化；将网络空间表示为一个有向无环图，其节点连接和激活函数组合成一个矩阵，其中每个元素代表了连接和激活函数的权重；在搜索时使用了Softmax函数将搜索空间变成了连续空间，使目标函数成为可微函数；在搜索时，遍历全部节点，使用节点上全部连接的加权进行计算，同时优化结构权重和网络权重；S3、基于当前活体检测的具体任务选取自动初始化的评价指标L
t
,引导S2中的搜索策略更新；比如针对活体目标框的定位，选取GenuineAcceptanceRate(GAR),FalceAcceptanceRate(FAR),FalseRejectionRate(FRR),而对于真伪识别的模型搜索，采用mAP和F1得分等指标；S4、在S2定义的过参数化超级网络(S)中进行搜索,交替地训练网络权重和模型权重(w
d
)：最终只保留其中一个最优子结构；搜索结束后，基于S3定义的评估指标选择权重最大的连接和激活函数，形成当前活体检测所需要的最终网络架构；S5、提取S4步骤中搜索出的最优网络结构与搜索时的参数，作为当前特定任务活体检测的模型结构；S6、在当前任务的人脸检测视频样本集上微调参数，生成最适合目标场景的活体检测模型。2.根据权利要求1所述的基于神经网络架构搜索(NAS)的活体检测技术，其特征在于，S1步骤中预处理的具体实现方式，包含以下：S1.1、搜索空间中可能涉及堆叠在一起的所有层配置集；S1.2、包含跳过连接的更复杂的体系结构；S1.3、为了降低最大搜索空间的维数和冗余量，对不同子模块进行设计；随后子模块堆叠在一起就可以生成一系列有效的模型架构。3.根据权利要求1所述的基于神经网络架构搜索(NAS)的活体检测技术，其特征在于，步骤S2中网络架构的搜索策略，包含以下：S2.1、用于活体检测模型搜索的权重纠缠训练策略；让不同的子网模块能够在每一层的共同部分共享权重；S2.2、对于一个具有l层堆栈的子网α∈A，其结构和权重表示为：α＝(α1,α2,...,α
l
)w＝(w1,w2,...,w
l
)
其中，α
i
表示第i层的采样块，w
i
是块权重；在架构搜索过程中，每层都有多个块的选择；S2.3、基于S2.2中,从属于搜索空间的n个区块候选集中选取α
i
和w
i
::其中b

【专利技术属性】
技术研发人员：徐华建，施炎，袁顺杰，崔文冰，黄心泓，史荣钧，徐德华，汤敏伟，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：