本发明专利技术提出一种基于知识蒸馏网络的MCU指纹识别方法。包括1)批量图像输入和预处理；2)利用CNN卷积神经网络进行特征提取；3)利用三元组损失函数对提取到的指纹特征图进行无监督训练，并比较高维特征图之间的余弦相似度，从而得出同类指纹及异类指纹之间的相似程度并用于评估；4)使用量化感知策略，在量化的过程中，对网络进行训练，从而减小模型尺寸大小，减少模型内存占用，加快模型推理速度，降低功耗；5)利用知识蒸馏技术将复杂模型中的知识迁移到简单模型中；6)执行测试，对训练好的学生网络进行图像相似度评估。网络进行图像相似度评估。网络进行图像相似度评估。
【技术实现步骤摘要】
一种基于知识蒸馏网络的MCU指纹识别方法
[0001]本专利技术涉及计算机视觉
，涉及深度学习中的知识蒸馏技术，融合了量化感知和神经网络结构搜索策略。
技术介绍
[0002]近年来，随着深度神经网络的发展，目标识别、语义分割、图文说明等领域深度学习任务越来越复杂化和多样化。面对复杂的任务，更宽的宽度和更深的模型往往会具有更强的表达能力。然而，越大的模型意味着越多的参数量，这需要更多的计算机资源：内存占用、参数、操作计数、推理时间和功耗等。
[0003]因此轻量级模型就显得愈发重要，知识蒸馏和神经网络结构搜索是目前实现模型压缩的两个主流方式，这两种技术可以有效的减小模型尺寸大小，减少模型内存占用，加快模型推理速度，降低功耗等。大模型往往是单个复杂网络或者是若干网络的集合，拥有良好的性能和泛化能力，而小模型因为网络规模较小，表达能力有限。利用大模型学习到的知识去指导小模型训练，使得小模型具有与大模型相当的性能，并且参数数量大幅降低，从而可以实现模型压缩与加速。因此，知识蒸馏训练得到的轻量级模型可以实现在低内存占用的情况下达到高精度表现，以实现在计算资源有限的MCU芯片上的部署。
技术实现思路
[0004]本专利技术提出一种基于知识蒸馏网络的MCU指纹识别方法，旨在得到能实现指纹识别技术的轻量级模型，以部署在MCU芯片上，实现低容量，高精度。
[0005]为实现以上的目的，本专利技术是通过以下技术方案来实现的：
[0006](1)批量图像输入和预处理：使用改进的U
‑<br/>Net网络对批量的指纹图像进行降噪和修复的数据增强处理，再进行裁剪和归一化预处理，再将预处理后的图像进行网络训练，在训练过程中对指纹图像提取特征。
[0007](2)利用CNN卷积神经网络进行特征提取：将预处理后的训练图像输入一个权重共享的编码器网络，得到批量图像的高维特征图，对特征图进行相似度对比以确定指纹类别。
[0008](3)利用三元组损失函数对提取到的指纹特征图进行无监督训练，并比较高维特征图之间的余弦相似度，从而得出同类指纹及异类指纹之间的相似程度并用于评估。
[0009](4)使用量化感知策略，在量化的过程中，对网络进行训练，从而减小模型尺寸大小，减少模型内存占用，加快模型推理速度，降低功耗，让网络参数能更好地适应量化带来的信息损失。
[0010](5)利用知识蒸馏技术将复杂模型中的知识迁移到简单模型中，并建立了教师
‑
学生网络，使学生网络模型能尽可能逼近或超过教师网络模型，从而用更少的复杂度来获得类似的预测效果，实现复杂模型教师网络向简单模型学生网络的知识迁移。
[0011](6)执行测试，对训练好的学生网络进行图像相似度评估。
[0012]经过测试，本专利技术与之前的网络正则化方法相比具有的优势是：
[0013]1.利用神经网络模型实现指纹图像的降噪和修复，在后续的指纹识别过程中能提高精度；
[0014]2.使用量化感知和神经网络结构搜索策略，自适应搜索参数和结构，提升训练结果的精度；
[0015]3.利用了知识蒸馏的技术，大大减少了模型的大小，以便于后续在MCU
[0016]上的部署。
附图说明
[0017]图1本专利技术方法执行流程图
[0018]具体实施方式(对本专利技术所提出的方法进行详细阐述)
[0019]下面结合附图对本专利技术的具体实施方案做作进一步说明。
[0020]本专利技术主要提出的基于知识蒸馏网络的MCU指纹识别方法，提高了算法模型的准确度和鲁棒性，图1是本专利技术的具体实施步骤：
[0021]步骤1确定指纹数据集并进行图像裁剪。对数据集进行数据增强，在高质量数据集上增加噪声以创建噪声数据集，原始图像作为标签，使用改进的U
‑
net网络对噪声数据集进行回归训练，在U
‑
net原始网络结构的输入和输出部分分别加上一条编码路径和解码路径，对输入进行3次平均池化，其分别对应一个卷积层，实现多尺度输入，同时对各个层的输出也进行相同操作实现多尺度输出，然后将具有噪声、畸变和干净、真实的指纹图像对网络进行端到端训练，将训练好的模型用于指纹图像的降噪和修复。对降噪和修复好的指纹图像进行图像归一化处理，将所有图像转换成具有给定均值和方差的标准图像，以减少不同指纹图像之间灰度值的差异；对图像进行Gabor滤波处理和骨架提取，提取目标在图像上的中心像素轮廓，以目标中心为准，对目标进行细化以及细节点提取，用于下一步网络的训练。
[0022]步骤2采用在人脸数据集上预训练的MobileFaceNets作为主干网络训练，将MobileFaceNets模型的最后一层输出作为要提取的批量图像的特征图，其维度为512，并表示为其中c，h，w，分别表示特征图的通道数、高、宽；
[0023]步骤3训练过程中的损失函数结合了分类和回归两种损失，在三元组损失函的基础加上交叉熵损失以获得联合损失来对网络进行训练，联合损失函数为Loss＝alpha*Triplet_loss+(1
‑
alpha)*CE_loss，其中Triplet_loss为三元组损失，CE_loss是交叉熵损失，alpha＝0.5。在训练过程中，分别采用回归和分类两种方法对测试集进行验证评估。
[0024]步骤4采用量化感知策略，融合卷积层和批归一化层，卷积运算前先对weight做了一遍量化，将权重与输入先量化成8bit，再进行卷积操作，将bias也量化为32bit，与其进行相加，并用32bit来存储中间结果，然后又再反量化成8bit。
[0025]步骤5采用训练好的MobileFaceNets作为教师网络，然后将全连接层输出的512维向量用于学生网络的拟合。学生网络是可部署芯片的轻量型模型，利用知识蒸馏技术训练学生网络时采用联合损失函数，在原有MSE回归损失函数基础上，加上三元组损失函数进一步指导学生网络训练，同时分配MSE损失函数和三元组损失函数的权重系数；联合损失函数为 Loss＝alpha*Triplet_loss+(1
‑
alpha)*MSE_loss，其中Triplet_loss为三元组损失，MSE_loss是MSE损失，alpha＝0.5。使用联合损失函数进行拟合，以期望下分支网络能够学习到上分支网络同样的特征。
[0026]步骤6对所有训练集图像提取特征，将训练集的各个指纹的特征图取平均，并将得到的平均向量作为参考特征向量存储；对输入的测试指纹图像进行特征提取；将测试集中提取到的特征图与所有存储的标准特征向量进行余弦相似度比对，提取相似度结果最高的指纹类别作为预测类别。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于知识蒸馏网络的MCU指纹识别方法，其特征在于，步骤包括：(1)批量图像输入和预处理：使用改进的U
‑
Net网络对批量的指纹图像进行降噪和修复的数据增强处理，然后进行裁剪和归一化处理，最后将预处理后的图像输入预处理CNN卷积网络进行网络训练以便于后续对指纹图像提取特征；(2)利用CNN卷积神经网络进行特征提取：将预处理后的训练图像输入一个权重共享的编码器网络，得到批量图像的高维特征图；(3)利用三元组损失函数对提取到的指纹特征图进行无监督训练，并比较高维特征图之间的余弦相似度，从而得出同类指纹及异类指纹之间的相似程度并用于评估；(4)使用量化感知策略，在量化的过程中，对网络进行训练，从而减小模型尺寸大小，减少模型内存占用，加快模型推理速度，降低功耗，让网络参数能更好地适应量化带来的信息损失；(5)利用知识蒸馏技术将复杂模型中的知识迁移到简单模型中，并建立了教师
‑
学生网络，使学生网络模型能尽可能逼近或超过教师网络模型，从而用更少的复杂度来获得类似的预测效果，实现复杂模型教师网络向简单模型学生网络的知识迁移；(6)执行测试，对训练好的学生网络进行图像相似度评估。2.根据权利要求1所述的基于知识蒸馏网络的MCU指纹识别方法，其特征在于，所述步骤1是指。(1)确定指纹数据集并进行图像裁剪；(2)对数据集进行数据增强，在高质量数据集上增加噪声以创建噪声数据集，原始图像作为标签，使用改进的U
‑
Net网络对噪声数据集进行回归训练，在U
‑
Net原始网络结构的输入和输出部分分别加上一条编码路径和解码路径，对输入进行3次平均池化，其分别对应一个卷积层，实现多尺度输入，同时对各个层的输出也进行相同操作实现多尺度输出，然后将具有噪声、畸变和干净、真实的指纹图像对网络进行端到端训练，将训练好的模型用于指纹图像的降噪和修复；(3)对降噪和修复好的指纹图像进行图像归一化处理，将所有图像转换成具有给定均值和方差的标准图像，以减少不同指纹图像之间灰度值的差异；(4)对图像进行Gabor滤波处理和骨架提取，提取目标在图像上的中心像素轮廓，以目标中心为准，对目标进行细化以及细节点提取，用于下一步网络的训练。3.根据权利要求1所述的基于知识蒸馏网络的MCU指纹识别方法，其特征在于，所述步骤2中得到特征图的步骤具体是：(1)可以是任意通用的主干网络进行批量图像训练，这里采用在人脸数据集上预训练的MobileFaceNets作为主干网络训练，该模型在MobileNe...
【专利技术属性】
技术研发人员：李建军，叶茵，陈威特，李胜炎，陈挺，
申请(专利权)人：北京中电华大电子设计有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。