特征检测方法、模型合并方法、设备和介质技术

本发明专利技术公开了一种模型合并方法，包括：首先获取多个未携带标签的人脸训练图像，分别将第一人脸图像输入多个教师模型，获取每个教师模型输出的第一特征信息，将所有教师模型输出的第一特征信息作为第一人脸图像的标签；再将携带有标签的第一人脸图像输入学生模型，获取学生模型输出的对应多个特征的第二特征信息；最后通过预设的蒸馏损失函数，根据第一特征信息和第二特征信息计算蒸馏损失，根据蒸馏损失调整学生模型的参数，之前的训练步骤，直至学生模型收敛。可见，本发明专利技术让该学生模型具备所有教师模型的特征检测能力，达到模型合并，减少模型占用量的目的，便于进步一步实现边缘部署。此外，还提出了特征检测方法、设备和介质。设备和介质。设备和介质。

【技术实现步骤摘要】
特征检测方法、模型合并方法、设备和介质


[0001]本专利技术涉及计算机视觉
，尤其是涉及特征检测方法、模型合并方法、设备和介质。

技术介绍

[0002]由于实际业务的变动，越来越多的业务更倾向于边缘部署。边缘部署主要用于嵌入式设备，主要通过将模型打包封装到软件开发工具包(Software Development Kit，SDK)，集成到嵌入式设备，数据的处理和模型推理都在终端设备上执行。但是现有的模型个数太多，若一一进行部署，将导致边缘部署十分不利。

技术实现思路

[0003]基于此，有必要针对上述问题，提供特征检测方法、模型合并方法、设备和介质，以解决现有模型不利于边缘部署的问题。
[0004]一种模型合并方法，应用于模型集合，所述模型集合包括网络结构相同的多个教师模型和一个学生模型，所述多个教师模型均已收敛，不同教师模型用于检测不同特征，所述学生模型未收敛，所述方法包括：
[0005]获取多个未携带标签的人脸训练图像，分别将第一人脸图像输入所述多个教师模型，获取每个教师模型输出的第一特征信息，将所有教师模型输出的第一特征信息作为所述第一人脸图像的标签；其中，所述第一人脸图像为所述多个未携带标签的人脸训练图像中的任意一个，不同教师模型输出的第一特征信息不同；
[0006]将携带有标签的第一人脸图像输入所述学生模型，获取所述学生模型输出的对应多个特征的第二特征信息；
[0007]通过预设的蒸馏损失函数，根据所述第一特征信息和所述第二特征信息计算蒸馏损失，根据所述蒸馏损失调整所述学生模型的参数，返回执行所述分别将第一人脸图像输入所述多个教师模型的步骤，直至所述学生模型收敛。
[0008]在其中一个具体实施例中，所述第一特征信息和所述第二特征信息均包括特征严重程度及置信度，所述蒸馏损失函数包括多个特征蒸馏损失函数，一个特征蒸馏损失函数对应一个特征，一个特征蒸馏损失函数包括一个软标签损失函数及一个硬标签损失函数；
[0009]所述通过预设的蒸馏损失函数，根据所述第一特征信息和所述第二特征信息计算蒸馏损失，包括：
[0010]通过所述软标签损失函数，根据所述第一特征信息中目标特征对应的特征严重程度和所述第二特征信息中目标特征对应的特征严重程度计算所述目标特征的软标签损失；其中，所述目标特征为所述多个教师模型检测的特征中的任意一个；
[0011]通过所述硬标签损失函数，根据所述第一特征信息中目标特征对应的置信度与所述第二特征信息中目标特征对应的特征严重程度计算所述目标特征的硬标签损失；
[0012]计算第一权重与所述软标签损失的第一乘积，及第二权重与所述硬标签损失的第
二乘积，将所述第一乘积与所述第二乘积的和作为所述目标特征对应的特征蒸馏损失；其中，所述第一权重与所述第二权重的和为1；
[0013]计算所有特征对应的特征蒸馏损失的和，以得到所述蒸馏损失。
[0014]在其中一个具体实施例中，所述软标签损失函数的公式为：
[0015][0016]其中，N为目标特征对应的特征严重程度的总程度数；为所述第一特征信息中目标特征对应的特征严重程度，指示在温度＝T的情况下，第一特征信息中目标特征对应的特征严重程度在程度j上的值；
[0017]为所述第二特征信息中目标特征对应的特征严重程度，指示在温度＝T的情况下，第二特征信息中目标特征对应的特征严重程度在程度j上的值。
[0018]在其中一个具体实施例中，
[0019][0020]其中，v
j
指示教师模型中全连接层上目标特征在程度j的输出；指示教师模型中全连接层上所有输出的和；
[0021][0022]其中，z
j
指示目标特征对应的学生模型中全连接层上在程度j的输出；指示学生模型中全连接层上所有输出的和。
[0023]在其中一个具体实施例中，所述硬标签损失函数的公式为：
[0024][0025]其中，M
j
为所述第一特征信息中目标特征对应的置信度。
[0026]在其中一个具体实施例中，所述计算所有特征对应的特征蒸馏损失的和之前，还包括：
[0027]为每一特征对应的特征蒸馏损失赋予一个对应的特征权重；其中，所述特征权重基于不同特征蒸馏损失的减小速度确定。
[0028]在其中一个具体实施例中，特征a的特征权重表示为：
[0029][0030]其中，L
a
(t
‑
1)指示特征a在调整参数的第t
‑
1步时的特征蒸馏损失；L
a
(t
‑
2)指示特
征a在调整参数的第t
‑
2步时的特征蒸馏损失。
[0031]在其中一个具体实施例中，所述第一特征信息和所述第二特征信息均包括：多个特征的特征位置信息；
[0032]所述方法，还包括：
[0033]通过预设的位置损失函数，根据所述第一特征信息中目标特征对应的特征位置信息与所述第二特征信息中目标特征对应的特征位置信息计算目标特征的位置损失；其中，所述目标特征为所述多个教师模型检测的特征中的任意一个；
[0034]根据所有特征的位置损失调整所述学生模型的参数。
[0035]在其中一个具体实施例中，所述位置损失函数为：
[0036][0037]其中，i∈Pos指示有物体的框，m∈{cx，cy，w，h}指示框的中心位置(cx，cy)、宽w、高h；指示第一特征信息中的特征位置信息与第二特征信息中目标特征对应的特征位置信息关于程度k是否匹配，匹配为1，不匹配为0；指示第一特征信息中的特征位置信息，指示第二特征信息中的特征位置信息。
[0038]一种特征检测方法，所述方法包括：
[0039]获取待检测人脸图像，将所述待检测人脸图像输入学生模型，以得到所述待检测人脸图像对应多个特征的第二特征信息；其中，所述学生模型通过上述模型合并方法训练得到。
[0040]一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述模型合并方法及特征检测方法的步骤。
[0041]一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述模型合并方法及特征检测方法的步骤。
[0042]本专利技术提供了特征检测方法、模型合并方法、设备和介质，首先获取多个未携带标签的人脸训练图像，分别将第一人脸图像输入多个教师模型，获取每个教师模型输出的第一特征信息，将所有教师模型输出的第一特征信息作为第一人脸图像的标签；再将携带有标签的第一人脸图像输入学生模型，获取学生模型输出的对应多个特征的第二特征信息；最后通过预设的蒸馏损失函数，根据第一特征信息和第二特征信息计算蒸馏损失，根据蒸馏损失调整学生模型的参数，返回执行分别将第一人脸图像输入多个教师模型的步骤，直至学生模型收敛。可见，本专利技术通过多个收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型合并方法，其特征在于，应用于模型集合，所述模型集合包括网络结构相同的多个教师模型和一个学生模型，所述多个教师模型均已收敛，不同教师模型用于检测不同特征，所述学生模型未收敛，所述方法包括：获取多个未携带标签的人脸训练图像，分别将第一人脸图像输入所述多个教师模型，获取每个教师模型输出的第一特征信息，将所有教师模型输出的第一特征信息作为所述第一人脸图像的标签；其中，所述第一人脸图像为所述多个未携带标签的人脸训练图像中的任意一个，不同教师模型输出的第一特征信息不同；将携带有标签的第一人脸图像输入所述学生模型，获取所述学生模型输出的对应多个特征的第二特征信息；通过预设的蒸馏损失函数，根据所述第一特征信息和所述第二特征信息计算蒸馏损失，根据所述蒸馏损失调整所述学生模型的参数，返回执行所述分别将第一人脸图像输入所述多个教师模型的步骤，直至所述学生模型收敛。2.根据权利要求1所述的方法，其特征在于，所述第一特征信息和所述第二特征信息均包括特征严重程度及置信度，所述蒸馏损失函数包括多个特征蒸馏损失函数，一个特征蒸馏损失函数对应一个特征，一个特征蒸馏损失函数包括一个软标签损失函数及一个硬标签损失函数；所述通过预设的蒸馏损失函数，根据所述第一特征信息和所述第二特征信息计算蒸馏损失，包括：通过所述软标签损失函数，根据所述第一特征信息中目标特征对应的特征严重程度和所述第二特征信息中目标特征对应的特征严重程度计算所述目标特征的软标签损失；其中，所述目标特征为所述多个教师模型检测的特征中的任意一个；通过所述硬标签损失函数，根据所述第一特征信息中目标特征对应的置信度与所述第二特征信息中目标特征对应的特征严重程度计算所述目标特征的硬标签损失；计算第一权重与所述软标签损失的第一乘积，及第二权重与所述硬标签损失的第二乘积，将所述第一乘积与所述第二乘积的和作为所述目标特征对应的特征蒸馏损失；其中，所述第一权重与所述第二权重的和为1；计算所有特征对应的特征蒸馏损失的和，以得到所述蒸馏损失。3.根据权利要求2所述的方法，其特征在于，所述软标签损失函数的公式为：其中，N为目标特征对应的特征严重程度的总程度数；为所述第一特征信息中目标特征对应的特征严重程度，指示在温度＝T的情况下，第一特征信息中目标特征对应的特征严重程度在程度j上的值；为所述第二特征信息中目标特征对应的特征严重程度，指示在温度＝T的情况下，第二特征信息中目标特征对应的特征严重程度在程度j上的值。4.根据权利要求3所述的方法，其特征在于，
其中，v
j
指示教师模型中全连接层上目标特征在程度j的输出；指...

【专利技术属性】
技术研发人员：曾梦萍，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：