一种基于知识蒸馏的联邦目标检测方法及系统技术方案

本发明专利技术公开了一种基于知识蒸馏的联邦目标检测方法及系统，所述方法包括：获取图片数据集作为样本数据；通过利用所述样本数据进行联邦学习，具体包括：利用所述样本数据，构建本地参与方的知识蒸馏模型，将所述知识蒸馏模型信息发送至服务器，接收服务器发送的对本地参与方与其他参与方进行聚合后的第一聚合信息，针对所述第一聚合信息更新所述蒸馏模型中的学生模型，得到本地参与方针对各个参与方的第一聚合学生模型；根据所述第一聚合学生模型，得到推理检测模型；根据所述推理检测模型对待检测数据进行检测，得到推理结果。本发明专利技术可用于目标检测领域，兼顾数据隐私性和安全性，提高了目标检测方法的推理检测效率和效果。高了目标检测方法的推理检测效率和效果。高了目标检测方法的推理检测效率和效果。

【技术实现步骤摘要】
一种基于知识蒸馏的联邦目标检测方法及系统


[0001]本专利技术涉及目标检测
，具体涉及一种基于知识蒸馏的联邦目标检测方法及系统。

技术介绍

[0002]目前的目标检测系统的目标检测学习算法多属于集中式学习算法，要求系统内各终端将收集到的数据传输到集中服务器后，由集中服务器安排资源进行学习，此学习模式下无法保证系统内各终端的数据隐私性，传输过程也存在数据劫持、数据监听等数据安全隐患，同时无法合理调动各终端的空闲资源，造成计算资源的浪费。
[0003]而且，目前的目标检测系统的推理检测模型多为单一或者类似结构的大模型的集合，所包含的参数量较大，学习和推理效率也较低。相对而言，小模型的参数量少、学习和推理效率高，但由于其自身的简洁性导致学习能力和泛化能力较差。

技术实现思路

[0004]鉴于以上技术问题，本专利技术的目的在于提供一种基于知识蒸馏的联邦目标检测方法及系统，解决传统的目标检测系统采用集中式学习算法造成数据安全隐患或采用大模型学习和推理效率较低，或采用小模型导致学习能力和泛化能力较差的问题。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识蒸馏的联邦目标检测方法，其特征在于，应用于智能终端，包括以下步骤:获取图片数据集作为样本数据；利用所述样本数据进行联邦学习，具体包括：利用所述样本数据，构建本地参与方的知识蒸馏模型，将所述知识蒸馏模型信息发送至服务器，以使服务器将所述本地参与方的知识蒸馏模型信息与其他n
‑
1个参与方的知识蒸馏模型信息进行聚合；接收服务器发送的对本地参与方与其他n
‑
1个参与方进行聚合后的第一聚合信息，n为自然数；针对所述第一聚合信息更新所述蒸馏模型中的学生模型，得到本地参与方针对各个参与方的第一聚合学生模型；根据所述第一聚合学生模型，得到推理检测模型；根据所述推理检测模型对待检测数据进行检测，得到推理结果。2.根据权利要求1所述的基于知识蒸馏的联邦目标检测方法，其特征在于，所述根据所述第一聚合学生模型，得到推理检测模型，包括：分别计算本地参与方针对各个参与方的第一聚合学生模型的信息增益值，对所述信息增益值按大到小进行排列，并将前m个信息增益值对应的参与方信息发送至服务器，m为自然数，m小于或等于n，前m个信息增益对应的参与方为本地参与方对应的有利参与方；接收服务器发送的对本地参与方与其有利参与方的进行聚合后的第二聚合信息，根据所述第二聚合信息更新本地参与方的第二聚合学生模型，得到本地参与方的第二聚合学生模型，以所述第二聚合学生模型作为推理检测模型。3.根据权利要求1所述的基于知识蒸馏的联邦目标检测方法，其特征在于，所述利用所述样本数据，构建本地参与方的知识蒸馏模型，包括：所述知识蒸馏模型包括老师模型和学生模型，对所述样本数据根据老师模型进行学习，得到第一目标分类软标签和第一目标边框软预测；对所述样本数据根据学生模型进行学习，通过蒸馏温度为t的sofamax层得到第二目标分类软标签和第二目标边框软预测；通过蒸馏温度为1的sofamax层得到目标分类硬标签和目标边框硬预测；根据所述第一目标分类软标签、第一目标边框软预测、第二目标分类软标签和第二目标边框软预测，计算蒸馏损失L
soft
；根据所述目标分类硬标签和目标边框硬预测，以及所述样本数据的真实样本标签和真实样本边框，得到学生损失L
hard
；所述目标函数L＝tL
soft
+(1
‑
t)L
hard
，其中，0≤t≤1,L
hard

【专利技术属性】
技术研发人员：梁天恺，田丰，黄宇恒，徐天适，陈光，张华俊，冼金才，苏新铎，
申请(专利权)人：广州广电运通金融电子股份有限公司，
类型：发明
国别省市：