【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于知识蒸馏和模型集成的跨域联邦目标检测方法及系统。
技术介绍
1、在一些真实应用场景中，例如自动驾驶场景，通常存在大量客户端(车)，为了让这些客户端具备目标检测能力，汽车商或自动驾驶服务提供商会在中心服务器中训练一个基础检测模型，将其发送给客户端进行工作。然而，客户端通常位于不同的数据域中。例如，在自动驾驶场景中，不同客户端之间由于地域原因会存在天气、照明和常见车辆类型的分布差异，这些差异可能导致服务器中训练的基模型预测性能下降。因此，有必要对服务器和多个客户端的数据集进行协同训练。经过训练的模型需要学习客户端域的新知识，同时仍需要保留服务器的知识。此外，为了保护隐私，在协同训练过程中，服务器不能从客户端收集原始数据集，这给协同训练带来了很大的挑战。
2、联邦学习(fl)是一种有潜力应对这一挑战的技术。fl旨在让每个参与方在不共享其本地隐私数据的情况下执行联合机器学习训练。最初的fl技术需要学习一个全局模型来处理多个客户的需求，即一个模型适应所有客户。在每一轮通信中，服务器向每个客户端发送一个全局模型。客户端使用其本地数据更新模型，并将经过训练的模型(本地模型)发送回服务器以执行参数平均，服务器将平均模型用作新的聚合模型。经过多轮通信，聚合模型能够从多个客户端学习知识。当多个客户端的数据集是独立同分布的(iid)时，联邦学习可以收敛到非常好的性能；但当数据为非iid时，即每个客户机的数据来自不同的分布,聚合模型性能会显著下降。为此，出现了个性化联合学习(pfl)，与最初旨在提高全
3、然而，在一些实际场景中，例如服务器-客户端协同的自动驾驶场景，通常存在一台服务器具有大规模数据集(超过客户端数据的十倍)和多个客户端，每个客户端只有少量数据。每个客户端和服务器之间都有一个明显的域差异。在这种情况下，一方面，原始fl可能会受到数据不平衡和非iid问题的影响，使模型难以学到个性化知识。另一方面，虽然pfl旨在提高客户端性能，但它忽视了全局性能，导致在全局域(服务器和所有客户端的联合域)中，客户端模型无法工作。
4、如上所述，在自动驾驶等协同训练场景中，现有的联邦学习技术存在难以同时兼顾服务器域和客户端域知识的问题。
技术实现思路
1、本专利技术是为解决上述问题而进行的，目的在于提供一种能够让客户端学习自身的个性化知识和大多数其他域知识的跨域联邦目标检测方法及系统，本专利技术采用了如下技术方案：
2、本专利技术提供了一种基于知识蒸馏和模型集成的跨域联邦目标检测方法，用于在不汇总客户端原始图像的情况下进行联合检测模型的训练，其特征在于，包括以下步骤：联合训练步骤，参与联邦学习的各个所述客户端利用其本地的个性化数据，基于从服务器获得的基模型训练个性化检测模型，所述服务器收集各个所述客户端的所述个性化检测模型，并利用所述服务器中的数据，以所述个性化检测模型为教师模型，进行多教师蒸馏，获得聚合模型；模型集成步骤，所述服务器将所述聚合模型发送给各个所述客户端，所述客户端对所述聚合模型进行微调获得个性化模型，并利用所述聚合模型和所述个性化模型进行模型集成，获得联合检测模型。
3、本专利技术提供的基于知识蒸馏和模型集成的跨域联邦目标检测方法，还可以具有这样的技术特征，其中，所述联合训练步骤包括以下子步骤：模型分发子步骤，所述服务器利用其自身数据训练所述基模型，并将所述基模型发送给各个所述客户端；客户端模型更新子步骤，所述客户端利用其本地的个性化数据对所述基模型进行更新，得到所述个性化检测模型；模型上传子步骤，所述客户端将训练完成的所述个性化检测模型上传至所述服务器；多教师蒸馏子步骤，所述服务器将收集的多个所述客户端的所述个性化检测模型作为多个教师模型，利用预定的多教师蒸馏算法进行多教师知识蒸馏，得到所述聚合模型，其中，所述多教师蒸馏算法包括特征抽取层的蒸馏和分类回归网络的蒸馏。
4、本专利技术提供的基于知识蒸馏和模型集成的跨域联邦目标检测方法，还可以具有这样的技术特征，其中，所述客户端模型更新子步骤中，所述客户端根据自身算力或数据量，对所述基模型的部分层进行微调，或者采用自监督学习技术对所述基模型的骨干网络进行微调。
5、本专利技术提供的基于知识蒸馏和模型集成的跨域联邦目标检测方法，还可以具有这样的技术特征，其中，所述联合训练步骤中，最终蒸馏聚合的损失函数为：
6、
7、式中，λ表示权重，是训练之前需要设置的超参，为对中间层特征的蒸馏损失，和分别为对分类头和回归头网络的蒸馏损失，为检测模型损失函数，且和具有相同的形式，都用kl散度作为距离度量，而采用l2范数作为距离度量。
8、本专利技术提供的基于知识蒸馏和模型集成的跨域联邦目标检测方法，还可以具有这样的技术特征，其中，所述模型集成步骤包括如下子步骤：样本推理子步骤，所述客户端将待测样本分别送入所述聚合模型和所述个性化检测模型中进行推理，获得两批初步的检测框；检测框聚类子步骤，对所述初步的检测框进行聚类，得到多个聚类簇；检测框融合子步骤，对所述聚类簇中的所述检测框进行融合，将每个所述聚类簇中的若干个所述检测框融合成单个检测框。
9、本专利技术提供的基于知识蒸馏和模型集成的跨域联邦目标检测方法，还可以具有这样的技术特征，其中，所述检测框聚类子步骤中，聚类的依据为所述检测框的类别及交并比，并两个所述检测框的类别一致时，利用所述交并比作为两个所述检测框的相似度，所述交并比越大则两个所述检测框的相似度越大。
10、本专利技术提供的基于知识蒸馏和模型集成的跨域联邦目标检测方法，还可以具有这样的技术特征，其中，所述检测框融合子步骤中，目的是将一个聚类簇中的t个所述检测框聚合成所述单个检测框，且所述单个检测框的评分为所述单个检测框的坐标为即根据检测的评分对同一个所述聚类簇中的所述检测框进行加权平均。
11、本专利技术提供的基于知识蒸馏和模型集成的跨域联邦目标检测方法，还可以具有这样的技术特征，该方法应用于目标检测任务，包括行人检测任务、停车位检测任务、车道线检测任务。
12、本专利技术提供了一种基于知识蒸馏和模型集成的跨域联邦目标检测系统，其特征在于，包括：服务器；多个客户端；联合训练模块，用于进行联合训练，参与联邦学习的各个所述客户端利用其本地的个性化数据，基于从服务器获得的基模型训练个性化检测模型，所述服务器收集各个所述客户端的所述个性化检测模型，并利用所述服务器中的数据，以所述个性化检测模型为教师模型，进行多教师蒸馏，获得聚合模型；以及模型聚合模块，用于进行模型聚合，所述服务器将所述聚合模型发送给各个所述客户端，所述客户端对所述聚合模型进行微调获得个性化模型，并利用所述聚合模型和所述个性化模型进行模型集成，获得联合检测模型。
13、专利技术作用与效果本文档来自技高网...
【技术保护点】
1.一种基于知识蒸馏和模型集成的跨域联邦目标检测方法，用于在不汇总客户端原始图像的情况下进行联合检测模型的训练，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
3.根据权利要求2所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
4.根据权利要求2所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
5.根据权利要求1所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
6.根据权利要求5所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
7.根据权利要求5所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
8.根据权利要求1所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
9.一种基于知识蒸馏和模型集成的跨域联邦目标检测系统，其特征在于，包括：
【技术特征摘要】
1.一种基于知识蒸馏和模型集成的跨域联邦目标检测方法，用于在不汇总客户端原始图像的情况下进行联合检测模型的训练，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
3.根据权利要求2所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
4.根据权利要求2所述的基于知识蒸馏和模型集成的跨域联邦目标检测方法，其特征在于：
5.根据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。