一种基于联邦学习的多模态生物特征识别方法技术

本发明专利技术涉及数据融合处理技术领域，提供了一种基于联邦学习的多模态生物特征识别方法。该方法包括：将初始模型发送至多个参与方，各个参与方利用自身训练数据对初始模型训练后形成本地初始模型；服务器将个各模型的参数进行聚类，抽取每一簇内的多个参与方，参与方利用本地数据训练本地初始模型，将本地初始模型与服务方簇内的模型进行参数汇聚；服务方对同模态模型组按照不同的模态进行融合生成可互补多模态模型组；服务方将可互补多模态模型组的多模态模型互补的发送到参与方，同时将同模态模型发互补的发给参与方；参与方采用多模态模型分数融合的方法，将本地初始模型、同模态模型和多模态模型进行融合形成参与方所需的多模态融合模型。多模态融合模型。多模态融合模型。

【技术实现步骤摘要】
一种基于联邦学习的多模态生物特征识别方法


[0001]本专利技术涉及融合数据处理
，尤其涉及一种基于联邦学习的多模态生物特征识别方法。

技术介绍

[0002]生物特征模态的多模态生物特征识别现在已知的包括：人脸、指静脉、虹膜、指纹、掌纹、笔迹、步态等，但是各种模态在不同场景条件下，在可获取性、易用性和安全性等方面存在差异。多模态生物特征识别可以充分利用各个模态特征取长补短，实现在较广泛场景下的基于生物特征识别的身份认证系统应用。在生物特征识别领域是按照融合的信息特点对多模态生物特征识别融合进行等级划分。
[0003]传感器级融合:从不同传感器源获得数据的原始数据，对原始数据进行融合处理。例如：掌静脉多镜头数据拼接形成完整图像、通过多个传感器采集指静脉融合形成3D指静脉数据等。
[0004]特征级融合:在提取生物特征数据后采用算法模型计算出数据特征，多个数据特征之间如果相互独立，则可以通过计算融合各个数据特征成为一个数据特征。这个计算融合后的数据特征可以是增加数据维度、保持数据维度和减少数据维度三种形式，需要根据实际需要进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的多模态生物特征识别方法，其特征在于，包括以下步骤：第一步、各个参与方利用自身训练数据对初始模型训练后形成本地初始模型，并将本地初始模型发送到服务方服务器；第二步、服务方获得各个参与方的模型参数后，将个各模型的参数分别进行聚类计算，形成某一模态中各自不同的簇，随机抽取每一簇内的多个参与方，抽取的参与方内利用本地数据训练本地初始模型，再将同簇本地初始模型发送到服务方，在服务方进行参数汇聚，得到不同簇的同模态模型，不同簇的同模态模型组成同模态模型组；所述同模态模型组包括多种生物特征识别模态的模型；第三步、服务方利用多模态模型生成器对同模态模型组按照不同的模态进行融合生成可互补多模态模型组，所述可互补多模态模型组包括多种多模态模型；第四步、服务方根据对应的参与方所具备的模态，将可互补多模态模型组的多模态模型互补的发送到参与方，同时将同模态模型发互补的发给参与方；所述互补为多模态模型中没有融合的同模态模型；第五步、参与方采用多模态模型分数融合的方法，将本地初始模型、同模态模型和多模态模型进行融合，形成用于识别的多模态融合模型；第六步、参与方利用本地数据对多模态融合模型进行本地优化迭代；第七步、返回第一步训练进行下一轮迭代，持续进行迭代。2.根据权利要求1所述的一种基于联邦学习的多模态生物特征识别方法，其特征在于，服务方利用聚类算法对参与方的模型参数进行聚类分析：将同模态的各个参与方分成不同的簇，然后在同一个簇内，采用联邦学习方法将参与方和服务方的模型参数进行迭代优化，优化后对同模态的各个簇的模型参数进行平均聚合，形成同模态模型组。3.根据权利要求1所述的一种基于联邦学习的多模态生物特征识别方法，其特征在于，联邦学习方法包括fedavg方法及fedSGD方法。4.根据权利要求1所述的一种基于联邦学习的多模态生物特征识别方法，其特征在于，所述多种生物特征识别模态的模型包括人脸、指静脉、虹膜、指纹、掌纹、笔迹、步态同态识别模型。5.根据权利要求1所述的一种基于联邦学习的多模态生物特征识别方法，其特征在于，所述可互补多模态模型为将某一模态补集的多种生物特征识别模型融合形成的模型。6.根据权利要求1所述的一种基于联邦学习的多模态生物特征识别方法，其特征在于，第五...

【专利技术属性】
技术研发人员：康文雄，陈光，连枫钊，黄俊端，杨伟利，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：