基于联邦学习的虹膜图像特征提取方法、系统和装置制造方法及图纸

本发明专利技术属于图像识别领域，具体涉及了一种基于联邦学习的虹膜图像特征提取方法、系统和装置，旨在解决现有的虹膜特征提取模型无法兼顾隐私保护和多方合作，且单纯地堆叠虹膜数据进行模型训练无法提升模型的识别性能的问题。本发明专利技术通过获取本地虹膜数据集的本地虹膜特征，进而生成本地特征三元组和本地三元损失，于第三方计算瓦瑟斯坦联邦三元损失函数根据瓦瑟斯坦联邦三元损失函数更新本地平台的虹膜图像特征提取网络并用新的虹膜图像特征提取网络提取新虹膜图像特征。本发明专利技术利用不同来源的虹膜特征在特征空间中的分布特性和规律，辅助自身模型训练，使得抽取出的特征具备更好的可区分性，从而提升各个合作方的虹膜特征表达能力和识别准确性。达能力和识别准确性。达能力和识别准确性。

【技术实现步骤摘要】
基于联邦学习的虹膜图像特征提取方法、系统和装置


[0001]本专利技术属于图像识别，具体涉及了一种基于联邦学习的虹膜图像特征提取方法、系统和装置。

技术介绍

[0002]虹膜作为一种准确性高且安全性好的生物特征，正在广泛的应用于各种身份识别和安全控制场景，随着各国对于生物特征这种关乎生命财产安全的高度隐私数据的保护法规愈发严格后，构建大规模虹膜数据中心进行堆叠训练的方式趋于不可行，因此建立基于隐私保护和多方合作的联邦虹膜识别模型训练和特征学习框架势在必行。联邦学习可以联合多方数据进行训练，对于安全性和隐私性要求较高的场合更加适用。另一方面，联邦虹膜识别模型训练和特征学习框架可以联合多个虹膜数据库和各种虹膜识别神经网络协同学习，充分平衡各方识别性能和泛化能力，凸显各个模型和数据分布所具有的个异性。同时，通过第三方计算平台对同态加密后的多方特征进行交互学习，在严格保密条件下充分提升各方模型抽取特征在特征空间的可区分性，从而获得更高的虹膜识别准确性。
[0003]现有技术中，通过收集多个虹膜数据集，不考虑数据安全和隐私保护的前提下，建立单一数据中心，将全部数据直接堆叠混合在一起，送入深度神经网络等模型进行特征学习的训练方式。
[0004]基于深度学习框架的虹膜识别模型通常需要海量的虹膜样本进行学习，但是构建大规模虹膜数据中心存在安全性隐患和隐私保护的限制，因为作为高度隐私的生物特征原始数据一旦泄露将是不可逆的，但是缺乏大量训练数据的虹膜识别模型在实际应用中的泛化能力和边际效果将大幅下降，因此建立联合多方的数据去中心化的虹膜识别模型训练和特征学习的框架尤为重要。另外目前的大多数虹膜数据集之间由于采集规则，采集设备、采集环境、数据规模、图片质量等方面存在着明显的差异，不同的虹膜数据库分布显著不同，单纯的依赖于堆叠无限制的虹膜数据并不能持续提升模型的识别性能，甚至会起到反作用。目前，缺乏一种兼顾隐私保护和多方合作的虹膜识别模型训练和特征学习框架，以充分挖掘出多方数据的潜能和深层价值，使得各个合作方的识别模型都能受益于他方数据集的空间分布和模型特征表达能力，从而进一步提升自身的识别能力和泛化能力。

技术实现思路

[0005]为了解决现有技术中的上述问题，即如何在保护隐私的基础上，使虹膜特征提取网络学习多个其他平台的虹膜特征数据，同时还保留各合作方的个异性，提高虹膜识别的准确性提高模型的识别性能，本专利技术提供了一种基于联邦学习的虹膜图像特征提取方法方法，所述方法包括：
[0006]步骤S100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜
分割和归一化；
[0007]步骤S200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；
[0008]步骤S300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；
[0009]步骤S400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；
[0010]步骤S500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。
[0011]进一步地，步骤S200包括：
[0012]步骤S210，设有N个本地虹膜图像特征提取网络，则输入的所述虹膜有效区域图像集为：
[0013]其中，N表示虹膜有效区域图像，本地虹膜有效区域图像集的个数为P，m1表示本地虹膜数据集D
A
中的样本数目，m2表示本地虹膜数据集D
B
中的样本数目，mP表示本地虹膜数据集D
P
中的样本数目；
[0014]每个虹膜有效区域图像对应着表示左眼或右眼的类别标签：
[0015]对应的本地平台的虹膜特征提取网络为EF
A
，EF
B
，......，EF
P
；表示本地虹膜数据集D
A
中的第1个样本的类别标签；每个本地平台的虹膜特征提取网络提取出的本地虹膜特征集为：
[0016]其中，i、j和k为样本标号，表示虹膜图像的本地虹膜特征；
[0017]步骤S220，随机从每个本地虹膜特征集中选取一个锚点特征，基于锚点特征随机选取与锚点类别相同的正样本特征，并随机选取与锚点类别不同的负样本特征，将所述锚点特征、正样本特征和负样本特征组成K组特征三元组：
[0018]其中，表示本地虹膜特征F
A
中的特征集中的锚点特征，表示本地虹膜特征F
A
中与锚点同类别的正样本特征，表示本地虹膜特征F
A
中与锚点类别不同的负样本特征；表示本地虹膜特征中的特征集中的锚点特征，表示本地虹膜特征中与锚点同类别的正样本特征，表示本地虹膜特征中与锚点类别不同的负样本特征；表示本地虹膜特征中的特征集中的锚点特征，表示本地虹膜特征中与锚点同类别的正样本特征，表示本地虹膜特征中与锚点类别不同的负样本特征；
[0019]每个本地特征三元组满足：每个本地特征三元组满足：s.t.a，b，c∈1，2，......，m1
[0020]步骤S230，基于每个所述特征三元组计算本地三元损失L
Tri
：
[0021]其中，(TA，TP，TN)表示特征三元组，α是正负样本之间的间隔约束，用于提高特征分布的区分性。
[0022]进一步地，步骤S300包括：
[0023]通过同态加密函数对所述特征三元组进行加密，生成加密本地特征三元组，所述同态加密函数为：H(
·
)＝[[
·
]][0024]其中，Ω和表示加密对象，H(
·
)表示同态加密函数；
[0025]所述加密本地特征三元组为：
[0026]通过同态加密函数对所述本地三元损失进行加密，生成加密本地三元损失L
Tri
：：：
[0027]进一步地，步骤S400包括：
[0028]步骤S410，基于加密的本地虹膜特征，所述第三方联邦计算平台将所述本地三元损失汇总生成全局三元损失矩阵：
[0029]其中，L
AA
表示特征集F
A
对特征集F
A
的三元损失，通过；
[0030]步骤S420，基于所述加密的特征三元组，计算瓦瑟斯坦权重矩阵：
[0031]步骤S430，基于所述全局三元损失矩阵和瓦瑟斯坦权重矩阵，获取所述瓦瑟斯坦联邦三元损失函数[[L
...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的虹膜图像特征提取方法，其特征在于，所述方法包括：步骤S100，各本地平台的虹膜图像预处理网络对本地虹膜数据集进行预处理生成归一化虹膜图像集和相应的虹膜有效区域掩膜图像集，并基于所述归一化虹膜图像集和相应的虹膜有效区域掩膜图像集生成虹膜有效区域图像集；所述预处理包括眼部检测、虹膜分割和归一化；步骤S200，基于所述虹膜有效区域图像集，通过各本地平台的虹膜图像特征提取网络获取本地虹膜特征，基于所述本地虹膜特征生成本地特征三元组和本地三元损失；步骤S300，对所述本地特征三元组和本地三元损失进行同态加密，生成加密本地特征三元组和加密本地三元损失；步骤S400，第三方联邦计算平台基于所述加密本地特征三元组和加密本地三元损失计算瓦瑟斯坦联邦三元损失函数；步骤S500，各本地平台对所述瓦瑟斯坦联邦三元损失函数进行解密，获得解密三元损失函数，基于所述解密三元损失函数更新各本地平台的虹膜图像特征提取网络，获得新虹膜图像特征提取网络；通过所述新虹膜图像特征提取网络获取最终虹膜图像特征。2.根据权利要求1所述的基于联邦学习的虹膜图像特征提取方法，其特征在于，步骤S200包括：步骤S210，设有P个本地虹膜图像特征提取网络，则输入的所述虹膜有效区域图像集为：为：其中，N表示虹膜有效区域图像m1表示本地虹膜数据集D
A
中的样本数目，m2表示本地虹膜数据集D
B
中的样本数目，mP表示本地虹膜数据集D
P
中的样本数目；每个虹膜有效区域图像对应着表示左眼或右眼的类别标签：对应的本地平台的虹膜特征提取网络为EF
A
，EF
B
，......，EF
P
；表示本地虹膜数据集D
A
中的第1个样本的类别标签，时表示虹膜有效区域的类别为i；每个本地平台的虹膜特征提取网络提取出的本地虹膜特征集为：
其中，i、j和k为样本标号，表示虹膜图像的本地虹膜特征；步骤S220，随机从每个本地虹膜特征集中选取一个锚点特征，基于锚点特征随机选取与锚点类别相同的正样本特征，并随机选取与锚点类别不同的负样本特征，将所述锚点特征、正样本特征和负样本特征组成K组特征三元组：征、正样本特征和负样本特征组成K组特征三元组：其中，表示本地虹膜特征F
A
中锚点的特征，表示在本地虹膜特征集F
A
中与锚点同类别的正样本特征，表示本地虹膜特征F
A
中与锚点类别不同的负样本特征；表示本地虹膜特征中的特征集中的锚点特征，表示本地虹膜特征中与锚点同类别的正样本特征，表示本地虹膜特征中与锚点类别不同的负样本特征；表示本地虹膜特征中的特征集中的锚点特征，表示本地虹膜特征中与锚点同类别的正样本特征，表示本地虹膜特征中与锚点类别不同的负样本特征；每个本地特征三元组满足：每个本地特征三元组满足：s.t.a，b，c∈1，2，......，m1步骤S230，基于每个所述特征三元组计算本地三元损失L
Tri
：其中，(TA，TP，TN)表示特征三元组，α是正负样本之间的间隔约束，用于提高特征分布的区分性。3.根据权利要求2所述的基于联邦学习的虹膜图像特征提取方法，其特征在于，步骤S300包括：
通过同态加密函数对所述特征三元组进行加密，生成加密本地特征三元组，所述同态加密函数为：H(
·
)＝[[
·
]]]]其中，Ω和表示加密对象，H(
·
)表示同态加密函数；所述加密本地特征三元组为：通过同态加密函数对所述本地三元损失进行加密，生成加密本地三元损失L
Tri
：4.根据权利要求3所述的基于联邦学习的虹膜图像特征提取方法，其特征在于，步骤S400包括：步骤S410，基于加密的本地虹膜特征，所述第三方联邦计算平台将所述本地三元损失汇总生成全局三元损失矩阵：其中，L
AA
表示特征集F
A
对特征集F
A
的三元损失，通过；步骤S420，基于所述加密的特征三元组，计算瓦瑟斯坦权重矩阵：步骤S430，基于所述全局三元损失矩阵和瓦瑟斯坦权重矩阵，获取所述瓦瑟斯坦联邦三元损失函数[[L
WFT
]]：[[L
WFT
]]＝∑
i∈{A，B，......，P}
∑
j∈{A，B，......，P}
[[W
ij
]]*[[L
ij
]]＝[[W
AA
]][[L
AA
]]+[[W
AB
]]
[[L
AB
]]+
…
+[[W
AP
]][[L
AP
]]+[[W
BA
]][[L
BA
]]+[[W
BB
]][[L
BB
]]+
…
+[[W
BP
]][[L
BP
]]+
…
+[[W
PA
]][[L
PA
]]+[[W
PB
]][[L
PB
]]+
…
+[[W
PP
]][[L
PP
]]。5.根据权利要求4所述的基于联邦学习的虹膜图像特征提取方法，所述步骤S410包括：步骤S411，所述第三方联邦计算平台将本地三元损失发送至各本地平台，各本地平台基于所述本地三元损失，获取三元组对损失：
其中，L
AA
表示特征集F
A
对特征集F
A
的三元损失，由特征集F
A
...

【专利技术属性】
技术研发人员：骆正权，孙哲南，王云龙，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：