一种纵向联邦学习场景中高效的特征贡献评估方法技术

技术编号:28055816 阅读:18 留言:0更新日期:2021-04-14 13:25
一种纵向联邦学习场景中高效的特征贡献评估方法,所述该方法包括三个模块:1)运算拆分2)MC采样近似3)通信聚合,本发明专利技术设计了一个面向纵向联邦学习预测过程的公平的特征贡献评估方法。基于shapley value评估,保证了评估结果的公平性。同时通过MC采样近似,降低双方的计算开销。通过泰勒展开和运算拆分,降低通信开销。信开销。信开销。

【技术实现步骤摘要】
一种纵向联邦学习场景中高效的特征贡献评估方法


[0001]本专利技术涉及的纵向联邦学习场景中高效的特征贡献评估方法,属于特征选择和模型可解释性领域。

技术介绍

[0002]数据是人工智能发展的“土壤”。能否获得大规模、高质量的数据集已经成为制约AI相关研究发展的重要因素。隐私、制度等限制了数据共享,而联邦学习在数据保存在本地的情况下实现共同建模,是数据共享的新趋势和机遇。而在联邦学习场景下,模型预测过程中参与方的特征贡献评估及后续的收益分配,是一个重要的问题。本专利技术针对特征分布在不同拥有方的纵向联邦学习场景,旨在模型预测过程中,公平地评估每个参与方提供的特征值的贡献,同时降低评估过程中的计算开销和通信开销。
[0003]现有的特征贡献评估方法主要基于Shapley value(SV)。SV具有很好的公平性,但SV基于边际增益的期望计算导致计算复杂度很高。现有方法从两个角度降低计算开销:1)蒙特卡洛(MC)采样近似。根据中心极限定理,随着采样次数的增加,采样均值趋于期望。通过调整采样次数来调节计算开销与计算精度之前的平衡,同时可以在有限的开销预算下,降低计算结果的误差。2)线性解释方法(SHAP)。在评估点附近采样,结合基于SV的权重训练线性模型,以模型系数作为特征贡献,可以降低采样次数,同时计算结果更稳定。但是现有方法在联邦学习场景下面临困境。基于采样的方法,不仅带来巨大的计算开销,同时还有通信开销。线上采样过程中双方通信带来的时间延迟在一些情况下远大于计算延迟。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足,为公平地评估联邦学习中参与方的特征贡献,同时降低计算和通信开销,本专利技术的主要步骤为:主要步骤如下:一种纵向联邦学习场景中高效的特征贡献评估方法,所述该方法包括三个模块:1)运算拆分2)MC采样近似3)通信聚合。
[0005]作为优选:所述运算拆分为根据SV,将特征i的贡献用边际增益期望的表示:E(i)=E
x
[f(x∪i)

f(i)]。基于SV的评估满足公平性的需求。为了降低在线采样计算的通信开销,将f的运算拆分成只与参与方A(x
A
)有关和只与参与方B(x
B
)有关的两部分。该模块分为两步:一、交换运算顺序。首先根据期望运算的性质,和的期望等于期望的和:E(i)=E
x
[f(x∪i)

f(x)]=E
x
[f(x∪i)]‑
E
x
[f(x)].然后,对f进行线性近似,得到交换运算顺序:二、线性近似由于逻辑回归模型f中包含非线性函数:sigmoid函数。对sigmoid函数在评估点x附近求导,作为泰勒近似的系数。当x=0时,其中z=θ
A
x
A

B
x
B
.然后将A、B的特征x
A
,x
B
带入展开式,得到模型近似结果和A,B双方特征的关系:
将模型中的非线性运算用泰勒三阶展开近似。在计算的期望时,对于展开项中只与单个参与方特征有关的项(例如),直接由该参与方独立计算该项的期望。对于与双方特征都有关的项(例如),在假设双方特征独立的情况下,交换期望运算和项运算的顺序:拆分成两个只与单个参与方特征相关的项,并由相应的参与方独立计算其期望。
[0006]作为优选:所述所述2)MC采样近似为每个参与方独立计算只与本地特征相关的项的期望(例如)。期望的计算采样MC近似:随机采样x
A
计算θ
A
x
A
的采样值,多次迭代计算均值,作为期望的近似值。针对参与方A,评估特征i时,在每一轮迭代中,对x
A
所有特征进行随机排序。排在特征i之前的特征用真实值,之后的特征用数据集中的随机采样点的取值替代,构造特征x

A
,计算相应的θ
A
x

A
。不断循环迭代过程,直到该项的均值收敛。
[0007]作为优选:所述3)通信聚合为双方通过采样近似得到本地项的期望后,通过一次通信,得到最终的边际收益期望值,作为特征的贡献评估结果。通信,得到最终的边际收益期望值,作为特征的贡献评估结果。同样的方法计算E[x],进而得到E[i]=E[x∪i]‑
E[x]。
[0008]本专利技术设计了一个面向纵向联邦学习预测过程的公平的特征贡献评估方法。基于shapley value评估,保证了评估结果的公平性。同时通过MC采样近似,降低双方的计算开销。通过泰勒展开和运算拆分,降低通信开销。
附图说明
[0009]图1为本专利技术基于MC采样近似的评估方法,通信开销为O(2
m
)。
[0010]图2为本专利技术基于MC采样结合泰勒近似的评估方法,通信开销为O(1)。
具体实施方式
[0011]下面将结合附图对本专利技术作详细的介绍:如图1

2所示。本专利技术针对纵向联邦学习场景下的逻辑回归模型,评估双方在预测过程中的特征贡献。本方法基于MC采样法进行优化,在计算边际增益的期望的情况下,优化参与双方的通信开销和计算开销。分为三个模块:1)运算拆分2)MC采样近似3)通信聚合
[0012](1)运算拆分:根据SV,将特征i的贡献用边际增益期望的表示:E(i)=E
x
[f(x∪i)

f(i)]。基于SV的评估满足公平性的需求。为了降低在线采样计算的通信开销,将f的运算拆分成只与参与方A(x
A
)有关和只与参与方B(x
B
)有关的两部分。该模块分为两步:
[0013]i)交换运算顺序。首先根据期望运算的性质,和的期望等于期望的和:E(i)=E
x
[f(x∪i)

f(x)]=E
x
[f(x∪i)]‑
E
x
[f(x)].然后,对f进行线性近似,得到交换运算顺序:
[0014]ii)线性近似由于逻辑回归模型f中包含非线性函数:sigmoid函数。对sigmoid函数在评估点x附近求导,作为泰勒近似的系数。当x=0时,其中z=θ
A
x
A

B
x
B
.然后将A、B的特征x
A
,x
B
带入展开式,得到模型近似结果和A,B双方特征的关系:系:将模型中的非线性运算用泰勒三阶展开近似。在计算的期望时,对于展开项中只与单个参与方特征有关的项(例如),直接由该参与方独立计算该项的期望。对于与双方特征都有关的项(例如),在假设双方特征独立的情况下,交换期望运算和项运算的顺序:拆分成两个只与单个参与方特征相关的项,并由相应的参与方独立计算其期望。
[0015]2)MC采样近似。每个参与方独本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种纵向联邦学习场景中高效的特征贡献评估方法,其特征在于所述该方法包括三个模块:1)运算拆分;2)MC采样近似;3)通信聚合。2.根据权利要求1所述的所述纵向联邦学习场景中高效的特征贡献评估方法,其特征在于所述运算拆分为根据SV,将特征i的贡献用边际增益期望的表示:E(i)=E
x
[f(x∪i)

f(i)]。基于SV的评估满足公平性的需求。为了降低在线采样计算的通信开销,将f的运算拆分成只与参与方A(x
A
)有关和只与参与方B(x
B
)有关的两部分。该模块分为两步:一、交换运算顺序。首先根据期望运算的性质,和的期望等于期望的和:E(i)=E
x
[f(x∪i)

f(x)]=E
x
[f(x∪i)]

E
x
[f(x)].然后,对f进行线性近似,得到交换运算顺序:二、线性近似由于逻辑回归模型f中包含非线性函数:sigmoid函数。对sigmoid函数在评估点x附近求导,作为泰勒近似的系数。当x=0时,其中z=θ
A
x
A

B
x
B
.然后将A、B的特征x
A
,x
B
带入展开式,得到模型近似结果和A,B双方特征的关系:带入展开式,得到模型近似结果和A,B双方特征的关系:将模型...

【专利技术属性】
技术研发人员:张兰李向阳刘梦境
申请(专利权)人:德清阿尔法创新研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1