一种基于GPU的高性能多方安全计算训练方法及系统技术方案

技术编号:39948098 阅读:15 留言:0更新日期:2024-01-08 23:05
一种基于GPU的高性能多方安全计算训练方法及系统,涉及具体涉及多方安全计算协议领域。本发明专利技术的目的是给出一种并行程度更高的的多方安全计算训练框架,以实现通过结合数据并行与模型并行的方式来实现神经网络不同层之间的并行,来提高训练过程的数据吞吐速度。本发明专利技术方法是一种基于管道流水线训练方法的多方安全计算训练系统,如图1所示,该方法针对MPC模型训练过程中线性计算网络层与非线性计算网络层的瓶颈分别为计算与通信这一特性,设计了管道流水线训练方法,实现子网络间的并行,并实现了最优子网络分割算法以均衡每个子网络之间的训练负载。本发明专利技术给出一种并行程度更高的的多方安全计算训练框架,通过结合数据并行与模型并行的方式来实现神经网络不同层之间的并行,大大提高训练过程的数据吞吐速度。

【技术实现步骤摘要】

本专利技术涉及具体涉及多方安全计算协议领域,一种基于gpu的高性能多方安全计算训练系统。


技术介绍

1、近年来,随着计算机技术的高速发展,机器学习模型的应用越来越广泛,并且有越来越多的隐私数据作为训练数据应用到其中。多方安全计算(mpc,multi-partycomputation)提供一种隐私计算的方法,可以在不泄露输入数据的情况下对目标函数进行隐私计算,具有广阔的应用前景与重大的研究价值。为了满足一定的安全假设,多方安全计算的协议基于秘密分享值进行计算,增加了计算量并且会产生大量计算方间通信。并且由于密文计算过程中的通信与计算串行进行,频繁的通信会导致gpu时常处于空闲状态,使训练过程的硬件利用率较低。以上两个因素使得基于mpc的训练时间成本显著增加,是这种安全隐私计算投入应用的主要阻碍。

2、使用多方安全计算进行模型训练的主要问题在于,多方安全计算协议中的所有运算都基于加性秘密分享值,会造成大量的计算与通信开销,造成训练时间急剧增加。由于在密文上进行计算,类似加法、乘法、比较这类基本运算都由相互依赖的计算步骤与通信步骤组成,所以一段时间内本文档来自技高网...

【技术保护点】

1.一种基于GPU的高性能多方安全计算训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于GPU的高性能多方安全计算训练方法,其特征在于,子网络分割的实现算法为:

3.根据权利要求2所述的基于GPU的高性能多方安全计算训练方法,其特征在于,所述子网络分割的实现算法是一种用于计算最优子网络分割方式的动态规划算法,其使用多层循环对计算进行展开,自顶向下对问题进行分解;在每层循环中使用最优时间进行比较,表示通过自底向上计算每一级计算单元的最佳理论训练时间,对每个子问题选出最优分割方式,最后得到全局最优分割方式,所述Ak和Tk的计算公式为

4....

【技术特征摘要】

1.一种基于gpu的高性能多方安全计算训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于gpu的高性能多方安全计算训练方法,其特征在于,子网络分割的实现算法为:

3.根据权利要求2所述的基于gpu的高性能多方安全计算训练方法,其特征在于,所述子网络分割的实现算法是一种用于计算最优子网络分割方式的动态规划算法,其使用多层循环对计算进行展开,自顶向下对问题进行分解;在每层循环中使用最优时间进行比较,表示通过自底向上计算每一级计算单元的最佳理论训练时间,对每个子问题选出最优分割方式,最后得到全局最优分割方式,所述ak和tk的计算公式为:

4.根据权利要求1、2或3所述的基于gpu的高性能多方安全计算训练方法,其特征在于,管道流水线训练的实现算法为:

5.根据权利要求4所述的基于gpu的高性能多方安全计算训练方法,其特征在于,在管道流水线训练的实现过程中,

6.根据权利要求5所述的基于gpu的高性能多方安全计...

【专利技术属性】
技术研发人员:郝萌何慧王临轩张伟哲杨洪伟
申请(专利权)人:哈尔滨工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1