数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及存储介质，方法包括：在可进行并行运算的平台上对待加密数据进行加密运算。对于参与加法运算的待加密数据和参考数据，分别划分为多个第一子数据、多个第二子数据。进行加法运算时，依次获得各第一子数据与相应位数的第二子数据的处理结果，实现串行处理。在获取当前第一子数据与相应位数的第二子数据的处理结果时，对位数低于当前第一子数据一位的第一子数据与相应位数的第二子数据的处理结果进行进位处理，并对之前获取的处理结果进行累加，实现串并行处理相结合，提高加法运算效率，从而提高加密效率，且降低处理器的资源占用率，使处理器有更多的资源去处理其他任务，提高处理器的整体效率。器的整体效率。器的整体效率。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及计算机运算处理
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着大数据时代的到来，通过机器学习算法可以从大数据中挖掘出有用信息，因此，数据对于机器学习模型的质量有着至关重要的作用，如果能获取更多高质量的数据，训练出的模型性能越好。然而，数据常常包含了用户的隐私信息，需要在保护用户隐私的前提下获取用户数据。
[0003]作为一种新型的机器学习框架，联邦学习(Federated Learning)通过数据加密运算，保障数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。
[0004]为提高加密效果，联邦学习使用的加密方式为非对称加密，其中，非对称加密中参与计算的数据的位宽较大，比如256bit、512bit、1024bit，甚至更高，当参与计算的数据的位宽较大时，运算时间长、效率低。

技术实现思路

[0005]本专利技术的主要目的在于提供一种数据处理方法、装置、设备及存储介质，旨在提高联邦学习模型训练过程中对数据的加密效率。
[0006]为实现上述目的，本专利技术提供一种数据处理方法，应用于第一客户终端，数据处理方法包括：
[0007]根据待加密数据划分的每个第一子数据以及参考数据划分的每个第二子数据，获取每个第一子数据与所述参考数据中相应位数的第二子数据的处理结果，所述第一子数据与所述第二子数据的位宽相同；<br/>[0008]在获取当前第一子数据与所述参考数据中相应位数的第二子数据的处理结果时，根据位数低于所述当前第一子数据的每个第一子数据分别与所述参考数据中相应位数的第二子数据的处理结果，获取所述待加密数据中位数低于所述当前第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果；
[0009]根据最高位第一子数据与最高位第二子数据的处理结果，以及所述待加密数据中位数低于所述最高位第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，获得目标处理结果，所述目标处理结果用于所述待加密数据的加密，加密后的所述待加密数据用于联邦学习。
[0010]可选的，所述根据位数低于所述当前第一子数据的每个第一子数据分别与所述参考数据中相应位数的第二子数据的处理结果，获取所述待加密数据中位数低于所述当前第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，包括：
[0011]根据所述位数低于所述当前第一子数据的相邻第一子数据与所述参考数据中相
应位数的第二子数据的处理结果，以及所述待加密数据中位数低于所述相邻第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，获取所述待加密数据中位数低于所述当前第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果。
[0012]可选的，所述根据所述位数低于所述当前第一子数据的相邻第一子数据与所述参考数据中相应位数的第二子数据的处理结果，以及所述待加密数据中位数低于所述相邻第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，获取所述待加密数据中位数低于所述当前第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，包括：
[0013]针对第i个第一子数据，根据第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，其中，i为大于或等于3，且小于或等于所述第一子数据的数量；
[0014]根据前i-2个第一子数据与所述参考数据中前i-2个第二子数据的处理结果，以及更新后的第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，获得前i-1个第一子数据与所述参考数据中前i-1个第二子数据的处理结果。
[0015]可选的，所述根据第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，包括：
[0016]确定所述第i-2个第一子数据与所述第i-2个第二子数据处理结果中位数与所述第i-2个第一子数据相对应的第三子数据；
[0017]若所述第三子数据小于所述第i-2个第一子数据，和/或，所述第三子数据小于所述第i-2个第二子数据，则对第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果的最低位进行进位处理，获得更新后的第i-1个第一子数据与所述参考数据中第i-1个处理结果。
[0018]可选的，所述根据第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，包括：
[0019]若根据第i-3个第一子数据与所述参考数据中第i-3个第二子数据的处理结果，已更新第i-2个第一子数据与所述参考数据中第i-2个第二子数据的第一类型处理结果，则根据更新后的第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果。
[0020]可选的，所述根据更新后的第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，包括：
[0021]确定所述第i-2个第一子数据与所述第i-2个第二子数据处理结果中位数与所述第i-2个第一子数据相对应的第三子数据，以及确定更新的第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果中位数与所述第i-2个第一子数据相对应的第四子数据；
[0022]若所述第四子数据小于所述第三子数据，则对第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果的最低位进行进位处理，获得更新后的第i-1个第一子数据与所述参考数据中第i-1个处理结果。
[0023]可选的，所述根据待加密数据划分的每个第一子数据以及参考数据划分的每个第
二子数据，获取每个第一子数据与所述参考数据中相应位数的第二子数据的处理结果之前，还包括：
[0024]从所述待加密数据的低位到高位的顺序，依次每隔所述第一子数据的位宽对所述待加密数据进行划分，获取每个第一子数据；
[0025]从所述参考数据的低位到高位的顺序，依次每隔所述第二子数据的位宽对所述待加密数据进行划分，获取每个第二子数据。
[0026]可选的，所述待加密数据包括如下的一项或多项：所述第一客户终端本地的训练用户数据、所述第一客户终端训练得到的联邦学习模型的模型参数、所述第一客户终端训练得到的联邦学习模型的梯度信息、所述第一客户终端训练得到的联邦学习模型的损失值；
[0027]其中，所述训练用户数据用于训练所述联邦学习模型。
[0028]可选的，所述根据待加密数据划分的每个第一子数据以及参考数据划分的每个第二子数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于第一客户终端，包括：根据待加密数据划分的每个第一子数据以及参考数据划分的每个第二子数据，获取每个第一子数据与所述参考数据中相应位数的第二子数据的处理结果，所述第一子数据与所述第二子数据的位宽相同；在获取当前第一子数据与所述参考数据中相应位数的第二子数据的处理结果时，根据位数低于所述当前第一子数据的每个第一子数据分别与所述参考数据中相应位数的第二子数据的处理结果，获取所述待加密数据中位数低于所述当前第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果；根据最高位第一子数据与最高位第二子数据的处理结果，以及所述待加密数据中位数低于所述最高位第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，获得目标处理结果，所述目标处理结果用于所述待加密数据的加密，加密后的所述待加密数据用于联邦学习。2.根据权利要求1所述的方法，其特征在于，所述根据位数低于所述当前第一子数据的每个第一子数据分别与所述参考数据中相应位数的第二子数据的处理结果，获取所述待加密数据中位数低于所述当前第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，包括：根据所述位数低于所述当前第一子数据的相邻第一子数据与所述参考数据中相应位数的第二子数据的处理结果，以及所述待加密数据中位数低于所述相邻第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，获取所述待加密数据中位数低于所述当前第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果。3.根据权利要求2所述的方法，其特征在于，所述根据所述位数低于所述当前第一子数据的相邻第一子数据与所述参考数据中相应位数的第二子数据的处理结果，以及所述待加密数据中位数低于所述相邻第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，获取所述待加密数据中位数低于所述当前第一子数据的部分数据与所述参考数据中对应位数的部分数据的处理结果，包括：针对第i个第一子数据，根据第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，其中，i为大于或等于3，且小于或等于所述第一子数据的数量；根据前i-2个第一子数据与所述参考数据中前i-2个第二子数据的处理结果，以及更新后的第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，获得前i-1个第一子数据与所述参考数据中前i-1个第二子数据的处理结果。4.根据权利要求3所述的方法，其特征在于，所述根据第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，包括：确定所述第i-2个第一子数据与所述第i-2个第二子数据处理结果中位数与所述第i-2个第一子数据相对应的第三子数据；若所述第三子数据小于所述第i-2个第一子数据，和/或，所述第三子数据小于所述第i-2个第二子数据，则对第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果的最低位进行进位处理，获得更新后的第i-1个第一子数据与所述参考数据中第i-1个
处理结果。5.根据权利要求3所述的方法，其特征在于，所述根据第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果，包括：若根据第i-3个第一子数据与所述参考数据中第i-3个第二子数据的处理结果，已更新第i-2个第一子数据与所述参考数据中第i-2个第二子数据的第一类型处理结果，则根据更新后的第i-2个第一子数据与所述参考数据中第i-2个第二子数据的处理结果，更新第i-1个第一子数据与所述参考数据中第i-1个第二子数据的处理结果。6.根据权利要求5所述的方法，其特征在于，所述根据更新后的第i-2个第一子数据与所述参考数据中第i-2个第二子数...

【专利技术属性】
技术研发人员：卓本刚，黄启军，陈瑞钦，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：