数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及存储介质，所示方法包括：第一处理设备接收第二处理设备发送的文件地址；所述第一处理设备根据所述文件地址，从第二内存中获取数据文件，并将数据文件存储至所述第一内存中；所述第一处理设备将所述第一内存中的数据文件转换为多个目标键值对，并向第二服务器发送所述多个目标键值对，第一服务器和第二服务器属于不同的集群。本发明专利技术通过第一处理设备将第一内存中的数据文件转换为多个目标键值对，达到降低CPU的资源占用率，提高CPU的数据处理速率。率。率。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及金融科技中的联邦学习领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]在联邦学习场景中，一个联邦系统中包括多个机构对应的集群，每个集群包括通信服务器和至少一个数据处理服务器。
[0003]其中，通信服务器可以与其他集群中通信服务器进行数据交互，数据处理服务器可以根据训练数据对联邦学习模型进行训练，同时从其硬盘中读取数据库文件，对数据库文件进行处理，得到多个键值对，并将多个键值对发送至与其在同一个集群中的通信服务器。在相关技术中，数据处理服务器中的CPU可以根据训练数据对联邦学习模型进行训练，同时从硬盘中读取数据库文件，对数据库文件进行处理，得到多个键值对，并将多个键值对发送至与其在同一个集群中的通信服务器。
[0004]在上述方法中，CPU需要从硬盘中读取数据库文件，对数据库文件进行处理，得到多个键值对，并将多个键值对发送至与其在同一个集群中的通信服务器，使得CPU的资源占用率较大，导致CPU的数据处理速率较慢。
>
技术实现思路
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于第一服务器，所述第一服务器中包括第一处理设备和第二处理设备，所述第一处理设备对应第一内存，所述第二处理设备对应第二内存，所述方法包括：所述第一处理设备接收所述第二处理设备发送的文件地址；所述第一处理设备根据所述文件地址，从所述第二内存中获取数据文件，并将所述数据文件存储至所述第一内存中；所述第一处理设备将所述第一内存中的所述数据文件转换为多个目标键值对，并向第二服务器发送所述多个目标键值对，所述第一服务器和所述第二服务器属于不同的集群。2.根据权利要求1所述的方法，其特征在于，所述第一处理设备将所述第一内存中的所述数据文件转换为多个目标键值对，包括：所述第一处理设备在所述第一内存中确定至少一个数据文件集合，每个数据文件集合中包括两个数据文件；所述第一处理设备分别对每个数据文件集合中的至少两个数据文件进行解包处理、组包处理，得到每个数据文件集合对应的多个第一键值对；所述第一处理设备分别对每个数据文件集合对应的多个第一键值对进行加密处理、混淆处理和压缩处理，得到每个数据文件集合对应的目标键值对。3.根据权利要求2所述的方法，其特征在于，所述第一处理设备分别对每个数据文件集合中的两个数据文件进行解包处理、组包处理，得到每个数据文件集合对应的多个第一键值对，包括：针对所述至少一个数据文件集合中的任意一个数据文件集合，所述第一处理设备对所述数据文件集合中的数据文件进行拆分处理，得到所述数据文件集合对应的多个第二键值对和所述多个第二键值对的偏移量；所述第一处理设备对所述多个第二键值对的偏移量进行去重处理和排序处理，得到偏移量序列；所述第一处理设备根据所述偏移量序列，对所述多个第二键值对进行组包处理，得到所述数据文件集合对应的多个第一键值对。4.根据权利要求3所述的方法，其特征在于，所述第一处理设备根据所述偏移量序列，对所述多个第二键值对进行组包处理，得到所述数据文件集合对应的多个第一键值对，包括：所述第一处理设备确定所述偏移量序列中每个偏移量对应的第二键值对；所述第一处理设备对所述每个偏移量对应的第二键值对进行组包处理，得到所述数据文件集合对应的多个第一键值对。5.根据权利要求2所述的方法，其特征在于，所述第一处理设备分别对每个数据文件集合对应的多个第一键值对进行加密处理、混淆处理、组包处理和压缩处理，得到每个数据文件集合对应的目标键值对，包括：针对所述至少一个数据文件集合中的任意一个数据文件集合，所述第一处理设备对所述数据文件集合对应的多个第一键值对中的值进行加密处理，得到多个第三键值对；所述第一处理设备获取随机数和公钥，并通过所述随机数和所述公钥对所述多个第三键值对中的值进行混淆处理，得到多个第四键值对；
所述第一处理设备对多个第四键值对进行二进制组包处理，得到多个第五键值对；所述第一处理设备对所述多个第五键值对进行压缩处理，得到所述目标键值对。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一服务器向第二服务器发送所述多个目标键值对，包括：所述第一处理设备向通信服务器发送所述多个目标键值对，以使所述通信服务器向所述第二服务器发送所述多个目标键值对，其中，所述第一服务器和所述通信服务器位于同一集群。7.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一处理设备根据所述文件地址，从所述第二内存中获取数据文件，包括：所述第一处理设备根据所述文件地址，通过直接内存读取DMA方式，从所述第二内存中获取所述数据文件。8.根据权利要求1至5中任一项所述的方法，其特征在...

【专利技术属性】
技术研发人员：黄文赞，黄启军，黄铭毅，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：