一种面向海量密态数据计算的方法技术

本发明专利技术公开了一种海量密态数据计算的方法，涉及信息安全技术领域，该方法包括：获取多个

【技术实现步骤摘要】
一种面向海量密态数据计算的方法


[0001]本专利技术涉及信息安全
，尤其涉及一种面向海量密态数据计算的方法
。

技术介绍

[0002]近年来，机器学习发展迅速，已经在图像处理
、
语音识别
、
疾病诊断
、
自动驾驶等领域得到广泛应用
。
随着存储技术和网络技术的发展，医院
、
银行
、
电子商务
、
社交媒体等平台每天都会产生大量数据
。
数据持有者可以收集这些数据进行模型训练，这些模型可能有助于未来的决策，可以为客户提供预测服务和推荐服务等
。
在进行机器学习模型训练时，需要收集海量的数据并且需要耗费大量时间，而且典型的
MLaaS
场景是客户将数据信息交给服务器，服务器完成预测后将结果返回给客户，但是使用这些服务的客户可能不想透露他们的敏感数据信息，隐私保护的重要性日益提升
。
目前多方安全计算，同态加密，差分隐私等技术的兴起，带动了隐私保护领域的发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向海量密态数据计算的方法，其特征在于，包括：获取多个
JSON
数据包，并对所述多个
JSON
数据包进行序列化，得到序列化后的多条数据；将所述序列化后的多条数据进行格式化处理，得到第一数据包；根据所述第一数据包构建单向图，计算所述单向图中各节点的权重，并根据所述各节点的权重，建立权重红黑树；将所述权重红黑树中最小的权重对应的节点输入至线程池中进行计算，得到计算结果；根据所述计算结果对所述单向图进行更新，进而重新计算更新后的单向图中各节点的权重，确定更新后的权重红黑树；将所述更新后的权重红黑树中最小的权重对应的节点输入至线程池中，等待下次计算
。2.
根据权利要求1所述的面向海量密态数据计算的方法，其特征在于，所述获取多个
JSON
数据包，并对所述多个
JSON
数据包进行序列化，得到序列化后的多条数据，具体包括：利用定时器将接收缓冲区内的数据全部定时打包，得到多个
JSON
数据包；利用批处理技术，对所述多个
JSON
数据包中的数据进行处理，确定所述多个
JSON
数据包中各条数据的业务逻辑与操作顺序，得到第一处理环节数据包；将所述第一处理环节数据包划分为具有层级结构和耦合排列的第二处理环节数据包；利用同层的数据包不会出现相互依赖，下层的数据包依赖上层的数据包的原则，对所述第二处理环节数据包中的数据进行解耦重排，得到序列化后的多条数据
。3.
根据权利要求1所述的面向海量密态数据计算的方法，其特征在于，所述将所述序列化后的多条数据进行格式化处理，得到第一数据包，具体包括：对所述序列化后的多条数据进行数据拼接，得到拼接后的数据；创建所述拼接后的数据的字段名，将所述字段名与所述拼接后的数据组成一条新数据；将所述新数据加入所述序列化后的多条数据中，得到第一数据包
。4.
根据权...

【专利技术属性】
技术研发人员：马建峰，刘祎明，刘洋，马鑫迪，王祥宇，张俊伟，马卓，沈玉龙，马卓然，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：