数据管理方法、装置及电子设备制造方法及图纸

本申请涉及一种数据管理方法、装置及电子设备。方法包括：数据提供方接收数据请求，数据请求通过数据提供方所归属的联邦学习框架的数据交互协议被发送给数据提供方，数据交互协议使得联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据；数据提供方通过解析数据请求确定数据请求要调用的数据，判断数据请求是否包括与要调用的数据相对应的元数据，以及确定数据请求的发起方的身份信息；和响应于数据请求包括与要调用的数据相对应的元数据，数据提供方根据数据请求的发起方的身份信息判断数据请求的发起方是否获得针对要调用的数据的授权许可，如果否，则拒绝该数据请求。如此，提供对数据使用授权鉴权的精细化管理。细化管理。细化管理。

【技术实现步骤摘要】
数据管理方法、装置及电子设备


[0001]本申请涉及数据安全和隐私保护
，具体涉及一种数据管理方法、装置及电子设备。

技术介绍

[0002]随着人工智能和大数据挖掘分析等应用领域的发展，对数据量的需求越来越大。例如训练人工智能的应用模型需要使用大量带有合适的数据标签或者特征数值的训练数据。高质量的数据往往来源于经营活动中产生和积累的应用数据。但是应用数据往往分散在不同的组织和个体手上，例如交易数据分散在各个金融机构，医疗诊断数据分散在各个医疗机构。跨行业跨领域的应用数据往往也是分散的，例如互联网领域的社交属性数据和电商交易数据往往由不同实体掌控。随着数据所有权的重要性、用户隐私和数据安全等受到更多重视，也随着法律法规对数据收集处理提出更严格的约束和要求，掌握应用数据的各个组织或个体往往不愿意或者没有合适手段进行彼此之间的合作，从而很难让各自掌握的应用数据共同发挥作用。这种数据分享和协同合作方面的困境被称之为数据孤岛现象。为了解决跨行业跨组织的数据合作难题，尤其是关键的隐私保护及数据安全的问题，提出了联邦学习的概念。联邦学习指的是拥有数据的各个参与方，在不共享受保护的隐私数据且自有数据不传递到外部的前提下，通过加密的方式交换模型相关信息从而实现协同优化联邦学习模型。其中，联邦学习根据训练数据在不同参与方之间的数据特征空间和样本空间的分布情况，可以划分为在数据特征空间重叠较大而在样本空间重叠较小的横向联邦学习，在数据特征空间重叠较小而在样本空间重叠较大的纵向联邦学习，以及在数据特征空间和样本空间均重叠较小的联邦迁移学习。
[0003]常见的联邦学习框架包括FATE(Federated AI Technology Enabler)框架，其基于python搭建出从数据求交、建模、预测到发布上线机器学习的一套全流程功能，从而实现数据可用不可见。在FATE框架基础上，为了打破数据孤岛以及让数据安全互联互通，还存在各种用于联邦学习和隐私计算的基础框架。但是，FATE框架和这些基础框架中缺乏对数据使用进行授权鉴权的精细化管理手段，从而存在用户隐私泄露风险。为此，需要一种数据管理方法、装置及电子设备，用于联邦学习和隐私计算等相关应用场景，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与基础框架结合从而利于推广和应用。

技术实现思路

[0004]第一方面，本申请实施例提供了一种数据管理方法，所述方法在数据提供方执行，所述方法包括：所述数据提供方接收数据请求，其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据提供方，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据；所述数据提供方通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括
与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息；和响应于所述数据请求包括与所述要调用的数据相对应的元数据，所述数据提供方根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求。
[0005]第一方面所描述的技术方案，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。
[0006]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述方法还包括：所述数据提供方在批准所述数据请求之后为所述数据请求的发起方提供所述要调用的数据从而合作进行联邦学习任务，所述数据提供方在所述联邦学习任务进行期间至少更新一次对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果，并且在更新失败后中止为所述数据请求的发起方提供所述要调用的数据和/或中止参与所述联邦学习任务。
[0007]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述方法还包括：所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，认定所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果为存在冲突的至少两个既定事实，以及计算该至少两个既定事实之间的冲突的可信水平；当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，拒绝所述数据请求。
[0008]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述方法还包括：所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距；当该最小差距小于第二阈值时，拒绝所述数据请求。
[0009]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述元数据包括以下至少一项：存储位置信息、历史数据、资源查找信息、文件记录。
[0010]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述数据请求的发起方的身份信息包括IP地址。
[0011]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述联邦学习框架是FATE框架，所述数据交互协议包括GRPC协议。
[0012]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第一阈值根据所述数据提供方的数据安全需求程度确定。
[0013]根据第一方面的技术方案的一种可能的实现方式，本申请实施例还提供了，所述第二阈值根据所述数据提供方的数据安全需求程度确定。
[0014]第二方面，本申请实施例提供了一种非瞬时性计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现根据第一方面中任一项所述的方法。
[0015]第二方面所描述的技术方案，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。
[0016]第三方面，本申请实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现根据第一方面中任一项所述的方法。
[0017]第三方面所描述的技术方案，不仅能够提供对数据使用进行授权鉴权的精细化管理手段而且可以便利地与FATE框架等基础框架结合从而利于推广和应用。
[0018]第四方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，所述方法在数据提供方执行，所述方法包括：所述数据提供方接收数据请求，其中，所述数据请求通过所述数据提供方所归属的联邦学习框架的数据交互协议被发送给所述数据提供方，所述数据交互协议使得所述联邦学习框架的参与方之间可基于元数据获得与该元数据对应的原始数据；所述数据提供方通过解析所述数据请求确定所述数据请求要调用的数据，判断所述数据请求是否包括与所述要调用的数据相对应的元数据，以及确定所述数据请求的发起方的身份信息；和响应于所述数据请求包括与所述要调用的数据相对应的元数据，所述数据提供方根据所述数据请求的发起方的身份信息判断所述数据请求的发起方是否获得针对所述要调用的数据的授权许可，如果否，则拒绝所述数据请求。2.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：所述数据提供方在批准所述数据请求之后为所述数据请求的发起方提供所述要调用的数据从而合作进行联邦学习任务，所述数据提供方在所述联邦学习任务进行期间至少更新一次对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果，并且在更新失败后中止为所述数据请求的发起方提供所述要调用的数据和/或中止参与所述联邦学习任务。3.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，认定所述至少一次验证失败结果和对所述数据请求的发起方获得针对所述要调用的数据的授权许可的判断结果为存在冲突的至少两个既定事实，以及计算该至少两个既定事实之间的冲突的可信水平；当该至少两个既定事实之间的冲突的可信水平超过第一阈值时，拒绝所述数据请求。4.根据权利要求1所述的数据管理方法，其特征在于，所述方法还包括：所述数据提供方在接收所述数据请求之前对所述数据请求的发起方进行至少一次验证得到至少一次验证结果，所述至少一次验证结果指示所述数据请求的发起方在被验证时是否具有针对所述要调用的数据的授权许可；当所述至少一次验证结果中存在至少一次验证失败结果并且所述数据提供方判断所述数据请求的发起方获得针对所述要调用的数据的授权许可时，计算与所述至少一次验证失败结果相对应的验证操作的发生时间和所述数据提供方接收所述数据请求的时间之间的最小差距；当该最小差距小于第二阈值时，拒绝所述数据请求。5.根据权利要求1至4中任一项所述的数据管理方法，所述元数据包括以下至少一项：存储位置信息、历史数据、资源查找信息、文件记录。6.根据权利要求1至4中任一项所述的数据管理方法，所述数据请求的发起方的身份信息包括IP地址。7.根据权利要求1至4中任一项所述的数据管理方法，所述联邦学习框架是FATE框架，
所述数据交互协议包括GRPC协议。8.根据权利要求3所述的数据管理方法，其特征在于，所述第一阈值根据所述数据提供方的数据安全需求程度确定。9.根据权利要求4所述...

【专利技术属性】
技术研发人员：李晋杰，孙军欢，陈沫，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：