【技术实现步骤摘要】
集中式数据处理方法及装置
[0001]本申请涉及数据安全和隐私保护
，具体涉及一种集中式数据处理方法及装置。
技术介绍
[0002]随着人工智能和大数据挖掘分析等应用领域的发展，对数据量的需求越来越大。例如训练人工智能的应用模型需要使用大量带有合适的数据标签或者特征数值的训练数据。高质量的数据往往来源于经营活动中产生和积累的应用数据。但是应用数据往往分散在不同的组织和个体手上，例如交易数据分散在各个金融机构，医疗诊断数据分散在各个医疗机构。跨行业跨领域的应用数据往往也是分散的，例如互联网领域的社交属性数据和电商交易数据往往由不同实体掌控。随着数据所有权的重要性、用户隐私和数据安全等受到更多重视，也随着法律法规对数据收集处理提出更严格的约束和要求，掌握应用数据的各个组织或个体往往不愿意或者没有合适手段进行彼此之间的合作，从而很难让各自掌握的应用数据共同发挥作用。这种数据分享和协同合作方面的困境被称之为数据孤岛现象。为了解决跨行业跨组织的数据合作难题，尤其是关键的隐私保护及数据安全的问题，提出了联邦学习的概念。联邦学习指的是拥有数据的各个参与方，在不共享受保护的隐私数据且自有数据不传递到外部的前提下，通过加密的方式交换模型相关信息从而实现协同优化联邦学习模型。其中，联邦学习根据训练数据在不同参与方之间的数据特征空间和样本空间的分布情况，可以划分为在数据特征空间重叠较大而在样本空间重叠较小的横向联邦学习，在数据特征空间重叠较小而在样本空间重叠较大的纵向联邦学习，以及在数据特征空间和样本空间均重叠较小的联邦迁移学习。<...
【技术保护点】
【技术特征摘要】
1.一种集中式数据处理方法，用于联邦学习和隐私计算，其特征在于，所述方法在集中式隐私计算平台执行，所述集中式隐私计算平台包括调度模块、消息中转模块以及计算模块，所述方法包括：通过所述消息中转模块，接收来自参与方的第一远程认证请求；通过所述调度模块，提供第一调度服务调动所述消息中转模块向所述参与方发送与所述第一远程认证请求相关的认证信息，其中，与所述第一远程认证请求相关的认证信息包括所述消息中转模块的认证信息；和响应于接收到来自所述参与方的与所述第一远程认证请求相关的通过结果以及获得与本地认证请求相关的通过结果，通过所述第一调度服务调动所述计算模块响应所述参与方的业务请求，其中，与所述本地认证请求相关的通过结果基于所述计算模块和所述消息中转模块之间的双向认证通过结果。2.根据权利要求1所述的方法，其特征在于，所述计算模块和所述消息中转模块之间的双向认证通过结果包括：所述消息中转模块在接收所述第一远程认证请求之后对所述计算模块进行安全认证得到的第一认证通过结果，以及所述计算模块在所述消息中转模块接收所述第一远程认证请求之前对所述消息中转模块进行至少一次安全认证得到的第二认证通过结果。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过所述计算模块，在所述第一调度服务期间，至少更新一次对所述消息中转模块的所述第二认证通过结果，并且在更新失败后中止参与所述第一调度服务。4.根据权利要求1所述的方法，其特征在于，所述计算模块和所述消息中转模块之间的双向认证通过结果包括：所述消息中转模块在接收所述第一远程认证请求之前对所述计算模块进行单次安全认证得到的第一认证通过结果，以及所述计算模块在所述消息中转模块接收所述第一远程认证请求之前对所述消息中转模块进行至少一次安全认证得到的第二认证通过结果。5.根据权利要求1所述的方法，其特征在于，与所述本地认证请求相关的通过结果还基于所述调度模块和所述消息中转模块之间的双向认证通过结果。6.根据权利要求5所述的方法，其特征在于，所述调度模块和所述消息中转模块之间的双向认证通过结果包括：所述消息中转模块在接收所述第一远程认证请求之后对所述调度模块进行安全认证得到的第三认证通过结果，以及所述调度模块在所述消息中转模块接收所述第一远程认证请求之前对所述消息中转模块进行至少一次安全认证得到的第四认证通过结果。7.根据权利要求1所述的方法，其特征在于，所述计算模块包括多个子模块分别对应多个计算进程，所述多个子模块中的一个或者多个子模块以及对应的计算进程用于响应所述业务请求，其中，与所述本地认证请求相关的通过结果基于所述一个或者多个子模块中的每一个子模块各自和所述消息中转模块之间的双向认证通过结果。8.根据权利要求1所述的方法，其特征在于，所述计算模块配置为按照预设方式持续地对所述消息中转模块进行安全认证，并且所述计算模块和所述消息中转模块之间的双向认证通过结果包括：相对于所述消息中转模块接收所述第一远程认证请求的时刻，所述计算模块对所述消息中转模块进行的最近一次安全认证的认证通过结果。
9.根据权利要求1所述的方法，其特征在于，所述计算模块配置为间隔地对所述消息中转模块进行安全认证，并且所述计算模块和所述消息中转模块之间的双向认证通过结果包括：在所述消息中转模块接收所述第一远程认证请求之前，所述计算模块对所述消息中转模块进行的最后一次安全认证的认证通过结果。10.根据权利要求1所述的方法，其特征在于，所述计算模块配置为按照预设方式持续地对所述消息中转模块进行安全认证，并且所述计算模块和所述消息中转模块之间的双向认证通过结果包括：基于在所述消息中转模块接收所述第一远程认证请求之前的预设时间段内所述计算模块对所述消息中转模块进行的多次安全认证的统计情况而做出的认证通过结果。11.根据权利要求10所述的方法，其特征在于，所述多次安全认证的统计情况包括预设事件的发生次数和/或预设事件的发生频率。12.根据权利要求8或10所述的方法，其特征在于，所述计算模块配置为按照所述预设方式持续地对所述消息中转模块进行安全认证，包括：所述计算模块配置为按照预设时间间隔持续地对所述消息中转模块进行安全认证。13.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一调度服务期间至少更新一次与所述第一远程认证请求相关的认证信息并将更新后的与所述第一远程认证请求相关的认证信息发送给所述参与方。14.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一调度服务期间，响应于所述消息中转模块接收来自所述参与方的更新认证请求，调动所述消息中转模块向所述参与方发送与所述更新认证请求相关的认证信息。15.根据权利要求1所述的方法，其特征在于，所述第一调度服务被所述调度模块展开成与所述第一调度服务对应的多个线程并且与所述第一调度服务对应的多个线程的线程总数动态可调整。16.根据权利要求1所述的方法，其特征在于，所述集中式隐私计算平台接收来自一个或者多个参与方的多个业务请求并且通过所述调度模块为所述多个业务请求分别提供多个第一调度服务，所述多个第一调度服务与所述多个业务请求一一对应，所述多个第一调度服务中每一个第一调度服务被所述调度模块展开成与该第一调度服务对应的线程，所述调度模块还被配置为根据所述多个业务请求的整体需求来动态调整与所述多个第一调度服务中每一个第一调度服务各自对应的线程的线程总数。17.根据权利要求13或14所述的方法，其特征在于，所述参与方是数据来源方，所述业务请求包括接收来自所述数据来源方的加密数据，与所述第一调度服务对应的多个线程包括将所述加密数据写入所述集中式隐私计算平台的安全存储区域的写入操作线程。18.根据权利要求17所述的方法，其特征在于，所述集中式隐私计算平台接收来自多个数据来源方的加密数据，所述调度模块配置成为所述多个数据来源方提供多个数据库，所述多个数据来源方与所述多个数据库一一对应，所述调度模块还配置成调用所述计算模块为所述多个数据来源方的每一个数据来源方提供一个或者多个写入操作线程以便将来自该数据来源方的加密数据写入与该数据来源方对应的数据库。19.根据权利要求1所述的方法，其特征在于，所述方法还包括：发起任务请求并通过所述调度模块为所述任务请求提供第二调度服务；
通过所述第二调度服务，调动所述消息中转模块和所述计算模块对彼此进行双向认证并得到所述第二调度服务的安全认证结果；和基于所述第二调度服务的安全认证结果，通过所述第二调度服务调动所述计算模块响应所述任务请求。20.根据权利要求19所述的方法，其特征在于，所述方法还包括：判断所述任务请求是否需要合作方的参与，如果是，则通过所述第二调度服务调动所述消息中转模块向所述合作方发起第二远程认证请求以及基于来自所述合作方的与所述第二远程认证请求相关的认证信息来验证所述合作方的可信执行环境。21.根据权利要求20所述的方法，其特征在于，所述方法还包括：在所述第二调度服务期间至少更新一次对所述合作方的可信执行环境的验证结果，并且在更新失败后中止所述第二调度服务。22.根据权利要求19所述的方法，其特征在于，所述第二调度服务被所述调度模块展开成与所述第二调度服务对应的多个线程并且与所述第二调度服务对应的多个线程的线程总数动态可调整。23.根据权利要求19所述的方法，其特征在于，所述集中式隐私计算平台发起多个任务请求并且通过所述调度模块为所述多个任务请求分别提供多个第二调度服务，所述多个第二调度服务与所述多个任务请求一一对应，所述多个第二调度服务中每一个第二调度服务被所述调度模块展开成与该第二调度服务对应的线程，所述调度模块被配置为根据所述多个任务请求的整体需求来动态调整与所述多个第二调...
【专利技术属性】
技术研发人员：张春海，孙军欢，孙夏，张翔宇，楚汉祥，陈沫，
申请(专利权)人：深圳致星科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。