数据处理系统、状态转移方法、数据求交方法、装置制造方法及图纸

本公开的实施例公开了数据处理系统、状态转移方法及装置、数据求交方法及装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：询问对方处理端当前的状态，以及确定双方的状态是否合法；响应于确定双方的状态合法，进入数据处理状态；响应于数据处理结束，进入数据就绪状态，以及通知至少一个运算单元结束运算；响应于至少一个运算单元结束运算，进入结束状态。该实施方式通过在不同状态之间的切换，从而完成分布式的数据求交。

【技术实现步骤摘要】
数据处理系统、状态转移方法、数据求交方法、装置
本公开的实施例涉及计算机
，具体涉及数据处理系统、状态转移方法及装置、数据求交方法及装置、电子设备和计算机可读介质。
技术介绍
出于数据安全性和个人信息保护等考虑，不同的主体或应用之间不能交换或共享数据，从而造成数据隔离和孤岛效应日益严重。为解决这些问题，需要利用多方的数据对模型进行训练。为此，需要首先将分散在多方的数据，通过数据求交，对齐成为可供训练使用的数据块。
技术实现思路
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了数据处理系统、状态转移方法及装置、数据求交方法及装置、电子设备和计算机可读介质，来解决以上
技术介绍
部分提到的技术问题。第一方面，本公开的一些实施例提供了一种数据处理系统，包括：第一处理端和第二处理端；第一处理端和第二处理端均包括状态存储单元、状态转移控制单元、至少一个运算单元、数据存储单元；第一处理端中的至少一个运算单元和第二处理端的至少一个运算单元一一对应；第一处理端中的状态转移控制单元与第二处理端中的状态转移控制单元通信连接。第二方面，本公开的一些实施例提供了一种状态转移方法，应用于上述数据处理系统中的任一处理端中的状态转移控制单元，包括：询问对方处理端当前的状态，以及确定双方的状态是否合法；响应于确定双方的状态合法，进入数据处理状态；响应于数据处理结束，进入数据就绪状态，以及通知至少一个运算单元结束运算；响应于至少一个运算单元结束运算，进入结束状态。第三方面，本公开的一些实施例提供了一种数据求交方法，应用于上述数据处理系统中的任一处理端中的至少一个运算单元，包括：遍历当前处理端中的数据存储单元中所存储的原始数据，以及将原始数据的标识发送至对方处理端的至少一个运算单元，以使对方处理端的至少一个运算单元对原始数据的标识和对方处理端中的数据存储单元中所存储的原始数据的标识进行求交处理，得到求交结果；接收对方处理端的至少一个运算单元发送的求交结果；基于求交结果生成对应的数据块。第四方面，本公开的一些实施例提供了一种数据求交装置，应用于上述数据处理系统中的任一处理端中的至少一个运算单元，包括：遍历单元，被配置成遍历当前处理端中的数据存储单元中所存储的原始数据，以及将原始数据的标识发送至对方处理端的至少一个运算单元，以使对方处理端的至少一个运算单元对原始数据的标识和对方处理端中的数据存储单元中所存储的原始数据的标识进行求交处理，得到求交结果；接收单元，被配置成接收对方处理端的至少一个运算单元发送的求交结果；生成单元，被配置成基于求交结果生成对应的数据块。第五方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一的方法。第六方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述任一的方法。本公开的上述各个实施例中的一个实施例具有如下有益效果：提供了一种数据处理系统，通过多个分布式的处理端协同完成数据求交。其中，通过状态转移控制单元驱动状态机以实现在不同状态之间的切换。在此过程中，通过运算单元执行具体的数据求交。其中，多方的运算单元是一一对应，从而对应的两个运算单元可以在运算过程中进行通信，以确保多方在处理过程中的同步性。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1是本公开的一些实施例的数据处理系统的示例性的架构图；图2是根据本公开的状态转移方法的一些实施例的流程图；图3是一次数据求交的示例性状态转移图；图4是根据本公开的数据求交方法的一些实施例的流程图；图5是根据本公开的数据求交装置的一些实施例的结构示意图；图6是适于用来实现本公开的一些实施例的电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。下面将参考附图并结合实施例来详细说明本公开。图1是根据本公开一些实施例的数据处理系统的示例性的架构100。如图1所示，架构100包括第一处理端101和第二处理端102。第一处理端101和第二处理端102结构相同。以第一处理端为例，包括状态存储单元1011、状态转移控制单元1012、至少一个运算单元1013、数据存储单元1014。其中，第一处理端101中的至少一个运算单元1013和第二处理端102的至少一个运算单元1023一一对应。也就是说，两端的运算单元的数量相同，且以成对的方式存在，每对运算单元之间可以进行通信。举例来说，运算单元10131和运算单元10231为一对运算单元，两者可以进行通信。其中，状态存储单元1011可以用于存储当前状态等信息。实践中，作为示例，可以采用etcd(一个高可用的键值存储系统)作为状态存储单元。状态转移控制单元1012可以驱动有限状态机来实现数据处理。其功能包括但不限于：拉起运算单元或通知运算单元结束、记录数据处理过程中的信息、给运算单元分配数据等等。至少一个运算单元1013执行具体的数据处理运算。数据存储单元1014用于存储原始数据以及数据求交后生成的数据块等。至少一个运算单元1013可以读取状态存储单元1011里面的信息。比如，当至少一个运算单元1013重启的时候可以读取上次处理的状态，从检查点(checkpoint)继续处理。第一处理端101中的状态转移控制单元1012与第二处理端102中的状态转移控制单元1022通信连接，以获取对方的状态等信息。第一处理端10本文档来自技高网...

【技术保护点】
1.一种数据处理系统，包括：/n第一处理端和第二处理端；所述第一处理端和所述第二处理端均包括状态存储单元、状态转移控制单元、至少一个运算单元、数据存储单元；所述第一处理端中的至少一个运算单元和所述第二处理端的至少一个运算单元一一对应；所述第一处理端中的状态转移控制单元与所述第二处理端中的状态转移控制单元通信连接。/n

【技术特征摘要】
1.一种数据处理系统，包括：
第一处理端和第二处理端；所述第一处理端和所述第二处理端均包括状态存储单元、状态转移控制单元、至少一个运算单元、数据存储单元；所述第一处理端中的至少一个运算单元和所述第二处理端的至少一个运算单元一一对应；所述第一处理端中的状态转移控制单元与所述第二处理端中的状态转移控制单元通信连接。


2.一种状态转移方法，应用于如权1所述的数据处理系统中的任一处理端中的状态转移控制单元，包括：
询问对方处理端当前的状态，以及确定双方的状态是否合法；
响应于确定双方的状态合法，进入数据处理状态；
响应于数据处理结束，进入数据就绪状态，以及通知至少一个运算单元结束运算；
响应于所述至少一个运算单元结束运算，进入结束状态。


3.根据权利要求2所述的方法，其中，所述方法还包括：
响应于确定双方的状态不合法，进入放弃状态。


4.一种数据求交方法，应用于如权1所述的数据处理系统中的任一处理端中的至少一个运算单元，包括：
遍历当前处理端中的数据存储单元中所存储的原始数据，以及将所述原始数据的标识发送至对方处理端的至少一个运算单元，以使对方处理端的至少一个运算单元对所述原...

【专利技术属性】
技术研发人员：方晨廖晖，吴良超，吴迪，张力哲，解浚源，刘小兵，李龙一佳，陈程，黄龙，赵鹏，陈逸翔，常龙，余乐乐，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11