【技术实现步骤摘要】
本公开涉及数据处理，具体地，涉及一种数据处理方法及装置。
技术介绍
1、数据沙箱技术是一种隐私计算技术，该技术通过构建一个可信计算环境，使得外部程序可以在该可信计算环境中执行相应的数据操作，从而既可以使用外部程序对数据进行加工处理，也可以保障数据的安全。对于数据需求方来说，不能进入数据沙箱查看和调阅真实的全量数据。对于数据分析方来说，由于数据沙箱将调试环境和运行环境隔离，所以也只能在调试环境中使用样本数据调试代码，然后将代码发送到运行环境中运行全量数据，也无法接触全量数据。由此，通过数据沙箱可以实现数据的隐私安全保护。
2、由于数据沙箱技术是一种兼具安全性和可操作性的隐私计算技术，所以在各类数据处理场景中，数据提供方会将数据转移到数据沙箱中，以供相应的数据需求方使用。
技术实现思路
1、本公开的目的是提供一种数据处理方法及装置，该数据处理方法及装置能够降低沙箱数据的处理复杂度，实现沙箱数据的异步传输，并保证沙箱数据的完整性。
2、为了实现上述目的，根据本公开实施例的第一方面，提供一种数据处理方法，应用于数据沙箱，所述数据沙箱包括沙箱处理节点和沙箱数据节点，所述数据处理方法包括：响应于获取到沙箱数据，将所述沙箱数据以数据分片的形式存储到所述沙箱处理节点；响应于检测到所述沙箱处理节点存在符合预设条件的数据分片，将所述符合预设条件的数据分片从所述沙箱处理节点转移到所述沙箱数据节点。
3、可选地，所述沙箱处理节点配置有用于存储数据分片的存储空间，所述预设
4、可选地，所述符合预设条件的数据分片的数量为第一数量，所述将所述符合预设条件的数据分片从所述沙箱处理节点转移到所述沙箱数据节点，包括：根据所述第一数量的数据分片，生成第二数量的数据分片；所述第二数量大于所述第一数量；将所述第二数量的数据分片转移到所述沙箱数据节点。
5、可选地，所述沙箱数据为关系型数据、流式数据或者二进制数据；所述数据处理方法还包括：若所述沙箱数据为关系型数据，建立所述沙箱处理节点与第一数据源之间的第一传输链路；通过所述沙箱处理节点基于第一传输链路从所述第一数据源获取所述沙箱数据；若所述沙箱数据为流式数据，建立所述沙箱处理节点与第二数据源之间的管道缓冲区，所述管道缓冲区用于供所述第二数据源写入数据；通过所述沙箱处理节点读取所述管道缓冲区的数据，以获取所述沙箱数据；若所述沙箱数据为二进制数据，建立所述沙箱处理节点与第三数据源之间的第二传输链路；通过所述沙箱处理节点基于所述第二传输链路从所述第三数据源获取所述沙箱数据。
6、可选地，所述数据处理方法还包括：响应于检测到所述沙箱处理节点与所述沙箱数据节点断开连接，重新连接所述沙箱处理节点与所述沙箱数据节点；响应于检测到所述沙箱处理节点与所述沙箱数据节点恢复连接，将未转移的符合预设条件的数据分片转移到所述沙箱数据节点。
7、可选地，所述数据处理方法还包括：响应于检测到所述数据沙箱与数据源断开连接，重新连接所述数据沙箱与所述数据源；响应于检测到所述数据沙箱与所述数据源恢复连接，基于断开连接时的数据传输进度获取沙箱数据；和/或，响应于检测到所述沙箱数据的存储速度大于所述数据分片的转移速度，暂停将所述沙箱数据以数据分片的形式存储到所述沙箱处理节点；和/或，响应于检测到所述数据分片的转移速度大于所述沙箱数据的存储速度，暂停将所述符合预设条件的数据分片从所述沙箱处理节点转移到所述沙箱数据节点。
8、可选地，所述数据处理方法还包括：获取所述沙箱数据的元数据信息；所述将所述沙箱数据以数据分片的形式存储到所述沙箱处理节点，包括：根据所述元数据信息，将所述沙箱数据以数据分片的形式存储到所述沙箱处理节点。
9、可选地，所述数据沙箱还包括数据生成节点，所述元数据信息包括：分片参数和数据处理进度，所述根据所述元数据信息，将所述沙箱数据以数据分片的形式存储到所述沙箱处理节点，包括：通过所述数据生成节点根据所述数据处理进度确定待处理的沙箱数据；将所述待处理的沙箱数据以符合所述分片参数的数据分片的形式存储到所述沙箱处理节点。
10、可选地，所述数据处理方法还包括：将所述沙箱处理节点存储的数据分片与所述沙箱数据节点存储的数据分片合并，获得合并数据。
11、根据本公开实施例的第二方面，提供一种数据处理装置，应用于数据沙箱，所述数据沙箱包括沙箱处理节点和沙箱数据节点，所述数据处理装置包括：存储模块，被配置为响应于获取到沙箱数据，将所述沙箱数据以数据分片的形式存储到所述沙箱处理节点；转移模块，被配置为响应于检测到所述沙箱处理节点存在符合预设条件的数据分片，将所述符合预设条件的数据分片从所述沙箱处理节点转移到所述沙箱数据节点。
12、通过上述技术方案，对于获取的沙箱数据，以数据分片的形式先存储到沙箱处理节点，如果检测到沙箱处理节点存在符合预设条件的数据分片，将该数据分片从沙箱处理节点转移到沙箱数据节点。一方面，将沙箱数据以数据分片的形式存储，实现沙箱数据的分而治之处理，进而降低沙箱数据的处理复杂度，以及实现沙箱数据的异步传输；在数据传输出现中断时，可以快速恢复数据传输。另一方面，将数据分片在沙箱内部进行转移，可以降低沙箱数据的处理压力，以及降低沙箱数据的泄露风险。
13、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据沙箱，所述数据沙箱包括沙箱处理节点和沙箱数据节点，所述数据处理方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述沙箱处理节点配置有用于存储数据分片的存储空间，所述预设条件为：存储数据分片的存储空间的数据存储量达到预设数据存储量。
3.根据权利要求2所述的数据处理方法，其特征在于，所述符合预设条件的数据分片的数量为第一数量，所述将所述符合预设条件的数据分片从所述沙箱处理节点转移到所述沙箱数据节点，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，所述沙箱数据为关系型数据、流式数据或者二进制数据；所述数据处理方法还包括：
5.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
7.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
8.根据权利要求7所述的数据处理方法，其特征在于，所述数据沙箱还包括数据生成节点，所述元数
9.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
10.一种数据处理装置，其特征在于，应用于数据沙箱，所述数据沙箱包括沙箱处理节点和沙箱数据节点，所述数据处理装置包括：
...【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据沙箱，所述数据沙箱包括沙箱处理节点和沙箱数据节点，所述数据处理方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述沙箱处理节点配置有用于存储数据分片的存储空间，所述预设条件为：存储数据分片的存储空间的数据存储量达到预设数据存储量。
3.根据权利要求2所述的数据处理方法，其特征在于，所述符合预设条件的数据分片的数量为第一数量，所述将所述符合预设条件的数据分片从所述沙箱处理节点转移到所述沙箱数据节点，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，所述沙箱数据为关系型数据、流式数据或者二进制数据；所述数据处理方法还包括：
5.根据权利要求1所述的数据...
【专利技术属性】
技术研发人员：徐艳军，徐石成，何光宇，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。