数据处理系统及方法技术方案

本发明专利技术公开了一种数据处理系统及方法，系统包括应用系统集合、记账中心、分布式存储集群、算力集群；第一任务处理子系统用于对超级计算任务的数据进行前处理及格式转换得到第一处理数据，计算任务下发子系统用于将计算任务信息下发至记账中心；记账中心中的子中心用于将计算任务信息发送至目标超级计算设备；目标超级计算设备用于将目标超级计算设备的硬件全局ID、目标任务ID、超级计算结果、超级计算结果的完成时间发送至子中心；子中心用于建立超级计算任务的区块链节点，并将目标计算结果发送至分布式存储集群；分布式存储集群用于接收并存储目标计算结果。由此，可以便于超级计算数据的查找，防止数据被篡改，提高超级计算数据的有效性。

【技术实现步骤摘要】

本专利技术涉及计算机，特别涉及一种数据处理系统及方法。

技术介绍

1、超级计算任务由于涉及的数据比较多，且涉及的设备也比较多，因此如何处理好各个超级计算结果的数据资源是超级计算系统的关键之一。相关技术中，如果超级计算结果只是放在磁盘上，没有对其进行相应的处理，需要读取的时候则要在上亿次计算后的海量结果中找到想要的某个记录，难度非常大且容易导致数据查找不准确的问题。如果在计算结果中采用数据库建立索引的方式，则在防止篡改、安全性以及数据一致性等方面则无法得到有效保证。

技术实现思路

1、为了解决现有技术的问题，本专利技术实施例提供了一种数据处理系统及方法，所述技术方案如下：

2、第一方面，提供一种数据处理系统，所述数据处理系统包括应用系统集合、记账中心、分布式存储集群、算力集群；

3、所述应用系统集合，与所述记账中心连接，所述应用系统集合包括至少一个第一任务处理子系统、至少一个计算任务下发子系统，所述第一任务处理子系统用于接收用户输入的针对超级计算任务的计算指令，并对所述超级计算任务的数据本文档来自技高网...

【技术保护点】

1.一种数据处理系统，其特征在于，所述数据处理系统包括应用系统集合、记账中心、分布式存储集群、算力集群；

2.根据权利要求1所述的系统，其特征在于，所述子中心用于在接收到所述目标超级计算设备发送的所述硬件全局ID、所述目标任务ID、所述超级计算结果、所述超级计算结果的完成时间的情况下，根据所述目标任务ID查找ID列表，若所述ID列表中存在与所述目标任务ID一致的ID，则确定任务匹配一致，其中，所述ID列表是所述计算任务下发子系统下发的任务的任务ID构成的列表。

3.根据权利要求1所述的系统，其特征在于，所述计算任务信息还包括计算轮次信息，所述目标超级计算设备用于按...

【技术特征摘要】

1.一种数据处理系统，其特征在于，所述数据处理系统包括应用系统集合、记账中心、分布式存储集群、算力集群；

2.根据权利要求1所述的系统，其特征在于，所述子中心用于在接收到所述目标超级计算设备发送的所述硬件全局id、所述目标任务id、所述超级计算结果、所述超级计算结果的完成时间的情况下，根据所述目标任务id查找id列表，若所述id列表中存在与所述目标任务id一致的id，则确定任务匹配一致，其中，所述id列表是所述计算任务下发子系统下发的任务的任务id构成的列表。

3.根据权利要求1所述的系统，其特征在于，所述计算任务信息还包括计算轮次信息，所述目标超级计算设备用于按照预设轮次进行计算，在当前轮次的计算完成的情况下，将当前轮次的超级计算结果、所述硬件全局id、所述目标任务id、当前轮次的所述超级计算结果的完成时间发送至所述子中心，所述目标超级计算设备还用于判断计算是否按照轮次递增，若按照轮次递增，则进行当前轮次的所述超级计算结果的数据格式校验，在数据格式校验成功的情况下，判断当前轮次是否达到计算总轮次，若当前轮次未达到计算总轮次，则进行下一轮次的计算。

4.根据权利...

【专利技术属性】
技术研发人员：黄新天，李明，
申请(专利权)人：上海思朗万维计算技术有限责任公司，
类型：发明
国别省市：