数据处理系统和数据处理方法技术方案

本申请实施例提供了一种数据处理系统和数据处理方法，该数据处理系统包括存储计算一体化集群，存储计算一体化集群包括至少一个存储计算引擎节点；各存储计算引擎节点包括本地内存和计算引擎，针对任一个存储计算引擎节点：本地内存用于存储计算规则和待处理数据；计算引擎用于按照预设的数据处理周期，从本地内存中读取计算规则和待处理数据，并按照计算规则对待处理数据进行计算处理，以将数据处理结果存储至本地内存中。由此可见，本申请直接采用本地内存存储数据，可以提高数据处理系统整体的数据能读写能力。同时，节省了部署存储设备所需的设备资源和网络资源，避免了网络波动和通信带宽对高并发数据计算的限制，提高了数据处理效率。数据处理效率。数据处理效率。

【技术实现步骤摘要】
数据处理系统和数据处理方法


[0001]本申请涉及大数据分析
，尤其涉及一种数据处理系统和数据处理方法。

技术介绍

[0002]随着信息化建设的发展，大规模低延迟物联网数据的采集、存储、计算和管理成为信息数字化的核心。
[0003]相关技术中，大规模低延迟物联网数据的计算处理采用存储计算分离架构。在该架构中，数据采集引擎对原始数据进行序列化处理，并将序列化处理后的数据发送给消息队列(Message queue)服务；消息队列服务将序列化处理后的数据转发至计算引擎，计算引擎接收序列化处理后的数据，并对其进行反序列化处理，得到原始数据。进一步地，计算引擎将原始数据存储至存储设备的内存中，并定时从存储设备中获取数据计算规则和待处理数据，开启计算任务，并将数据处理结果存储至存储层，以完成整个数据处理过程。
[0004]然而，上述架构中计算引擎和存储设备的内存之间通过网络通信来实现数据写入和读取，导致数据处理过程需要更多的网络资源和服务器资源；同时，网络波动和通信带宽也会成为高并发数据计算的瓶颈，导致计算任务的整体运行时间更长。...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述数据处理系统包括存算一体化集群，所述存算一体化集群包括至少一个存算一体化节点；各所述存算一体化节点均包括本地内存和计算引擎，针对任一个所述存算一体化节点：所述本地内存，用于存储计算规则和待处理数据；所述计算引擎，用于按照预设的数据处理周期，从所述本地内存中读取所述计算规则和所述待处理数据，并按照所述计算规则对所述待处理数据进行计算处理，以将数据处理结果存储至所述本地内存中。2.根据权利要求1所述的系统，其特征在于，所述数据处理系统还包括消息队列服务；所述存算一体化节点，还用于将所述数据处理结果发送给所述消息队列服务；所述消息队列服务，用于将所述数据处理结果转发给关联系统；所述关联系统为在所述消息队列服务中订阅数据处理结果的外部系统。3.根据权利要求1所述的系统，其特征在于，所述存算一体化集群还包括数据查询接口；所述数据查询接口，用于供至少一个关联系统在所述存算一体化集群中进行计算结果查询，以获取至少一个所述存算一体化节点的数据处理结果。4.根据权利要求1至3中任一项所述的系统，其特征在于，若存算一体化集群包括多个所述存算一体化节点，所述存算一体化集群还用于采用预设的任务分配算法为各所述存算一体化节点分配相应的计算任务；其中，所述任务分配算法用于在所述多个存算一体化节点中均衡分配计算任务。5.根据权利要求4所述的系统，其特征在于，若所述存算一体化集群包括多个所述存算一体化节点，则所述存算一体化集群还包括集群节点清单；所述集群节点清单，用于记录所述存算一体化集群中处于启用状态的存算一体化节点；各所述存算一体化节点，还用于将本地内存中存储的数据同步至所述集群节点清单中的其他存算一体化节点。6.根据权利要求5所述的系统，其特征在于，所述存算一体...

【专利技术属性】
技术研发人员：李志勇，潘啟兵，付光耀，李福存，王苏扬，马宁，
申请(专利权)人：江苏金恒信息科技股份有限公司，
类型：发明
国别省市：