一种数据存算方法及装置制造方法及图纸

本发明专利技术公开了一种数据存算方法及装置，涉及数据处理技术领域。该方法主要包括：采用数据存算一体引擎接收计算任务，确定参与计算的数据的唯一业务标识；其中，数据存算一体引擎是包括计算分区和内存分区的引擎，计算分区和内存分区存在关联映射关系；基于唯一业务标识确定目标数据对象，并从数据存算一体引擎中确定目标数据对象的目标内存分区；基于计算分区和内存分区的关联映射关系，确定与目标内存分区存在关联映射关系的目标计算分区；从目标内存分区获取参与计算的数据并发送至目标计算分区，以使目标计算分区执行计算任务。该实施方式可以减少网络输入输出数据的传输，提高本地内存数据读写能力，提升计算速度。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其涉及一种数据存算方法及装置。

技术介绍

1、随着大数据技术的发展，各个领域对大数据处理要求不断提高。

2、目前，普遍使用的大数据处理架构属于存算分离架构，但这种架构由于存储引擎和计算引擎的分离使得在数据处理过程中消耗大量的网络流量及存储流量，导致网络输入输出负载增加，因此，数据的实时计算速度过慢。

3、综上，目前亟需一种可以解决当前大数据处理过程中网络输入输出负载较大、数据实时计算速度较慢等问题的方法。

技术实现思路

1、有鉴于此，本专利技术实施例提供一种数据存算方法及装置，以解决当前大数据处理过程中网络输入输出负载较大、数据实时计算速度较慢的问题。

2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据存算方法。

3、本专利技术实施例的一种数据存算方法包括：

4、采用数据存算一体引擎接收计算任务，确定参与计算的数据的唯一业务标识；其中，上述数据存算一体引擎是包括计算分区和内存分区的引擎，上述计算分区和上述内存本文档来自技高网...

【技术保护点】

1.一种数据存算方法，其特征在于，包括：

2.根据权利要求1所述的数据存算方法，其特征在于，建立所述计算分区和所述内存分区的关联映射关系，包括：

3.根据权利要求2所述的数据存算方法，其特征在于，所述将每个节点中内存分区与计算分区进行关联映射，包括：

4.根据权利要求3所述的数据存算方法，其特征在于，所述将各个内存分区分配给每个计算分区，包括：

5.根据权利要求2所述的数据存算方法，其特征在于，所述将存储引擎的驱动程序嵌入计算引擎的驱动程序，包括：

6.根据权利要求2所述的数据存算方法，其特征在于，所述将存储引擎的驱动程序嵌入计...

【技术特征摘要】

1.一种数据存算方法，其特征在于，包括：

2.根据权利要求1所述的数据存算方法，其特征在于，建立所述计算分区和所述内存分区的关联映射关系，包括：

3.根据权利要求2所述的数据存算方法，其特征在于，所述将每个节点中内存分区与计算分区进行关联映射，包括：

4.根据权利要求3所述的数据存算方法，其特征在于，所述将各个内存分区分配给每个计算分区，包括：

5.根据权利要求2所述的数据存算方法，其特征在于，所述将存储引擎的驱动程序嵌入计...

【专利技术属性】
技术研发人员：姜栋琛，
申请(专利权)人：凯美瑞德苏州信息科技股份有限公司，
类型：发明
国别省市：