数据处理方法、设备、系统及存储介质技术方案

本申请实施例提供一种数据处理方法、设备、系统及存储介质。在本申请实施例中，计算存储分离，方便存储资源扩容，有利于实现存储资源池化，另外利用存储节点的处理能力，将计算节点的部分计算逻辑卸载到存储节点进行处理，可在最靠近数据的地方进行计算，有利于减少不必要的数据搬移，能极大地提升数据处理效率，降低访问时延，进而降低计算节点访问存储资源的代价。

Data processing method, equipment, system and storage medium

【技术实现步骤摘要】
数据处理方法、设备、系统及存储介质
本申请涉及数据存储
，尤其涉及一种数据处理方法、设备、系统及存储介质。
技术介绍
随着大数据和云计算的兴起，应用环境中需要处理大数据的场景越来越多，因此以计算存储分离为代表的分布式存储逐渐成为了云计算的一个底层基础设施。存储资源和计算资源解耦，方便存储资源扩容，有利于实现存储资源池化的目的。但是存储资源和计算资源的分离，造成的一个弊端是计算节点访问存储资源的代价变大了，访问时延更高，相比本地存储资源的访问，可能增加一倍或者更多的延迟开销。
技术实现思路
本申请的多个方面提供一种数据处理方法、设备、系统及存储介质，用以降低计算节点访问存储资源的代价，降低延迟开销。本申请实施例提供一种存储节点，通过网络与计算节点通信，所述存储节点包括：存储介质、一个或多个处理器以及通信组件；所述存储介质，用于存储数据和计算机程序；所述一个或多个处理器，用于执行所述计算机程序，以用于：通过所述通信组件接收所述计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息；根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及通过所述通信组件将计算结果返回给所述计算节点。本申请实施例提供一种计算节点，通过网络与存储节点通信，所述计算节点包括：存储介质、一个或多个处理器以及通信组件；所述存储介质，用于存储计算机程序；所述一个或多个处理器，用于执行所述计算机程序，以用于：根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息；通过所述通信组件将所述数据访问请求传输给所述存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及接收所述存储节点返回的计算结果。本申请实施例提供一种数据处理系统，包括：计算节点和存储节点，所述计算节点与所述存储节点通过网络进行通信；所述计算节点，用于根据应用的计算需求，生成数据访问请求，将所述数据访问请求传输给所述存储节点，以及接收所述存储节点返回的计算结果；其中，所述数据访问请求包括数据地址信息和计算任务信息；所述存储节点，用于接收所述数据访问请求，根据所述数据访问请求中的数据地址信息从其存储介质中读取计算所需的数据，根据所述数据访问请求中的计算任务信息对所读取的数据进行计算处理，并将计算结果返回给所述计算节点。本申请实施例提供一种数据处理方法，适用于计算节点，该方法包括：根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息；将所述数据访问请求传输给存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及接收所述存储节点返回的计算结果；其中，所述计算节点与所述存储节点通过网络进行通信。本申请实施例还提供一种数据处理方法，适用于存储节点，该方法包括：接收计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息；根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及将计算结果返回给所述计算节点；其中，所述存储节点与所述计算节点通过网络进行通信。本申请实施例提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，可实现本申请实施例提供的可由计算节点执行的方法中的步骤。本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，可实现本申请实施例提供的可由存储节点执行的方法中的步骤。在本申请实施例中，计算存储分离，方便存储资源扩容，有利于实现存储资源池化，另外利用存储节点的处理能力，将计算节点的部分计算逻辑卸载到存储节点进行处理，可在最靠近数据的地方进行计算，有利于减少不必要的数据搬移，能极大地提升数据处理效率，降低访问时延，进而降低计算节点访问存储资源的代价。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请示例性实施例提供的一种数据处理系统的结构示意图；图2为本申请示例性实施例提供的数据处理系统对应的部分软件架构图；图3a和图3b分别为本申请示例性实施例提供的新的存储协议下的封装格式的示例图；图4为本申请示例性实施例提供的一种数据处理方法的流程示意图；图5为本申请示例性实施例提供的一种计算节点的结构示意图；图6为本申请示例性实施例提供的一种存储节点的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。针对现有存储资源和计算资源分离场景中存在的访问时延更高等技术问题，在本申请一些实施例中，计算存储分离，方便存储资源扩容，有利于实现存储资源池化，另外利用存储节点的处理能力，将计算节点的部分计算逻辑卸载到存储节点进行处理，可在最靠近数据的地方进行计算，有利于减少不必要的数据搬移，能极大地提升数据处理效率，降低访问时延，进而降低计算节点访问存储资源的代价。以下结合附图，详细说明本申请各实施例提供的技术方案。图1为本申请示例性实施例提供的一种数据处理系统的结构示意图。如图1所示，该数据处理系统100包括：计算节点101和存储节点102。计算节点101和存储节点102通过网络进行通信，该网络可以是有线或无线网络。或者说，存储节点102与计算节点101是分离的，即对计算节点101来说，存储节点102是远端存储(需要通过网络访问的存储)，而为本地存储。其中，存储节点102的主要功能是为其它节点，例如计算节点101提供存储服务。从设备形态上来看，存储节点102可以是任何具有一定存储能力和通信能力的计算机设备，例如可以是存储型服务器、存储型终端设备等。如图1所示，存储节点102包括存储介质。存储节点102的存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘等。另外，存储节点102的存储介质可以进一步划分为：缓存(如SRAM)，内存(如SDRAM)和硬盘，所述硬盘可以包括U盘(如NANDFLASH)、固态硬盘(SolidStateDisk，SSD)、机械硬本文档来自技高网...

【技术保护点】
1.一种存储节点，通过网络与计算节点通信，其特征在于，所述存储节点包括：存储介质、一个或多个处理器以及通信组件；/n所述存储介质，用于存储数据和计算机程序；/n所述一个或多个处理器，用于执行所述计算机程序，以用于：/n通过所述通信组件接收所述计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息；/n根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及/n通过所述通信组件将计算结果返回给所述计算节点。/n

【技术特征摘要】
1.一种存储节点，通过网络与计算节点通信，其特征在于，所述存储节点包括：存储介质、一个或多个处理器以及通信组件；
所述存储介质，用于存储数据和计算机程序；
所述一个或多个处理器，用于执行所述计算机程序，以用于：
通过所述通信组件接收所述计算节点发送的数据访问请求，所述数据访问请求包括数据地址信息和计算任务信息；
根据所述数据地址信息从所述存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及
通过所述通信组件将计算结果返回给所述计算节点。


2.根据权利要求1所述的存储节点，其特征在于，所述一个或多个处理器还用于：根据约定的存储协议对所述数据访问请求进行解析，获取所述数据地址信息和所述计算任务信息。


3.根据权利要求2所述的存储节点，其特征在于，所述一个或多个处理器还用于：根据约定的存储协议对所述计算结果进行封装，通过所述通信组件将封装后的计算结果返回给所述计算节点。


4.根据权利要求1-3任一项所述的存储节点，其特征在于，所述存储介质包括固态硬盘SSD。


5.一种计算节点，通过网络与存储节点通信，其特征在于，所述计算节点包括：存储介质、一个或多个处理器以及通信组件；
所述存储介质，用于存储计算机程序；
所述一个或多个处理器，用于执行所述计算机程序，以用于：
根据应用的计算需求，生成数据访问请求；其中，所述数据访问请求包括数据地址信息和计算任务信息；
通过所述通信组件将所述数据访问请求传输给所述存储节点，以供所述存储节点根据所述数据地址信息从其存储介质中读取计算所需的数据，并根据所述计算任务信息对所读取的数据进行计算处理；以及
通过所述通信组件接收所述存储节点返回的计算结果。


6.根据权利要求5所述的计算节点，其特征在于，所述一个或多个处理器具体用于：
根据应用的计算需求生成数据地址信息和计算任务信息；按照约定的存储协议将所述数据地址信息和计算任务信息封装成所述数据访问请求。


7.根据权利要求6所述的计算节点，其特征在于，所述一个或多个处理器具体用于：
从应用的计算需求中解析出计算任务涉及的文件名、数据起始地址和数据长度，以及计算任务编码和计算逻辑描述信息；根据所述文件名、数据起始地址和数据长度生成数据地址信息，并根据所述计算任务编码和计算逻辑描述信息生成计算任务信息。


8.一种数据处理系统，其特征在于，包括：计算节点和存储节点，所述计算节点与所述存储节点通过网络进行通信；
所述计算节点，用于根据应用的计算需求，生成数据访问请求，将所述数据访问请求传输给所述存储节点，以及接收所述存储节点返回的计算结果；其中，所述数据访问请求包括数据地址信息和计算任务信息；
所述存储节点，用于接收所述数据访问请求，根据所述数据访问请求中的数据地址信息从其存储介质中读取计算所需的数据，根据所述数据访问请求中的计算任务信息对所读取的数据进行计算处理，并将计算结果返回给所述计算节点。


9.根据权利要求8...

【专利技术属性】
技术研发人员：王一静，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY