数据处理方法、装置及计算设备制造方法及图纸

本申请实施例提供一种数据处理方法、装置及移动终端。其中，请求端在待存储数据中添加预留字段，将待存储数据构造为目标数据；请求端将该目标数据发送至存储端，存储端分配内存以缓存该目标数据，并生成目标数据中待存储数据的数据元数据；将所述数据元数据写入分配的内存中所述预留字段对应的内存位置。本申请实施例实现了数据零拷贝，保证了数据存储效率，提高了系统性能。

Data Processing Method, Device and Computing Equipment

【技术实现步骤摘要】
数据处理方法、装置及计算设备
本申请实施例涉及数据处理
，尤其涉及一种数据处理方法、一种数据处理装置及一种计算设备。
技术介绍
在存储系统中进行数据存储时，为了保证数据安全性，通常会在待存储数据的尾部添加用于描述待存储数据相关属性的元数据，也被称为数据元数据，从而可以将待存储数据以及数据元数据一次性写入存储设备中。由于接收到请求端发送的待存储数据时，存储端会被动分配一块与待存储数据的数据大小一致的内存以缓存该待存储数据，为了保证待存储数据以及数据元数据可以一次性写入存储设备中，现有技术的一种实现方式是：重新申请一块写盘内存，该写盘内存的大小为待存储数据的数据大小加上数据元数据的数据大小，之后将待存储数据拷贝至写盘内存中，再在写盘内存中拼接上该数据元数据，使得待存储数据与数据元数据组织在一起，从而只需执行一次写操作，即可以将写盘内存中的待存储数据以及数据元数据作为一个整体写入存储设备中。但是，由上述描述可知，现有技术中需要先采用数据拷贝的方式将待存储数据重新拷贝至写盘内存中，这就会影响数据存储效率。
技术实现思路
本申请实施例提供一种数据处理方法、装置及计算设备，用以解决现有技术中数据存储效率低的技术问题。第一方面，本申请实施例中提供了一种数据处理方法，包括：在待存储数据中添加预留字段，以获得目标数据；发送所述目标数据至存储端；其中，所述预留字段在所述存储端对应的内存位置用以写入所述待存储数据的数据元数据，以使得所述待存储数据以及所述数据元数据作为整体写入存储设备。第二方面，本申请实施例中提供了一种数据处理方法，包括：获取目标数据；所述目标数据由请求端在待存储数据中添加预留字段构成；分配第二内存以缓存所述目标数据；生成所述目标数据中所述待存储数据的数据元数据；将所述数据元数据写入所述第二内存中所述预留字段对应的内存位置。第三方面，本申请实施例中提供了一种数据处理装置，包括：数据构造模块，用于在待存储数据中添加预留字段，以获得目标数据；数据发送模块，用于发送所述目标数据至存储端；其中，所述预留字段在所述存储端对应的内存位置用以写入所述待存储数据的数据元数据，以使得所述待存储数据以及所述数据元数据作为整体写入存储设备。第四方面，本申请实施例中提供了一种数据处理装置，包括：数据获取模块，用于获取目标数据；所述目标数据由请求端在待存储数据中添加预留字段构成；内存分配模块，用于分配第二内存以缓存所述目标数据；数据生成模块，用于生成所述目标数据中所述待存储数据的数据元数据；数据写入模块，用于将所述数据元数据写入所述第二内存中所述预留字段对应的内存位置。第五方面，本申请实施例中提供了一种计算设备，包括存储组件以及处理组件，所述存储组件用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件调用执行；所述处理组件用于：在待存储数据中添加预留字段，以获得目标数据；发送所述目标数据至存储端；其中，所述预留字段在所述存储端对应的内存位置用以写入所述待存储数据的数据元数据，以使得所述待存储数据以及所述数据元数据作为整体写入存储设备。第六方面，本申请实施例中提供了一种计算设备，包括存储组件以及处理组件，所述存储组件用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件调用执行；所述处理组件用于：获取目标数据；所述目标数据由请求端在待存储数据中添加预留字段构成；在所述存储组件中分配第二内存以缓存所述目标数据；生成所述目标数据中所述待存储数据的数据元数据；将所述数据元数据写入所述第二内存中所述预留字段对应的内存位置。本申请实施例中，请求端在待存储数据中添加预留字段，将待存储数据构造为目标数据；该目标数据的数据大小即为待存储数据的数据大小以及该预留字段占用的数据大小之和。请求端将该目标数据发送至存储端，存储端分配内存以缓存该目标数据，由于目标数据中预留了预留字段，预留字段对应的内存空间可以足够写入数据元数据，因此存储端无需额外分配新内存，既不会造成内存浪费，同时避免了数据拷贝，因此可以提高数据存储效率，提高系统性能。本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本申请提供的一种数据处理方法一个实施例的流程图；图2示出了本申请提供的一种数据处理方法又一个实施例的流程图；图3示出了本申请提供的一种数据处理方法又一个实施例的流程图；图4a示出了本申请实施例中的一种数据结构示意图；图4b示出了本申请实施例中的另一种数据结构示意图；图5示出了本申请提供的一种数据处理方法又一个实施例的流程图；图6示出了本申请实施例在一个实际应用中数据处理的交互示意图；图7示出了本申请提供的一种数据处理装置一个实施例的结构示意图；图8示出了本申请提供的一种计算设备一个实施例的结构示意图；图9示出了本申请提供的一种数据处理装置又一个实施例的结构示意图；图10示出了本申请提供的一种计算设备又一个实施例的结构示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。本申请实施例的技术方案主要应用于存储系统中，该存储系统可以为传统存储系统或者分布式存储系统。为了方便理解，下面首先对本申请实施例中可能出现的技术术语进行相应解释：存储端：负责数据存取操作；传统存储系统采用集中的存储服务器存储数据，存储端即可以是指该存储服务器；分布式存储系统中数据分散存储在多个数据存储节点，存储端即可以是指该一个或多个数据存储节点；数据存储节点：分布式存储系统中负责数据存储的节点，通常为一个物理服务器。请求端：负责发送读/写请求，上层的业务系统即通过请求端向存储端存取数据或者更新数据等。请求元数据：请求端发送至存储端的待存储数据的数据指引信息，其可以包括待存储数据的数据长度和/或数据位置、以及存盘指示信息，存盘指示信息也即是指指定待存储数据写入哪一个存储设备中，请求元数据并不会写入存储数据中。数据元数据(DataMeta)：用于描述待存储数据相关属性的元数据，其可以包括数据长度、数据校验和、存储位置、所属文件名称等等，数据元数据会与待存储数据写入存储设备中。多副本技术：分布式存储系统中一种数据冗余技术，为了防止某个数据存储节点故障而导致数据丢失，通常会将原始数据做几份拷贝，每个拷贝数据存储到不同的数据存储本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：在待存储数据中添加预留字段，以获得目标数据；发送所述目标数据至存储端；其中，所述预留字段在所述存储端对应的内存位置用以写入所述待存储数据的数据元数据，以使得所述待存储数据以及所述数据元数据作为整体写入存储设备。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：在待存储数据中添加预留字段，以获得目标数据；发送所述目标数据至存储端；其中，所述预留字段在所述存储端对应的内存位置用以写入所述待存储数据的数据元数据，以使得所述待存储数据以及所述数据元数据作为整体写入存储设备。2.根据权利要求1所述的方法，其特征在于，所述存储端包括多个数据存储节点；所述发送所述目标数据至存储端包括：确定所述待存储数据分别对应所述多个数据存储节点的请求元数据；计算所述目标数据与所述多个请求元数据的总数据大小；分配与所述总数据大小一致的第一内存；将所述目标数据以及所述多个请求元数据填入所述第一内存；向所述多个数据存储节点分别发送所述目标数据及各自对应的请求元数据。3.根据权利要求1所述的方法，其特征在于，所述存储端包括多个数据存储节点；所述发送所述模板数据至存储端包括：确定所述待存储数据分别对应所述多个数据存储节点的请求元数据；计算所述目标数据与所述多个请求元数据的总数据大小；分配与所述总数据大小一致的第一内存；将所述目标数据填入所述第一内存，以及在所述目标数据的尾部依次填入多个请求元数据；针对任一数据存储节点，将所述第一内存中的所述目标数据、所述任一数据存储节点对应的请求元数据以及位于所述任一数据存储节点对应的请求元数据之前的请求元数据发送至所述任一存储节点；所述任一数据存储节点用于从接收数据的尾部读取其对应的请求元数据。4.根据权利要求3所述的方法，其特征在于，所述在所述目标数据的尾部依次填入多个请求元数据包括：按照所述多个数据存储节点的发送顺序，在所述目标数据的尾部依次填入所述多个数据存储节点各自对应的请求元数据；所述针对任一数据存储节点，从所述第一内存中将所述目标数据、所述任一数据存储节点对应的请求元数据以及位于所述任一数据存储节点对应的请求元数据之前的请求元数据发送至所述任一存储节点包括：针对任一数据存储节点，从所述第一内存中将所述目标数据、与所述任一数据存储节点的发送顺序对应的请求元数据以及位于与所述任一数据存储节点的发送顺序对应的请求元数据之前的请求元数据发送至所述任一存储节点。5.根据权利要求1所述的方法，其特征在于，所述在待存储数据中添加预留字段，以获得目标数据包括：在所述待存储数据尾部添加预设大小的预定字符串作为所述预留字段，以获得目标数据。6.根据权利要求1所述的方法，其特征在于，所述发送所述目标数据至存储端包括：分配与所述目标数据的数据大小一致的第一内存；将所述目标数据填入所述第一内存；从所述第一内存中将所述目标数据发送至存储端。7.一种数据处理方法，其特征在于，包括：获取目标数据；所述目标数据由请求端在待存储数据中添加预留字段构成；分配第二内存以缓存所述目标数据；生成所述目标数...

【专利技术属性】
技术研发人员：刘金鑫，董乘宇，刘善阳，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY