数据处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供了一种数据处理方法、装置及存储介质，方法包括：基于数据读取协议，通过本地存储接收客户端发送的处理请求；其中，处理请求包括:业务数据；本地存储为非内存存储区；响应处理请求，基于用户态驱动调用预定轮询器对业务数据进行处理。由于本申请中是通过非内存存储区接收处理请求，无需在服务器的内核内完成数据拷贝进而绕过内核进行处理，而且用户态驱动调用预定轮询器进行处理的方式不需要开启多个线程，节省了线程之间切换的时间，进而减少了时延开销，提高了服务器对数据的读写效率。率。率。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及计算机及互联网
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]相关技术中，通常采用分布式键值存储(Distributed Key
‑
Value Store，DKV)来存储简单的半结构化数据，提供基于秘钥的增删改查功能。但是DKV存储存在延迟和吞吐等性能不能满足高性能业务的问题。主要存在两个问题：1、客户端网络延迟：DKV的客户端到服务器之间采用传输控制协议(Transmission control protocol，TCP)网络。传统的服务器采用TCP网络读写数据时存在内存拷贝和内核切换开销导致时延高。2、线程切换开销：服务器通过线程网络收到客户端请求后，通常会新起线程来处理读写数据。然而在大量业务并发中线程切换会占据较大的线程等待和时延开销。进而导致DKV存储集群中服务器对数据的读写效率较低。

技术实现思路

[0003]本申请实施例提供的一种数据处理方法、装置、电子设备及存储介质，可以提高DKV存储集群中服务器对数据的读写效率。
[0004]本申请的技术方案是这样实现的：
[0005]本申请实施例提供了一种数据处理方法，应用于目标服务器，包括：
[0006]基于数据读取协议，通过本地存储接收客户端发送的处理请求；
[0007]其中，所述处理请求包括:业务数据；所述本地存储为非内存存储区；
[0008]响应所述处理请求，基于用户态驱动调用预定轮询器对所述业务数据进行处理。
[0009]本申请实施例还提供了一种数据处理方法，应用于客户端，包括：
[0010]基于数据读取协议，向目标服务器发送处理请求；所述目标服务器基于数据读取协议接收所述处理请求，并基于用户态驱动调用预定轮询器对所述处理请求中的业务数据进行处理。
[0011]本申请实施例还提供了一种数据处理装置，应用于目标服务器，包括：
[0012]接收单元，用于基于数据读取协议，通过本地存储接收客户端发送的处理请求；
[0013]其中，所述处理请求包括:业务数据；所述本地存储为非内存存储区；
[0014]处理单元，用于响应所述处理请求，基于用户态驱动调用预定轮询器对所述业务数据进行处理。
[0015]本申请实施例还提供了一种数据处理装置，应用于客户端，包括：
[0016]发送单元，用于基于数据读取协议，向目标服务器发送处理请求；所述目标服务器基于数据读取协议接收所述处理请求，并基于用户态驱动调用预定轮询器对所述处理请求中的业务数据进行处理。
[0017]本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有
可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现目标服务器一侧所述方法中的步骤。
[0018]本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现目标服务器一侧所述方法中的步骤。
[0019]本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现客户端一侧所述方法中的步骤。
[0020]本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现客户端一侧所述方法中的步骤。
[0021]本申请实施例中，基于数据读取协议，通过本地存储接收客户端发送的处理请求；其中，处理请求包括:业务数据；本地存储为非内存存储区；响应处理请求，基于用户态驱动调用预定轮询器对业务数据进行处理。由于本申请中是通过非内存存储区接收处理请求，无需在服务器的内核内完成数据拷贝进而绕过内核进行处理，而且用户态驱动调用预定轮询器进行处理的方式不需要开启多个线程，节省了线程之间切换的时间，进而减少了时延开销，提高了服务器对数据的读写效率。
附图说明
[0022]图1为相关技术中的一个可选的效果示意图；
[0023]图2为本申请实施例提供的数据处理方法的一个可选的流程示意图；
[0024]图3为本申请实施例提供的数据处理方法的一个可选的效果示意图；
[0025]图4为本申请实施例提供的数据处理方法的一个可选的流程示意图；
[0026]图5为本申请实施例提供的数据处理方法的一个可选的效果示意图；
[0027]图6为本申请实施例提供的数据处理方法的一个可选的效果示意图；
[0028]图7为本申请实施例提供的数据处理方法的一个可选的效果示意图；
[0029]图8为本申请实施例提供的数据处理方法的一个可选的流程示意图；
[0030]图9为本申请实施例提供的数据处理方法的一个可选的流程示意图；
[0031]图10为本申请实施例提供的数据处理方法的交互示意图；
[0032]图11为本申请实施例提供的数据处理装置的结构示意图一；
[0033]图12为本申请实施例提供的电子设备的一种硬件实体示意图一；
[0034]图13为本申请实施例提供的数据处理装置的结构示意图二；
[0035]图14为本申请实施例提供的电子设备的一种硬件实体示意图二。
具体实施方式
[0036]为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0037]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突
的情况下相互结合。
[0038]如果申请文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0039]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0040]相关技术中，在高性能分布式全闪架构中提出元数据映射是其核心组件。为了适应全闪对延迟的要求，系统需要提供可靠的元数据服务，快速的元数据访问等特性。通常采用分布式键值存储DKV承载。承载的业务类型包含存储系统元数据，地址映射表，图像等。
[0041]分布式键值存储：通常存储简单的半结构化数据，提供基于秘钥的增删改查功能。分布式集群包含客户端、数据服务节点和服务端，其中服务端端运行RocksDB引擎实例。数据服务节点负责元信息维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于目标服务器，包括：基于数据读取协议，通过本地存储接收客户端发送的处理请求；其中，所述处理请求包括:业务数据；所述本地存储为非内存存储区；响应所述处理请求，基于用户态驱动调用预定轮询器对所述业务数据进行处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述处理请求包括：存储控制信息和中间请求；所述数据读取协议包括：单双边的数据读取协议；所述基于数据读取协议，通过本地存储接收客户端发送的处理请求，包括：基于双边的所述数据读取协议，与所述客户端协商确定出存储控制信息；所述存储控制信息用于对所述中间请求进行读或写处理；基于单边的所述数据读取协议，通过本地存储接收所述客户端发送的所述中间请求。3.根据权利要求2所述的数据处理方法，其特征在于，在所述中间请求为读请求的情况下；所述基于双边的所述数据读取协议，与所述客户端协商确定出存储控制信息，包括：基于服务端轮询器调用双边的所述数据读取协议，接收所述客户端发送的第一存储控制信息；所述第一存储控制信息用于表征客户端一侧本次读请求的数据存储信息；所述基于单边的所述数据读取协议，通过本地存储接收所述客户端发送的中间请求，包括：基于服务端轮询器调用单边的所述数据读取协议，接收所述客户端发送的所述读请求；所述基于用户态驱动调用预定轮询器对所述业务数据进行处理，包括：解析所述读请求，得到读业务数据；所述业务数据包括：所述读业务数据；基于所述用户态驱动调用所述预定轮询器在本地存储中，通过所述读业务数据中的键值读取对应的读数据；基于服务端轮询器调用单边的数据读取协议，将所述读数据写入所述客户端中所述第一存储控制信息表征的位置。4.根据权利要求2所述的数据处理方法，其特征在于，在所述处理请求为写请求的情况下；所述基于双边的所述数据读取协议，与所述客户端协商确定出存储控制信息，包括：接收所述客户端发送的控制信息请求，响应所述控制信息基于服务端轮询器调用双边的所述数据读取协议，向所述客户端发送第二存储控制信息；所述第二存储控制信息用于表征本次写请求的数据存储信息；所述基于单边的所述数据读取协议，通过本地存储接收所述客户端发送的中间请求，包括：基于服务端轮询器调用单边的数据读取协议，接收所述客户端发送的所述写请求；所述基于用户态驱动调用预定轮询器对所述业务数据进行处理，包括：解析所述写请求，得到写业务数据；所述业务数据包括：所述写业务数据；基于所述用户态驱动调用所述预定轮询器，将所述写业务数据写入所述第二存储控制信息表征的位置。5.根据权利要求1
‑
4任一项所述的数据处理方法，其特征在于，所述数据读取协议包括：远程直接数据存取协议；所述用户态驱动包括：SPDK(Storage Performance Development Kit)线程。
6.一种数据处理方法，其特征在于，应用于客户端，包括：基于数据读取协议，向目标服务器发送处理请求；所述目标服务器基于数据读取协议接收所述处理请求，并基于用户态驱动调用预定轮询器对所述处理请求中的业务数据进行处理。7.根据权利要求6所述的数据处理方法，其特征在于，所述处理请求包括：存储控制信息...

【专利技术属性】
技术研发人员：周玉坤，周炜，李正正，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：