System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据存储方法、系统、电子设备及计算机存储介质技术方案_技高网

数据存储方法、系统、电子设备及计算机存储介质技术方案

技术编号:41213130 阅读:4 留言:0更新日期:2024-05-09 23:36
本申请实施例提供了一种数据存储方法、系统、电子设备及计算机存储介质。该方法应用于第一数据处理器,所述第一数据处理器部署在服务器集群中的本地服务器,所述方法包括:接收容器发送的待存储数据;将所述待存储数据通过传输协议栈发送至第二数据处理器,以通过所述第二数据处理器将所述待存储数据存储至远程服务器,其中,所述第二数据处理器部署在所述远程服务器中。本申请通过在本地服务器中部署第一数据处理器,进而通过第一数据处理器将本地服务器中容器产生的待存储数据发送至第二数据处理器,并由第二数据处理器将待存储数据存储至远程服务器,可以释放本地服务器的主机资源,提高了主机的资源使用效率。

【技术实现步骤摘要】

本申请实施例涉及计算机,尤其涉及一种数据存储方法、系统、电子设备及计算机存储介质


技术介绍

1、在kubernetes(k8s,自动化部署、扩展和管理容器化应用程序的开源容器编排平台)运行时,本地服务器中的容器会产生数据,并需要对产生的数据进行持久化存储。

2、现有技术中在存储容器产生的数据时,通过会采用远程存储的方式,将数据存储至远程服务器。但现有技术中在将容器产生的数据存储远程服务器的过程中,是由本地服务器的主机操作的,进而数据存储操作会占用主机一部分的处理资源,进而降低主机处理核心数据的效率。


技术实现思路

1、有鉴于此,本申请实施例提供一种数据存储方法、系统、电子设备及计算机存储介质,通过在本地服务器中部署第一数据处理器,进而通过第一数据处理器将本地服务器中容器产生的待存储数据发送至第二数据处理器,并由第二数据处理器将待存储数据存储至远程服务器,可以释放本地服务器的主机资源,提高了主机的资源使用效率。

2、根据本申请实施例的第一方面,提供了一种数据存储方法,应用于第一数据处理器,所述第一数据处理器部署在服务器集群中的本地服务器,所述本地服务器的传输协议栈部署在所述第一数据处理器,所述方法包括:

3、接收容器发送的待存储数据,其中,所述容器部署在所述本地服务器中,所述本地服务器中包括至少一个所述容器;

4、将所述待存储数据通过所述传输协议栈发送至第二数据处理器,以通过所述第二数据处理器将所述待存储数据存储至远程服务器,其中,所述第二数据处理器部署在所述远程服务器中,所述远程服务器的传输协议栈部署在所述第二数据处理器。

5、在一些实施例中,所述将所述待存储数据发送至第二数据处理器,包括:

6、确定所述待存储数据的数据类型;

7、根据所述待存储数据的所述数据类型,确定发送所述待存储数据的传输模式;

8、根据确定的所述传输模式,将所述待存储数据通过所述传输协议栈发送至第二数据处理器。

9、在一些实施例中,所述确定待存储数据的数据类型包括:

10、若所述待存储数据的字节数大于或等于预设阈值,且未经加密处理,确定所述待存储数据是大文件数据;

11、若所述待存储数据经过加密处理,确定所述待存储数据是加密数据;

12、若所述待存储数据的字节数小于预设阈值,且未经加密处理,确定所述待存储数据是常规数据。

13、在一些实施例中,所述传输模式包括以下至少之一:常规传输、加密传输、压缩传输;

14、所述根据所述待存储数据的所述数据类型,确定发送所述待存储数据的传输模式,包括:

15、若所述数据类型为所述常规数据,确定所述传输模式为所述常规传输;

16、若所述数据类型为所述加密数据,确定所述传输模式为所述加密传输;

17、若所述数据类型为所述大文件数据,确定所述传输模式为所述压缩传输。

18、在一些实施例中,所述传输协议栈包括nvme-of协议栈和rdma协议栈。

19、根据本申请实施例的第二方面,提供了一种数据存储方法,应用于第二数据处理器,所述第二处理器部署在服务器集群中的远程服务器,所述远程服务器的传输协议栈部署在所述第二数据处理器,所述方法包括:

20、接收第一数据处理器通过所述传输协议栈发送的待存储数据,其中,所述第一数据处理器部署在所述服务器集群的本地服务器,所述本地服务器的传输协议栈部署在所述第一数据处理器;

21、将所述待存储数据存储在所述远程服务器。

22、在一些实施例中,在所述接收第一数据处理器发送的待存储数据之前,所述方法还包括:

23、创建预设容量的块存储,其中,所述块存储包括至少一个存储数据盘;

24、在所述远程服务器上存储控制子系统;

25、在所述存储控制子系统中创建命名空间,并将所述块存储添加到所述命名空间,以建立所述远程服务器。

26、在一些实施例中,所述方法还包括:

27、接收所述第一数据处理器发送的连接请求,其中,所述连接请求是容器向所述第一数据处理器发送的;

28、根据所述连接请求,为所述连接请求对应的所述容器分配对应容量的存储空间,并设置所述存储空间的访问模式和存储的数据类型;

29、将所述存储空间的路径信息发送至所述第一数据处理器,其中,所述路径信息包括所述存储空间的名称和地址,所述路径信息用于将所述存储空间挂载至所述容器,从而可以将所述第一数据处理器发送的所述待存储数据,通过所述第二数据处理器将所述待存储数据存储至所述远程服务器,其中,所述待存储数据是所述容器产生的。

30、根据本申请实施例的第三方面,提供一种数据存储系统,包括服务器集群和远程服务器,所述服务器集群包括至少一个本地服务器,所述本地服务器中部署有第一数据处理器,所述远程服务器中部署有第二数据处理器,所述第一数据处理器用于接收容器发送的待存储数据,并通过传输协议栈将所述待存储数据发送至所述第二数据处理器,以通过所述第二数据处理器将所述待存储数据存储至所述远程服务器,其中,所述容器部署在所述本地服务器中,所述本地服务器中包括至少一个容器。

31、根据本申请实施例的第四方面,提供了一种电子设备,包括:数据处理器、存储器、通信接口和通信总线,所述数据处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述数据处理器执行如第一方面和第二方面所述的数据存储方法对应的操作。

32、根据本申请实施例的第五方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被数据处理器执行时实现如第一方面和第二方面所述的数据存储方法。

33、根据本申请实施例提供的数据传输生成方案,通过在服务器集群的本地服务器中部署第一数据处理器,进一步地通过第一数据处理器接收容器产生的待存储数据,并通过第一数据处理器将待存储数据发送至远程服务器中的第二数据处理器,以通过第二数据处理器将待存储数据存储至远程服务器,可以由第一数据处理器完成数据存储的转发工作,进而释放了本地服务器中主机的资源,从而可以使本地服务器主机可以专注处理核心应用,提高了主机的资源利用效率,提高了服务器集群的数据处理效率。同时,第一数据处理器通过传输协议栈向第二数据处理器发送待存储数据,降低了远程存储数据的延迟,提高了数据存储效率。

本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,应用于第一数据处理器,所述第一数据处理器部署在服务器集群中的本地服务器,所述本地服务器的传输协议栈部署在所述第一数据处理器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述待存储数据发送至第二数据处理器,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定待存储数据的数据类型包括:

4.根据权利要求3所述的方法,其特征在于,所述传输模式包括以下至少之一:常规传输、加密传输、压缩传输;

5.根据权利要求1所述的方法,其特征在于,所述传输协议栈包括NVMe-of协议栈和RDMA协议栈。

6.一种数据存储方法,其特征在于,应用于第二数据处理器,所述第二处理器部署在服务器集群中的远程服务器,所述远程服务器的传输协议栈部署在所述第二数据处理器,所述方法包括:

7.根据权利要求6所述的方法,在所述接收第一数据处理器发送的待存储数据之前,所述方法还包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.一种数据存储系统,其特征在于,包括服务器集群和远程服务器,所述服务器集群包括至少一个本地服务器,所述本地服务器中部署有第一数据处理器,所述远程服务器中部署有第二数据处理器,所述第一数据处理器用于接收容器发送的待存储数据,并通过传输协议栈将所述待存储数据发送至所述第二数据处理器,以通过所述第二数据处理器将所述待存储数据存储至所述远程服务器,其中,所述容器部署在所述本地服务器中,所述本地服务器中包括至少一个容器。

10.一种计算机程序产品,包括计算机指令,所述计算机指令指示计算设备执行如权利要求1-8中任一所述的数据存储方法对应的操作。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,应用于第一数据处理器,所述第一数据处理器部署在服务器集群中的本地服务器,所述本地服务器的传输协议栈部署在所述第一数据处理器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述待存储数据发送至第二数据处理器,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定待存储数据的数据类型包括:

4.根据权利要求3所述的方法,其特征在于,所述传输模式包括以下至少之一:常规传输、加密传输、压缩传输;

5.根据权利要求1所述的方法,其特征在于,所述传输协议栈包括nvme-of协议栈和rdma协议栈。

6.一种数据存储方法,其特征在于,应用于第二数据处理器,所述第二处理器部署在服务器集群中的远程服务器,所述远程服务器的传输协议栈部署在所述第二数据处理器,...

【专利技术属性】
技术研发人员:郎爽孙旭荆慧黄明亮
申请(专利权)人:中科驭数北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1