数据处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:43437328 阅读:17 留言:0更新日期:2024-11-27 12:44
本申请涉及一种数据处理方法、装置、计算机设备和存储介质,所属领域为云计算技术领域,所述方法包括:响应于检测到数据备份请求时,获取需要进行备份的数据;基于宿主机内存和宿主机网卡性能,确定目标并发数;根据目标并发数对需要进行备份的数据进行切割,得到至少一个分片块数据;基于目标分片块数据的备份次数,确定标分片块数据的备份方式,所述备份方式为全量备份或增量备份;根据备份方式和目标并发数,对多个分片块数据进行多线程传输备份。本申请可以缩短备份时间,充分有效利用物理机器性能,避免出现物理机器上性能空置率较高的问题,提高了网络性能利用率及数据处理效率。

【技术实现步骤摘要】

本申请涉及云计算,特别是涉及一种数据处理方法、装置、计算机设备和存储介质


技术介绍

1、cinder(openstack-开源的云计算管理平台项目中提供块存储服务的组件)在使用s3(simple storage service,简单存储服务)对象存储备份时,由于是线性操作,按照固定大小的数据块依次读取硬盘数据,并将数据依次上传到s3对象存储上,当前模式处理简单,过于线性,此方式在数据盘的大小过大时往往速度过慢,处理时间过于长,且现有的处理方式只能利用数据网百分之十的性能,存在巨大的性能损耗。

2、因此,亟需提出一种能够提高网络性能利用率及数据处理效率的数据处理方法、装置、计算机设备和存储介质。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高网络性能利用率及数据处理效率的数据处理方法、装置、计算机设备和存储介质。

2、第一方面,提供一种数据处理方法,所述方法包括:

3、响应于检测到数据备份请求时,获取需要进行备份的数据;

4、基于宿主机内存和本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,基于宿主机内存和宿主机网卡性能,确定目标并发数包括:

3.根据权利要求2所述的数据处理方法,其特征在于,基于所述计算能力并发数和所述传输能力并发数的比较结果,确定目标并发数包括:

4.根据权利要求1-3任一项所述的数据处理方法,其特征在于,基于所述目标并发数,确定传输备份时间包括:

5.根据权利要求1所述的数据处理方法,其特征在于,基于目标分片块数据的备份次数,确定所述目标分片块数据的备份方式,所述备份方式为全量备份或增量备份包括:

<...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,基于宿主机内存和宿主机网卡性能,确定目标并发数包括:

3.根据权利要求2所述的数据处理方法,其特征在于,基于所述计算能力并发数和所述传输能力并发数的比较结果,确定目标并发数包括:

4.根据权利要求1-3任一项所述的数据处理方法,其特征在于,基于所述目标并发数,确定传输备份时间包括:

5.根据权利要求1所述的数据处理方法,其特征在于,基于目标分片块数据的备份次数,确定所述目标分片块数据的备份方式,所述备份方式为全量备份或增量备份包括:

6.根据权利要求5所...

【专利技术属性】
技术研发人员:杨帅
申请(专利权)人:郑州浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1