【技术实现步骤摘要】
本申请涉及云计算，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。
技术介绍
1、cinder(openstack-开源的云计算管理平台项目中提供块存储服务的组件)在使用s3(simple storage service，简单存储服务)对象存储备份时，由于是线性操作，按照固定大小的数据块依次读取硬盘数据，并将数据依次上传到s3对象存储上，当前模式处理简单，过于线性，此方式在数据盘的大小过大时往往速度过慢，处理时间过于长，且现有的处理方式只能利用数据网百分之十的性能，存在巨大的性能损耗。
2、因此，亟需提出一种能够提高网络性能利用率及数据处理效率的数据处理方法、装置、计算机设备和存储介质。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高网络性能利用率及数据处理效率的数据处理方法、装置、计算机设备和存储介质。
2、第一方面，提供一种数据处理方法，所述方法包括：
3、响应于检测到数据备份请求时，获取需要进行备份的数据；
4、基于宿主机内存和宿主机网卡性能，确定目标并发数，其中，宿主机为所述需要进行备份的数据所在主机；
5、根据所述目标并发数对所述需要进行备份的数据进行切割，得到至少一个分片块数据；
6、基于目标分片块数据的备份次数，确定所述目标分片块数据的备份方式，所述备份方式为全量备份或增量备份；
7、根据所述备份方式和所述目标并发数，对多个分片块数据进行多线程传输备份。p>
8、可选的，基于宿主机内存和宿主机网卡性能，确定目标并发数包括：
9、基于所述宿主机内存，获取预留内存；
10、基于所述宿主机网卡性能，获取预留带宽；
11、基于所述预留内存和第一预设函数，计算确定计算能力并发数，所述第一预设函数包括：
12、
13、基于所述预留带宽和第二预设函数，计算确定传输能力并发数，所述第二预设函数包括：
14、
15、其中，j表示计算能力并发数，c表示传输能力并发数，w1表示物理内存，b1表示预留内存的百分比，s表示数据块的大小，b2表示预留带宽的百分比，w2表示物理带宽；
16、对所述计算能力并发数和所述传输能力并发数进行比较，得到比较结果；
17、基于所述比较结果，确定目标并发数。
18、可选的，基于所述计算能力并发数和所述传输能力并发数的比较结果，确定目标并发数包括：
19、响应于检测到所述计算能力并发数小于所述传输能力并发数时，定义所述计算能力并发数为目标并发数；
20、响应于检测到所述计算能力并发数大于所述传输能力并发数时，定义所述传输能力并发数为目标并发数。
21、可选的，基于所述目标并发数，确定传输备份时间包括：
22、基于第三预设函数和所述目标并发数，计算确定所述传输备份时间，其中，所述第三预设函数包括：
23、
24、其中，k表示目标并发数，t表示传输备份时间，r表示硬盘数据大小，a表示数据处理时间，c表示数据传输时间，s表示数据块的大小。
25、可选的，基于目标分片块数据的备份次数，确定所述目标分片块数据的备份方式，所述备份方式为全量备份或增量备份包括：
26、响应于检测到所述目标分片块数据的备份次数小于或等于第一预设阈值时，确定所述目标分片块数据的备份方式为全量备份；
27、响应于检测到所述目标分片块数据的备份次数大于第一预设阈值时，确定所述目标分片块数据的备份方式为增量备份。
28、可选的，响应于检测到所述目标分片块数据的备份方式为全量备份时，所述方法包括：
29、基于预设增量块大小，对所述目标分片块数据进行划分，得到多个增量块；
30、基于密码散列函数，对所述多个增量块进行计算，以生成第一sha256集合；
31、记录目标分片块数据的第一数据偏移量和所述第一sha256集合，并对所述目标分片块数据进行压缩；
32、将压缩后的目标分片块数据进行传输备份。
33、可选的，响应于检测到所述目标分片块数据的备份方式为增量备份时，所述方法包括：
34、基于预设增量块大小，对所述目标分片块数据进行划分，得到多个增量块；
35、基于密码散列函数，对所述多个增量块进行计算，以生成第二sha256集合；
36、获取父级备份分片块数据对应的第三sha256集合和第二数据偏移量，以及所述目标分片块数据的第三数据偏移量；
37、响应于检测到所述第二sha256集合与所述第三sha256集合不同，和/或，所述第二数据偏移量与所述第三数据偏移量不同时，记录目标分片块数据的第三数据偏移量和所述第二sha256集合，并对所述目标分片块数据进行压缩；
38、将压缩后的目标分片块数据进行传输备份。
39、第二方面，提供了一种数据处理装置，所述装置包括：
40、数据获取模块，用于在检测到数据备份请求时，获取需要进行备份的数据；
41、并发数确定模块，用于基于宿主机内存和宿主机网卡性能，确定并发数，其中，宿主机为所述需要进行备份的数据所在主机；
42、分片块数据获取模块，用于根据所述并发数对所述需要进行备份的数据进行切割，得到至少一个分片块数据；
43、备份方式确定模块，用于基于目标分片块数据的备份次数，确定所述目标分片块数据的备份方式，所述备份方式为全量备份或增量备份；
44、传输备份模块，用于根据所述备份方式和所述并发数，对多个分片块数据进行多线程传输备份。
45、第三方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
46、响应于检测到数据备份请求时，获取需要进行备份的数据；
47、基于宿主机内存和宿主机网卡性能，确定目标并发数，其中，宿主机为所述需要进行备份的数据所在主机；
48、根据所述目标并发数对所述需要进行备份的数据进行切割，得到至少一个分片块数据；
49、基于目标分片块数据的备份次数，确定所述目标分片块数据的备份方式，所述备份方式为全量备份或增量备份；
50、根据所述备份方式和所述目标并发数，对多个分片块数据进行多线程传输备份。
51、第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
52、响应于检测到数据备份请求时，获取需要进行备份的数据；
53、基于宿主机内存和宿主机网卡性能，确定目标并发数，其中，宿主机为所述需要进行备份的数据所在主机；
54、根据所述目标并发数对所述需要进行备份的数据进行切割，得到至少一个本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，基于宿主机内存和宿主机网卡性能，确定目标并发数包括：
3.根据权利要求2所述的数据处理方法，其特征在于，基于所述计算能力并发数和所述传输能力并发数的比较结果，确定目标并发数包括：
4.根据权利要求1-3任一项所述的数据处理方法，其特征在于，基于所述目标并发数，确定传输备份时间包括：
5.根据权利要求1所述的数据处理方法，其特征在于，基于目标分片块数据的备份次数，确定所述目标分片块数据的备份方式，所述备份方式为全量备份或增量备份包括：
6.根据权利要求5所述的数据处理方法，其特征在于，响应于检测到所述目标分片块数据的备份方式为全量备份时，所述方法包括：
7.根据权利要求5所述的数据处理方法，其特征在于，响应于检测到所述目标分片块数据的备份方式为增量备份时，所述方法包括：
8.一种数据处理装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据处理方法，其特征在于，基于宿主机内存和宿主机网卡性能，确定目标并发数包括：
3.根据权利要求2所述的数据处理方法，其特征在于，基于所述计算能力并发数和所述传输能力并发数的比较结果，确定目标并发数包括：
4.根据权利要求1-3任一项所述的数据处理方法，其特征在于，基于所述目标并发数，确定传输备份时间包括：
5.根据权利要求1所述的数据处理方法，其特征在于，基于目标分片块数据的备份次数，确定所述目标分片块数据的备份方式，所述备份方式为全量备份或增量备份包括：
6.根据权利要求5所...
【专利技术属性】
技术研发人员：杨帅，
申请(专利权)人：郑州浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。