数据同步方法及设备技术

本申请实施例提供了一种数据同步方法及设备，能够减少数据同步过程的总体耗时，提升设备的系统性能。方法包括：第一设备接收来自第二设备的请求消息，请求消息用于请求获取目标数据。若目标数据的容量小于等于第一阈值，第一设备获取目标数据，并向第二设备传输目标数据。若目标数据的容量大于第一阈值，第一设备基于分批系数确定需将目标数据划分成的多个分批数据中每个分批数据的容量，第一设备根据每个分批数据的容量获取每个分批数据，并向第二设备传输每个分批数据。其中，多个分批数据中的y个分批数据，在传输多个分批数据中的第x个分批数据的过程中获取，x，y为正整数。y为正整数。y为正整数。

【技术实现步骤摘要】
数据同步方法及设备


[0001]本申请涉及终端
，尤其涉及一种数据同步方法及设备。

技术介绍

[0002]跨设备的数据同步可以理解为一个设备获取另一个设备中的数据的过程。目前，跨设备的数据同步流程一般分为四个阶段，如图1所示，分别为：S101、数据请求：数据请求端向数据源端发送数据请求。S102、数据准备：数据源端执行数据准备，其中，数据准备包括但不限于数据查询、数据计算、数据读取等。S103、数据传输：数据源端向数据请求端传输数据。S104、数据处理：数据请求端执行数据处理，其中，数据处理包括但不限于数据插入、数据计算、数据写入等。该数据同步流程的总体耗时主要包括数据请求、数据准备、数据传输、数据处理这四个阶段的耗时。如何减少数据同步过程的总体耗时，对于提升设备的系统性能至关重要。

技术实现思路

[0003]本申请实施例提供一种数据同步方法及设备，能够减少数据同步过程的总体耗时，提升设备的系统性能。
[0004]为达到上述目的，本申请采用如下技术方案：
[0005]第一方面，本申请实施例提供一种数据同步方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：第一设备接收来自第二设备的请求消息，所述请求消息用于请求获取目标数据；若所述目标数据的容量小于等于第一阈值，所述第一设备获取所述目标数据，并向所述第二设备传输所述目标数据；若所述目标数据的容量大于所述第一阈值，所述第一设备基于分批系数确定需将所述目标数据划分成的多个分批数据中每个分批数据的容量；所述第一设备根据所述每个分批数据的容量获取所述每个分批数据，并向所述第二设备传输所述每个分批数据；其中，所述多个分批数据中的y个分批数据，在传输所述多个分批数据中的第x个分批数据的过程中获取，x，y为正整数。2.根据权利要求1所述的方法，其特征在于，在所述目标数据的容量大于所述第一阈值且小于等于第二阈值的情况下，所述目标数据将划分成两个分批数据；其中，所述第二阈值大于所述第一阈值。3.根据权利要求2所述的方法，其特征在于，所述两个分批数据中，其中一个分批数据的容量为S*k，另一个分批数据的容量为S*(1
‑
k)，其中，所述S为目标数据的容量，所述k为分批系数，所述S、所述k均为正实数。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，在所述目标数据的容量大于第二阈值的情况下，所述目标数据将划分成2a1个分批数据以及一个容量为m的分批数据；其中，所述2a1个分批数据中，每个分批数据的容量由所述第二阈值和所述分批系数确定，所述a1为正整数，所述m大于0，且小于等于所述第一阈值；所述第二阈值大于所述第一阈值；或者，所述目标数据将划分成2a2个分批数据；其中，所述2a2个分批数据中，每个分批数据的容量由所述第二阈值和所述分批系数确定，所述a2为大于等于2的正整数；或者，所述目标数据将划分为2a3个分批数据以及另外2个分批数据；其中，所述2a3个分批数据中，每个分批数据的容量由所述第二阈值和所述分批系数确定，a3为正整数；所述另外2个分批数据的容量之和为m，每个分批数据的容量由所述m和所述分批系数确定，所述m大于所述第一阈值且小于所述第二阈值。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述分批系数由数据传输耗时以及数据处理耗时确定；其中，所述数据传输耗时为所述第一设备向所述第二设备传输单位数据所用的时长，所述数据传输耗时与网络输入/输出I/O的性能有关；所述数据处理耗时为所述第二设备处理所述单位数据所用的时长，所述数据处理耗时与所述第二设备写I/O的性能有关。6.根据权利要求5所述的方法，其特征在于，所述分批系数满足以下条件：其中，所述k为分批系数，所述α为大于0且小于等于1的实数，所述B为所述数据传输耗时，所述W为所述数据处理耗时，所述k、所述B、所述W均为正实数。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述第一阈值由单条目标数据的
容量、所述分批系数、时间收益、数据准备耗时、数据处理耗时确定；其中，所述数据准备耗时为所述第一设备获取单位数据的时长，所述数据准备耗时与所述第一设备读I/O的性能有关；所述数据处理耗时为所述第二设备处理所述单位数据所用的时长，所述数据处理耗时与所述第二设备写I/O的性能有关；所述时间收益为第一时长与第二时长之间的差值，所述第一时长为对所述目标数据进行分批处理所需要的时长，所述第二时长为对所述目标数据不进行分批处理所需要的时长；当目标数据以文件形式存储时，所述单条目标数据为单个文件，和/或，当目标数据以数据记录形式存储时，所述单条目标数据为单个数据记录。8.根据权利要求7所述的方法，其特征在于，所述第一阈值满足以下条件：其中，所述L为第一阈值，所述k为分批系数，所述L1为单条目标数据的容量，所述R为数据准备耗时，所述W为数据处理耗时，所述G为时间收益，所述L、所述L1、所述k、所述R、所述W、所述G均为正实数。9.根据权利要求2
‑
8任一项所述的方法，其特征在于，所述第二阈值由所述第一阈值、所述分批系数、数据准备耗时、数据传输耗时、数据处理耗时、时间要求确定；其中，所述数据传输耗时为所述第一设备向所述第二设备传输单位数据所用的时长，所述单位数据属于所述目标数据，所述数据传输耗时与网络I/O的性能有关；所述数据处理耗时为所述第二设备处理所述单位数据所用的时长，所述数据处理耗时与所述第二设备写I/O的性能有关；所述数据准备耗时为所述第一设备获取所述单位数据的时长，所述数据准备耗时与所述第一设备读I/O的性能有关；所述时间要求为用户对一个分批数据到达所述第二设备的时间要求。10.根据权利要求9所述的方法，其特征在于，所述第二阈值满足以下条件：其中，所述U为第二阈值，所述k为分批系数，所述L为第一阈值，所述R为数据准备耗时，所述W为数据处理耗时，所述B为数据传输耗时，所述RT为时间要求，所述U、所述k、所述L、所述R、所述W、所述B、所述RT均为正实数。11.根据权利要求1
‑
10任一项所述的方法，其特征在于，所述第一设备向所述第二设备传输所述每个分批数据，...

【专利技术属性】
技术研发人员：李世军，李有福，龚阿世，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：