目标数据的切分方法、装置以及存储介质制造方法及图纸

本申请公开了一种目标数据的切分方法、装置以及存储介质。其中，一种目标数据的切分方法，包括：从源数据表获取待切分的目标数据，其中目标数据的数据类型为非整数类型；根据预先设定的切分数量，确定多个子任务的容量，其中子任务用于指示将目标数据切分后的切片数据；以及根据容量对目标数据进行切分，生成多个子任务。任务。任务。

【技术实现步骤摘要】
目标数据的切分方法、装置以及存储介质


[0001]本申请涉及信息
，特别是涉及一种目标数据的切分方法、装置以及存储介质。

技术介绍

[0002]对于现有异构同步工具在源端切分策略，主要是针对整数类型进行切分，原理是根据min(id)+每个切片的数据值大小，则可确定第一个切片起点位置和终点位置。即为[min(id),min(id)+每个切片数据值大小]，以此类推，第二个切片为[min(id)+每个切片数据值大小,min(id)+每个切片数据值大小*2]，直到数据切片完成。如果整数类型的值不连续，就会造成切分不均匀的问题。并且使用上述方式切分非整数类型的数据时，也会造成这样的问题。因此现有技术对于非整数类型的数据的切分具有较大的局限性。
[0003]针对上述的现有技术中存在的无法对非整数类型的数据进行切分所造成的局限性高的技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请的实施例提供了一种目标数据的切分方法、装置以及存储介质，以至少解决现有技术中存在的无法对非整数类型的数据进行切分所造成的局限性高的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种目标数据的切分方法，包括：从源数据表获取待切分的目标数据，其中目标数据的数据类型为非整数类型；根据预先设定的切分数量，确定多个子任务的容量，其中子任务用于指示将目标数据切分后的切片数据；以及根据容量对目标数据进行切分，生成多个子任务。
[0006]根据本申请实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
[0007]根据本申请实施例的另一个方面，还提供了一种目标数据的切分装置，包括：数据获取模块，用于从源数据表获取待切分的目标数据，其中目标数据的数据类型为非整数类型；容量确定模块，用于根据预先设定的切分数量，确定多个子任务的容量，其中子任务用于指示将目标数据切分后的切片数据；以及任务生成模块，用于根据容量对目标数据进行切分，生成多个子任务。
[0008]根据本申请实施例的另一个方面，还提供了一种目标数据的切分装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：从源数据表获取待切分的目标数据，其中目标数据的数据类型为非整数类型；根据预先设定的切分数量，确定多个子任务的容量，其中子任务用于指示将目标数据切分后的切片数据；以及根据容量对目标数据进行切分，生成多个子任务。
[0009]在本申请实施例中，计算设备根据预先设定的切分数量，确定多个子任务的容量，根据待切分的目标数据的位置，对目标数据进行切分，生成多个子任务。与现有技术相比，本技术方案可以对非整数类型的数据进行切分，无需限制于整数类型的数据，从而降低了
对于非整数类型的数据切分的局限性。进而解决了现有技术中存在的无法对非整数类型的数据进行切分所造成的局限性高的技术问题。
附图说明
[0010]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0011]图1是用于实现根据本申请实施例1所述的方法的计算设备的硬件结构框图；
[0012]图2是根据本申请实施例1的第一个方面所述的目标数据的切分方法的流程示意图；
[0013]图3是根据本申请实施例1的第一个方面所述的对目标数据进行切分的模块示意图；
[0014]图4是根据本申请实施例2所述的目标数据的切分装置的示意图；以及
[0015]图5是根据本申请实施例3所述的目标数据的切分装置的示意图。
具体实施方式
[0016]为了使本
的人员更好地理解本申请的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0017]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0018]实施例1
[0019]根据本实施例，提供了一种目标数据的切分方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0020]本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现目标数据的切分方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。
例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
[0021]应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
[0022]存储器可用于存储应用软件的软件程序以及模块，如本申请实施例中的目标数据的切分方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的目标数据的切分方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标数据的切分方法，其特征在于，包括：从源数据表获取待切分的目标数据，其中所述目标数据的数据类型为非整数类型；根据预先设定的切分数量，确定多个子任务的容量，其中所述子任务用于指示将所述目标数据切分后的切片数据；以及根据所述容量对所述目标数据进行切分，生成多个子任务。2.根据权利要求1所述的方法，其特征在于，根据预先设定的切分数量，确定多个子任务的容量的操作，包括：根据预先设定的并行任务组的数量以及相应的子任务的数量，确定所述切分数量，其中所述并行任务组包括多个子任务；以及通过预设的计算模型，根据所述目标数据的数据量以及所述切分数量，确定所述多个子任务的容量。3.根据权利要求1所述的方法，其特征在于，还包括：所述子任务通过读线程将所述切片数据写入缓存器中；以及所述子任务通过写线程将所述切片数据从所述缓存器中进行读取。4.根据权利要求3所述的方法，其特征在于，还包括：对所述子任务的配置信息进行配置，其中所述配置信息至少包括所述缓存器的最大字节数、记录数、写入速度以及记录速度。5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至4中任意一项所述的方法。6.一种目标数据的切分装置，其特征在于，包括：数据获取模块，用于从源数据表获取待切分的目标数据，其中所述目标数据的数据类型为非整数类型；容量确定模块，用于根据预先设定的切分数量，确定多个子任务的容...

【专利技术属性】
技术研发人员：欧阳鲁，陈凌云，李宁，徐彬，陈行飞，沈国成，金博昊，李文婷，陈旭，汤鑫，张文琰，张书琪，马驰，刘帅，洪佩雯，张银龙，徐梁，李宛哲，
申请(专利权)人：德邦证券股份有限公司，
类型：发明
国别省市：