一种数据获取方法及相关装置制造方法及图纸

本申请公开了一种数据获取方法，首先为大数据系统中的每一条待获取数据添加标识，从而可以根据添加的标识对所有待获取数据进行分页处理，得到第一预设个数的待获取数据组，并发获取第一预设个数的待获取数据组，因此可以实现并发获取大数据系统中的数据。本申请还提供了一种数据获取系统、装置及计算机可读存储介质，同样可以实现上述技术效果。本申请还提供了一种数据获取系统、装置及计算机可读存储介质，同样可以实现上述技术效果。

【技术实现步骤摘要】
一种数据获取方法及相关装置
本专利技术涉及大数据
，更具体地说，涉及一种数据获取方法、系统、装置及计算机可读存储介质。
技术介绍
随着计算机技术的发展，数据量的规模也越来越大，大数据使用的场景越来越多。在传统的数据存储技术中，数据通常保存在同一个数据库中，在需要获取数据库中的大量数据时，通常采用并发分页处理的操作，即通过主键将大量数据进行分页得到多个数据组，并发的获取多个数据组，从而提高数据获取的效率。但是目前由于大数据使用的场景越来越多，数据通常保存在大数据系统中，大数据系统又包括多个分布式数据系统，从而在需要获取数据时，待获取数据可能存与不同的分布式数据系统当中，因此对于待获取数据来说，并没有主键的概念，从而无法通过主键来实现对数据进行分页处理，也就造成了大数据系统中的数据不能实现并发的分页获取数据。因此，如何实现对大数据系统并发的分页获取数据，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种数据获取方法、系统、装置及计算机可读存储介质，以解决如何实现对大数据系统并发的分页获取数据的问题。为实现上述目的，本专利技术实施例提供了如下技术方案：一种数据获取方法，包括：为大数据系统中每一条待获取数据添加标识；根据所述标识对所有所述待获取数据进行分页处理，得到第一预设个数的待获取数据组；并发获取所述第一预设个数的所述待获取数据组。其中，所述为大数据系统中每一条待获取数据添加标识，包括：为所述大数据系统中每一条所述待获取数据添加唯一标号。其中，所述按照预设方法为大数据系统中每一条待获取数据添加标识，包括：为每第二预设个数的待获取数据添加相同的组标；其中，所述组标的个数为所述第一预设个数。其中，所述为每第二预设个数的待获取数据添加相同的组标，包括：在所有所述待获取数据对应的所有字段中确定目标字段；其中，所述目标字段对应的所有目标字段数据中，每个目标字段数据重复次数不超过预设值；对每个所述目标字段数据进行转换，得到与每个所述目标字段数据对应的目标数字；利用所述第一预设个数对每个所述目标数字进行取模操作，将得到的对应每个所述目标字段数据的取模结果分别作为与每个所述目标字段数据对应的待获取数据的组标。其中，所述对每个所述目标字段数据进行转换，得到与每个所述目标字段数据对应的目标数字，包括：对每个所述目标字段数据计算hash值，得到与每个所述目标字段数据对应的目标数字。其中，所述对每个所述目标字段数据进行转换，得到与每个所述目标字段数据对应的目标数字，包括：对每个所述目标字段数据计算加密值，得到与每个所述目标字段数据对应的目标数字。本申请还提供了一种数据获取系统，包括：标识添加模块，用于为大数据系统中每一条待获取数据添加标识；分页处理模块，用于根据所述标识对所有所述待获取数据进行分页处理，得到第一预设个数的待获取数据组；并发获取模块，用于并发获取所述第一预设个数的所述待获取数据组。其中，所述标识添加模块，具体用于，为所述大数据系统中每一条所述待获取数据添加唯一标号。本申请还提供了一种数据获取装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如所述数据获取方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述数据获取方法的步骤。通过以上方案可知，本专利技术提供的一种数据获取方法，包括：为大数据系统中每一条待获取数据添加标识；根据所述标识对所有所述待获取数据进行分页处理，得到第一预设个数的待获取数据组；并发获取所述第一预设个数的所述待获取数据组。由此可见，本申请提供的一种数据获取方法，首先为大数据系统中的每一条待获取数据添加标识，从而可以根据添加的标识对所有待获取数据进行分页处理，得到第一预设个数的待获取数据组，并发获取第一预设个数的待获取数据组，因此可以实现并发获取大数据系统中的数据。本申请还提供了一种数据获取系统、装置及计算机可读存储介质，同样可以实现上述技术效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种数据获取方法流程图；图2为本专利技术实施例公开的一种具体的数据获取方法流程图；图3为本专利技术实施例公开的一种具体的数据获取方法流程图；图4为本专利技术实施例公开的一种具体的数据获取方法流程图；图5为本专利技术实施例公开的一种数据获取系统结构示意图；图6为本专利技术实施例公开的一种数据获取装置结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种数据获取方法、系统、装置及计算机可读存储介质，以解决如何实现对大数据系统并发的分页获取数据的问题。参见图1，本专利技术实施例提供的一种数据获取方法，具体包括：S101，为大数据系统中每一条待获取数据添加标识。在本方案中，首先为大数据系统中的每一条待获取数据添加标识，该标识用于对待获取数据进行分页处理。需要说明的是，在大数据系统中的数据通常保存在不同的分布式数据系统中，如要并发的分页获取数据，就需要知道哪些待获取数据已被分页处理，哪些还没有，从而对没有被分页处理的数据进行分页处理。因此，在本方案中为每一条待获取数据添加标识，从而通过标识确定哪种标识的数据已被分页处理，哪种标识的数据还未被处理。在本方案中，可以为每一条待获取数据添加唯一的标识，即每一条待获取数据的标识均不相同，也可以为多个待获取数据设置同一个标识，将相同标识的待获取数据分页为同一数据组。S102，根据所述标识对所有所述待获取数据进行分页处理，得到第一预设个数的待获取数据组。具体地，在对每一条待获取数据添加了标识之后，就可以对待获取数据进行分页处理，从而得到第一预设个数的待获取数据组。需要说明的是，第一预设个数也可理解为并发数，在并发获取待获取数据组时，需要同时并发获取第一预设个数的待获取数据组。例如，共有100条待获取数据，对每一条待获取数据均添加了唯一标识，即标号1到100，而第一预设个数为5，即并发数为5，也就是并发获取5组待获取数据组，则对待获取数据进行分页处理就需要得到5组待获取数据组，每一组待获取数据组为20个数据。通过唯一标号，即可知道已进行分页处理的是哪些，待进行分页处理的是哪些，例如，已将标号1到20进行分页处理，得到了一组待获取数据组，则再进行分页处理，需要在标号21到100的数据中，进行分页处理，得到4组待获取数据组。S103，并发获取所述第一预设个数的所述待获取数据组。在对所有待获取数据进行分页处理后，即可并发获取第一预设个数的所述待获取数据组。具体地，并发获取待获取数据组，即为同时利用多个线程将所有的待获取数据组获取到相应的业务系统中。由此可见，本申请实施例提供的一种数据获取方法，首先为大数据系统中的每一本文档来自技高网...

【技术保护点】
1.一种数据获取方法，其特征在于，包括：为大数据系统中每一条待获取数据添加标识；根据所述标识对所有所述待获取数据进行分页处理，得到第一预设个数的待获取数据组；并发获取所述第一预设个数的所述待获取数据组。

【技术特征摘要】
1.一种数据获取方法，其特征在于，包括：为大数据系统中每一条待获取数据添加标识；根据所述标识对所有所述待获取数据进行分页处理，得到第一预设个数的待获取数据组；并发获取所述第一预设个数的所述待获取数据组。2.根据权利要求1所述的方法，其特征在于，所述为大数据系统中每一条待获取数据添加标识，包括：为所述大数据系统中每一条所述待获取数据添加唯一标号。3.根据权利要求1所述的方法，其特征在于，所述按照预设方法为大数据系统中每一条待获取数据添加标识，包括：为每第二预设个数的待获取数据添加相同的组标；其中，所述组标的个数为所述第一预设个数。4.根据权利要求3所述的方法，其特征在于，所述为每第二预设个数的待获取数据添加相同的组标，包括：在所有所述待获取数据对应的所有字段中确定目标字段；其中，所述目标字段对应的所有目标字段数据中，每个目标字段数据重复次数不超过预设值；对每个所述目标字段数据进行转换，得到与每个所述目标字段数据对应的目标数字；利用所述第一预设个数对每个所述目标数字进行取模操作，将得到的对应每个所述目标字段数据的取模结果分别作为与每个所述目标字段数据对应的待获取数据的组标。5.根据权利要求4所述的方法，其特征在于，所述对每个所述目...

【专利技术属性】
技术研发人员：范芳铭，
申请(专利权)人：广州品唯软件有限公司，
类型：发明
国别省市：广东,44