一种数据处理方法、装置、服务器及存储介质制造方法及图纸

本申请实施例涉及大数据领域，公开了一种数据处理方法、装置、服务器及存储介质，其中，该方法包括：获取第一目标任务，第一目标任务属于第一待处理子任务；确定第一目标任务所指示的待处理数据和数据处理方式；从数据库中获取任务分片信息，并根据任务分片信息从数据库中获取与第一目标任务对应的目标分片的分片状态；根据目标分片的分片状态，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。通过上述方法，可以实现并发处理数据，避免重复处理数据，提高数据处理的效率。本发明专利技术涉及区块链技术，如可将上述数据写入区块链中，以用于数据取证等场景。

【技术实现步骤摘要】
一种数据处理方法、装置、服务器及存储介质
本申请涉及计算机
，尤其涉及一种数据处理方法、装置、服务器及存储介质。
技术介绍
随着计算机技术的快速发展，各种业务数据量也在不断激增，在对业务数据进行处理时，通常会以并发执行多个任务的方式对数据进行处理，而并发处理可能会出现重复处理的情况，从而影响数据处理效率，因此，如何快速、高效地处理数据，变得至关重要。
技术实现思路
本申请实施例提供了一种数据处理方法、装置、服务器及存储介质，可以实现并发处理数据，避免重复处理数据，提高数据处理的效率。第一方面，本申请实施例公开了一种数据处理方法，应用于服务器，所述服务器为服务器集群中的任意一个，所述方法包括：获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。第二方面，本申请实施例公开了一种数据处理装置，所述装置包括：第一获取单元，用于获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；确定单元，用于根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；第二获取单元，用于从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；处理单元，用于根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。第三方面，本申请实施例公开了一种服务器，包括处理器、存储器和网络接口，所述处理器、存储器和网络接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。第四方面，本申请实施例公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。本申请实施例中，服务器可以获取第一目标任务，该第一目标任务属于第一待处理子任务，第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个，然后，服务器可以根据第一目标任务确定第一目标任务所指示的待处理数据和数据处理方式，从数据库中获取任务分片信息，并根据所述分片信息从所述数据库中获取与第一目标任务对应的目标分片的分片状态；进一步的，服务器可以根据目标分片的分片状态，在目标分片中利用第一目标任务所指示的数据处理方式对第一目标任务所指示的待处理数据进行数据处理。可以看出，通过将任务划分为多个子任务，可以并发处理多个子任务，并且，可以根据所获取到的任务对应的分片的分片状态来确定是否进行数据处理，从而可以避免重复处理数据，也可以提高数据处理的效率。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种数据处理方法的流程示意图；图2是本申请实施例提供的另一种数据处理方法的流程示意图；图3是本申请实施例提供的又一种数据处理方法的流程示意图；图4是本申请实施例提供的一种数据处理装置的结构示意图；图5是本申请实施例提供的一种服务器的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。请参阅图1，图1是本申请实施例提供的一种数据处理方法的流程示意图。本实施例中所描述的数据处理方法，应用于服务器，该服务器为服务器集群中的任意一个，该数据处理方法包括以下步骤：S101：获取第一目标任务。在一种实现方式中，服务器可以获取第一目标任务。其中，该第一目标任务是属于第一待处理子任务的，并且该第一目标任务包含第一待处理子任务中的部分任务或全部任务，该第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个。例如，待处理任务可以是指某一类型的操作，假设针对保单的还款期次更新，保单数量庞大，可能有一千万个保单需要处理，则需要对这一千万保单对应的还款期次同时更新操作，也就是说待处理任务是要更新一千万保单的所有还款期次。那么第一待处理子任务可以是更新一千万保单中的一百万保单的所有还款期次，而第一目标任务可以是更新一百万保单中的五十万保单的所有还款期次。这样，将大数据量的保单划分为多份，以便于并发处理保单对应的期次更新操作。在一种实现方式中，上述服务器是服务器集群中的任意一个，在数据处理系统中，可以配置多个服务器，即配置一个服务器集群，以利用多个服务器同时处理待处理任务中的多个待处理子任务。需要说明的是，一个服务器可以获取一个待处理子任务中的部分任务或全部任务，服务器可以根据自身的空闲负载量确定获取一个待处理子任务中任务数据量的大小。如果一个服务器获取的是一个待处理子任务中的部分任务，则另一个服务器可以获取该待处理子任务中除部分任务的其他任务。例如，待处理子任务为5个，服务器有3个，每个服务器可以获取待处理子任务中的任意一个待处理子任务中的部分任务或全部任务(获取任务是不相同的)，当某个服务器对应的任务处理完之后，可以再获取剩余的待处理子任务。当服务器数量大于或等于待处理子任务数量时，做同样理解，在此处不再赘述。举例来说，待处理任务是要更新一千万保单的所有还款期次，将该待处理任务划分为5个待处理子任务，假设是平均划分，即每个待处理子任务为更新一千万保单中的二百万保单的所有还款期次。那么3个服务器可以分别获取这5个待处理子任务中的任意一个待处理子任务中的部分任务或全部任务，例如，第一个服务器可以获取第一个待处理子任务中的部分任务或全部任务，第二个服务器可以获取第一个待处理子任务中剩余任务，也可以获取其他待处理子任务中的部分任务或全部任务，第三个服务器做同样理解。在一种实现方式中，上述服务器集群中服务器的数量也可以根据待处理任务的任务数据量或待处理任务的紧急程度来确定。例如，如果待处理任务的任务数据量较大或待处理任务的紧急程度较高，则可以配本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于服务器，所述服务器为服务器集群中的任意一个，所述方法包括：/n获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；/n根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；/n从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；/n根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于服务器，所述服务器为服务器集群中的任意一个，所述方法包括：
获取第一目标任务，其中，所述第一目标任务属于第一待处理子任务，所述第一待处理子任务是由待处理任务通过划分得到的多个待处理子任务中的任意一个；
根据所述第一目标任务确定所述第一目标任务所指示的待处理数据和数据处理方式；
从数据库中获取任务分片信息，并根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态；
根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。


2.根据权利要求1所述的方法，其特征在于，所述第一目标任务携带了任务标识；所述根据所述任务分片信息从所述数据库中获取与所述第一目标任务对应的目标分片的分片状态，包括：
从所述任务分片信息中获取任务标识与分片标识的对应关系；
根据所述任务标识与分片标识的对应关系，确定与所述第一目标任务中携带的任务标识对应的分片标识；
根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述任务分片信息中获取与所述第一目标任务中携带的任务标识的分片标识对应的目标分片的分片状态。


3.根据权利要求2所述的方法，其特征在于，所述分片状态包括第一状态和第二状态，所述第一状态用于指示所述目标分片未被所述服务器集群中的其他服务器占用，所述第二状态用于指示所述目标分片已被所述服务器集群中的其他服务器占用；所述根据所述目标分片的分片状态，在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理，包括：
若所述目标分片的分片状态为所述第一状态，则根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述数据库中获取与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片；
在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。


4.根据权利要求3所述的方法，其特征在于，所述在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理，包括：
若所述目标分片的分片状态为所述第二状态，则在预设时长内按照预设时间间隔从所述任务分片信息中获取所述目标分片的分片状态，并确定所述目标分片的分片状态是否更新为所述第一状态；
若确定所述目标分片的分片状态更新为所述第一状态，则根据所述与所述第一目标任务中携带的任务标识对应的分片标识，从所述数据库中获取所述与所述第一目标任务中携带的任务标识对应的分片标识对应的目标分片；
在所述目标分片中利用所述第一目标任务所指示的数据处理方式对所述第一目标任务所指示的待处理数据进行数据处理。

<...

【专利技术属性】
技术研发人员：张亮福，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：广东;44