本申请提供了一种数据处理方法、装置、电子设备和计算机可读存储介质，其中，该方法包括：通过数据生产者生成待处理数据，待处理数据包括数据键、处理连番、数据总数，数据键为第一键值，处理连番用于标识待处理数据的处理次序；当数据总数大于一时，将待处理数据存入数据等待队列，直到数据等待队列中与数据键为第一键值的数据量达到数据总数；按照数据键为第一键值的数据按照其携带的处理连番所标识的顺序，依次处理数据键为第一键值的所有数据。通过上述方法可以提高数据处理的准确性。通过上述方法可以提高数据处理的准确性。通过上述方法可以提高数据处理的准确性。
【技术实现步骤摘要】
数据处理方法、装置、电子设备和计算机可读存储介质
[0001]本申请涉及计算机
，具体而言，涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。
技术介绍
[0002]现有技术中数据生产者生成数据后将数据推送至数据队列，再由数据分发服务将数据分发给各个数据消费者，以实现多线性并行处理数据。通常是以数据消费者以接收到数据的顺序处理，可能会导致数据处理结果预想的结果不一致。
技术实现思路
[0003]有鉴于此，本申请实施例的目的在于提供一种数据处理方法、装置、电子设备和计算机可读存储介质，以改善现有技术中的数据处理存在错序的问题。
[0004]第一方面，本申请实施例提供了一种数据处理方法，包括：通过数据生产者生成待处理数据，所述待处理数据包括数据键、处理连番、数据总数，所述数据键为第一键值，所述处理连番用于标识所述待处理数据的处理次序；当所述数据总数大于一时，将所述待处理数据存入数据等待队列，直到所述数据等待队列中与数据键为第一键值的数据量达到所述数据总数；按照数据键为所述第一键值的数据按照其携带的处理连番所标识的顺序，依次处理数据键为所述第一键值的所有数据。
[0005]在一种可选的实施方式中，所述按照数据键为所述第一键值的数据按照其携带的处理连番所标识的顺序，依次处理数据键为所述第一键值的所有数据，包括：根据数据键为所述第一键值的各项数据的处理连番，依次将数据分发给数据消费者；通过所述数据消费者，依次处理数据键为所述第一键值的各项数据。
[0006]在上述实施方式中，可以按顺序分发给数据消费者，以使数据消费者的数据处理顺序与预期的顺序相同，也就能够使执行结果能够满足需求。
[0007]在一种可选的实施方式中，所述按照数据键为所述第一键值的数据按照其携带的处理连番所标识的顺序，依次处理数据键为所述第一键值的所有数据，包括：将数据键为所述第一键值的各项数据从所述数据等待队列中转存至数据消费队列中，所述数据消费队列用于存储等待处理的数据；通过数据消费者，按照数据键为所述第一键值的各项数据的处理连番依次从所述数据消费队列中获取并处理数据。
[0008]在上述实施方式中，引入数据消费队列，在数据消费队列与数据等待队列两个队列的配合，可以实现接收到的数据与可以处理的数据分别存放在两个队列中，可以降低数据处理错误，提高数据处理的有效性以及正确性。
[0009]在一种可选的实施方式中，所述将所述数据键为所述第一键值的各项数据从所述数据等待队列中转存至数据消费队列中，包括：将所述数据等待队列中数据键为所述第一键值的各项数据，按照其处理连番所标识的顺序转存至数据消费队列中。
[0010]在上述实施方式中，可以按序存入数据消费队列中，则可以在后续处理阶段可以
减少顺序的识别，可以提高处理效率的同时，还能够提高数据处理的准确性。
[0011]在一种可选的实施方式中，所述将所述待处理数据存入数据等待队列，直到所述数据等待队列中与数据键为第一键值的数据量达到所述数据总数，包括：将所述待处理数据存入所述数据等待队列中；若当前已经存在所述第一键值的记录信息，则更新所述第一键值下的数据当前数量；若当前不存在所述第一键值的记录信息，则记录所述第一键值以及所述第一键值下的数据当前数量；直到所述第一键值下的数据当前数量等于所述数据总数。
[0012]在上述实施方式中，可以对存入数据等待队列中的数据进行记录，可以更清楚各组数据是否收集完成，可以及时处理收集完成的数据，提高数据处理时效性。
[0013]在一种可选的实施方式中，所述方法还包括：记录所述第一键值对应的待处理数据的初始时间；若所述第一键值下的数据当前数量小于所述数据总数，且所述初始时间与当前时间之间的时间差超过时间阈值，则删除所述数据等待队列中数据键为所述第一键值的数据。
[0014]在上述实施方式中，还可以对收集数据的时间进行记录，可以使避免存在异常不能收集齐全的数据占用数据等待队列。
[0015]在一种可选的实施方式中，所述方法还包括：当所述数据总数等于一时，将所述待处理数据存入数据消费队列，以等待数据消费者从所述数据消费队列获取并处理所述待处理数据，所述数据消费队列用于存储等待处理的数据。
[0016]在上述实施方式中，由于仅包括一项数据的则不存在处理顺序的问题，因此，可以对由一条待处理数据构成的数据，可以直接存入数据消费队列，等待数据消费者的处理，这样可以降低仅包含一项数据的处理效率。
[0017]第二方面，本申请实施例还提供一种数据处理装置，包括：
[0018]生成模块，用于通过数据生产者生成待处理数据，所述待处理数据包括数据键、处理连番、数据总数，所述数据键为第一键值，所述处理连番用于标识所述待处理数据的处理次序；
[0019]第一存储模块，用于当所述数据总数大于一时，将所述待处理数据存入数据等待队列，直到所述数据等待队列中与数据键为第一键值的数据量达到所述数据总数；
[0020]处理模块，用于按照数据键为所述第一键值的数据按照其携带的处理连番所标识的顺序，依次处理数据键为所述第一键值的所有数据。
[0021]第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述的方法的步骤。
[0022]第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的方法的步骤。
[0023]本申请实施例提供的数据处理方法、装置、电子设备和计算机可读存储介质，采用为数据设置处理连番，以标识数据处理顺序，另外，还可以将没有收集完成的数据存入数据等待队列中，直到数据收集完成后再进行处理，可以提高数据处理的正确性，也能够使处理结果能够更符合预期。
[0024]为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附
附图，作详细说明如下。
附图说明
[0025]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0026]图1为本申请实施例提供的电子设备的方框示意图；
[0027]图2为本申请实施例提供的数据处理方法的流程图；
[0028]图3为本申请实施例提供的数据处理方法的步骤230的可选流程图；
[0029]图4为本申请实施例提供的数据处理方法的步骤230的另一可选流程图；
[0030]图5为本申请实施例提供的数据处理方法的步骤220的可选流程图；
[0031]图6为本申请实施例提供的数据处理方法的部分流程图；
[0032]图7为本申请实施例提供的数据处理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：通过数据生产者生成待处理数据，所述待处理数据包括数据键、处理连番、数据总数，所述待处理数据的数据键为第一键值，所述处理连番用于标识所述待处理数据的处理次序；当所述数据总数大于一时，将所述待处理数据存入数据等待队列，直到所述数据等待队列中与数据键为第一键值的数据量达到所述数据总数；按照数据键为所述第一键值的数据按照其携带的处理连番所标识的顺序，依次处理数据键为所述第一键值的所有数据。2.根据权利要求1所述的方法，其特征在于，所述按照数据键为所述第一键值的数据按照其携带的处理连番所标识的顺序，依次处理数据键为所述第一键值的所有数据，包括：根据数据键为所述第一键值的各项数据的处理连番，依次将数据分发给数据消费者；通过所述数据消费者，依次处理数据键为所述第一键值的各项数据。3.根据权利要求1或2所述的方法，其特征在于，所述按照数据键为所述第一键值的数据按照其携带的处理连番所标识的顺序，依次处理数据键为所述第一键值的所有数据，包括：将数据键为所述第一键值的各项数据从所述数据等待队列中转存至数据消费队列中，所述数据消费队列用于存储等待处理的数据；通过数据消费者，按照数据键为所述第一键值的各项数据的处理连番依次从所述数据消费队列中获取并处理数据。4.根据权利要求3所述的方法，其特征在于，所述将所述数据键为所述第一键值的各项数据从所述数据等待队列中转存至数据消费队列中，包括：将所述数据等待队列中数据键为所述第一键值的各项数据，按照其处理连番所标识的顺序转存至数据消费队列中。5.根据权利要求1所述的方法，其特征在于，所述将所述待处理数据存入数据等待队列，直到所述数据等待队列中与数据键为第一键值的数据量达到所述数据总数，包括：将所述待处理数据存入所述数据等待队列中；若当前已经...
【专利技术属性】
技术研发人员：贺志刚，刘波，赖安兵，
申请(专利权)人：电子科大科园股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。