一种行集数据的处理方法、装置及数据处理系统制造方法及图纸

本发明专利技术适用于数据处理技术领域，提供了一种行集数据的处理方法、装置及数据处理系统。所述方法包括以下步骤：将待处理的行集数据传入起始任务节点的输入缓冲区；从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区；当存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推；当不存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区；将终止任务节点输出缓冲区的数据输出。本发明专利技术提高了数据处理的响应速度、且处理数据时无需占用更多内存。

Method, device and data processing system for processing set data

The invention is suitable for the technical field of data processing, and provides a method, a device and a data processing system for processing set data. The method comprises the following steps: the input buffer data into the initial task node set will be processed for the buffer line; remove data from the input, the transmission of data processed to the transfer buffer; when the presence of a relay task node, from the current transfer buffer line remove the data processing, the processed data will be transmitted to a buffer zone, and so on; when there is no next task relay node, from the current transfer buffer out line data processing, will be processed according to the number of output buffer is transmitted to the termination of the task nodes will terminate the task node; the output buffer data output. The invention improves the response speed of data processing, and does not need to occupy more memory when processing data.

【技术实现步骤摘要】

本专利技术属于数据处理
，尤其涉及一种行集数据的处理方法、装置及数据处理系统。
技术介绍
在现有技术中，为了实现复杂的多步骤的数据处理，一般会有多个任务节点，每个任务节点都有不同的处理逻辑和算法，数据处理时由第一个任务节点开始，处理完数据后，将数据输出到第二个任务节点，以此类推， 一直到最后一个任务节点，如果有异常，会直接输出到异常任务节点，并结束任务。 上述的数据处理方式中，有且只有一个起始任务节点和一个终止任务节点，非起点的处理任务有且只有一个前继任务，非结束点的任务有且只有一个后继任务，这样的处理方法在定义上比较简单，流程比较清楚，但响应速度较慢，必须等到所有节点任务执行完毕后才会有数据输出。另外，为了提高执行速度，需要分配大块的连续内存，来装载每个任务节点处理数据的输入/输出。
技术实现思路
本专利技术实施例的目的在于提供一种行集数据的处理方法，旨在解决现有技术中存在的数据处理的响应速度慢、且需占用大块的连续内存的问题。 本专利技术是这样实现的，一种行集数据的处理方法，所述方法包括以下步骤 将待处理的行集数据传入起始任务节点的输入缓冲区； 从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区； 当存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推； 当不存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区； 将终止任务节点输出缓冲区的数据输出。 本专利技术实施例的另一 目的在于提供一种行集数据的处理装置，所述装置包括 输入缓冲区，作为起始任务节点的输入缓冲区； 多个中转缓冲区，作为每个中继任务节点的中转缓冲区； 输出缓冲区，作为终止任务节点的输出缓冲区； 数据传输模块，用于将待处理的行集数据传入起始任务节点的输入缓冲区； 多个处理线程，用于从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区；当存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推；当不存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区； 数据输出模块，用于将终止任务节点输出缓冲区的数据输出。 本专利技术实施例的另一目的在于提供一种包括上面所述的行集数据的处理装置的数据处理系统。 在本专利技术实施例中，采用流水线式处理行集数据，以单数据行作为处理单位，每一行数据处理完毕，立即输出到中继任务节点，不必等待所有数据行处理完毕，提高了数据处理的响应速度，只需要申请更小的内存块，对系统内存的要求更低、使用率更高；提高了数据的处理量，使得处理系统具有更好的伸縮性，从而通过扩充CPU和其它硬件来加快处理的速度，具有很好的扩展性。附图说明 图1是本专利技术第一实施例提供的行集数据的处理方法的实现流程示意图。 图2是本专利技术第二实施例提供的行集数据的处理方法的实现流程示意图。 图3是本专利技术第三实施例提供的行集数据的处理方法的实现流程示意图。 图4是本专利技术第四实施例提供的行集数据的处理方法的实现流程示意图。 图5是本专利技术第五实施例提供的行集数据的处理方法的实现流程示意图。 图6是本专利技术第六实施例提供的行集数据的处理装置的结构示意图。 图7是本专利技术第七实施例提供的行集数据的处理装置的结构示意图。 图8是本专利技术第八实施例提供的行集数据的处理装置的结构示意图。 图9是本专利技术第九实施例提供的行集数据的处理装置的结构示意图。具体实施例方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。 在本专利技术中，采用流水线式处理行集数据，以单数据行作为处理单位，每一行数据处理完毕，立即输出到中继任务节点，不必等待所有数据行处理完毕，提高了数据处理的响应速度，只需要申请更小的内存块。 本专利技术提供了一种行集数据的处理方法、装置及数据处理系统 所述方法包括将待处理的行集数据传入起始任务节点的输入缓冲区；从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区；当存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推；当不存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区；将终止任务节点输出缓冲区的数据输出。 所述装置包括数据传输模块，用于将待处理的行集数据传入起始任务节点的输入缓冲区；多个处理线程，用于从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区；当存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推；当不存在下一个中继任务4节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区；数据输出模块，用于将终止任务节点输出缓冲区的数据输出。 所述数据处理系统包括上面所述的行集数据的处理装置。 在本专利技术实施例中，其中，行集数据是指具有相同数据结构对称的多行记录，例如关系数据库的表记录。 其中，数据处理是对输入数据，按特定的逻辑和算法进行运算处理，输出符合要求的数据。 其中，一个任务节点可以定义一个或多个供用户执行的任务。 实施例一 请参阅图l，为本专利技术第一实施例提供的行集数据的处理方法，其包括以下步骤 在步骤S101中，将待处理的行集数据传入起始任务节点的输入缓冲区； 在步骤S102中，从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区； 在步骤S103中，当存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推； 在步骤S104中，当不存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区； 在步骤S105中，将终止任务节点输出缓冲区的数据输出。 实施例二 请参阅图2，为本专利技术第二实施例提供的行集数据的处理方法，其包括以下步骤 在步骤S201中，为数据处理任务流中的所有任务节点均开启一个处理线程； 在步骤S202中，将待处理的行集数据传入起始任务节点的输入缓冲区； 在步骤S203中，所述处理线程从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区； 在步骤S204中，当存在下一个中继任务节点时，所述处理线程从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推； 在步骤S205中，当不存在下一个中继任务节点时，所述处理线程从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区； 在步骤S206中，将终止任务节点输出缓冲区的数据输出。 实施例三 请参阅图3，为本专利技术第三实施例提供的行集数据的处理方法，其包括以下步骤 在步骤S301中，设置起始任务节点的输入缓冲区；设置每个中继任务节点的中转缓冲区；设置终止任务本文档来自技高网...

【技术保护点】
一种行集数据的处理方法，其特征在于，所述方法包括以下步骤：将待处理的行集数据传入起始任务节点的输入缓冲区；从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区；当存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推；当不存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区；将终止任务节点输出缓冲区的数据输出。

【技术特征摘要】
一种行集数据的处理方法，其特征在于，所述方法包括以下步骤将待处理的行集数据传入起始任务节点的输入缓冲区；从所述输入缓冲区中逐行取出数据进行处理，将处理完的数据传输至中转缓冲区；当存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至下一个中转缓冲区，以此类推；当不存在下一个中继任务节点时，从当前中转缓冲区中逐行取出数据进行处理，将处理完的数据传输至终止任务节点的输出缓冲区；将终止任务节点输出缓冲区的数据输出。2. 如权利要求1所述的方法，其特征在于，所述方法还包括以下步骤 为数据处理任务流中的所有任务节点均开启一个处理线程。3. 如权利要求1所述的方法，其特征在于，所述方法还包括以下步骤 设置起始任务节点的输入缓冲区； 设置每个中继任务节点的中转缓冲区；设置终止任务节点的输出缓冲区。4. 如权利要求1所述的方法，其特征在于，所述方法还包括以下步骤 当处理完一行数据后，将其从起始任务节点的输入缓冲区中清除。5. 如权利要求2所述的方法，其特征在于，所述方法还包括以下步骤 当终止任务节点标识为完成时，关闭所有任务节点的处理线程，释放内存。6. —种行集数据的处理装置，其特征在于，所述装置包括 输入缓冲区，作为...

【专利技术属性】
技术研发人员：郑学明，
申请(专利权)人：金蝶软件中国有限公司，
类型：发明
国别省市：94[中国|深圳]