一种数据汇总方法和装置制造方法及图纸

本发明专利技术提出一种数据汇总方法和装置。所述方法包括如下步骤：S1、获取数据，并分类存入相应的数据文件中；S2、依据数据汇总需求生成至少一个数据汇总任务；S3、依据数据汇总任务之间的依赖关系执行每一个数据汇总任务，根据遍历数据文件得到的数据执行该数据汇总任务对应的操作，并在执行该数据汇总任务结束后释放分配的内存。本发明专利技术的数据汇总方法和装置，依据数据汇总的需求生成多个数据汇总任务，并依据数据汇总任务之间的依赖关系来串行或并行执行每一数据汇总任务对应的操作，执行任务结束后即释放执行该任务时分配的内存，从而加快了任务处理速度，减少内存占用，避免内存溢出。

【技术实现步骤摘要】

本专利技术涉及数据分析，更具体地说，涉及一种数据汇总方法和装置。
技术介绍
产品在生产、运行过程中产生的数据往往是具体的、零散的，数据汇总是指根据实际需求对具体的、零散的数据进行数据提取、分析、存储。随着计算机技术的发展，数据的汇总方法从手动汇总变为自动汇总。手动汇总是指通过人力将获取的数据进行统计分析、存储。自动汇总是指依靠智能终端及在该智能终端设定的程序步骤，将获取的数据进行统计分析、存储。 现有的数据自动汇总方法如下以实际需求为依据建立一个任务，再通过智能终端执行建立的任务。该方法的缺点如下由于实际需求通常有多个，而每一个需求需要分析汇总的数据更是多如牛毛，因此，若针对多个需求仍只建立一个任务，则在执行该任务时，由于智能终端本身的硬件条件有限，处理速度极可能变得很缓慢，且针对多个需求建立的一个任务对应的信息量通常很大，容易造成内存溢出。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能够解决数据汇总数据慢和内存溢出问题的数据汇总方法和装置。本专利技术解决其技术问题所采用的技术方案是提出一种数据汇总方法，包括如下步骤 51、获取数据，并分类存入相应的数据文件中； 52、依据数据汇总需求生成至少一个数据汇总任务； 53、依据数据汇总任务之间的依赖关系执行每一个数据汇总任务，根据遍历数据文件得到的数据执行该数据汇总任务对应的操作，并在执行该数据汇总任务结束后释放分配的内存。一个实施例中，所述方法还包括 54、生成已执行的数据汇总任务的临时索引文件。一个实施例中，所述步骤SI具体包括 511、获取需要分析的多个数据； 512、根据数据的生成规则解析获取的数据，得到该数据的属性信息；513、依据数据的属性信息将解析后的数据按照指定的格式分类存入相应的数据文件中。一个实施例中，所述步骤S3具体包括 531、依据数据汇总任务之间的依赖关系将生成的数据汇总任务标识为独立任务和关联任务；532、对于每个独立任务，遍历数据文件，根据从数据文件遍历得到的数据执行该独立任务对应的操作，并在该独立任务结束后释放执行该独立任务时分配的内存； S33、对于每个关联任务，遍历数据文件，根据从数据文件遍历到的数据以及每个关联任务中各个子任务之间的先后顺序执 行对应的操作，并在该关联任务结束后释放执行该关联任务时分配的内存。一个实施例中,所述步骤S3具体包括 531、将标识为独立任务或关联任务的多个数据汇总任务分成两个组，其中一定数量的任务分入运行组，其余任务分入等待组； 532、执行运行组中的数据汇总任务； 533、在运行组中的一个任务执行结束后，将等待组中的一个任务补充到运行组中。本专利技术为解决其技术问题还提出一种数据汇总装置，包括 数据处理模块，用于获取数据并分类存入相应的数据文件中； 任务生成模块,用于依据数据汇总需求生成至少一个数据汇总任务； 任务处理模块，用于依据数据汇总任务之间的依赖关系执行每一个数据汇总任务，根据遍历数据文件得到的数据执行该数据汇总任务对应的操作，并在执行该数据汇总任务结束后释放分配的内存。一个实施例中，所述数据汇总装置还包括 索引文件生成模块,用于生成已执行的数据汇总任务的临时索引文件。一个实施例中，所述数据处理模块具体包括 数据获取模块，用于获取需要分析的多个数据； 数据解析模块，用于根据数据的生成规则解析获取的数据，得到该数据的属性信息；数据组织模块，用于依据数据的属性信息将解析后的数据按照指定的格式分类存入相应的数据文件中。一个实施例中，所述任务处理模块具体包括 任务标识模块，用于依据数据汇总任务之间的依赖关系将生成的数据汇总任务标识为独立任务和关联任务； 独立任务执行模块，用于遍历数据文件，根据从数据文件遍历得到的数据执行独立任务对应的操作，并在该独立任务结束后释放执行该独立任务时分配的内存； 关联任务执行模块，用于遍历数据文件，根据从数据文件遍历到的数据以及每个关联任务中各个子任务之间的先后顺序执行对应的操作，并在该管理任务结束后释放执行该管理任务时分配的内存。一个实施例中，所述任务处理模块具体包括 分组模块，用于建立运行组和等待组，并将标识为独立任务或关联任务的多个数据汇总任务中一定数量的任务分入运行组，其余任务分入等待组； 任务执行模块，用于执行运行组中的数据汇总任务； 任务补充模块，用于在运行组中的一个任务执行结束后，将等待组中的一个任务补充到运行组中。本专利技术的数据汇总方法和装置，依据数据汇总的需求生成多个数据汇总任务，并依据数据汇总任务之间的依赖关系来串行或并行执行每一数据汇总任务对应的操作，执行任务结束后即释放执行该任务时分配的内存，从而加快了任务处理速度，减少内存占用，避免内存溢出。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中 图I是本专利技术一个实施例的数据汇总方法的流程 图2是图I中步骤110的一具体实施例的流程 图3是图I中步骤130的一具体实施例的流程 图4是图I中步骤130的另一具体实施例的流程图； 图5是本专利技术一个实施例的数据汇总装置的逻辑结构示意 图6是图5中数据处理模块的一具体实施例的逻辑结构示意 图7是图5中任务处理模块的一具体实施例的逻辑结构示意 图8是图5中任务处理模块的另一具体实施例的逻辑结构示意图。具体实施例方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提出一种数据汇总方法和装置，依据数据汇总的需求生成至少一个数据汇总任务，并依据数据汇总任务之间的依赖关系来执行每一数据汇总任务对应的操作，执行任务结束后即释放执行该任务时分配的内存，从而加快了任务处理速度，减少内存占用，避免内存溢出。图I示出了本专利技术一个实施例的数据汇总方法100的流程图。如图I所示，该数据汇总方法100包括 步骤110，获取数据，并分类存入相应的数据文件中。例如，对于话单数据而言，可首先从局方获取各个基站中的话单数据，依据该话单数据的属性将其分类存入多个数据文件中，以便于后续的数据汇总分析。其中，获取数据的方式可以为定时获取或实时获取，定时获取数据的优势在于能够尽快结束整个汇总操作，实时获取数据的优势在于能够及时发现新增的数据，提高汇总结果的可靠性。步骤120，依据数据汇总的需求生成至少一个数据汇总任务。具体实施例中，可以一个需求对应一个数据汇总任务。例如，以话单数据汇总为例，在需要统计某个手机号码出现的次数时，针对该需求生成一个任务；在需要统计某一范围内出现频率最高的手机号码时，针对该需求生成一个任务。一个具体实施例中，每个数据汇总任务包括该任务的ID和该任务的执行命令，其中，任务的ID用于唯一标识该任务，任务的执行命令用于描述该任务将执行的操作以及执行操作后得到的结果。步骤130，依据数据汇总任务之间的依赖关系执行每一个数据汇总任务，根据遍历步骤110中的数据文件得到的数据执行该数据汇总任务对应的操作，并在执行该数据汇总任务结束后释放执行任务时分配的内存。一个具体实施例中，根据生成的数据汇总任务在实现时是否与其它数据汇总任务存在关联，数据汇总任本文档来自技高网...

【技术保护点】
一种数据汇总方法，其特征在于，包括如下步骤：S1、获取数据，并分类存入相应的数据文件中；S2、依据数据汇总需求生成至少一个数据汇总任务；S3、依据数据汇总任务之间的依赖关系执行每一个数据汇总任务，根据遍历数据文件得到的数据执行该数据汇总任务对应的操作，并在执行该数据汇总任务结束后释放分配的内存。

【技术特征摘要】
1.一种数据汇总方法，其特征在于，包括如下步骤 51、获取数据，并分类存入相应的数据文件中； 52、依据数据汇总需求生成至少一个数据汇总任务； 53、依据数据汇总任务之间的依赖关系执行每一个数据汇总任务，根据遍历数据文件得到的数据执行该数据汇总任务对应的操作，并在执行该数据汇总任务结束后释放分配的内存。2.根据权利要求I所述的数据汇总方法，其特征在于，所述方法还包括 54、生成已执行的数据汇总任务的临时索引文件。3.根据权利要求I所述的数据汇总方法，其特征在于，所述步骤SI具体包括 511、获取需要分析的多个数据； 512、根据数据的生成规则解析获取的数据，得到该数据的属性信息； 513、依据数据的属性信息将解析后的数据按照指定的格式分类存入相应的数据文件中。4.根据权利要求I所述的数据汇总方法，其特征在于，所述步骤S3具体包括 531、依据数据汇总任务之间的依赖关系将生成的数据汇总任务标识为独立任务和关联任务； 532、对于每个独立任务，遍历数据文件，根据从数据文件遍历得到的数据执行该独立任务对应的操作，并在该独立任务结束后释放执行该独立任务时分配的内存； 533、对于每个关联任务，遍历数据文件，根据从数据文件遍历到的数据以及每个关联任务中各个子任务之间的先后顺序执行对应的操作，并在该关联任务结束后释放执行该关联任务时分配的内存。5.根据权利要求4所述的数据汇总方法，其特征在于，所述步骤S3具体包括 531、将标识为独立任务或标识为关联任务的多个数据汇总任务分成两个组，其中一定数量的任务分入运行组，其余任务分入等待组； 532、执行运行组中的数据汇总任务； 533、在运行组中的一个任务执行结束后，将等待组中的一个任务补充到运行组中。6.一种数据汇总装置，其特征在于，包括 数据处理模...

【专利技术属性】
技术研发人员：王立，刘洋，
申请(专利权)人：深圳市网信联动技术有限公司，
类型：发明
国别省市：