【技术实现步骤摘要】
数据汇总执行方法及装置
本专利技术涉及数据处理
，尤其涉及一种数据汇总执行方法及装置。
技术介绍
随着大数据处理技术的普遍应用，特别是开源hadoop(Hadoop是一个由Apache基金会所开发的分布式系统基础架构)体系的日益成熟，hadoop已经成为数据仓库建设中一个很重要的基础设施。Hadoop体系分为数据存储HDFS(分布式文件系统)和数据运算MapReduce，MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。在数仓建设中，基础数据一般都会采用Hive表的格式，Hive表的格式和普通的关系型数据库相似，只是其底层是以HDFS文件HFile的格式存在。通常处理方案中，对于不同的计算任务编写的MapReduce程序，每个程序设定不同的Hive底层输入文件，编写相应的map和reduce执行逻辑，生成相应的结果表。为此，如果要执行多个计算任务，需要编写不同的MapReduce程序，即使不同的MapReduce程序读入的是相同表文件，也需要重复读取。所有的程序，不管是顺序执行还是并行执行，都需要占据大量的系统和时间资源。如果新创建...
【技术保护点】
1.一种数据汇总执行方法，其特征在于，所述方法应用于支持至少两个汇总处理模块的终端，所述方法包括：获取目标汇总处理模块的输入文件的文件属性；将所述文件属性与对应于目标汇总处理模块的属性参数进行匹配，获得匹配结果；若匹配结果为是，则根据对应于目标汇总处理模块的汇总任务参数对所述输入文件进行处理，获得处理结果。
【技术特征摘要】
1.一种数据汇总执行方法，其特征在于，所述方法应用于支持至少两个汇总处理模块的终端，所述方法包括：获取目标汇总处理模块的输入文件的文件属性；将所述文件属性与对应于目标汇总处理模块的属性参数进行匹配，获得匹配结果；若匹配结果为是，则根据对应于目标汇总处理模块的汇总任务参数对所述输入文件进行处理，获得处理结果。2.根据权利要求1所述的数据汇总执行方法，其特征在于，所述文件属性包括Hive基础数据表名称，所述属性参数包括Hive基础数据表名称；将所述文件属性与对应于目标汇总处理模块的属性参数进行匹配，获得匹配结果，具体包括：判断所述文件属性中的Hive基础数据表名称与所述属性参数中的Hive基础数据表名称是否匹配，获得匹配结果。3.根据权利要求2所述的数据汇总执行方法，其特征在于，所述汇总任务参数包括MapRun函数和ReduceRun函数；当匹配结果为是，则根据对应于目标汇总处理模块的汇总任务参数对所述输入文件进行处理，获得处理结果，具体包括：当匹配结果为是，则执行对应于目标汇总处理模块的MapRun函数对所述输入文件进行映射处理，获得中间文件，所述中间文件的属性信息包括目标汇总处理模块的模块标识；调用所述中间文件，根据所述中间文件的属性信息中的模块标识确定目标汇总处理模块，执行对应于目标汇总处理模块的ReduceRun函数对所述中间文件进行归约处理，获得处理结果。4.根据权利要求3所述的数据汇总执行方法，其特征在于，所述文件属性还包括输出文件目录；还包括：在获得所述处理结果后，根据所述输出文件目录完成存储。5.根据权利要求1所述的数据汇总执行方法，其特征在于，还包括：在获取目标汇总处理模块的输入文件的文件属性之后，将所述目标汇总处理模块的输入文件放入预设的已读文件集合中。6.根据权利要求1所述的数据汇总执行方法，其特征在于，在获取目标汇总处理模块的输入文件的文件属性之前，还包括：所述属性参数包括Reduce任务个数；将所有汇总处理模块的属性参数中的Reduce任务个数求和；所述属性参数包括Map/Reduce任务的资源信息；将所有汇总处理模块的属性参数中的Map/Reduce任务的资源信息的占有值取最大值。7.一种数据汇总执行装置，其特征在于，所述装置应用于支持至少两个汇总处理模块的终端，所述装置包括：获取单元，用于获取目标汇总处理模块的输入文件的文件属性；匹配单...
【专利技术属性】
技术研发人员：张惠亮，李贲，刘胜，吴锋海，
申请(专利权)人：联动优势科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。