【技术实现步骤摘要】
数据聚合方法及装置、计算机装置及计算机可读存储介质
本专利技术涉及数据处理
,具体涉及一种数据聚合方法及装置、计算机装置和计算机可读存储介质。
技术介绍
在应用系统监控中,采集端上报的原始数据非常的庞大,不适合直接使用和存储。数据后台在处理原始数据时需要对数据做聚合处理,生成聚合后的数据。然而,现有的数据聚合方法效率较低,有新的聚合需求或者需求有调整后,数据后台需要再次开发。
技术实现思路
鉴于以上内容,有必要提出一种数据聚合方法及装置、计算机装置和计算机可读存储介质,其可以实现高效率的数据聚合。本申请的第一方面提供一种数据聚合方法,所述方法包括:获取数据聚合脚本;加载所述数据聚合脚本,从所述数据聚合脚本中解析出数据获取信息、数据分拣信息、数据计算信息、数据输出信息;根据所述数据获取信息,从指定的数据源获取原始数据;根据所述数据分拣信息,对所述原始数据进行分拣,得到分拣后的数据;根据所述数据计算信息,对所述分拣后的数据进行计算,得到聚合结果;根据所述数据输出信息,输出所述聚合结果。另一种可能的实现方式中,所述数据聚合脚本包括JSON格式的数据,通过所述JSON格 ...
【技术保护点】
1.一种数据聚合方法,其特征在于,所述方法包括:获取数据聚合脚本;加载所述数据聚合脚本,从所述数据聚合脚本中解析出数据获取信息、数据分拣信息、数据计算信息、数据输出信息;根据所述数据获取信息,从指定的数据源获取原始数据;根据所述数据分拣信息,对所述原始数据进行分拣,得到分拣后的数据;根据所述数据计算信息,对所述分拣后的数据进行计算,得到聚合结果;根据所述数据输出信息,输出所述聚合结果。
【技术特征摘要】
1.一种数据聚合方法,其特征在于,所述方法包括:获取数据聚合脚本;加载所述数据聚合脚本,从所述数据聚合脚本中解析出数据获取信息、数据分拣信息、数据计算信息、数据输出信息;根据所述数据获取信息,从指定的数据源获取原始数据;根据所述数据分拣信息,对所述原始数据进行分拣,得到分拣后的数据;根据所述数据计算信息,对所述分拣后的数据进行计算,得到聚合结果;根据所述数据输出信息,输出所述聚合结果。2.如权利要求1所述的方法,其特征在于,所述数据聚合脚本包括JSON格式的数据,通过所述JSON格式的数据描述数据聚合需求。3.如权利要求1所述的方法,其特征在于,所述数据聚合脚本包括ES脚本。4.如权利要求1所述的方法,其特征在于,所述从所述数据聚合脚本中解析出数据获取信息、数据分拣信息、数据计算信息、数据输出信息包括:根据预设关键字从所述数据聚合脚本中解析出所述数据获取信息、数据分拣信息、数据计算信息、数据输出信息;或者根据所述数据聚合脚本的结构从数据聚合脚本中解析出所述数据获取信息、数据分拣信息、数据计算信息、数据输出信息。5.如权利要求1所述的方法,其特征在于,所述从所述数据聚合脚本中解析出数据获取信息、数据分拣信息、数据计算信息、数据输出信息包括:从所述数据聚合脚本中解析出query部分、agg部分、index部分、type部分;从所述query部分中解析出原始数据获取字段、原始数据分拣字段、原始...
【专利技术属性】
技术研发人员:周志龙,
申请(专利权)人:中国平安人寿保险股份有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。