一种异构数据的数据聚合运算方法和系统技术方案

本发明专利技术涉及一种异构数据的数据聚合运算方法和系统，方法包括以下步骤：获取数据源；根据所述数据源的数据类型，从预先注册的数据抽取适配器中选取对应的数据抽取适配器对所述数据源进行数据抽取，得到标准数据集；对所述标准数据集采用预先构建的聚合器进行分类聚合，得到多组标准分组数据集；将各组标准分组数据集输入预先构建的数据运算器中，通过数据运算器分别对各组标准分组数据集执行对应的运算方法，最后输出目标结果

【技术实现步骤摘要】
一种异构数据的数据聚合运算方法和系统


[0001]本专利技术涉及数据运算处理
，尤其是涉及一种异构数据的数据聚合运算方法和系统
。

技术介绍

[0002]在数据处理领域，不可避免需要对多种类型的数据源进行运算处理
。
目前常见的数据源类型有文本文件
、xml
文件
、json
文件
、excel、
关系型数据库
、
非关系型数据库
、restful、web service、
时序数据库等，随着新技术的快速发展，新的数据源也在快速的涌现
。
[0003]通常情况我们对数据进行运算的方法一般包含对数据的求和
、
平均值
、
计数
、
求中位数
、
求方差
、
求标准差
、
求最大值
、
求最小值
、
正态分布
、
特殊场景定制等
。
[0004]在数据处理过程中，不同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种异构数据的数据聚合运算方法，其特征在于，包括以下步骤：获取数据源；根据所述数据源的数据类型，从预先注册的数据抽取适配器中选取对应的数据抽取适配器对所述数据源进行数据抽取，得到标准数据集；对所述标准数据集采用预先构建的聚合器进行分类聚合，得到多组标准分组数据集；将各组标准分组数据集输入预先构建的数据运算器中，通过数据运算器分别对各组标准分组数据集执行对应的运算方法，最后输出目标结果；所述数据源的数据类型包括文本文件
、xml
文件
、json
文件
、excel
文件
、
关系型数据
、
非关系型数据
、restful
格式和
webservice
格式
。2.
根据权利要求1所述的一种异构数据的数据聚合运算方法，其特征在于，所述数据抽取适配器的数量为多个，所述数据抽取适配器进行数据抽取的过程具体为：
S101
：根据所述数据源的数据类型，判断预先注册的数据抽取适配器中是否存在支持该数据类型的数据抽取适配器，若不存在，则执行步骤
S102
；若存在，则执行步骤
S103
；
S102
：根据所述数据源的数据类型注册对应的数据抽取适配器，若注册失败，则运算结束，若注册成功，则执行步骤
S103
；
S103
：采用支持所述数据类型的数据抽取适配器对所述数据源进行数据抽取，得到标准数据集
。3.
根据权利要求1所述的一种异构数据的数据聚合运算方法，其特征在于，所述聚合器进行分类聚合的过程具体为：
S201
：接收所述标准数据集，并执行步骤
S202
；
S202
：所述聚合器按照预设的聚合参数对所述标准数据集进行分类聚合，并执行步骤
S203
；
S203
：聚合器输出多组标准分组数据集
。4.
根据权利要求1所述的一种异构数据的数据聚合运算方法，其特征在于，所述运算方法的数量为多个，所述数据运算器的运算过程具体为：
S301
：根据运算需求，判断所述数据运算器中是否存在运算需求所需的运算方法，若存在，则执行步骤
S303
；若不存在，则执行步骤
S302
；
S302
：对所需的运算方法进行注册，若注册成功，则执行步骤
S303
；若注册不成功，则运算结束；
S303
：采用对应的运算方法对所述标准分组数据集进行数据运算，最后输出目标结果
。5.
根据权利要求4所述的一种异构数据的数据聚合运算方法，其特征在于，所述运算方法包括求和
、
求平均值
、
求最大值
、
求最小值
、
计数
、
求中位数
、
求标准差和求方差
。6.
根据权利要求5所述的一种异构数据的数据聚合运算方法，其特...

【专利技术属性】
技术研发人员：张彤，周克，
申请(专利权)人：上海得帆信息技术有限公司，
类型：发明
国别省市：