【技术实现步骤摘要】
一种通用流式数据分析模型及其构建方法
本专利技术涉及流式数据处理技术,具体涉及一种通用流式数据分析模型及其构建方法。
技术介绍
现阶段针对流式数据的处理,普遍将数据分析算法实例化于代码层面。如此方式,一则,可支持的分析算法有限,如需再加或者调整必须通过编码实现,消耗工作量较大;再则,与实际业务数据绑定,所实现的算法局限性较大。因此,该类实时数据的分析模型实现方式较为死板,无法应对灵活多变的业务需求,且如此创建的分析模型无法复用于其他业务不同的项目中。
技术实现思路
本专利技术的目的在于针对在流式数据处理或实时数据分析场景,提供一种通用流式数据分析模型及其构建方法,将分析算法模型的创建与具体业务逻辑抽离,以达到分析模型灵活建立的目的,解决现阶段针对实时数据,采用将数据分析算法实例化于代码层面的实现方式所带来的工作量较大,需求变更应对不灵活的问题。实现本专利技术目的的技术方案为:一种通用流式数据分析模型,数据分析模型由多步运算按序组成,从数据源流入,经数步运算后得出结果;将数据源和运算抽象为算子,所述数据分析模型包括:开始算子,用于表明数据起始的开端;数据源算子,用于选择 ...
【技术保护点】
1.一种通用流式数据分析模型的构建方法,其特征在于,所述数据分析模型由多步运算按序组成,从数据源流入,经数步运算后得出结果,数据分析模型的构建方法包括以下步骤:1)通过算子抽象,建立业务模型的基础构件;2)通过数据源参数配置,实现与数据源解耦,对于不同场景中的不同数据源,通过参数配置,调整模型所用到的数据源;3)通过配置算子的参数值,建立每个算子的计算规则;4)将各个算子连接,将前一个算子的计算结果作为输出,传递给后一个算子作为输入数据源,供后一个算子进行计算;5)重复步骤2)~4),直至完成算法模型构建。
【技术特征摘要】
1.一种通用流式数据分析模型的构建方法,其特征在于,所述数据分析模型由多步运算按序组成,从数据源流入,经数步运算后得出结果,数据分析模型的构建方法包括以下步骤:1)通过算子抽象,建立业务模型的基础构件;2)通过数据源参数配置,实现与数据源解耦,对于不同场景中的不同数据源,通过参数配置,调整模型所用到的数据源;3)通过配置算子的参数值,建立每个算子的计算规则;4)将各个算子连接,将前一个算子的计算结果作为输出,传递给后一个算子作为输入数据源,供后一个算子进行计算;5)重复步骤2)~4),直至完成算法模型构建。2.根据权利要求1所述的通用流式数据分析模型的构建方法,其特征在于,数据源参数配置的具体过程为;各类数据源通过以下信息进行描述,包括:数据源名称、数据源格式、数据字段名称、数据字段类型、数据字段长度、数据字段分割方式和数据记录分割方式,上述信息均录入到配置表中,软件层面以加载配置表中信息取代直接写入代码中。3.根据权利要求1所述的通用流式数据分析模型的构建方法,其特征在于,算子抽象的具体过程为;将每步运算均进行抽象,按不同的功能抽象为如下几类:开始类算子,用于表示数据起始的开端;数据源算子,用于选择所需进行数据分析的实时数据的类别;过滤运算算子,该类下的算子用于表示实时数据过滤的逻辑;中间库碰撞算子,该类算子用于需要与积累数据进行碰撞的场景;流向算子,针对算法中流程描述,抽象出流向算子,用于标记数据处理的流向;分支算子,用于标记根据上一步算子的运...
【专利技术属性】
技术研发人员:辛颖梅,汪晓刚,郑雪原,赵熠,刁俊芃,
申请(专利权)人:江苏擎天信息科技有限公司,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。