一种流式数据分析的动态建模制造技术

本发明专利技术提供一种流式数据分析的动态建模，属于大数据处理技术领域，本发明专利技术是在流式数据分析的过程动态构建计算模型。流式数据分析是指在进行多种数据来源的数据分析过程中，由数据产生驱动或者有秒级的定时调度驱动的数据分析过程，在这个过程中，由来源数据到分析结果之间的数据计算逻辑和数据转化关系在系统运行中可以进行变更，这种变更可以实时生效，在变更生效的这一刻起，流式数据分析已经按照新的数据计算逻辑和数据转化关系进行计算。

A dynamic modeling of streaming data analysis

The invention provides a dynamic modeling of streaming data analysis, belonging to the technical field of large data processing, and dynamically constructing a calculation model in the process of stream data analysis. Flow cytometry data analysis refers to a variety of data sources in the data analysis process, driven by the data generation or timing scheduling second driven data analysis process, in this process, the calculation logic and data transformation relation in the operation of the system can be changed by the source data between the analysis results of the data. The change can be effective in real time, at this moment the changes to take effect, streaming data analysis has been in accordance with the new data calculation logic and data transformation relation calculation.

【技术实现步骤摘要】
一种流式数据分析的动态建模
本专利技术涉及大数据处理技术，尤其涉及一种流式数据分析的动态建模。
技术介绍
在大数据分析过程中或者大数据应用过程中，因为存在研究的过程或者对数据的关注点的变化，对数据常常要进行多次多维度分析，这是一个需求不断变化的过程，常用大数据分析手段，是提前构造好模型，再进一步观察分析结果，缺乏灵活性、时效性。
技术实现思路
为了解决以上问题，本专利技术提出了一种流式数据分析的动态建模。构建动态建模方法，为不断变化的需求提供数据支撑；解决大数据分析过程中模型的动态构建过程，而且把这一过程应用在流计算领域。在流式数据分析的过程动态构建计算模型。流式数据分析是指在进行多种数据来源的数据分析过程中，由数据产生驱动或者有秒级的定时调度驱动的数据分析过程，在这个过程中，由来源数据到分析结果之间的数据计算逻辑和数据转化关系在系统运行中可以进行变更，这种变更可以实时生效，在变更生效的这一刻起，流式数据分析已经按照新的数据计算逻辑和数据转化关系进行计算。上述在系统运行中对数据计算逻辑和数据转化关系在系统运行中可以进行变更，这种变更可以实时生效,并实时影响流式数据分析为本专利技术的核心特征。本专利技术的技术方案是一种流式数据分析的动态建模，主要包含三个组件：流数据接入组件、模型动态构建组件、数据输出组件，其中：流数据接入组件：实现从多数据源导入数据到结构化的内存表中；模型动态构建组件：实现模型描述文件的动态变更和读取，根据模型描述文件动态构建计算模型，并对结构化的内存表进行数据加工，加工后的数据调用数据输出组件输出；数据输出组件：数据输出组件负责数据的输出，有三种方式：输出到内存、输出到数据库、输出到内存并定时持久化到数据库。进一步的，多数据源导入是预留了数据导入适配器开发接口，业务需要从哪种数据源导入数据，需要开发相应的适配器；结构化的内存表的结构是根据业务的特点定义的。进一步的，模型动态构建组件提供基于java的模型变更工具，在需要对模型进行变化时，负责读取模型数据、与操作者交互变更模型数据、保存模型数据到计算集群；动态构建计算模型的过程是实时在线，定时秒级调度的，每次调度首先拉取计算集群中的所有动态模型，并构建计算模型，之后对结构化的内存表数据，按照模型描述进行处理，处理过程输出到数据输出组件。进一步的，数据输出组件中的输出到内存是指流数据接入组件的结构以json形式保存在内存中，在其他系统需要数据结果时，能够直接读取结果；输出到内存并定时持久化到数据库数据的存储结果和读取方式都不变，只是定时调度结果保存到数据库中，防止数据丢失；输出到数据库并不管数据的读取，只是把数据持久化到数据库中。本专利技术的有益效果是在大数据分析过程中或者大数据应用过程中,更改模型重新进行计算往往带来巨大的成本，利用本专利技术可以直接节约掉这一块成本，并且在时效性、有效性等多个方面带来巨大的收益。具体实施方式下面对本专利技术的内容进行更加详细的阐述：本专利技术包含三个主要组件：1、流数据接入组件、2、模型动态构建组件、3、数据输出组件，各组件分别说明如下：1、流数据接入组件：流数据接入组件，实现从多数据源导入数据到结构化的内存表中。多数据源导入是预留了数据导入适配器开发接口，业务需要从哪种数据源导入数据，需要开发相应的适配器；结构化的内存表的结构是根据业务的特点定义的。需要注意的是数据来源是相对固定的，不会根据需求的变化，产生变化，所以流数据接入组件并不能动态构建，而且随着导入的业务数据种类的增多，进行增量更新2、模型动态构建组件：此组件是本专利技术的核心组件，实现模型描述文件的动态变更和读取，根据模型描述文件动态构建计算模型，并对结构化的内存表进行数据加工，加工后的数据调用数据输出组件输出。此组件提供基于java的模型变更工具，在需要对模型进行变化时，负责读取模型数据、与操作者交互变更模型数据、保存模型数据到计算集群；动态构建计算模型的过程是实时在线，定时秒级调度的，每次调度首先拉取计算集群中的所有动态模型，并构建计算模型，之后对结构化的内存表数据，按照模型描述进行处理，处理过程输出到数据输出组件。3、数据输出组件：数据输出组件负责数据的输出，有三种方式：输出到内存、输出到数据库、输出到内存并定时持久化到数据库。输出到内存是指流数据接入组件的结构仅仅以json形式保存在内存中，在其他系统需要数据结果时，能够直接读取结果；输出到内存并定时持久化到数据库数据的存储结果和读取方式都不变，只是定时调度结果保存到数据库中，防止数据丢失；输出到数据库并不管数据的读取，只是把数据持久化到数据库中。本专利技术是在流式数据分析的过程动态构建计算模型。在这个过程中，由来源数据到分析结果之间的数据计算逻辑和数据转化关系在系统运行中可以进行变更。在变更生效的这一刻起，流式数据分析已经按照新的数据计算逻辑和数据转化关系进行计算。本文档来自技高网...

【技术保护点】
一种流式数据分析的动态建模，其特征在于，主要包含三个组件：流数据接入组件、模型动态构建组件、数据输出组件，其中：流数据接入组件：实现从多数据源导入数据到结构化的内存表中；模型动态构建组件：实现模型描述文件的动态变更和读取，根据模型描述文件动态构建计算模型，并对结构化的内存表进行数据加工，加工后的数据调用数据输出组件输出；数据输出组件：数据输出组件负责数据的输出，有三种方式：输出到内存、输出到数据库、输出到内存并定时持久化到数据库。

【技术特征摘要】
1.一种流式数据分析的动态建模，其特征在于，主要包含三个组件：流数据接入组件、模型动态构建组件、数据输出组件，其中：流数据接入组件：实现从多数据源导入数据到结构化的内存表中；模型动态构建组件：实现模型描述文件的动态变更和读取，根据模型描述文件动态构建计算模型，并对结构化的内存表进行数据加工，加工后的数据调用数据输出组件输出；数据输出组件：数据输出组件负责数据的输出，有三种方式：输出到内存、输出到数据库、输出到内存并定时持久化到数据库。2.根据权利要求1所述的动态建模，其特征在于，多数据源导入是预留了数据导入适配器开发接口，业务需要从哪种数据源导入数据，需要开发相应的适配器；结构化的内存表的结构是根据业务的特点定义的。3.根据权利要求1所述的动态建模，其特征...

【专利技术属性】
技术研发人员：李光学，张田，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东,37