一种基于模型驱动的数据分析方法技术

本发明专利技术属于一种企业数据智能分析方法，具体涉及一种基于模型驱动的数据分析方法。它包括以下步骤：步骤1准备工作；步骤2系统定义；步骤3数据抽取；步骤4数据转换；步骤5数据加载；步骤6模型设计；步骤7模型驱动设计。本发明专利技术的优点是，它能够快速有效的对大量数据进行处理的数据分析方法。

【技术实现步骤摘要】

本专利技术属于一种企业数据智能分析方法，具体涉及一种数据模型和数据分析，尤其是一种应用于模型驱动的数据分析方法。
技术介绍
随着国际国内信息化建设的快速发展，各大军工集团、企事业单位的操作型的业务信息系统已经积累了大量的经营发展、科研生产、人力资源、安全管控等方面的业务数据，如何更好的运用这类沉淀的历史数据，成为了现代人们关注的问题。因此，在数据分析过程中，对于数据分析的高效性和稳定性成为了一个重点。
技术实现思路
本专利技术的目的是提供一种在数据分析时能够稳定、快速有效的对大量数据进行处理的数据分析方法。本专利技术是这样实现的，一种基于模型驱动的数据分析方法，包括以下步骤：步骤1准备工作；根据业务需要分析，收集相关的信息，包括业务需求文件、技术要求文件、项目管理计划要求；步骤2系统定义；系统定义包括：业务指标分析，确定数据分析维度，确定数据分析粒度，确定数据分析层级；步骤3数据抽取数据抽取：数据源接口，包括原始数据接口和外部数据接口，源数据接口从业务系统中通过约定的借口方式抽取数据，为数据仓库输入数据；步骤4数据转换数据转换：数据转化包含对来自多个操作型系统的数据源的处理，保证数据按要求装人数据仓库，对抽取的数据进行分析，如果数据复杂程度比较低，则直接进入步骤5，反之，则需要根据数据的复杂程度进行数据的转换；步骤5数据加载数据加载：数据加载部分负责将数据抽取和转化的数据按照物理数据模型定义的表结构装入数据仓库中，步骤6模型设计分析模型设计包括：分析模型设计，分析模型定义，模型设计方式；步骤7模型驱动设计数据分析模型驱动包括SQL引擎和调度算法。所述的步骤2包括如下步骤，1)业务指标分析在技术要求文件中技术限定的条件下，根据步骤1中的需求分析，明确业务指标的名称、定义、数据来源、计算公式等信息；业务指标一般按照以下原则确定：(1)业务指标必须是业务流转中特定的工作指标，不能笼统，(2)业务指标是可以数量化或者行为化的，验证这些绩效指标的数据或者信息是可以获得的，(3)业务指标是在付出努力的情况下可以实现，避免设立过高或过低的目标，(4)业务指标是可以证明和观察的，(5)业务指标是在一定时间限制内完成的；2)确定数据分析维度数据分析维度按照以下原则确认：(1)数据值不参与运算，可以作为其他运算数据的约束条件，(2)数据值是固定的，在一定的时期内不易变化的，(3)选取与业务有关联关系的、有意义的维度值，3)确定数据分析层级数据分析层级指从宏观的汇总信息通过层层分析到明细的微观数据的过程，数据分析层级的确定需要注意以下事项：(1)在业务需求的引导下，分析层级之间必须具备一定的逻辑关系，(2)分析的层级越多，维度数据就越详细，建模难度就越大，(3)不同层级的人员，进入的分析层级不同，通常建议一个维度的层级小于等于4层，4)确定数据分析粒度粒度即数据汇总的程度，不同层级的人员需要的数据粒度不同，数据分析粒度就是根据步骤1中的需求分析，对业务数据的汇总程度进行规划，(1)最小的数据分析粒度为从操作型系统中直接抽取的操作型数据，(2)数据分析粒度应当结合数据分析层级进行设计，(3)数据分析粒度越小，可查询的信息就越多；反之，查询的信息就越少。所述步骤6包括1)分析模型设计分析模型设计，通过适当运用计算机的逻辑思维，将业务流程、业务应用等业务工作进行梳理，使看起来不相关的业务数据进行关联并产生相互关系；2)分析模型定义分析模型是指根据业务的不同需要，用适当的模型设计方式将抽取来的大量数据进行分组、汇总并进行分析的过程；3)模型设计方式数据分析模型设计方式通常分为3种建模方式：即星型模型、雪花模型和混合模型；(1)星型模型星型模型具有用户容易理解、优化浏览、适于查询处理等优点，但是维度数据可能会增加分析数据的容量，造成较大的数据冗余；(2)雪花模型雪花模型最大限度的减少数据存储量以及把较小的标准化数据联合在一起来改善查询性能；由于采取了标准化及维的较小的粒度，雪花模型增加了应用程序的灵活性，对星型模型的维度数据作进一步层次化，原有的维度数据可能被扩展为小的分析数据，形成一些小的局部的“层次”；雪花模式最大限度地减少数据存储量以及联合较小的维度数据来改善查询性能；(3)混合模型混合模型兼具了星型模型和雪花模型的优点，在具有复杂的维度、层级和粒度数据情况下，可以提供快捷的查询服务，更适合于数据分析的模型设计。所述步骤7包括，(1)SQL引擎SQL引擎由许多不同的存储过程组成，存储过程与事务处理不同，可以为存储过程制定名称，编译并保存在数据库服务器中，每个存储过程调用都依赖于相应的维度数据和分析数据；(2)调度算法调度算法将SQL引擎获取到的维度数据进行调用，并将的维度数据再次通过SQL引擎获取数据，得到最后的分析数据；包引擎包括两种类型的包和一个调度算法，一种是主包，另一种是通用包，主包通过SQL引擎，读取业务数据维度信息，获得了维度数据信息后，主包调用执行已经被参数化的通用包，通用包的功能主要是从数据源导入数据到目标表中。本专利技术的优点是，它能够快速有效的对大量数据进行处理的数据分析方法。附图说明图1为本专利技术所提供的一种基于模型驱动的数据分析方法流程图。具体实施方式下面结合附图和实施例对本专利技术进行详细介绍：一种基于模型驱动的数据分析方法，包括以下步骤：步骤1准备工作根据业务需要分析，收集相关的信息，包括业务需求文件、技术要求文件；项目管理计划要求。步骤2系统定义系统定义包括：业务指标分析；确定数据分析维度；确定数据分析粒度；确定数据分析层级。1)业务指标分析在技术要求文件中技术限定的条件下，根据步骤1中的需求分析，明确业务指标的名称、定义、数据来源、计算公式等信息。业务指标一般按照以下原则确定：(1)业务指标必须是业务流转中特定的工作指标，不能笼统。(2)业务指标是可以数量化或者行为化的，验证这些绩效指标的数据或者信息是可以获得的。(3)业务指标是在付出努力的情况下可以实现，避免设立过高或过低的目标。(4)业务指标是可以证明和观察的。本文档来自技高网...

【技术保护点】
一种基于模型驱动的数据分析方法，其特征在于：包括以下步骤：步骤1准备工作；根据业务需要分析，收集相关的信息，包括业务需求文件、技术要求文件、项目管理计划要求；步骤2系统定义；系统定义包括：业务指标分析，确定数据分析维度，确定数据分析粒度，确定数据分析层级；步骤3数据抽取数据抽取：数据源接口，包括原始数据接口和外部数据接口，源数据接口从业务系统中通过约定的借口方式抽取数据，为数据仓库输入数据；步骤4数据转换数据转换：数据转化包含对来自多个操作型系统的数据源的处理，保证数据按要求装人数据仓库，对抽取的数据进行分析，如果数据复杂程度比较低，则直接进入步骤5，反之，则需要根据数据的复杂程度进行数据的转换；步骤5数据加载数据加载：数据加载部分负责将数据抽取和转化的数据按照物理数据模型定义的表结构装入数据仓库中，步骤6模型设计分析模型设计包括：分析模型设计，分析模型定义，模型设计方式；步骤7模型驱动设计数据分析模型驱动包括SQL引擎和调度算法。

【技术特征摘要】
1.一种基于模型驱动的数据分析方法，其特征在于：包括以下步骤：
步骤1准备工作；
根据业务需要分析，收集相关的信息，包括业务需求文件、技术要求文
件、项目管理计划要求；
步骤2系统定义；
系统定义包括：业务指标分析，确定数据分析维度，确定数据分析粒度，
确定数据分析层级；
步骤3数据抽取
数据抽取：数据源接口，包括原始数据接口和外部数据接口，源数据接
口从业务系统中通过约定的借口方式抽取数据，为数据仓库输入数据；
步骤4数据转换
数据转换：数据转化包含对来自多个操作型系统的数据源的处理，保证
数据按要求装人数据仓库，对抽取的数据进行分析，如果数据复杂程度比较
低，则直接进入步骤5，反之，则需要根据数据的复杂程度进行数据的转换；
步骤5数据加载
数据加载：数据加载部分负责将数据抽取和转化的数据按照物理数据模
型定义的表结构装入数据仓库中，
步骤6模型设计
分析模型设计包括：分析模型设计，分析模型定义，模型设计方式；
步骤7模型驱动设计
数据分析模型驱动包括SQL引擎和调度算法。
2.如权利要求1所述的一种基于模型驱动的数据分析方法，其特征在于：
所述的步骤2包括如下步骤，
1)业务指标分析
在技术要求文件中技术限定的条件下，根据步骤1中的需求分析，明确
业务指标的名称、定义、数据来源、计算公式等信息；
业务指标一般按照以下原则确定：
(1)业务指标必须是业务流转中特定的工作指标，不能笼统，
(2)业务指标是可以数量化或者行为化的，验证这些绩效指标的数据或
者信息是可以获得的，
(3)业务指标是在付出努力的情况下可以实现，避免设立过高或过低的
目标，
(4)业务指标是可以证明和观察的，
(5)业务指标是在一定时间限制内完成的；
2)确定数据分析维度
数据分析维度按照以下原则确认：
(1)数据值不参与运算，可以作为其他运算数据的约束条件，
(2)数据值是固定的，在一定的时期内不易变化的，
(3)选取与业务有关联关系的、有意义的维度值，
3)确定数据分析层级
数据分析层级指从宏观的汇总信息通过层层分析到明细的微观数据的过
程，数据分析层级的确定需要注意以下事项：
(1)在业务需求的引导下，分析层级之间必须具备一定的逻辑关系，
(2)分析的层级越多，维度数据就越详细，建模难度就越大，
(3)不同层级的人员，进入的分析层级不同，通常建议一个维度的层级
小于等于4层，
4)确定数据分析粒度
粒度即数据...

【专利技术属性】
技术研发人员：吴艳林，王学勇，苏均生，彭新玲，
申请(专利权)人：北京京航计算通讯研究所，
类型：发明
国别省市：北京;11