烟草综合信息数据加工储存平台及数据加工方法技术

本发明专利技术公开了烟草综合信息数据加工储存平台及数据加工方法。其中，烟草综合信息数据加工储存平台，用于对烟草管理过程中产生的业务数据的抽取、加工和存储。并由、数据导入工具、数据准备区、数据仓库、数据集市、报表数据库、多维分析数据库、挖掘数据库、分析工具、管理控制工具、信息发布系统组成。其中，数据加工方法是对烟草管理过程中产生的业务数据进行导入和处理，包括源数据获取过程；数据据清洗转换过程；数据导入过程。本发明专利技术为烟草行业提供了更全面业务数据管理平台，并提供了更合理优质的数据挖掘、数据处理方法、数据检索方法，将海量的数据更精准地呈现给各个单位与相关管理与决策人，利于决策的制定与管理的执行以及精细化管理。

【技术实现步骤摘要】
烟草综合信息数据加工储存平台及数据加工方法
本专利技术具体涉及一种计算机数据处理及存储方法。
技术介绍
烟草行业属于国有大型企业单位，有着极具规模化的企业体量，包括极具规模的人员、设备、各办事单位数量，例如：烟草专卖单位、烟草物流单位、财务部等重要单位以及该单位的重要岗位。同时，烟草行业在管理上也是非常具备规范性，在管理过程中需要做到管理数据质量精准、数据完整、流程通畅、管理层获取管理数据快速的要求。因此，在管理过程中，需要将大量的管理数据汇报于相关管理单位、管理人员。这些数据包括烟草专卖单位、烟草物流单位、财务部等重要单位以及重要岗位上生成的专卖业务数据、烟草物流业务数据、财务部业务数据，以及其它非结构化数据，如文档、图片等。但是，现有的烟草数据保留在数据生成单位，仅仅是将该数据生成报表后，进行上报汇总，因此，上一级管理单位或管理人员获得的数据并非是最全面的业务数据，不利于决策的制定与管理的执行以及精细化管理。因此，烟草行业需要更全面业务数据管理平台，做到让上一级管理单位或相关管理单位或管理人员能直接全面获取到各所属单位业务数据，包括专卖业务数据、烟草物流业务数据、财务部业务数据，本文档来自技高网...

【技术保护点】
1.烟草综合信息数据加工储存平台，用于对烟草管理过程中产生的业务数据的抽取、加工和存储；其特征在于，由以下模块部分组成：(1)、数据导入工具，用于读取数据源，获得烟草数据，经处理后存到数据仓库内；(2)、数据准备区，设置在烟草数据进入数据仓库之前，以平面文件及操作型数据存储的形式保存抽取、转换之后的烟草数据；(3)、数据仓库，用于海量烟草数据存放和支持对海量烟草数据快速检索，采用关系型的E‑R模型；(4)、数据集市，为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分烟草数据数据；(5)、报表数据库，为支持用户常用和能够预先获知结构的报表特地设立的数据库；(6)、多维分析数据库，包括关...

【技术特征摘要】
1.烟草综合信息数据加工储存平台，用于对烟草管理过程中产生的业务数据的抽取、加工和存储；其特征在于，由以下模块部分组成：(1)、数据导入工具，用于读取数据源，获得烟草数据，经处理后存到数据仓库内；(2)、数据准备区，设置在烟草数据进入数据仓库之前，以平面文件及操作型数据存储的形式保存抽取、转换之后的烟草数据；(3)、数据仓库，用于海量烟草数据存放和支持对海量烟草数据快速检索，采用关系型的E-R模型；(4)、数据集市，为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分烟草数据数据；(5)、报表数据库，为支持用户常用和能够预先获知结构的报表特地设立的数据库；(6)、多维分析数据库，包括关系型联机分析处理模型、多维联机分析处理模型、混合联机分析处理模型；(7)、挖掘数据库，采用关系型的存储模型，存储数据挖掘需要和产生的临时烟草数据；(8)、分析工具，为开发利用数据仓库提供手段；(9)、管理控制工具，用于安全和特权管理；(10)、信息发布系统，把数据仓库中的烟草数据发送给不同的用户。2.如权利要求1所述的烟草综合信息数据加工储存平台，其特征在于，(1)、所述的获得烟草数据包括烟草营销数据、烟草专卖数据、烟草物流数据、烟草财务数据、集成的非结构化文档与图片，然后进行转化、整理，再存放到数据仓库内；(2)、所述的数据集市的物理结构采用存储维度模型的关系数据库，为各种不同的决策分析需求提供了快速分析基础，维度模型中包含事实表和维表，多个维表之间形成多维数据结构；(3)、所述的报表数据库采用关系型的存储模型；用于保存处理生成的报表，提高报表处理和查询的效率；(4)、所述的分析工具包括有数据查询和报表工具、联机分析处理工具、数据挖掘工具、应用开发工具。3.如权利要求1所述的烟草综合信息数据加工储存平台，其特征在于，(1)、所述的关系型联机分析处理模型用于将细节和聚合数据都存放在关系数据库中；(2)、多维联机分析处理模型用于将细节和聚合数据以超立方体的形式进行存储；(3)、混合联机分析处理模型用于将细节数据存放于关系数据表格中，并以超立方体形式存储聚合数据。4.如权利要求1所述的烟草综合信息数据加工储存平台，其特征在于，所述的安全和特权管理具体涉及到：任务调度；跟踪数据的更新；数据质量检查；审计和报告数据仓库的使用和状态；删除数据；复制、分割和分发数据；备份和恢复；存储管理。5.如权利要求1所述的烟草综合信息数据加工储存平台，其特征在于，所述的数据仓库由以下部分构成，包括：(1)、数据处理源头，用于从数据源抽取数据的接口数据连接和文件；(2)、操作数据存储模型，用于对数据仓库核心层屏蔽不同业务的差异性；(3)、数据仓库模型，统一存放所有业务系统的历史数据，并生成面向不同应用主题的数据集市，数据仓库模型中的数据模型采用实体/关系模型；(4)、星形模型，以数据仓库模型为基础建立，对应多维分析的星形模型；(5)、报表模型，以数据仓库模型为基础建立，用于生成报表；(6)、数据挖掘模型，以数据仓库模型为基础建立，用于数据挖掘，其内容包括数据挖掘所需的每月的基础性宽表，应用于各个特定数据挖掘模型的数据挖掘模型宽表；(7)、外部模式，以数据仓库模型为基础建立，为外部系统直接访问数据仓库提供一个隔离层,保证核心层数据的安全性；当外部系统直接访问数据仓库时，数据以外部模式呈现，使数据仓库内部结构被屏蔽；(8)、多维分析数据库，将星形模型内的数据转换为数据立方体形式，为多维分析提供基础；(9)、客户端展示模式，为用户从客户端看到的数据模型，包括报表展现，多维分析展现，数据挖掘展现。6.烟草综合信息数据加工储存平台的数据加工方法，对烟草管理过程中产生的业务数据进行导入和处理，其特征在于，具体为包括源数据获取...

【专利技术属性】
技术研发人员：尹健康，刘宁，洪海舟，宋红文，张卫东，杨方燕，李浩东，涂心宇，付秋璇，
申请(专利权)人：四川省烟草公司成都市公司，
类型：发明
国别省市：四川,51