黄河水沙变化数据仓库制造技术

本发明专利技术涉及一种黄河水沙变化数据仓库，包括由下至上依次连接的数据源、汇聚层、存储层以及应用层，其中，数据源位于最底层，由结构化数据、半结构化数据以及非结构化数据组成，用于实现源数据向汇聚层聚集；汇聚层用于在数据源中抽取所需要的数据，并对数据进行处理后传输至存储层；存储层用于存储汇聚层处理后的数据；应用层为用户访问数据的工具，用于对数据进行数据分析。本申请提供的数据仓库能完整、统一地刻画各个分析对象所涉及的各项数据以及数据之间的联系，应用数据分析是多角度的、多视图模式的、可旋转的。根据分析要求，迅速、灵活地对大量数据进行处理，并以直观的、容易理解的形式将查询结果提供给各种决策人员。

【技术实现步骤摘要】
黄河水沙变化数据仓库
本专利技术属于软件架构
，具体涉及一种黄河水沙变化数据仓库。
技术介绍
任何重大问题的决策都需要拥有大量的相关数据作为支撑，然后帮助用户从中快速获取足够的决策信息，而对于流域水资源管理中涉及的多种数据，需要对各类数据以及各类数据之间的相互关系进行分析后才能做出科学有效的决策。相关技术中，随着通信技术的发展，流水域资源对于数据获取的快速性、准确性等有了更高的要求。但是还没有更好的方式对数据进行存储和管理。
技术实现思路
有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种黄河水沙变化数据仓库，以解决现有技术中没有更好的方式对数据进行存储和管理的问题。为实现以上目的，本专利技术采用如下技术方案：一种黄河水沙变化数据仓库，包括：由下至上依次连接的数据源、汇聚层、存储层以及应用层，其中，所述数据源位于最底层，由结构化数据、半结构化数据以及非结构化数据组成，用于实现源数据向所述汇聚层聚集；所述汇聚层用于在所述数据源中抽取所需要的数据，并对数据进行处理后传输至存储层；所述存储层用于存储汇聚层处理后的数据；所述应用层为用户访问数据的工具，用于对数据进行数据分析。进一步的，所述数据源还用于对数据进行数据管理，按照不同数据层次排序显示数据源信息，包括数据名称、数据描述、数据层次、资源地址、数据类型、数据所在单位、是否接入数据以及最新同步日期；所述数据管理包括同步和更新；所述汇聚层采用数据批量抽取或准实时数据抽取的方式对数据源中所需的数据进行抽取。进一步的，所述对数据进行处理，包括：对数据进行抽取、转换、清洗、加载、流数据处理。进一步的，通过事实表、维、度量和层构建多维数据模型；其中，数据仓库设有主题，所述数据围绕主题进行为数据执行，所述数据以事实表为中心，关联多个维表，其中事实表包含多个维和度量，维代表决策用户分析数据的特定视角，度量是数据的实际意义和测量指标，各个维表描述了多个维及其取值，每一个维又划分了不同的层次；所述多维数据模型用于定义ETL过程和映射，以对数据进行抽取、转换、清洗、加载、流数据处理。进一步的，所述ETL过程包括：创建维度、创建数据立方体、创建映射、创建ETL流程。进一步的，所述在所述数据源中抽取所需要的数据，包括：建立插入、修改、删除三个触发器；当源表中的数据发生变化时，相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除；在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值，当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取的数据；采用数据抽取工具为要抽取的表建立一个MD5临时表，该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码，在进行数据抽取时，对源表和MD5临时表进行MD5校验码的比对，从而确定决定源表中的数据是新增、修改还是删除，同时更新MD5校验码；通过日志对比来判断变化的数据，对文件数据的抽取一般是进行全量抽取，一次抽取前可保存文件的时间戳字段或计算文件的MD5校验码，下次抽取时进行比对，如果相同则忽略本次抽取。进一步的，所述存储层，包括：结构化数据的数据仓库、半结构化数据的数据仓库、非结构化数据的数据仓库；其中，结构化数据被保存至结构化数据的数据仓库；半结构化数据被处理成结构化数据保存至结构化数据的数据仓库或者保持半结构化数据保存至半结构化数据的数据仓库；非结构化数据被处理成结构化数据保存至结构化数据的数据仓库或保持非结构化数据保存至非结构化数据的数据仓库进一步的，所述结构化数据包括关系数据库、结构化报表；半结构化数据包括文件；非结构数据包括WEB页面、平文本数据。进一步的，所述数据源中的数据包括：河流水系、水文站、降雨及历史降雨数据、土地利用、植被覆盖、下游洪水风险图、基础地理信息的数据进一步的，当数据源中数据为水利业务数据时，所述数据源包括：基础类数据仓库，用于存储历史数据；实时类数据仓库，用于存储实时数据。本专利技术采用以上技术方案，能够达到的有益效果包括：数据仓库的特征决定其存在的优势，数据仓库存在的两个显著优势是：(1)数据组织与分析的主题性。面向主题的数据组织方式可在较高层次上对分析对象的数据给出完整、一致的描述，能完整、统一地刻画各个分析对象所涉及的各项数据以及数据之间的联系。其有效地集成不同数据源的数据，为某一主题进行服务，实现应用与数据的分离。从而适应业务活动特点和企业数据的动态特征，从根本上实现数据与应用的分离。(2)决策支持功能。数据仓库组织的根本目的在于对决策的支持，可以使用各种方法对数据仓库进行操作，其中应用较多的是一些复杂的数据分析，这些分析应该是多角度的、多视图模式的、可旋转的。根据分析要求，迅速、灵活地对大量数据进行处理，并以直观的、容易理解的形式将查询结果提供给各种决策人员。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种黄河水沙变化数据仓库的结构示意图；图2本专利技术一种黄河水沙变化数据仓库的数据处理流程示意图；图3为本专利技术一种黄河水沙变化数据仓库的数据结构示意图；图4为本专利技术水利业务数据仓库为实时或准实时决策支持的处理流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的技术方案进行详细的描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本专利技术所保护的范围。下面结合附图介绍本申请实施例中提供的一个具体的黄河水沙变化数据仓库。如图1所示，本申请实施例中提供的黄河水沙变化数据仓库，包括：由下至上依次连接的数据源、汇聚层、存储层以及应用层，其中，所述数据源位于最底层，由结构化数据、半结构化数据以及非结构化数据组成，用于实现源数据向所述汇聚层聚集；所述汇聚层用于在所述数据源中抽取所需要的数据，并对数据进行处理后传输至存储层；所述存储层用于存储汇聚层处理后的数据；所述应用层为用户访问数据的工具，用于对数据进行数据分析。本申请提供的黄河水沙变化数据库对黄河主要产沙区逐年逐月降雨和水文泥沙数据、典型支流场次降雨和洪水泥沙数据、典型年份土地利用和林草盖度数据、典型年梯田数据，水利水土保持工程数据，社会经济以及有关试验观测数据进行分析，针对数据海量异构特性，提出面向不同需求的水沙变化元数据集和数据模型，开展各类本文档来自技高网...

【技术保护点】
1.一种黄河水沙变化数据仓库，其特征在于，包括：由下至上依次连接的数据源、汇聚层、存储层以及应用层，其中，/n所述数据源位于最底层，由结构化数据、半结构化数据以及非结构化数据组成，用于实现源数据向所述汇聚层聚集；/n所述汇聚层用于在所述数据源中抽取所需要的数据，并对数据进行处理后传输至存储层；/n所述存储层用于存储汇聚层处理后的数据；/n所述应用层为用户访问数据的工具，用于对数据进行数据分析。/n

【技术特征摘要】
1.一种黄河水沙变化数据仓库，其特征在于，包括：由下至上依次连接的数据源、汇聚层、存储层以及应用层，其中，
所述数据源位于最底层，由结构化数据、半结构化数据以及非结构化数据组成，用于实现源数据向所述汇聚层聚集；
所述汇聚层用于在所述数据源中抽取所需要的数据，并对数据进行处理后传输至存储层；
所述存储层用于存储汇聚层处理后的数据；
所述应用层为用户访问数据的工具，用于对数据进行数据分析。


2.根据权利要求1所述的黄河水沙变化数据仓库，其特征在于，
所述数据源还用于对数据进行数据管理，按照不同数据层次排序显示数据源信息，包括数据名称、数据描述、数据层次、资源地址、数据类型、数据所在单位、是否接入数据以及最新同步日期；所述数据管理包括同步和更新；
所述汇聚层采用数据批量抽取或准实时数据抽取的方式对数据源中所需的数据进行抽取。


3.根据权利要求1所述的黄河水沙变化数据仓库，其特征在于，所述对数据进行处理，包括：
对数据进行抽取、转换、清洗、加载、流数据处理。


4.根据权利要求3所述的黄河水沙变化数据仓库，其特征在于，
通过事实表、维、度量和层构建多维数据模型；其中，数据仓库设有主题，所述数据围绕主题进行为数据执行，所述数据以事实表为中心，关联多个维表，其中事实表包含多个维和度量，维代表决策用户分析数据的特定视角，度量是数据的实际意义和测量指标，各个维表描述了多个维及其取值，每一个维又划分了不同的层次；
所述多维数据模型用于定义ETL过程和映射，以对数据进行抽取、转换、清洗、加载、流数据处理。


5.根据权利要求4所述的黄河水沙变化数据仓库，其特征在于，所述ETL过程包括：
创建维度、创建数据立方体、创建映射、创建ETL流程。


6.根据权利要求1所述的黄河水沙变化数据仓库，其特征在于，在所述数据源中抽取所需要的数据，包括：
建立插入、修改、删除三个触发器；当源表中的数据发生变化时...

【专利技术属性】
技术研发人员：夏润亮，李涛，王敏，金锦，朱敏，刘启兴，李斌，俞彦，杨无双，冯兴凯，李冰，吴丹，郝臻，薛阳茹，焦莉华，
申请(专利权)人：黄河水利委员会黄河水利科学研究院，
类型：发明
国别省市：河南;41