【技术实现步骤摘要】
一种土石坝安全信息挖掘方法
本专利技术涉及土石坝安全信息挖掘方法，属于信息数据挖掘
技术介绍
水库大坝是国民经济的重要基础设施，是调控水资源时空分布和优化水资源配置重要的工程措施，是国家防洪抗旱减灾体系和江河防洪工程体系的重要组成部分。水库大坝安全不仅关系到防洪安全、供水安全、粮食安全，也关系到经济安全、生态安全和国家安全。在我国现有九万多座水库中，土石坝占绝大多数，它们大多数建于上世纪50～70年代。受当时经济、技术等条件限制，这些土石坝普遍存在防洪标准低、工程质量差等问题，加上多年来运行管理投入不足，工程老化失修，病险水库大量存在，安全隐患突出。为了保障这些水库安全运行，近年来，国家加大资金投入，对病险水库进行除险加固。除了采用工程措施外，在今后的水库运行管理中，也需要采取一些必要的非工程措施。通过对水库大坝监测资料分析，及时发现大坝安全隐患，就是一个重要的非工程措施，它可以为水库安全运行提供技术支持。多数大中型水库的土石坝拥有多年的监测资料，相对于混凝土而言，土石坝的填筑材料十分复杂，个性化很强。对这些土石坝监测资料，现在一般采用传统分析方法：绘制...
【技术保护点】
1.一种土石坝安全信息挖掘方法，其特征在于：所述方法如下：步骤(1)：建立数据仓库(1.1)数据仓库模式土石坝安全信息数据仓库采用星型模式，包括1个事实表和7个维表，事实表存储土石坝安全信息，包括时间、项目代码、桩号、坝轴距、高程、测量代码、仪器代码、原始测量数据、工程物理量等9个维；时间维表包括时间、日、星期、月、季度和年等属性，项目维表包括项目代码、项目名称、原始测量数据单位、工程物理量单位、项目子类别、项目类别等属性，桩号维表包括桩号、坝段等属性，坝轴距维表包括坝轴距、所在位置、上/下游等属性，高程维表包括高程、土层编号、土层类别、含水量、干密度、内摩擦角、粘聚力和渗...
【技术特征摘要】
1.一种土石坝安全信息挖掘方法，其特征在于：所述方法如下：步骤(1)：建立数据仓库(1.1)数据仓库模式土石坝安全信息数据仓库采用星型模式，包括1个事实表和7个维表，事实表存储土石坝安全信息，包括时间、项目代码、桩号、坝轴距、高程、测量代码、仪器代码、原始测量数据、工程物理量等9个维；时间维表包括时间、日、星期、月、季度和年等属性，项目维表包括项目代码、项目名称、原始测量数据单位、工程物理量单位、项目子类别、项目类别等属性，桩号维表包括桩号、坝段等属性，坝轴距维表包括坝轴距、所在位置、上/下游等属性，高程维表包括高程、土层编号、土层类别、含水量、干密度、内摩擦角、粘聚力和渗透系数等属性，测量代码维表包括测量代码、测量方式、测量人员等属性，仪器代码维表包括仪器代码、传感器编号、传感器名称、传感器型号、传感器量程、传感器生成厂家、测量仪表编号、测量仪表名称、测量仪表型号、测量仪表生成厂家等属性；(1.2)数据抽取转换加载数据抽取转换加载从分布的、异构的数据源中抽取数据到临时表，进行清理、转换、集成，然后加载至数据仓库；(1.21)数据抽取数据抽取是从数据源中获取相关数据，包括静态抽取和增量抽取,静态抽取是抽取数据源中所有数据，增量抽取是抽取上次抽取后数据源改动的数据；(1.22)数据清洗通过数据清洗，提高数据质量；对于数据缺失，根据不同情况，采取以下方法处理：对于数据连续性要求不高，或数据连续缺失很多，采用忽略方法；缺失连续性在几天内，对插值精度要求不高，采用线性插值方法；缺失连续性较长，数据回归效果好，或对插值精度要求较高，采用回归插值方法；对于噪声数据，采用以下处理方法：采用最大变幅极值法和孤立点检测方法剔除噪声数据；采用多元逐步回归方法和分箱方法平滑噪声数据；(1.23)数据转换数据加载之前，需要将数据从数据源格式转换为数据仓库格式，转换类型有数据类型转换、计量单位转换、归一化和规范化；规范化是为了使各种监测数据在分析中权重一样，规范化采用下列公式，将监测数据和各种属性映射到区间[0，1]；其中，new_max取1，new_min取0；(1.24)数据加载数据加载到数据仓库的方式有两种：彻底重写数据仓库中数据，数据仓库中旧数据将被替换，即刷新；只将数据源中改动的数据添加至数据仓库中，不会删除或更改原有的数据，即更新；(1.3)联机分析操作土石坝安全信息数据仓库联机分析操作有上卷、下钻、切片、切块等；步骤(2)：数据概化数据概化将数据量大、任务相关的数据集从较低的概念层抽象到较高概念层，以获得特征信息；数据概化有两类:基于数据立方体的联机分析操作中上卷和面向属性归纳；(2.1)面向属性归纳面向属性归纳的概化是通过属性删除或属性概化来进行的；属性删除：如果数据集中某个属性有大量不同的值，但在此属性上不能进行概化操作，或者其高层概念用其它属性表示，则从数据集中删除该属性；属性概化：如果数据集中某个属性有大量不同的值，且此属性上能够进行概化，则应对该属性进行概化；在土石坝安全信息挖掘方法中，面向属性归纳的概化过程如下：(2.11)对每个属性进行概化，使每个属性的不同值个数不大于属性概化阈值；(2.12)如果概化关系中不同元组的个数超过阈值，则进一步概化。关系概化步骤如下：对每个可以概化的属性进行预概化；从预概化属性中选择不同值数量变化最小的属性进行概化；如概化关系中不同元组的个数仍然超过阈值，则重复上述两个步骤；(2.2)概化表示面向属性归纳将生成一个或一组概化描述，概化描述可采用多种不同的形式，土石坝安全信息挖掘方法主要采用概化关系、交叉表和图形表示；步骤(3)：关联规则挖掘土石坝安全信息挖掘方法应用关联分析，从监测信息中挖掘关联规则，关联规则有很多种类，土石坝安全信息挖掘方法采用Apriori算法挖掘以下两类单维布尔关联规则，概念层选用最底层；(3.1)项目内关联规则挖掘进行关联规则挖掘时，先要生成事务集合T，然后用Apriori算法生成频繁项集，并生成强关联规则,事务集合T由事务t1,t2,…,tn组成的，t是有由来自项集I＝{i1,i2,…,im}中有限个项组成；监测数据的属性有时间、项目、桩号、坝轴距、高程、测量方法、测量仪器、原始测量数据、工程物理量，由于在同一监测项目内挖掘关联规则，因而项目属性不重要；由于测量方法、测量仪器、原始测量数据等属性与关联规则无关，不予考虑；由于概念层选择最底层，桩号、坝轴距、高程可合并为位置属性；因此，对于项目内关联规则挖掘，一个监测数据的有效属性有时间、位置、工程物理量；监测数据的位置和工程物理量组成一个项，位置和工程物理量相同的监测数据表示为同一个项，监测数据的时间反映在事务上，同一时间(或同一次测量)的监测数据所表示的项属于同一个事务，即一个事务由代表同一时间的监测数据的各个项组成；(3.2)项目间关联规则挖掘在同一监测项目内挖掘关...
【专利技术属性】
技术研发人员：葛从兵，王士军，谷艳昌，张国祥，陈剑，黄海兵，严吉皞，庞琼，吴云星，朱沁夏，
申请(专利权)人：水利部交通运输部国家能源局南京水利科学研究院，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。