一种水质基准计算的数据提取方法技术

本发明专利技术公开一种水质基准计算的数据提取方法，包括水质基准计算的数据提取具体步骤。本方法结合传统SQL查询模式形成新的提取方案，可以方便有效的提取目标数据，为应用、标准化提供数据支撑。数据提取方法可进行可视化定制，可用于CS、BS架构，也可用于数据服务接口，为水环境基准研究提供技术支持。

【技术实现步骤摘要】

本专利技术涉及数据库中相关性数据、共享性数据提取的方法，具体而言，涉及到一种 水质基准计算的数据提取方法，为水质基准研究提供数据支持的技术。
技术介绍
水质基准研究是我国当前环境管理工作的重大科技需求，也是环境科学研究领域 的热点问题。发达国家的环境基准研究已有上百年的历史，至今已经建立了较为完善的环 境基准体系，特别是美国，发布了众多的环境基准文件和技术指南以及庞大的基准相关数 据库，为世界各国研究和建立自己国家的环境基准体系提供了重要参考。水环境基准相关的数据结构复杂，包括环境基本数据、物种分布数据、环境暴露数 据、水生生物毒性数据、沉积物毒性数据、水生态数据、人体健康数据。无论是USEPA-SSD 法、EU-SSD法还是RIVM-SSD等各种基于不同拟合函数的基准推算方法，均是以大量规范化 数据为前提进行推导分析的。所以我们专利技术了一种基于水质基准计算的数据提取方法，可 以方便有效的提取目标数据，为研究、应用、标准化提供数据支撑。
技术实现思路
本专利技术旨在提供，通过数据提取解决计算中参 与计算数据的有效性及准确性。 本专利技术的技术主案如下：-种水质基准计算的数据提取方法，包括水质基准计算： (1)水质基准计算的数据提取方法包括如下步骤： (1-1)组建数据提取系统框架，系统框架由数据库服务器、应用服务器、用户终端、 路由器、网线组成。数据库服务器作为数据仓库存储数据；应用服务器部署中间件，执行数 据提取操作的应用程序；用户终端提供给用户/管理员上传数据、计算数据、下载数据等； 路由器和网线用于连接数据库服务器、应用服务器、用户终端； (1-2)数据库服务器的数据来源于用户终端的传递，用户终端可以是管理员或者 科研用户等。用户终端把数据提交给应用服务器，应用服务器根据验证逻辑进行数据检验， 并将数据提取进入数据筛选单元，应用程序根据数据类别、数据格式、数据范值、数据精度 进行对比，加工成符合规范的模式数据； (1-3)应用服务器将经过规范化处理的数据导入数据库服务器； (1-4)应用服务器根据水生生物、沉积物、毒性数据、人体健康等业务关系逻辑，建 立关联模型表。并将数据存储转换为列式存储，方便SQL查询与提取； (1-5)水质环境数据应用目前面向与开放的是各高校、科研单位的用户，管理员对 邀请、主动申请、主动授权的用户进行检验。系统根据用户分类情况，自动评分，并存储于用 户分类系数表； (1-6)用户通过用户终端确定计算目的，在水质基准计算时，可使用三种方法进行 数据提取：人工检索提取、半自动检索提取、全自动检索提取； (1-7)人工检索提取，是用户根据自身的学术经验、科研目的或其它情况，手工选 择参与计算的数据源。系统根据用户的选择确定四个维度：用户常用于计算的数据，用户计 算方向的类别，用户选择数据的等级，用户计算结果的使用率，将用户的维度映射到分类体 系结构中。系统根据用户维度，进行权重调节并计算，把结果存储至用户数据细节层； (1-8)半自动检索提取，用户手工选择部分参与计算的数据源后；系统根据本次 计算目的，对人工选择的记录集，进行自动验证，屏蔽或剔除类型不符合、目的不符合、来源 不符合、层次不符合的数据源；系统启用提取方法；提取数据与用户数据汇集后进行计算； (1-9)全自动检索提取，系统根据本次计算目的，系统启用提取方法，提取数据自 动进行计算； (1-10)提取算法 首先根据水质环境数据中已定义的主外键关联、动态属性关联、级别识别关联，采 用SQL传统模式进行查询提取。 然后在表关联提取的基础上，增加用户维度比拟，并实时更新用户数据细节层。 最后将SQL模式查询出的记录，维度比拟度较高的记录存储于临时表中，分别赋 予相同的初始正负系数值，进行两轮计算，一轮正数计算，一轮负数计算，然后正负相减能 到F值，根据F判断记录的可信度，记录的初始可信参数是0. 85,然后给每条记录赋维度比 拟值R(用户1，用户2，……）组成的组合权重。每条记录都有独立的权重，通过叠加计 算，生成新的权重调节，并对每条记录进行更新，然后再进行新一轮大迭代，针对本次计算 目的，得到新的可信参数。对可信参数进行排序，采用数量函数提取可信度高的数据集。 (1-11)每当有用户使用新的提取、更新、验证，这些操作就作为新记录进入用户数 据细节队列。【附图说明】 图1是系统提取方法的整体结构图 图2是系统数据的业务关系逻辑图，分成图2(a)，图2(b)，图2(c)，图2(d)，图 2(e)【具体实施方式】 下面结合附图对本专利技术的【具体实施方式】做进一步说明。 首先，本专利技术提供一种基于水质基准计算的数据提取方法，包括如下步骤： (1)组建数据提取系统框架，系统框架由数据库服务器、应用服务器、用户终端、路 由器、网线组成。数据库服务器作为数据仓库存储数据；应用服务器部署中间件，执行数据 提取操作的应用程序；用户终端提供给用户/管理员上传数据、计算数据、下载数据等；路 由器和网线用于连接数据库服务器、应用服务器、用户终端。 (2)数据库服务器的数据来源于用户终端的传递，用户终端可以是管理员或者科 研用户。用户终端把数据提交给应用服务器，应用服务器根据验证逻辑进行数据检验，并将 数据提取进入数据筛选单元，应用根据数据类别、数据格式、数据范值、数据精度进行对比， 加工成符合规范的等级数据。数据类别例如国内的、国外的、实验的、一类、二级等，对数据 的等级与关联进行检索，并完成量化工作。 (3)应用服务器将经过规范化处理的数据导入数据库服务器。 (4)应用服务器根据水生生物、沉积物、毒性数据、人体健康等业务关系逻辑，建立 关联模型表，如图2所示。并将数据存储转换为列式存储，方便SQL查询与提取；应用服务 器将数据存储转换为列式存储，它只需要读出应用需要的列，而再要像行存储读出当前行 的所有列，从而减少缓存数据量，有效的利用数据库服务缓存，同时减少网络传输，并且由 于是数据类型相同的的数据连续存储，能够利用序列化和压缩减少空间的占用。 (5)水质环境数据应用目前面向与开放的是各高校、科研单位的用户，管理员对邀 请、主动申请、主动授权的用户进行检验。系统根据用户分类情况，自动评分，并存储于用户当前第1页1 2 本文档来自技高网...

【技术保护点】
一种水质基准计算的数据提取方法，包括水质基准计算，其特征在于：(1)水质基准计算的数据提取方法包括如下步骤：(1‑1)组建数据提取系统框架，系统框架由数据库服务器、应用服务器、用户终端、路由器、网线组成。数据库服务器作为数据仓库存储数据；应用服务器部署中间件，执行数据提取操作的应用程序；用户终端提供给用户/管理员上传数据、计算数据、下载数据等；路由器和网线用于连接数据库服务器、应用服务器、用户终端；(1‑2)数据库服务器的数据来源于用户终端的传递，用户终端可以是管理员或者科研用户等。用户终端把数据提交给应用服务器，应用服务器根据验证逻辑进行数据检验，并将数据提取进入数据筛选单元，应用程序根据数据类别、数据格式、数据范值、数据精度进行对比，加工成符合规范的模式数据；(1‑3)应用服务器将经过规范化处理的数据导入数据库服务器；(1‑4)应用服务器根据水生生物、沉积物、毒性数据、人体健康等业务关系逻辑，建立关联模型表。并将数据存储转换为列式存储，方便SQL查询与提取；(1‑5)水质环境数据应用目前面向与开放的是各高校、科研单位的用户，管理员对邀请、主动申请、主动授权的用户进行检验。系统根据用户分类情况，自动评分，并存储于用户分类系数表；(1‑6)用户通过用户终端确定计算目的，在水质基准计算时，可使用三种方法进行数据提取：人工检索提取、半自动检索提取、全自动检索提取；(1‑7)人工检索提取，是用户根据自身的学术经验、科研目的或其它情况，手工选择参与计算的数据源。系统根据用户的选择确定四个维度：用户常用于计算的数据，用户计算方向的类别，用户选择数据的等级，用户计算结果的使用率，将用户的维度映射到分类体系结构中。系统根据用户维度，进行权重调节并计算，把结果存储至用户数据细节层；(1‑8)半自动检索提取，用户手工选择部分参与计算的数据源后；系统根据本次计算目的，对人工选择的记录集，进行自动验证，屏蔽或剔除类型不符合、目的不符合、来源不符合、层次不符合的数据源；系统启用提取方法；提取数据与用户数据汇集后进行计算；(1‑9)全自动检索提取，系统根据本次计算目的，系统启用提取方法，提取数据自动进行计算；(1‑10)提取算法首先根据水质环境数据中已定义的主外键关联、动态属性关联、级别识别关联，采用SQL传统模式进行查询提取；然后在表关联提取的基础上，增加用户维度比拟，并实时更新用户数据细节层；最后将SQL模式查询出的记录，维度比拟度较高的记录存储于临时表中，分别赋予相同的初始正负系数值，进行两轮计算，一轮正数计算，一轮负数计算，然后正负相减能到F值，根据F判断记录的可信度，记录的初始可信参数是0.85，然后给每条记录赋维度比拟值R(用户1，用户2，……)组成的组合权重。每条记录都有独立的权重，通过叠加计算，生成新的权重调节，并对每条记录进行更新，然后再进行新一轮大迭代，针对本次计算目的，得到新的可信参数。对可信参数进行排序，采用数量函数提取可信度高的数据集；(1‑11)每当有用户使用新的提取、更新、验证，这些操作就作为新记录进入用户数据细节队列。...

【技术特征摘要】

【专利技术属性】
技术研发人员：李江，李青香，罗吴亮，周浩，刘征涛，杨绍贵，闫振广，
申请(专利权)人：南京集艾思软件科技有限公司，
类型：发明
国别省市：江苏;32