一种数据处理方法、装置和界面制造方法及图纸

一种数据处理方法和界面，所述方法包括：建立元数据库，对数据元进行定义，选取数据元建立数据模型；根据所述数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。本申请实施例通过建立标准规范的元数据库，借助元数据库中数据模型的定义，实现对各类分散、独立的数据源数据进行采集入库及数据质量的控制，最终形成面向应用的资源目录。

A data processing method, device and interface

【技术实现步骤摘要】
一种数据处理方法、装置和界面
本申请涉及数据处理，尤其涉及一种数据处理方法、装置和界面。
技术介绍
目前市面上环保数据中心已发展多年，对数据的采集、存储能力已达到较高水平。然而传统的数据中心更多关注的是数据接入和存储，对数据的可视化管理以及持续接入的能力还很欠缺，限制了数据的灵活应用以及数据价值的挥发，已很难满足当前的发展要求。
技术实现思路
本申请提供一种数据处理方法、装置和界面。根据本申请的第一方面，本申请提供一种数据处理方法，包括：建立元数据库，对数据元进行定义，选取数据元建立数据模型；根据所述数据模型的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。进一步地，所述从数据源采集数据，进行可视化处理，将数据交换到目标数据库，包括：如目标库的表结构和来源库的表结构一致，通过在界面配置来源及目标的数据库、表名以及抽取方式，将配置信息保存到配置表，后台通过改造ETL，读取所述配置表进行数据交换。进一步地，所述从数据源采集数据，进行可视化处理，将数据交换到目标数据库，还包括：如目标库的表结构和来源库的表结构不一致，通过在界面配置来源及目标的数据库、表名以及抽取方式，将配置信息保存到配置表，并根据两边字段配置建立字段对应关系，保存到关联关系表，后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。进一步地，所述检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称和/或自定义业务逻辑进行校验；所述检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则，包括：检查出的问题数据，通过线下对问题数据进行处理，在界面对问题数据进行标志处理状态。进一步地，所述配置检查规则包括：对数据表及数据的更新周期进行配置并保存到数据库，后台根据配置信息查询每个配置表中的时间戳，进行判断数据是否及时更新，并记录未及时更新表。进一步地，所述配置检查规则还包括：后台根据设置的数据字段长度、类型、格式、含义进行检查，并记录有问题数据；或者，通过自定义的sql脚本实现，脚本里通过对表建立关系，实现对数据的业务逻辑校验；进一步地，所述配置检查规则还包括：后台通根据设置的非空字段、特殊字段进行检查，并记录有问题数据。根据本申请的第二方面，本申请提供一种数据处理界面，包括：元数据处理模块，用于建立元数据库，对数据元进行定义，选取数据元建立数据模型；数据采集模块，用于根据所述元数据库的定义从数据源采集数据，通过可视化的处理，将数据交换到目标数据库；；数据质量控制模块，用于根据数据的及时性、准确性和完整性配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；资源目录模块，用于对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。进一步地，上界面还包括数据源模块，所述数据源模块，包括数据仓库、数据集市和/或多个数据源，所述数据仓库、所述数据集市和所述数据源分别用于提供各种数据。根据本申请的第三方面，本申请提供一种数据处理装置，包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现上述方法。由于采用了以上技术方案，使本申请具备的有益效果在于：本申请的数据处理方法和界面，由于包括：建立元数据库，对数据元进行定义，选取数据元建立数据模型，基于标准的数据模型可从多种数据源采集数据，整合各类分散、独立的数据源数据；由于配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，因而可借助元数据库的定义进行数据采集及数据质量的控制，对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。本申请实施例通过建立标准规范的元数据库，借助元数据库中数据模型的定义，实现对各类分散、独立的数据源数据进行采集入库及数据质量的控制，最终形成面向应用的资源目录。附图说明图1为本申请实施例一中的方法在一种实施方式中的流程图；图2为本申请实施例一中的方法在一种实施方式中的数据流向示意图；图3为本申请实施例二中的数据处理界面在一种实施方式中的程序模块示意图；图4为本申请实施例二中的数据处理界面在另一种实施方式中的程序模块示意图；图5为本申请实施例二中的数据处理界面在一种具体实施方式中的程序模块示意图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。本申请可以以多种不同的形式来实现，并不限于本实施例所描述的实施方式。提供以下具体实施方式的目的是便于对本申请公开内容更清楚透彻的理解，其中上、下、左、右等指示方位的字词仅是针对所示结构在对应附图中位置而言。然而，本领域的技术人员可能会意识到其中的一个或多个的具体细节描述可以被省略，或者还可以采用其他的方法、组件或材料。在一些例子中，一些实施方式并没有描述或没有详细的描述。本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。此外，本文中记载的技术特征、技术方案还可以在一个或多个实施例中以任意合适的方式组合。对于本领域的技术人员来说，易于理解与本文提供的实施例有关的方法的步骤或操作顺序还可以改变。因此，附图和实施例中的任何顺序仅仅用于说明用途，并不暗示要求按照一定的顺序，除非明确说明要求按照某一顺序。实施例一：如图1、图2所示，本申请提供的数据处理方法，其一种实施方式，包括以下步骤：步骤102：建立元数据库，对数据元进行定义，选取数据元建立数据模型。数据元是数据的最小单位，通过数据元的定义信息包括中文名称、英文名称、类型、格式、值域等进行增加、更新、删除的管理，同时通过选取定义好的数据元进行建立模型，达到规范限制数据模型的属性，数据模型应用于数据集的封装、数据质量的校验定义、数据开放的数据基础及应用系统设计标准。对于元数据的管理，主要通过以下几个方面实现：数据模型，模型创建时提取数据元，进行初始化名称、类型、格式、值域，模型信息只能使用数据元属性。数据质量，数据校验规则创建读取到库表的元数据定义信息，选取对应的字段信息进行值域、类型的校验。数据集，封装数据集可通过关联单个或多个数据模型的字段项信息，模型对应于数据库，保存配置信息，实则是查询数据库表，从而封装数据结果集。数据开放，数据开放是基于数据集来开放数据。应用系统，应用系统的数据库设计，包括名称、编码、格式、值域可直接基于定义好的元数据生成设计文件。步骤本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n建立元数据库，对元数据进行定义，选取元数据建立数据模型；/n从数据源采集数据，进行可视化处理，并导入目标数据库；/n根据数据的及时性、准确性和完整性配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；/n对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
建立元数据库，对元数据进行定义，选取元数据建立数据模型；
从数据源采集数据，进行可视化处理，并导入目标数据库；
根据数据的及时性、准确性和完整性配置检查规则，检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则；
对符合规则的数据进行分类，建立数据目录，并通过所述数据目录对符合规则的数据进行操作。


2.如权利要求1所述的方法，其特征在于，所述从数据源采集数据，进行可视化处理，并导入目标数据库，包括：
如目标库的表结构和来源库的表结构一致，通过在界面配置来源及目标的数据库、表名以及抽取的方式信息保存到配置表，后台通过改造ETL，读取所述配置表进行数据交换。


3.如权利要求2所述的方法，其特征在于，所述从数据源采集数据，进行可视化处理，导入目标数据库，还包括：
如目标库的表结构和来源库的表结构不一致，通过在界面配置来源及目标的数据库、表名以及抽取的方式信息保存到配置表，并根据两边字段配置建立字段对应关系，保存到关联关系表，后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。


4.如权利要求1所述的方法，其特征在于，所述检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称和/或自定义业务逻辑进行校验；
所述检查出不符合规则的问题数据，对所述问题数据进行处理，使所述问题数据符合规则，包括：
检查出的问题数据，通过线下对问题数据进行处理，线上对问题数据进行标志处理状态。


5.如权利要求1所述的方法，其特征在于，根据数据的...

【专利技术属性】
技术研发人员：周国龙，刘术军，韦龙友，曾智勇，
申请(专利权)人：深圳博沃智慧科技有限公司，
类型：发明
国别省市：广东;44