一种数据处理方法及数据处理平台技术
【技术实现步骤摘要】
一种数据处理方法及数据处理平台
本专利技术属于数据处理
，更具体的说，尤其涉及一种数据处理方法及数据处理平台。
技术介绍
数据库(Database)是按照预设的数据结构来组织、存储和管理数据的仓库，目前数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。众所周知不论是简单的存储有各种数据的表格还是能够进行海量数据存储的大型数据库系统来说，都有自己的数据属性管理方式，以关系型数据库MYSQL为例：MYSQL中showDatabases可以统计出Mysql中所有的数据库；MYSQL中sshowtablesfromdb_name可以列出指定数据库的所有表；MYSQL中showtablestatusfromdb_name可以查看表的描述性信息；MYSQL中showcreatetabletbl_name可以查看表的数据库模式定义语言(DDL，DataDefinitionLanguage)；MYSQL中showcolumnsfromtbl_name可以查看列信息；MYSQL中showindexfromtb...
【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：通过数据处理平台从数据库中采集至少一个元数据和所述至少一个元数据下的数据，所述元数据用于指示所述数据库中对应字段的属性信息；根据所述元数据指示的对应字段的属性信息，确定所述元数据在数据仓库中所属层次以及在所属层次下的所属分类，所述数据处理平台以数据仓库的形式存储数据，所述数据仓库基于所述数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，每个分类下对应一个数据库表，所述数据库表用于存储一个元数据下的数据；将所述至少一个元数据下的数据的格式转换为所述数据处理平台预先设定的格式，并将转换格式后的数据存储到所确定...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：通过数据处理平台从数据库中采集至少一个元数据和所述至少一个元数据下的数据，所述元数据用于指示所述数据库中对应字段的属性信息；根据所述元数据指示的对应字段的属性信息，确定所述元数据在数据仓库中所属层次以及在所属层次下的所属分类，所述数据处理平台以数据仓库的形式存储数据，所述数据仓库基于所述数据处理平台预先设置的数据划分规则划分成多个层次，且每个层次划分有多个分类，每个分类下对应一个数据库表，所述数据库表用于存储一个元数据下的数据；将所述至少一个元数据下的数据的格式转换为所述数据处理平台预先设定的格式，并将转换格式后的数据存储到所确定的所属层次下的所属分类下的数据库表中；基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验。2.根据权利要求1所述的方法，其特征在于，所述基于所述数据处理平台预先设定的数据监控规则，对至少一个元数据下的数据进行质量校验，至少包括：基于所述数据处理平台预先设定的完整性监控规则，对所述至少一个元数据下的数据进行完整性校验；基于所述数据处理平台预先设定的准确性监控规则，对所述至少一个元数据下的数据进行准确性校验；基于所述数据处理平台预先设定的有效性监控规则，对所述至少一个元数据下的数据进行有效性校验；基于所述数据处理平台预先设定的重复性监控规则，对所述至少一个元数据下的数据进行重复性校验；基于所述数据处理平台预先设定的及时性监控规则，对所述至少一个元数据下的数据进行及时性校验；基于所述数据处理平台预先设定的分布性监控规则，对所述至少一个元数据下的数据进行分布性校验。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：当对至少一个元数据下的数据进行质量校验的校验结果指示所述数据质量超出所述数据处理平台的预设质量范围时，输出告警信息。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述至少一个元数据进行分类汇总，得到记录相同元数据的元数据表。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：根据元数据的用途确定元数据的对象类型，并将不同对象类型的元数据的属性和不同对象类型的元数据的行为设置为配置表中的配置项。6.一种数据处理平台，其特征在于，所述平台包括：采集单元，用于从数据库中采集至少...
【专利技术属性】
技术研发人员：王全胜，汪超，冯文，冯海军，
申请(专利权)人：北京亚信智慧数据科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。