【技术实现步骤摘要】
一种构建数据仓库标准层的方法和系统
[0001]本专利技术属于商业智能
，具体涉及一种构建数据仓库标准层的方法和系统。
技术介绍
[0002]在数据仓库、数据治理、数据湖等数据系统构建中，在数据入仓之前，都需要对数据进行标准化加工处理。在传统的技术方案中，数据标准化操作都是采用对数据库的PDM文件、表备注、字段备注、字段内容人工查看等方式来判定每张表每个字段是否需要进行标准化，如何标准化。传统技术对人工的依赖性比较重，如果出现字段、表、字段码值命名不规范、命名解释缺失，人员对数据结构、关系不了解，缺少PDM文件或者说明文档，人员对公司组织的业务流程不了解等情况，数据标准化操作将会变得非常困难。尤其在组织内系统繁杂，系统表数据量众多的时候，则需要投入非常多的人工来进行数据的识别、判断，这样仍然存在数据标准化不彻底、标准落地遗漏等问题。
技术实现思路
[0003]本专利技术提出一种构建数据仓库标准层的方法和系统。
[0004]为了解决现有技术中的技术问题，本专利技术提出一种构建数据仓库标准层的方法，...
【技术保护点】
【技术特征摘要】
1.一种构建数据仓库标准层的方法，其特征在于，标准层包括表模型和字段模型；对于数据库中各表，确定其是否为孤岛表，将非孤岛表作为表模型进放入标准层；所述孤岛表是指该表与其他表不存在外键关系；对于数据库中各表的字段，确定其是否为主数据字段；当该字段为主数据字段时，该字段放入标准层；当该字段不是主数据字段时，如果其字段特征中的填充率大于阈值且为非默认值时，将该字段放入标准层；当分析数据类型与原始类型不一致时，字段类型判断数据比例为100％时推荐转换类型；如果为码值字段，则推荐进行配置码值转换的规则。2.如权利要求1所述的构建数据仓库标准层的方法，其特征在于，通过表级知识图谱确定数据库中各表是否为孤岛表；所述表级知识图谱是指将各表以及各表之间的外键关系以可视化的图结构展示的知识图谱；所述表级知识图谱包括节点和边，每一个节点代表一张表，每一条边代表一种外键关系；通过表级知识图谱中各节点之间是否存在边来确定对应的表是否存在外键关系，当某一节点于其他任何节点不存在边时，该节点代表的表为孤岛表。3.如权利要求1所述的构建数据仓库标准层的方法，其特征在于，通过字段级知识图谱确定数据库中各表的字段是否为主数据字段；所述字段级知识图谱是指将各表的字段、表间关系以可视化的图结构形式展示的知识图谱；所述字段级知识图谱包括节点和边，每一个节点代表一个字段，每一条边代表一种字段间关系；所述表间关系体现为来自不同表的字段之间的关系，至少包括外键关系、数据相等或数据去空相等；在确定主数据字段时，通过字段级知识图谱找出表间关系为外键关系、数据相等或数据去空相等的两个字段，且所述两个字段的原始数据来源于不同的业务系统时，将该两个字段作为主数据字段。4.如权利要求2所述的构建数据仓库标准层的方法，其特征在于，获取所述表级知识图谱的方法为：获取数据库中各表所来自的业务系统、表名，以及各表中的字段名；针对各表，根据表中字段的值，分析各字段的特征；以及针对各表，根据表名、字段名以及字段的值，计算获得表内各字段之间的表内函数依赖关系；针对各表，根据表内函数依赖关系识别出各表的主键，并根据所述主键的特征在其他表中寻找并确定与之对应的外键，在主键和外键之间形成外键关系；将各表以及各表之间的外键关系以可视化的图结构形式展示作为表级知识图谱。5.如权利要求3所述的构建数据仓库标准层的方法，其特征在于，获取字段级知识图谱中所述表间关系的方法为：通过表内函数依赖关系，确定外键所属的表A，找到该外键字段的闭包，将闭包内字段去重后形成一张以该外键的字段为主键的临时表B；通过外键关系，将主键所在表C作为左表，以临时表B作为右表，进行内连接形成一张新的临时表D；对临时表D中各字段在表A和表C的值进行对比，以形成如下表间关系：
数据相等，即表A和表C之间字段在临时表D中两列数据完全相等；数据去空相等，即表A和表C之间字段在临时表D中两列数据去除空值后相等。6.一种构建数据仓库标准层的系统，其特征在于，包括...
【专利技术属性】
技术研发人员：杨立才，邵宏力，胡超，刘磊，李云，邓知知，
申请(专利权)人：江苏昆山农村商业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。