【技术实现步骤摘要】
本专利技术涉及计算机，具体涉及一种根据数据湖进行数据集市改进的方法及设备。
技术介绍
1、在银行的数据建设实践中存在重复建设的情况，具体如不同业务域的集市在建设过程中，面对众多源系统，一般会对贴源层数据进行分别清洗处理，形成集市自己的基础层数据，各集市重复建设情况严重。同时还存在引用混乱的情况，如不同集市自建过程中除了直接使用贴源层之外，还存在互相无序引用其他集市数据的情况。这导致出现问题时，对下游影响无法分析到位，引发数据质量问题，且维护困难。且无法及时感知源系统变更，源系统变更需要多对多通知，容易遗漏，往往是出现问题才能滞后发现，甚至长时间隐藏问题。
2、为屏蔽对不同数据源的引用带来的影响，一些银行会选择数据湖作为一个能够存储结构化和非结构化数据的平台，满足了企业对数据统一管理和分析的需求。但是在进行数据集市的迁移过程中，又会面临如下的问题：缺少一套完整的集市迁移修改流程、具体如缺少自动化识别非规范的集市内容、缺少自动化的脚本修改工具、缺少完备的迁移工具，包括迁移前后的数据质量检核工具、迁移前后的数据时效检核工具，用于保...
【技术保护点】
1.一种根据数据湖进行数据集市改进的方法，其特征在于，包括：
2.根据权利要求1所述的一种根据数据湖进行数据集市改进的方法，其特征在于，所述对不符合集市引用规范的任务进行程序修改的方式具体如下：
3.根据权利要求1所述的一种根据数据湖进行数据集市改进的方法，其特征在于，所述数据一致性分析包括：
4.根据权利要求1所述的一种根据数据湖进行数据集市改进的方法，其特征在于，所述时效一致性分析包括：
5.一种根据数据湖进行数据集市改进的设备，其特征在于，包括：
6.根据权利要求5所述的一种根据数据湖进行数据集市改进的...
【技术特征摘要】
1.一种根据数据湖进行数据集市改进的方法，其特征在于，包括：
2.根据权利要求1所述的一种根据数据湖进行数据集市改进的方法，其特征在于，所述对不符合集市引用规范的任务进行程序修改的方式具体如下：
3.根据权利要求1所述的一种根据数据湖进行数据集市改进的方法，其特征在于，所述数据一致性分析包括：
4.根据权利要求1所述的一种根据数据湖进行数据集市改进的方法，其特征在于，所述时效一致性分析包括：
...【专利技术属性】
技术研发人员：陈丹妮，郑清正，
申请(专利权)人：江苏苏商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。