【技术实现步骤摘要】
一种基于模型管控的在线数据治理管理方法和系统
[0001]本专利技术涉及大数据产品
,具体来说,涉及一种基于模型管控的在线数据治理管理方法和系统。
技术介绍
[0002]数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为;由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程,数据治理核心的就是数据模型管控,数据模型是集成各种数据源的数据视图,是支撑各类分析应用的基础,也是表达和沟通业务及其规则的媒介,对系统后续实施有着重要的指导和规划作用。
[0003]数据模型设计和变更是日常数据管理中的常见场景,目前对数据模型设计和变更采用线下文档的方式进行管理,该管理方式缺乏在线流程对模型进行统一管控,久而久之,在实际应用的开发过程中,模型会存在以下问题:1、模型变更没有统一的入口,导致模型版本很容易出现不一致的情况,同时模型版本也不方便进行版本的追溯;2、模型变更过程中审批不便捷,从而影响业务的需求,进而影响业务的开发进度;3、人工对模型进 ...
【技术保护点】
【技术特征摘要】
1.一种基于模型管控的在线数据治理管理方法,其特征在于,该方法包括以下步骤:S1、利用预设的模型设计标准管理和校验模块对模型设计规则进行管理,实现模型设计时对模型相关属性的设置;S2、利用预设的模型字段库定义及推荐模块对模型字段库中常用的模型字段进行统一管理,并依据用户输入的模型信息进行字段自动推荐;S3、当模型设计标准及字段库定义完成后,利用预设的向导式设计模块实现对模型的设计;S4、利用预设的自动化模型检测模块对所有设计的模型进行规范性的检测,分类统计设计不规范的模型生成整改工单,并督促工作人员进行处理;S5、利用预设的元数据注册模块将模型设计过程中涉及的三类元数据自动注册至元数据统一库,实现元数据的事前管理、事后采集和自动比对。2.根据权利要求1所述的一种基于模型管控的在线数据治理管理方法,其特征在于,所述模型设计规则包括:分层规则定义、分域规则定义、账期类型定义、表命名规则定义、模型英文名称及字段英文名称内容格式及长度规则定义、模型中文名称和字段中文名称非空校验定义及数据偏移量规则定义。3.根据权利要求1所述的一种基于模型管控的在线数据治理管理方法,其特征在于,所述模型字段库的管理需要有权限的用户才能维护,无权限的用户则需要通过申报的方式录入并提交审核,审核通过后才能加入到模型字段库。4.根据权利要求3所述的一种基于模型管控的在线数据治理管理方法,其特征在于,所述字段的属性包括:数据库类型、字段中文名、字段英文名、数据类型、字段长度精度、所属主题域、字段业务口径、是否非空及关联主数据编码。5.根据权利要求1所述的一种基于模型管控的在线数据治理管理方法,其特征在于,所述字段的自动推荐利用Elasticsearch工具,基于文本相似度算法进行分析,匹配出相关的字段库的字段供用户选择,同时记录下字段库被引用的记录,推荐字段时按引用次数降序排列;其中,所述Elasticsearch是基于文本相似度BM25算法实现,首先需要将字段库的信息通过应用程序接口定时更新到Elasticsearch,然后Elasticsearch对字段中文名、字段英文名、数据类型、字段业务口径的信息经过处理,最后将处理后的信息写入反向索引。6.根据权利要...
【专利技术属性】
技术研发人员:罗德成,唐玉军,吴名朝,
申请(专利权)人:浩鲸云计算科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。