【技术实现步骤摘要】
一种基于实时计算的元数据管理系统
[0001]本说明书涉及计算机
，尤其涉及一种基于实时计算的元数据管理系统。
技术介绍
[0002]元数据是描述数据的数据，包括数据的来源、结构、类型、内容、质量、关系等信息。元数据又可以细分为两类：技术元数据和业务元数据。其中，技术元数据是存储关于数据仓库系统技术细节的数据，用于开发和管理数据仓库使用的数据，比如数据字段、数据血缘关系或者数据特征等；而业务元数据是为管理层和业务分析人员服务的，从业务角度描述的数据，包括商业用语、数据仓库中有什么数据、数据的位置和数据的可用性等等，帮助业务人员更好地理解数据仓库中哪些数据是可用的以及如何使用。
[0003]随着大数据技术的发展，元数据的管理已成为数据治理的关键部分，尤其是在大规模、复杂的数据环境中。现有的元数据管理系统通常基于批处理模型，这种模型在处理大量数据时存在延时问题，无法满足实时数据处理的需求。
技术实现思路
[0004]本说明书一个或多个实施例提供了一种基于实时计算的元数据管理系统，用于解决
技术介绍
提出
【技术保护点】
【技术特征摘要】
1.一种基于实时计算的元数据管理系统，其特征在于，所述系统包括：元数据收集模块、实时计算模块、元数据存储模块与处理模块；所述元数据收集模块用于从各种数据源收集元数据；所述实时计算模块用于根据预先设定的流处理框架，对收集到的元数据进行实时计算；所述元数据存储模块用于将实时计算后的元数据存储在预先设定的元数据数据库中；所述处理模块用于在接收处理请求时，对所述元数据数据库存储的元数据进行相应处理，所述处理请求包括查找与修改。2.根据权利要求1所述的系统，其特征在于，所述元数据收集模块具体用于通过预先设定的数据同步程序将各种数据源收集的外部数据同步存入本地数据库，并通过预先设定的数据注册程序记录所述外部数据的元数据，将所述外部数据的元数据存入本地数据库。3.根据权利要求1所述的系统，其特征在于，所述实时计算模块具体用于通过所述流处理框架的预设算法，对收集到的元数据进行实时计算，所述流处理框架为kafka流处理框架，所述kafka流处理框架包括kafka消息队列；将计算后的元数据放入所述kafka消息队列。4.根据权利要求1所述的系统，其特征在于，所述处理模块执行所述对所述元数据数据库存储的元数据进行相应处理，具体用于：从所述元数据数据库中检索相关信息，得到索引结果。5.根据权利要求3所述的系统，其特征在于，所述系统还包括元数据清洗模块，所述元数据清洗模块用于对收集到的元数据进行清洗和格式化。6.根据权利要求5所述的系统，其特征在于，所述元数据清洗模块具体用于监听、清...
【专利技术属性】
技术研发人员：李沅泽，赵海兴，孙永超，赵子墨，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。