一种基于元仓的数据安全治理系统及方法技术方案

本发明专利技术公开了一种基于元仓的数据安全治理系统及方法，包括数据采集模块、元仓模块以及基于元仓的安全治理应用模块；其中，所述数据采集模块用于从多个系统和数据库采集数据提供给元仓模块使用；所述元仓模块用于将来自数据采集模块采集的数据整合到一起，形成基础元数据和时间数据；所述安全治理应用模块包括安全分析单元、操作审计单元和风险识别单元；用于通过安全指标体系对元仓模块内的数据进行安全分析、操作审计和风险识别。本系统及方法以元数据为基础，通过建立元数据仓库来统一管理数据资源的元数据信息，实现对数据访问的安全审计和风险预警等功能。安全审计和风险预警等功能。安全审计和风险预警等功能。

【技术实现步骤摘要】
一种基于元仓的数据安全治理系统及方法


[0001]本专利技术涉及计算机及数据处理
，尤其是涉及一种基于元仓的数据安全治理系统及方法。

技术介绍

[0002]数据安全治理是一种重要的数据管理方式，它旨在确保数据的安全性、完整性、可用性和保密性，从而有效保护企业的数据。在数据安全治理中，需要采用一系列的技术和策略来实现数据的安全管理和保障。这些技术和策略包括但不限于以下内容。
[0003]1、数据分类和标记：数据分类和标记是数据安全治理中的一项重要措施。通过对不同的数据进行分类和标记，可以实现对数据的不同管理和保护。例如，企业可以将数据按照机密性、重要性和敏感性等级进行分类，并为每个数据标记相应的标签，以便于对数据的管理和监控。
[0004]2、数据备份和恢复：数据备份和恢复是数据安全治理中的另一个重要措施。通过对数据进行定期备份和恢复，可以有效地减少数据的丢失和损失。此外，数据备份和恢复还可以帮助企业应对各种突发事件和灾难，如火灾、水灾、电力中断等。
[0005]3、数据加密和解密：数据加密和解密是数据安全治理中的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元仓的数据安全治理系统，其特征在于，所述系统包括数据采集模块、元仓模块以及基于元仓的安全治理应用模块；其中，所述数据采集模块用于从多个系统和数据库采集数据提供给元仓模块使用；所述元仓模块用于将来自数据采集模块采集的数据整合到一起，形成基础元数据和时间数据；对于基础元数据，利用DataSimba数据集成单元能力，利用集成工具将数据同步到元仓模块；对于事件数据，对事件行为进行数据抽象，定义某用户在事件时间时刻在DataSimba数据中台工作空间在事件触发的时候通个埋点事件收集，构建埋点总线通道，将数据发送到通道上，传输到元仓模块；所述安全治理应用模块包括安全分析单元、操作审计单元和风险识别单元；用于通过安全指标体系对元仓模块内的数据进行安全分析、操作审计和风险识别。2.根据权利要求1所述的基于元仓的数据安全治理系统，其特征在于，所述元仓模块中设有数据集成单元，所述数据集成单元用于将来自不同系统和数据源的数据整合到一起；安全治理的数据包含企业敏感元数据、数据中台数仓基础元数据、安全后端的规则元数据以及数据中台用户行为事件数据；将数据分为以下两类：基础元数据，包含企业敏感元数据、数据中台数仓基础元数据、安全后端的规则元数据；这类数据存储在安全后端或平台其他后端的关系型数据库中；事件数据，包含数据中台用户行为事件数据；是在用户进行登录、下载以及访问和操作数据中台里数据进行抓取采集。3.根据权利要求2所述的基于元仓的数据安全治理系统，其特征在于，埋点数据来源于埋点总线，埋点总线底层是基于kafka的topic进行数据缓冲和存储；埋点数据的采集方案用于把kafka的数据同步到元仓的hive表ods_sensor_simba_all_sensor_hi，基于spark streaming框架，通过构建spark streaming的应用程序，通过定义消费频次5分钟，对kafka topic的数据进行消费，并将对应批次写入到hive表对应的天和小时分区中。4.根据权利要求3所述的基于元仓的数据安全治理系统，其特征在于，对于埋点服务异常、或者更上游的异常、或者网络异常导致数据迟到的异常场景，利用定时任务，对小文件进行合并，同时根据事...

【专利技术属性】
技术研发人员：柯挺立，曾云，王翔，张金银，
申请(专利权)人：杭州比智科技有限公司，
类型：发明
国别省市：