基于电信行业的数据治理平台制造技术

本发明专利技术提供基于电信行业的数据治理平台，包括：数据获取模块获取来自电信业务系统的电信业务数据；敏感分析模块进行敏感数据分析，并对敏感数据进行脱敏处理，得到脱敏处理后的电信业务数据；分类存储模块进行分级分类处理并进行分级分类存储管理；数据授权模块对应用者进行授权管理；数据探查模块供已授权的应用者对存储的电信业务数据进行探查；标准化模块根据应用标签建立数据标准；数据建模模块基于数据标准对探查数据进行数据建模；数据检查模块对建模后的元数据进行检查，得到数据检查结果；输出模块完成数据的统一输出。本发明专利技术有助于协助完成电力行业数据自动化管理；提高数据管理的安全性。管理的安全性。管理的安全性。

【技术实现步骤摘要】
基于电信行业的数据治理平台


[0001]本专利技术涉及数据治理
，特别是基于电信行业的数据治理平台。

技术介绍

[0002]目前，电信企业在进行业务数据的治理及管理的过程中，电信行业涉及的业务系统繁多，且各业务系统均产生海量的数据。现有技术中，电信企业在需要调取各业务系统产生的数据时候，需要分别访问各业务系统并从各业务系统中分别提取数据，该方式容易存在以下问题：
[0003]1)从各业务系统获取数据的过程中，通常会存在需要多头报送、数据不准确和梳理困难的问题，影响数据使用。
[0004]2)无法对各业务系统的数据进行统一的管理，影响电信企业对业务系统数据的合理利用；
[0005]3)缺乏对数据的管控，导致电信业务数据中包含的敏感数据泄露，不符合电信行业数据安全法规和个人信息保护法规的相关规定。
[0006]因此，提出一种基于电信行业的数据治理平台，来实现电信企业对业务系统产生的海量数据进行统一管理亟具需要。

技术实现思路

[0007]针对上述问题，本专利技术旨在提供基于电信行业的数据治理平台。
[0008]本专利技术的目的采用以下技术方案来实现：
[0009]第一方面，提出基于电信行业的数据治理平台，包括：元数据定义模块、网络配置模块、数据抽取模块、元数据接入模块、敏感分析模块、分类存储模块、数据授权模块、数据探查模块、数据标签模块、标准化模块、数据建模模块、数据检查模块、输出模块和监控预警模块；其中，
[0010]元数据定义模块用于根据电信行业的数据特点定义元数据，建立统一的元数据采集规范和标准；
[0011]网络配置模块用于配置完成与电信业务系统的网络对接；
[0012]数据抽取模块用于从电信业务系统中抽取电信业务数据；
[0013]元数据接入模块用于接入电信业务数据的元数据；
[0014]敏感分析模块用于识别电信业务数据中的敏感数据，并对敏感数据进行脱敏处理，得到脱敏处理后的电信业务数据；
[0015]分类存储模块用于对电信业务数据进行分级分类处理，得到分级分类处理后的电信业务数据；并对分级分类处理后的电信业务数据进行分级分类存储管理；
[0016]数据授权模块用于对应用者进行授权管理，授予应用者对存储数据的探查权限；
[0017]数据探查模块用于供已授权的应用者对存储的电信业务数据进行探查，获取探查数据；
[0018]数据标签模块用于根据探查数据智能生成数据标签；
[0019]标准化模块用于建立数据标准；
[0020]数据建模模块用于基于数据标准对元数据进行数据建模，得到建模后的元数据；
[0021]数据检查模块用于对建模后的元数据进行落标检查、质量检查和安全检查，得到数据检查结果；
[0022]输出模块用于完成对通过数据检查的数据的统一输出；
[0023]监控预警模块用于对输出数据进行监控预警，输出监控预警结果。
[0024]一种实施方式中，还包括质量改进模块；
[0025]质量改进模块用于完成元数据的质量改进。
[0026]一种实施方式中，数据抽取模块中，从电信业务系统中抽取电信业务数据，具体包括：
[0027]从电信业务系统中确定数据源、数据范围和数据类型，并抽取确定范围内数据，通过预设的数据采集算法进行电信业务数据的采集；其中数据类型包括非结构化数据，结构化数据和半结构化数据。
[0028]一种实施方式中，敏感分析模块中具体包括：
[0029]采用敏感数据识别算法对采集的电信业务数据进行处理，判断是否符合敏感数据标准，识别敏感数据；
[0030]采用脱敏算法对识别的敏感数据进行脱敏或者加密处理，得到脱敏处理后的电信业务数据。
[0031]一种实施方式中，分类存储模块中，对电信业务数据进行分级分类处理，具体包括：
[0032]对数据的分级分类进行配置，基于得到的分级分类配置信息，通过数据分级分类算法对电信业务数据进行处理，得到电信业务数据的分级分类信息。
[0033]一种实施方式中，数据授权模块具体包括：
[0034]检查存储数据的授权信息；
[0035]对未授权的电信业务数据进行隔断处理。
[0036]一种实施方式中，数据检查模块具体包括：对建模后的元数据进行落标检查、质量检查和安全检查；
[0037]对建模后的元数据进行落标检查具体包括：
[0038]获取数据建模模型，通过标准检查算法对数据模型的数据进行标准执行检查，得到落标检查结果，其中落标检查结果包括通过落标检查的数据和模型，以及不通过落标检查的数据和模型；
[0039]对建模后的元数据进行质量检查具体包括：
[0040]对通过落标检查的数据和模型进行质量检查，检查数据的一致性、数据规范性、数据完整性、数据准确性、数据时效性及数据可访问性，得到质量检查结果；
[0041]对建模后的元数据进行安全检查具体包括：
[0042]对通过质量检查的数据进行脱敏检测，检测数据是否脱敏；并进一步对脱敏数据进行加密检测，检测数据是否加密；以及对加密的外发数据进行水印检测，检测数据是否已添加水印，得到安全检查结果。
[0043]一种实施方式中，监控预警模块具体包括：
[0044]对输出数据的提取操作进行监控，监控数据操作过程中的高危操作，并对监控到的高危操作进行预警通报。
[0045]第二方面，本专利技术提出基于电信行业的数据治理方法，包括：
[0046]S1根据电信行业的数据特点定义元数据，建立统一的元数据采集规范和标准；
[0047]S2配置完成与电信业务系统的网络对接；
[0048]S3从电信业务系统中抽取电信业务数据；
[0049]S4接入电信业务数据的元数据；
[0050]S5识别电信业务数据中的敏感数据，并对敏感数据进行脱敏处理，得到脱敏处理后的电信业务数据；
[0051]S6对电信业务数据进行分级分类处理，得到分级分类处理后的电信业务数据；并对分级分类处理后的电信业务数据进行分级分类存储管理；
[0052]S7对应用者进行授权管理，授予应用者对存储数据的探查权限；
[0053]S8供已授权的应用者对存储的电信业务数据进行探查，获取探查数据；
[0054]S9根据探查数据智能生成数据标签；
[0055]S10建立数据标准；
[0056]S11基于数据标准对元数据进行数据建模，得到建模后的元数据；
[0057]S12对建模后的元数据进行落标检查、质量检查和安全检查，得到数据检查结果；
[0058]S13完成对通过数据检查的数据的统一输出；
[0059]S14对输出数据进行监控预警，输出监控预警结果。
[0060]本专利技术的有益效果为：本专利技术提出基于电信行业的数据治理平台，能够协助企业完成对电信行业海量数据的全方位治理，通过定义元数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于电信行业的数据治理平台，其特征在于，包括：元数据定义模块、网络配置模块、数据抽取模块、元数据接入模块、敏感分析模块、分类存储模块、数据授权模块、数据探查模块、数据标签模块、标准化模块、数据建模模块、数据检查模块、输出模块和监控预警模块；其中，元数据定义模块用于根据电信行业的数据特点定义元数据，建立统一的元数据采集规范和标准；网络配置模块用于配置完成与电信业务系统的网络对接；数据抽取模块用于从电信业务系统中抽取电信业务数据；元数据接入模块用于接入电信业务数据的元数据；敏感分析模块用于识别电信业务数据中的敏感数据，并对敏感数据进行脱敏处理，得到脱敏处理后的电信业务数据；分类存储模块用于对电信业务数据进行分级分类处理，得到分级分类处理后的电信业务数据；并对分级分类处理后的电信业务数据进行分级分类存储管理；数据授权模块用于对应用者进行授权管理，授予应用者对存储数据的探查权限；数据探查模块用于供已授权的应用者对存储的电信业务数据进行探查，获取探查数据；数据标签模块用于根据探查数据智能生成数据标签；标准化模块用于建立数据标准；数据建模模块用于基于数据标准对元数据进行数据建模，得到建模后的元数据；数据检查模块用于对建模后的元数据进行落标检查、质量检查和安全检查，得到数据检查结果；输出模块用于完成对通过数据检查的数据的统一输出；监控预警模块用于对输出数据进行监控预警，输出监控预警结果。2.根据权利要求1所述的基于电信行业的数据治理平台，其特征在于，还包括质量改进模块；质量改进模块用于完成元数据的质量改进。3.根据权利要求1所述的基于电信行业的数据治理平台，其特征在于，数据抽取模块中，从电信业务系统中抽取电信业务数据，具体包括：从电信业务系统中确定数据源、数据范围和数据类型，并抽取确定范围内数据，通过预设的数据采集算法进行电信业务数据的采集；其中数据类型包括非结构化数据，结构化数据和半结构化数据。4.根据权利要求1所述的基于电信行业的数据治理平台，其特征在于，敏感分析模块中具体包括：采用敏感数据识别算法对采集的电信业务数据进行处理，判断是否符合敏感数据标准，识别敏感数据；采用脱敏算法对识别的敏感数据进行脱敏或者加密处理，得到脱敏处理后的电信业务数据。5.根据权利要求1所述的基于电信行业的数据治理平台，其特征在于，分类存储模块中，对电信业务数据进行分级分类处理，具体包括：
对数据的分级分类进行配...

【专利技术属性】
技术研发人员：付刚，陈绍栋，杨杰聪，林涌瀚，
申请(专利权)人：广州智算信息技术有限公司，
类型：发明
国别省市：