一种基于数据中台的电网数据安全监测系统技术方案

本发明专利技术公开了一种基于数据中台的数据安全监测系统，该系统通过对接数据保护伞操作日志、SDDP接口数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志统一运用数据中台的实时计算和MaxCompute数据仓库存储能力，经过数据分析、数据计算、告警入库和数据存储，快速分析并生成告警，解决安全组件相对独立，关联分析度不高问题。析度不高问题。析度不高问题。

【技术实现步骤摘要】
一种基于数据中台的电网数据安全监测系统


[0001]本专利技术属于信息处理
，具体涉及一种基于数据中台的电网数据安全监测系统。

技术介绍

[0002]随着电网大数据中心业务逐步推进，业务部门数据接入，数智国网大数据应用平台、供应链金融、数字化审计、企业级报表中心等数据分析服务，以及面向数据中台及传统业务的数据运维等场景不断增多，数据环境更加复杂，安全合规性要求更高，当前数据安全能力已不能满足业务安全需求。为了更好的对数据安全进行监测，相关单位着手实施基于数据中台的数据安全监测建设工作。
[0003]现有技术的不足之处：1、安全组件相对独立，关联分析度不高。目前相关安全组件和系统的防护功能呈离散状态分布，缺少关联分析和策略联动；相关日志未进行集中采集和分析提炼，导致中台安全运营工作中无法快速聚焦主要问题进行处置。2、缺乏对数据中台异常行为的实时分析与告警。数据保护伞等安全组件，以静态统计分析与安全审计功能为主。其功能如敏感数据识别，审计数据访问行为等，监测时效性不高（为T+1方式展示结果）。

技术实现思路

[0004]本专利技术的目的在于提供一种基于数据中台的电网数据安全监测系统，通过对接数据保护伞操作日志、SDDP接口数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志等，统一运用数据中台的实时计算和MaxCompute数据仓库存储能力，快速分析并生成告警，解决安全组件相对独立，关联分析度不高问题。
[0005]为达到上述目的，本专利技术采用的技术方案如下：本专利技术提供一种基于数据中台的数据安全监测系统，包括：数据集成模块，数据分析模块，数据计算模块，数据存储模块和态势展示模块；所述数据集成模块用于收集并存储数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志；所述数据分析模块用于对收集的日志数据进行监控，并生成告警数据；所述数据计算模块用于根据收集的日志数据计算敏感数据以及计算接口服务指标；所述数据存储模块用于存储所述数据集成模块收集的数据，所述数据分析模块生成的告警数据，所述数据计算模块计算的敏感数据和接口服务指标，以及所述态势展示模块计算的指标数据；所述态势展示模块包括SDDP态势总览模块，敏感数据态势总览模块和应用展示模块；所述SDDP态势总览模块用于监控并分析数据中台中的敏感数据，计算相应的指
标；所述敏感数据态势总览模块用于监控并分析数据集成模块收集的敏感数据，计算相应的指标；所述应用展示模块用于展示所述SDDP态势总览模块和敏感数据态势总览模块计算的指标。
[0006]优选的，所述数据集成模块用于，通过数据中台定时推送的方式，收集数据保护伞操作日志；通过调用SDDP接口方式，收集数据中台云上数据；通过数据中台创建sls投递任务，收集脱敏日志数据；通过数据中台消息中间件datahub，收集阿里云平台登录日志；以及，通过数据中台创建sls投递任务，收集ODPS操作日志。
[0007]优选的，所述数据集成模块还用于对收集的数据进行预处理，删除格式不合规及属性个数和要求不一致的数据。
[0008]优选的，所述数据集成模块还用于对预处理后的数据进行去重处理，如果在指定的时间间隔interval内，多次出现仅有时间不同其他属性相同的记录，则只保留该重复记录中的最后一条记录。
[0009]优选的，所述数据集成模块用于，对去重后的日志数据进行转发存储，将阿里云平台登录日志存储在分布式消息队列kafka中，将其余来源的日志数据存储在数据中台的ODPS表中。
[0010]优选的，所述数据分析模块具体用于，消费分布式消息队列kafka中的日志数据，根据数据类型反序列化成对应的对象；将对象转为esper事件并发送到esper；根据esper事件基于预先定义的告警规则生成告警信息并拆分为告警数据，发送给kafka的告警入库队列。
[0011]优选的，所述数据分析模块还用于，根据待监控数据源元数据的属性定义待监控数据源的告警规则，并将定义的过程翻译为Esper的类SQL语句。
[0012]优选的，所述数据分析模块还用于，设置线程池，将不同来源日志产生的告警数据放到不同的线程，并发入库。
[0013]优选的，所述数据计算模块包括离线计算模块和接口服务指标模块；所述离线计算模块用于定时获取数据保护伞推送的ODPS操作记录、操作详情、ODPS异常事件、敏感信息元数据和项目空间元信息，计算出每天新增的敏感数据；所述接口服务指标模块用于根据离线计算模块计算的敏感数据计算接口服务指标。
[0014]优选的，所述接口服务指标模块还用于，设置中间表，将离线计算模块计算的敏感数据按类型放入相应的中间表中；以及，按照敏感数据识别、敏感数据分布、敏感数据访问热度、敏感数据链路流向和中台数据风险五大类别，对接口服务指标进行分类；所述接口服务指标包括：日识别敏感字段数量，日识别敏感数据量，日识别敏感字段数量，日识别敏感数据量，按照占比的敏感字段量
分布，按照占比的敏感数据量分布，按规则类别的敏感字段量分布，按规则类别的敏感数据量分布 ，敏感数据被访问热度，访问敏感数据的热门账户，按敏感类别的敏感数据被访问热度，按敏感类别的访问敏感数据的热门账户，敏感数据流入流向，敏感数据流出流向，敏感数据链路流入流向，敏感数据链路流出流向，中台数据风险，和涉敏表格数、项目空间数、业务系统数。
[0015]优选的，所述SDDP态势总览模块包括数据中台SDDP组件、云盾敏感数据保护API接口、指标进程模块和后台数据服务；所述SDDP组件用于监控并分析数据中台中的Maxcomputer、OSS、ADS、OTS和RDS组件的敏感数据、敏感字段、敏感表和敏感项目空间；所述云盾敏感数据保护API接口用于将SDDP组件分析的敏感信息暴露给指标进程模块；所述指标进程模块用于每天定时拉取云盾敏感数据保护API接口，计算出指标数据。
[0016]优选的，所述敏感数据态势总览模块包括数据保护伞组件、保护伞数据接口服务、数据服务和Redis缓存；所述数据保护伞组件用于根据用户配置的规则，监控并分析分布型大数据存储ODPS中所有项目空间的数据，得出敏感数据、敏感字段、敏感表以及关联的用户操作记录；所述保护伞数据接口服务用于将数据保护伞组件分析的敏感信息暴露给外部应用程序；所述数据服务用于按需调用保护伞数据接口计算出指标数据插入关系型数据库RDS中，以及将计算的指标数据插入Redis缓存中。
[0017]优选的，所述数据存储模块包括关系型数据库RDS、内存数据库Redis和分布型大数据存储ODPS；所述关系型数据库RDS用于存储数据分析模块产生的告警数据，以及SDDP态势总览模块中计算的指标数据，以及敏感数据态势总览模块中计算的指标数据；所述内存数据库Redis用于存储所述应用展示模块展示的结果数据；所述分布型大数据存储ODPS用于存储所述数据集成模块收集的日志数据，以及数据计算模块计算的敏感数据，中间表和接口服务指标。
[0018]与现有技术相比，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据中台的数据安全监测系统，其特征在于，包括：数据集成模块，数据分析模块，数据计算模块，数据存储模块和态势展示模块；所述数据集成模块用于收集并存储数据保护伞操作日志、数据中台云上数据、脱敏日志数据、阿里云平台登录日志和ODPS操作日志；所述数据分析模块用于对收集的日志数据进行监控，并生成告警数据；所述数据计算模块用于根据收集的日志数据计算敏感数据以及计算接口服务指标；所述数据存储模块用于存储所述数据集成模块收集的数据，所述数据分析模块生成的告警数据，所述数据计算模块计算的敏感数据和接口服务指标，以及所述态势展示模块计算的指标数据；所述态势展示模块包括SDDP态势总览模块，敏感数据态势总览模块和应用展示模块；所述SDDP态势总览模块用于监控并分析数据中台中的敏感数据，计算相应的指标；所述敏感数据态势总览模块用于监控并分析数据集成模块收集的敏感数据，计算相应的指标；所述应用展示模块用于展示所述SDDP态势总览模块和敏感数据态势总览模块计算的指标。2.根据权利要求1所述的一种基于数据中台的数据安全监测系统，其特征在于，所述数据集成模块用于，通过数据中台定时推送的方式，收集数据保护伞操作日志；通过调用SDDP接口方式，收集数据中台云上数据；通过数据中台创建sls投递任务，收集脱敏日志数据；通过数据中台消息中间件datahub，收集阿里云平台登录日志；以及，通过数据中台创建sls投递任务，收集ODPS操作日志。3.根据权利要求2所述的一种基于数据中台的数据安全监测系统，其特征在于，所述数据集成模块还用于对收集的数据进行预处理，删除格式不合规及属性个数和要求不一致的数据。4.根据权利要求3所述的一种基于数据中台的数据安全监测系统，其特征在于，所述数据集成模块还用于对预处理后的数据进行去重处理，如果在指定的时间间隔interval内，多次出现仅有时间不同其他属性相同的记录，则只保留该重复记录中的最后一条记录。5.根据权利要求4所述的一种基于数据中台的数据安全监测系统，其特征在于，所述数据集成模块用于，对去重后的日志数据进行转发存储，将阿里云平台登录日志存储在分布式消息队列kafka中，将其余来源的日志数据存储在数据中台的ODPS表中。6.根据权利要求5所述的一种基于数据中台的数据安全监测系统，其特征在于，所述数据分析模块具体用于，消费分布式消息队列kafka中的日志数据，根据数据类型反序列化成对应的对象；将对象转为esper事件并发送到esper；根据esper事件基于预先定义的告警规则生成告警信息并拆分为告警数据，发送给kafka的告警入库队列。7.根据权利要求6所述的一种基于数据中台的数据安全监测系统，其特征在于，所述数据分析模块还用于，
根据待监控数据源元数据的属性定义待监控数据源的告警规则，并将定义的过程翻译为Esper的类SQL语句。8.根据权利要求6所述的一种基于数据中台的数据安全监测系统，其特征在于，所述数据分析模块还用于，设置线程池，将不同来源日志产生的告警数据放到不同的线程，并发入库。9.根据权利要求1...

【专利技术属性】
技术研发人员：徐胜国，贾雪，鲁国亮，王晔，郭靓，张付存，姜训，
申请(专利权)人：南京南瑞信息通信科技有限公司，
类型：发明
国别省市：