一种数据安全流动态势感知的方法技术

本发明专利技术公开了一种数据安全流动态势感知的方法，具体步骤如下，步骤一：安全数据归整聚合(1)通过数据采集探针采集多种安全审计设备日志，通过API获取数据流转过程中的数据日志，进行数据采集，将采集的数据入库到数据中台，数据中台采用大数据组件建设，(2)采用推送和拉取的方式从数据中台中提取日志数据，然后对日志数据进行数据认证，再将其发送至Flume组件，(3)Flume组件设置重要或敏感数据的数据标签和数据安全风险识别规则，对重要数据进行TAG打标，并生成新的数据入库到大数据存储组件中。本发明专利技术通过将分片化的数据归整聚合，运用多维度算法聚合分析结果，流动式呈现数据安全态势。

【技术实现步骤摘要】
一种数据安全流动态势感知的方法
本专利技术涉及数据安全领域，具体涉及一种数据安全流动态势感知的方法。
技术介绍
在现互联网数据安全检测领域方向，涌现出多种安全产品，但未有相关资料文献记载有对数据安全态势有做过研究，未有体系化的产品与终端对数据流动的安全性分析与呈现。在数据安全治理体系中，在各种数据安全检测场景中，分析结果都处于孤立化，如脆弱性分析结果、数据出境、FTP、邮箱、数据库安全分析、文件扫描分析结果等业务场景，场景化计算结果处于游离孤立化。因此，专利技术一种数据安全流动态势感知的方法来解决上述问题很有必要。
技术实现思路
本专利技术的目的是提供一种数据安全流动态势感知的方法，通过将分片化的数据归整聚合，运用多维度算法聚合分析结果，流动式呈现数据安全态势，以解决技术中的上述不足之处。为了实现上述目的，本专利技术提供如下技术方案：一种数据安全流动态势感知的方法，具体步骤如下；步骤一：安全数据归整聚合(1)通过数据采集探针采集多种安全审计设备日志，通过API获取数据流转过程中的数据日志，进行数据采集，将采集的数据入库到数据中台，数据中台采用大数据组件建设；(2)采用推送和拉取的方式从数据中台中提取日志数据，然后对日志数据进行数据认证，再将其发送至Flume组件；(3)Flume组件设置重要或敏感数据的数据标签和数据安全风险识别规则，对重要数据进行TAG打标，并生成新的数据入库到大数据存储组件中；步骤二：基础服务(1)基于数据中台建设业务中台，并根据业务需求创建相应的业务库；(2)通过数据中台和业务中台多维度为角度按照事件类型特性做数据抽取，生成基础服务，为业务线提供数据统计分析支持；步骤三：安全数据分析(1)Flink组件提取大数据存储组件中的日志数据，对日志数据进行清理，将清理结果进行存储，生成新的kafka主题库；(2)基础服务和数据仓库通过ETL数据订阅将数据汇入kafka主题库中；步骤四：数据流动态势感知业务线通过业务中台统计数据流动风险维度，最终通过视图化组件设置需要呈现的态势感知界面，流动式呈现数据安全态势，为最终用户决策提供数据支持。优选的，步骤一中多种安全审计设备日志包括网络边界防火墙日志、核心交换机镜像流量日志、数据库审计日志和应用审计日志。优选的，步骤二中业务库与数据仓库数据同步。优选的，步骤三中Flink组件数据清理包括格式校验、字段校验、非结构化数据抽取和归一化处理。优选的，步骤一中TAG打标包括采集时间打标、采集设备打标、数据来源打标、来源设备打标、来源Ip打标和所述系统打标。优选的，步骤三中数据仓库存储原始数据，可用于数据回放，用于提取未解析数据或修正解析错误数据。在上述技术方案中，本专利技术提供的技术效果和优点：1、数据采集通过多种安全审计设备日志和API获取数据流转过程中的数据日志，采用推送和拉取的方式进行数据认证后，通过Flume组件打标后，入库到大数据组件存储，方便将分片化的安全数据归整聚合；2、将采集过来的数据通过Flink组件中的数据清洗能力，对不同格式的数据日志进行范式化、归一化处理存储，生成新的kafka主题库，通过ETL数据订阅，为基础服务体用支持，运用多维度算法聚合分析安全数据分析结果，数据分析结果更精准；3、通过数据中台和业务中台多维度为角度按照事件类型特性做数据抽取，生成基础服务，为业务线提供数据统计分析支持，最终通过视图化组件设置需要呈现的态势感知界面，流动式呈现数据安全态势，为最终用户决策提供数据支持。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为本专利技术的整体流程图；图2为本专利技术安全数据规整聚合的流程图；图3为本专利技术安全数据分析的流程图。具体实施方式为了使本领域的技术人员更好地理解本专利技术的技术方案，下面将结合附图对本专利技术作进一步的详细介绍。本专利技术提供了如图1-3所示的一种数据安全流动态势感知的方法，具体步骤如下；步骤一：安全数据归整聚合(1)通过数据采集探针采集多种安全审计设备日志，通过API获取数据流转过程中的数据日志，进行数据采集，将采集的数据入库到数据中台，方便对采集的数据进行存储，数据中台采用大数据组件建设；(2)采用推送和拉取的方式从数据中台中提取日志数据，然后对日志数据进行数据认证，通过对数据进行认证，进一步提高数据的安全性，再将其发送至Flume组件；(3)Flume组件设置重要或敏感数据的数据标签和数据安全风险识别规则，对重要数据进行TAG打标，将数据进行标签，方便对数据进行综合处理，并生成新的数据入库到大数据存储组件中；步骤二：基础服务(1)基于数据中台建设业务中台，并根据业务需求创建相应的业务库，使业务库与用户需求相对应，方便提高数据应用效率，有利于提高用户体验；(2)通过数据中台和业务中台多维度为角度按照事件类型特性做数据抽取，生成基础服务，通过基础服务的生成，方便用户于数据间的交互，为业务线提供数据统计分析支持；步骤三：安全数据分析(1)Flink组件提取大数据存储组件中的日志数据，对日志数据进行清理，将清理结果进行存储，对数据进行分类存储，生成新的kafka主题库；(2)基础服务和数据仓库通过ETL数据订阅将数据汇入kafka主题库中，提高了kafka主题库的数据量；步骤四：数据流动态势感知业务线通过业务中台统计数据流动风险维度，最终通过视图化组件设置需要呈现的态势感知界面，流动式呈现数据安全态势，方便用户进行查看，进一步提高用户体验，为最终用户决策提供数据支持。进一步的，在上述技术方案中，步骤一中多种安全审计设备日志包括网络边界防火墙日志、核心交换机镜像流量日志、数据库审计日志和应用审计日志。进一步的，在上述技术方案中，步骤二中业务库与数据仓库数据同步，方便对数据仓库进行数据更新。进一步的，在上述技术方案中，步骤三中Flink组件数据清理包括格式校验、字段校验、非结构化数据抽取和归一化处理。进一步的，在上述技术方案中，步骤一中TAG打标包括采集时间打标、采集设备打标、数据来源打标、来源设备打标、来源Ip打标和所述系统打标。进一步的，在上述技术方案中，步骤三中数据仓库存储原始数据，可用于数据回放，用于提取未解析数据或修正解析错误数据。实施方式具体为：通过数据采集探针，采集汇聚数据到数据中台。通过数据中台和业务中台多维度为角度按照事件类型特性做数据抽取，生成基础服务，为业务线提供数据统计分析支持，最终通过视图化组件设置需要呈现的态势感知界面，为最终用户决策提供数据支持，将分片本文档来自技高网...

【技术保护点】
1.一种数据安全流动态势感知的方法，其特征在于：具体步骤如下；/n步骤一：安全数据归整聚合/n(1)通过数据采集探针采集多种安全审计设备日志，通过API获取数据流转过程中的数据日志，进行数据采集，将采集的数据入库到数据中台，数据中台采用大数据组件建设；/n(2)采用推送和拉取的方式从数据中台中提取日志数据，然后对日志数据进行数据认证，再将其发送至Flume组件；/n(3)Flume组件设置重要或敏感数据的数据标签和数据安全风险识别规则，对重要数据进行TAG打标，并生成新的数据入库到大数据存储组件中；/n步骤二：基础服务/n(1)基于数据中台建设业务中台，并根据业务需求创建相应的业务库；/n(2)通过数据中台和业务中台多维度为角度按照事件类型特性做数据抽取，生成基础服务，为业务线提供数据统计分析支持；/n步骤三：安全数据分析/n(1)Flink组件提取大数据存储组件中的日志数据，对日志数据进行清理，将清理结果进行存储，生成新的kafka主题库；/n(2)基础服务和数据仓库通过ETL数据订阅将数据汇入kafka主题库中；/n步骤四：数据流动态势感知/n业务线通过业务中台统计数据流动风险维度，最终通过视图化组件设置需要呈现的态势感知界面，流动式呈现数据安全态势，为最终用户决策提供数据支持。/n...

【技术特征摘要】
1.一种数据安全流动态势感知的方法，其特征在于：具体步骤如下；
步骤一：安全数据归整聚合
(1)通过数据采集探针采集多种安全审计设备日志，通过API获取数据流转过程中的数据日志，进行数据采集，将采集的数据入库到数据中台，数据中台采用大数据组件建设；
(2)采用推送和拉取的方式从数据中台中提取日志数据，然后对日志数据进行数据认证，再将其发送至Flume组件；
(3)Flume组件设置重要或敏感数据的数据标签和数据安全风险识别规则，对重要数据进行TAG打标，并生成新的数据入库到大数据存储组件中；
步骤二：基础服务
(1)基于数据中台建设业务中台，并根据业务需求创建相应的业务库；
(2)通过数据中台和业务中台多维度为角度按照事件类型特性做数据抽取，生成基础服务，为业务线提供数据统计分析支持；
步骤三：安全数据分析
(1)Flink组件提取大数据存储组件中的日志数据，对日志数据进行清理，将清理结果进行存储，生成新的kafka主题库；
(2)基础服务和数据仓库通过ETL数据订阅将数据汇入kafka主题库中；
步骤四：数据流动态势感知
...

【专利技术属性】
技术研发人员：林星辰，吴倩，张家旺，张晓娜，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京;11