一种可信安全跨域数据交换的数据总线及传输方法技术

本发明专利技术公开了一种可信安全跨域数据交换的数据总线及传输方法，属于数据交换技术领域。包括：（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；（二）数据治理层：将数据采集层采集数据进行标准化数据转换；（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集。（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。本发明专利技术提供了一种安全的数据整合方式，能够融合不同结构的数据形成数据库，并对数据进行处理共享，能够保证数据库的安全性，避免被网络攻击。

A data bus and transmission method of trusted and secure cross domain data exchange

The invention discloses a data bus and a transmission method for reliable and safe cross domain data exchange, belonging to the technical field of data exchange. Including: (1) data collection layer: use flume log collection module and ETL data collection module to collect different scene data; (2) data governance layer: standardize data collection layer to conduct data conversion; (3) data processing layer: according to business feature relationship, standardize data to conduct non normal relationship, data redundancy and other processing to form a complete business number According to the collection. (IV) data application layer: all business systems will share data; share open development platform. The invention provides a safe data integration method, which can integrate data of different structures to form a database, and process and share the data, so as to ensure the security of the database and avoid being attacked by the network.

【技术实现步骤摘要】
一种可信安全跨域数据交换的数据总线及传输方法
本专利技术涉及数据交换
，具体涉及一种可信安全跨域数据交换的数据总线及传输方法。
技术介绍
传统的企业网络安全重心一直是在建设封闭可控的环境，通过这种方式来防御各种各样的网络攻击。但是，近年来伴随着互联网、智能移动设备、物联网技术和云计算的快速发展及广泛应用，网络边界一次次被打破和扩展，网络的开放性越来越强。同时随着基础网络技术的不断进步，网络攻击的手段和方法也在不断的革新。现在企业的网络正处在持续性的风险状态，在这样严峻的安全风险面前任何现有的安全设备都难以应对。尤其是企业与互联网、智能移动设备、物联网进行数据交互时，传统基于策略的拦截和防御机制轻而易举就会被高级定向攻击所绕过，针对企业内部的攻击行为也逐渐变得更为难以捕获。
技术实现思路
针对现有技术的不足，本专利技术提供了一种可信安全跨域数据交换的数据总线及传输方法，实现各方元数据来源的标准化融合，形成基础信息数据资源库，在基础信息资源库上通过大数据治理服务对其元数据进行抽取清洗、智能规约、标签应用、索引建模、离线运算等大数据技术手段，形成应用服务数据仓库和主题模型。一种可信安全跨域数据交换的数据总线，包括：（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；（二）数据治理层：将数据采集层采集数据进行标准化数据转换；（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余处理，形成完整的业务数据集；（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。进一步的，所述数据采集层的数据主要来源分别为物联网、互联网、政务内网、业务应用系统，根据不同数据来源场景，分别使用不同的应用采集前置服务来完成；基于SpringBoot微服务架构，结合Docker容器部署，统一使用K8S进行服务容器资源协调来实现整个大数据ETL数据采集和flume日志采集过程。进一步的，针对物联网非结构化、半结构化低价值密度数据进行关键数据特征提取，数据解析语义分析后形成标准化结构数据；通过网络爬虫技术对互联网关键舆情数据提取、语意分析后形成标准化结构数据；政务网应用及专网业务应用系统大多为结构化关系型数据，通过去重、替换、合并等技术手段对其进行标准化统一导入。进一步的，所述的数据治理层通过自定义转换处理模型、关键特征过滤，实现向高价值结构化数据转换，并结合多维元数据信息，利用关键特征数据结合业务核心算法实现，最终建立适合解决业务主题分析的数据仓库，为实现高性能并行查询分析统计提供支撑。进一步的，所述的数据采集层采集的日志或者数据传输给消息中间件Kafka，消息中间件Kafka是基于消息订阅模式的，一个订阅主题进行一次流程或者算法的实现，消息中间件根据订阅的主题，把数据推送或者拉取给这个订阅主题模块进行流程或者计算处理，订阅主题模块处理的结果，由另外一个订阅主题模块来订阅使用，就会把处理结果推送给下一个订阅模块去处理，依次执行下去；所述的日志数据由订阅主题模块订阅后，经中间消息件Kafka进行流处理模块，流处理方式可以为Kafkastream流处理方式或者SparkStreaming流处理方式，处理结果存储到大数据存储Hbase数据库、Hive数据库和字典及部分中间结果存储数据库MySQL。进一步的，针对不同的业务场景、分析特征进行预制的智能化标签处理，实现多维度大数据融合规约处理；通过使用大数据处理引擎Spark计算平台，对交互式查询和流处理进行高性能大数据集计算服务；运用SparkSQL结构化即时查询，Streaming实时计算、机器学习、图计算等核心体系，实现高性能分析运算，支撑业务主题仓库的建设。进一步的，数据处理层字典及部分中间结果存储数据库中的数据通过JDBC接口与数据应用层进行数据交互；流处理模块产生的实时预警消息推送经中间消息件Kafka，传输给数据应用层。数据处理层设有Spark批处理作业大数据分析挖掘模块，所述模块利用Redis分布式K/V内存数据库和大数据存储Hbase数据库、Hive数据库的数据进行数据分析与挖掘，并将结果返回给大数据存储Hbase数据库、Hive数据库。进一步的，所述的数据应用层可以向数据处理层发出请求，请求分为复杂分析请求和简单查询统计请求：（1）复杂分析请求的处理：复杂分析请求经SpringDataflowTaskapi传输给Spark即时批处理作业模块，Spark即时批处理作业模块从大数据存储Hbase数据库、Hive数据库及Redis分布式K/V内存数据库调取数据进行处理计算，计算结果传输给大数据存储Hbase数据库、Hive数据库，并经中间消息件Kafka返回给数据应用层；（2）简单查询统计请求处理：根据请求查询要求直接将大数据存储Hbase数据库、Hive数据库中的数据返回给数据应用层。进一步的，所述的数据应用层使用企业级服务总线技术对各警务、警种等业务系统进行统一集成，并结合Kafka订阅机制，将各业务系统需要大数据平台处理后的主体数据集进行标准化接口集成，各业务系统将共享大数据主题仓库数据集。再者，基于微服务架构的开放式开发平台，实现警务人员、行业专家等开放式开发需要。扁平化、所见即所得的运用大数据资源进行算法模型、技战法运用的定制开发和演练，确实提高各警务人员的侦查手段和经验分享。一种可信安全跨域数据交换的传输方法，包括：S1：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；S2：将数据采集层采集数据进行标准化数据转换；S3：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；S4：各业务系统将共享数据；共享开放式开发平台。本专利技术提供了一种安全的数据整合方式，能够融合不同结构的数据形成数据库，并对数据进行处理共享，能够保证数据库的安全性，避免被网络攻击。附图说明图1为本专利技术的处理过程原理图；图2为K8s服务容器资源协调图。具体实施方式下面结合说明书附图对本专利技术的技术方案作进一步说明。本专利技术提供了一种可信安全跨域数据交换的数据总线，如图1所示，兼顾着各方元数据来源的标准化融合，形成基础信息数据资源库。在基础信息资源库上通过大数据治理服务对其元数据进行抽取清洗、智能规约、标签应用、索引建模、离线运算等大数据技术手段，形成应用服务数据仓库和主题模型。平台主要构建在Hadoop大数据架构之上，针对各种不同应用场景，采用HBase数据库对需要随机访问处理、实时读写的数据进行标准化存储；同时使用基于MapReduce、Spark等的技术体系实现并行计算等需求。另外针对明确的应用场景和业务需求，使用Hive技术手段基于HBase进行数据主题仓库的建设。所述数据总线结构主要包括数据采集层、数据治理层、数据处理层、数据应用层。（一）数据采集层数据主要来源分别为本文档来自技高网...

【技术保护点】
1.一种可信安全跨域数据交换的数据总线，其特征在于包括：/n（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；/n（二）数据治理层：将数据采集层采集数据进行标准化数据转换；/n（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；/n（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。/n

【技术特征摘要】
1.一种可信安全跨域数据交换的数据总线，其特征在于包括：
（一）数据采集层：利用flume日志采集模块和ETL数据采集模块采集不同场景数据；
（二）数据治理层：将数据采集层采集数据进行标准化数据转换；
（三）数据处理层：根据业务特征关系，将标准化数据进行非范式关系、数据冗余等处理，形成完整的业务数据集；
（四）数据应用层：各业务系统将共享数据；共享开放式开发平台。


2.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于：所述数据采集层的数据主要来源分别为物联网、互联网、政务内网、业务应用系统，根据不同数据来源场景，分别使用不同的应用采集前置服务来完成；基于SpringBoot微服务架构，结合Docker容器部署，统一使用K8S进行服务容器资源协调来实现整个大数据ETL数据采集和flume日志采集过程。


3.根据权利要求2所述的一种可信安全跨域数据交换的数据总线，其特征在于针对物联网非结构化、半结构化低价值密度数据进行关键数据特征提取，数据解析语义分析后形成标准化结构数据；通过网络爬虫技术对互联网关键舆情数据提取、语意分析后形成标准化结构数据；政务网应用及专网业务应用系统大多为结构化关系型数据，通过去重、替换、合并等技术手段对其进行标准化统一导入。


4.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据治理层通过自定义转换处理模型、关键特征过滤，实现向高价值结构化数据转换，并结合多维元数据信息，利用关键特征数据结合业务核心算法实现，最终建立适合解决业务主题分析的数据仓库，为实现高性能并行查询分析统计提供支撑。


5.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于所述的数据采集层采集的日志或者数据传输给消息中间件Kafka，消息中间件Kafka是基于消息订阅模式的，一个订阅主题进行一次流程或者算法的实现，消息中间件根据订阅的主题，把数据推送或者拉取给这个订阅主题模块进行流程或者计算处理，订阅主题模块处理的结果，由另外一个订阅主题模块来订阅使用，就会把处理结果推送给下一个订阅模块去处理，依次执行下去；
所述的日志数据由订阅主题模块订阅后，经中间消息件Kafka进行流处理模块，流处理方式可以为Kafkastream流处理方式或者SparkStreaming流处理方式，处理结果存储到大数据存储Hbase数据库、Hive数据库和字典及部分中间结果存储数据库MySQL。


6.根据权利要求1所述的一种可信安全跨域数据交换的数据总线，其特征在于针对不同的业务场景、分析特...

【专利技术属性】
技术研发人员：王淳，
申请(专利权)人：浙江公共安全技术研究院有限公司，
类型：发明
国别省市：浙江;33