一种跨网数据共享交换系统技术方案

本发明专利技术涉及一种跨网数据共享交换系统，属于数据中台、数据安全领域。本发明专利技术的系统包括数据共享交换子系统、数据采集子系统、数据治理子系统、数据共享子系统和数据交换支撑工具。本发明专利技术为跨网数据交换系统的研制提供一个方法，加强了数据在存储、流转中的便捷性和安全性。数据交换系统为数据跨层级、跨区域、跨部门、跨系统、跨网络、跨密级传输提供一个可落地实施的方法，使用该方法交换的数据做到可管控、可追溯、有存证、能举证。本发明专利技术除可用于数据流转和传输之外之外，还支持基于规则的数据流转，使得业务人员通过定义业务规则，就能够实现数据流转。实现数据流转。实现数据流转。

【技术实现步骤摘要】
一种跨网数据共享交换系统


[0001]本专利技术属于数据中台、数据安全领域，具体涉及一种跨网数据共享交换系统。

技术介绍

[0002]随着信息化、数字化建设的深入发展，推进各部门横向和纵向间的数据交换，实现跨层级、跨区域、跨部门、跨系统、跨网络数据共享与业务协同，已经成为数字化乃至数智化的关键所在。保障各部门数据的结构化数据、半结构化数据、非结构化数据的便捷传输及其传输安全性,已经成为对数据共享交换系统的迫切需求，多数的共享交换系统仅实现报文和文件的传输，并且传输的数据是点到点的传输，缺乏对数据跨层、跨域、跨密级路由的支持，也缺乏对传输数据的安全控制，给数据的泄露带来隐患。
[0003]本专利技术的目的是提供一种跨网数据共享交换系统，使用本专利技术能够解决：
①
数据的跨层级、跨区域、跨部门、跨系统、跨网络、跨密级传输；
②
对结构化数据的路由和传输(关系数据库)；
③
对非结构化和半结构化数据的路由和传输；
④
数据的安全传输。

技术实现思路

[0004](一)要解决的技术问题
[0005]本专利技术要解决的技术问题是如何提供一种跨网数据共享交换系统，以解决上述技术问题。
[0006](二)技术方案
[0007]为了解决上述技术问题，本专利技术提出一种跨网数据共享交换系统，该系统包括数据共享交换子系统、数据采集子系统、数据治理子系统、数据共享子系统和数据交换支撑工具；
[0008]数据共享交换子系统通过内部交换、外部交换、数据同步、文件同步实现数据的纵向和横向流转和交换；
[0009]数据采集子系统实现把外部数据抽取、加载到内部贴源库中，抽取的数据包括结构化数据、半结构化数据、非结构化数据、流式数据和物联网数据，实现数据的采集和同步，同时实现对采集的数据对账，确保数据传输的一致性；
[0010]数据共享子系统用于将集成库中的数据通过数据共享手段为数据共享交换子系统提供更加有效的数据资源；数据共享手段包括：数据目录、数据权限、数据订阅分发、数据对象方案和数据集成；
[0011]数据交换支撑工具为数据共享交换子系统、数据采集子系统、数据治理子系统和数据共享子系统提供支撑，包括：数据抽取、数据加载、安全传输、文件搬运、跨域隔离交换适配、计算模型管理、健康检查、数据校验、服务引擎、流程引擎、调度引擎、规则引擎、离线计算引擎、实时计算引擎、即席查询引擎和弹性计算引擎。
[0012](三)有益效果
[0013]本专利技术提出一种跨网数据共享交换系统，本专利技术为跨网数据交换系统的研制提供
一个方法，加强了数据在存储、流转中的便捷性和安全性。数据交换系统为数据跨层级、跨区域、跨部门、跨系统、跨网络、跨密级传输提供一个可落地实施的方法，使用该方法交换的数据做到可管控、可追溯、有存证、能举证。本专利技术除可用于数据流转和传输之外之外，还支持基于规则的数据流转，使得业务人员通过定义业务规则，就能够实现数据流转。
附图说明
[0014]图1为本专利技术跨网数据共享交换系统体系架构示意图；
[0015]图2为内部交换的数据流程图；
[0016]图3为外部交换的数据处理体系架构图；
[0017]图4为外部交换的数据处理流程图；
[0018]图5为文件同步的流程图。
具体实施方式
[0019]为使本专利技术的目的、内容和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。
[0020]本专利技术的一种跨网数据共享交换系统体系架构示意图如图1所示。
[0021]跨网数据共享交换系统包括：数据共享交换子系统(参看标号
③
)、数据采集子系统(参看标号)、数据治理子系统(参看标号)、数据共享子系统(参看标号)、数据交换支撑工具(参看标号)等五个子系统，数据共享交换子系统(参看标号
③
)使用数据采集子系统(参看标号)、数据治理子系统(参看标号)、数据共享子系统(参看标号)、数据交换支撑工具(参看标号)提供等服务和能力。
[0022](1)数据共享交换子系统(参看标号
③
)
[0023]数据共享交换子系统通过内部交换、外部交换、数据同步、文件同步等功能实现数据的纵向和横向流转和交换。
[0024]1)内部交换：局域网内的数据流转；
[0025]2)外部交换：跨层级、跨区域、跨部门、跨系统、跨网络、跨密级的数据交换；
[0026]3)数据同步：由于网络时延问题，一般指同城数据(结构化、半结构化、非结构化)的同步和备份；
[0027]4)文件同步：文档、音频、视频等的同步和备份
[0028](2)数据采集子系统(参看标号)
[0029]数据采集子系统实现把外部数据抽取、加载到内部系统(贴源库中)，抽取的数据包括结构化数据、半结构化数据、非结构化数据、流式数据、流式数据和物联网数据，实现数据的采集和同步，同时可选实现对采集的数据对账，确保数据传输的一致性。
[0030](3)数据治理子系统(参看标号)
[0031]数据治理子系统用于将贴源库中的数据经过数据治理后放入集成库中，数据治理包括数据规范、数据模型构建、字段归集、数据分类、字段映射、数据质量等步骤。
[0032](4)数据共享子系统(参看标号)
[0033]数据共享子系统用于将集成库中的数据通过数据共享手段为数据共享交换子系统提供更加有效的数据资源。数据共享手段包括：数据目录、数据权限、数据订阅分发、数据对象方案、数据集成等。
[0034]数据目录：面向待共享数据，构建共用的信息服务运行承载平台和信息资源共享环境，提供服务注册与组织、发布与发现、目录数据同步共享、订阅与投送等支撑服务，有机链接各业务信息服务系统，实现各类信息资源的受控共享。
[0035]数据权限：待传输的数据已经通过分类分级定密，对于数据从低密级网到高密级网需要走审批流程，或者对特定岗位或人员免审批；对于数据从高密级网到低密级，需要对数据本身的密级经过严格审核，确保要传输到的目标网络的密级不低于数据本身的密级。
[0036]数据订阅分发：通过利用数据目录的节点发现、信息编目组织、目录同步、信息资源搜索等功能，实现信息资源搜索、信息投送分发等服务。
[0037]数据对象访问：支撑数据以数字对象的形式在全域上的标识、解析、搜索、发现和使用。
[0038]数据集成：通过对作业定义模板、定义数据处理策略，数据可以按照已定义的一个或多个模板、规则传输，实现基于规则的数据流转。
[0039](5)数据交换支撑工具(参看标号)
[0040]数据交换支撑工具为数据共享交换子系统、数据采集子系统、数据治理子系统和数据共享子系统提供支撑，包括：数据抽取、数据加载、安全传输、文件搬运、跨域隔离交换适配、计算模型管理、健康检查、数据校验、服务引擎、流程引擎、调度引擎本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨网数据共享交换系统，其特征在于，该系统包括数据共享交换子系统、数据采集子系统、数据治理子系统、数据共享子系统和数据交换支撑工具；数据共享交换子系统通过内部交换、外部交换、数据同步、文件同步实现数据的纵向和横向流转和交换；数据采集子系统实现把外部数据抽取、加载到内部贴源库中，抽取的数据包括结构化数据、半结构化数据、非结构化数据、流式数据和物联网数据，实现数据的采集和同步，同时实现对采集的数据对账，确保数据传输的一致性；数据共享子系统用于将集成库中的数据通过数据共享手段为数据共享交换子系统提供更加有效的数据资源；数据共享手段包括：数据目录、数据权限、数据订阅分发、数据对象方案和数据集成；数据交换支撑工具为数据共享交换子系统、数据采集子系统、数据治理子系统和数据共享子系统提供支撑，包括：数据抽取、数据加载、安全传输、文件搬运、跨域隔离交换适配、计算模型管理、健康检查、数据校验、服务引擎、流程引擎、调度引擎、规则引擎、离线计算引擎、实时计算引擎、即席查询引擎和弹性计算引擎。2.如权利要求1所述的跨网数据共享交换系统，其特征在于，内部交换指局域网内的数据流转；外部交换指跨层级、跨区域、跨部门、跨系统、跨网络、跨密级的数据交换；数据同步指同城数据的同步和备份；文件同步指文档、音频、视频的同步和备份。3.如权利要求1所述的跨网数据共享交换系统，其特征在于，数据目录指：面向待共享数据，构建共用的信息服务运行承载平台和信息资源共享环境，提供服务注册与组织、发布与发现、目录数据同步共享、订阅与投送支撑服务，有机链接各业务信息服务系统，实现各类信息资源的受控共享；数据权限指：待传输的数据已经通过分类分级定密，对于数据从低密级网到高密级网需要走审批流程，或者对特定岗位或人员免审批；对于数据从高密级网到低密级，需要对数据本身的密级经过严格审核，确保要传输到的目标网络的密级不低于数据本身的密级；数据订阅分发指：通过利用数据目录的节点发现、信息编目组织、目录同步、信息资源搜索功能，实现信息资源搜索、信息投送分发服务；数据对象访问指：支撑数据以数字对象的形式在全域上的标识、解析、搜索、发现和使用；数据集成指：通过对作业定义模板、定义数据处理策略，数据按照已定义的一个或多个模板、规则传输，实现基于规则的数据流转。4.如权利要求1所述的跨网数据共享交换系统，其特征在于，数据抽取指：实现基于规则的从结构化数据中全量和增量抽取数据；数据加载指：实现把接收到的数据加载到结构化数据库中；安全传输指：实现数据在传输过程中的加密、解密、脱密处理；文件搬运指：实现文档、视频、音频、电子表格、文本、ppt、html文件的读取、分包、合并、写入；跨域隔离交换适配指：在跨网传输中，不同厂家的跨网隔离交换方案和设备是不同的，对应的API也不同，为了增强系统的环境适应性，数据抽取、文件搬运的数据传输处理逻辑不变，对不同厂家的跨网隔离交换方案和设备进行适配性改造，确保应用功能的一致性和
完整性；计算模型管理指：为了确保跨网传输的数据能够正常恢复，在某些严格要求的环境下，需要计算模型的支撑，计算模型包括模型发布注册、按需检索，使网络上的各类资源能够以服务化...

【专利技术属性】
技术研发人员：朱延超，张宏，余增文，方志，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：