一种线上授权线下交互业务数据的混合对接系统技术方案

本发明专利技术公开了一种线上授权线下交互业务数据的混合对接系统，具体涉及数据交互领域，包括交互数据管理模块、数据源连接管理模块、任务管理模块、数据传输管理模块，实时监控模块以及用户管理模块，所述交互数据管理模块提供交互数据源的元数据采集和梳理标注功能，为数据整合交互提供必要的样例分析服务，所述数据源连接管理模块支持对各种异构的关系型数据库、二进制文件大数据平台多类型数据源的连接。本发明专利技术通过CDC基于非侵入式的方式，当发现源表数据发生变动时，对目标库表进行实时同步更新操作，对于在线运行中的应用系统，在数据交换过程中可能持续有新的数据进入，增量同时启动开始捕获数据。启动开始捕获数据。启动开始捕获数据。

【技术实现步骤摘要】
一种线上授权线下交互业务数据的混合对接系统


[0001]本专利技术涉及数据交互领域，更具体地说，本专利技术涉及一种线上授权线下交互业务数据的混合对接系统。

技术介绍

[0002]大量的信息数据是工程项目的基础，也是目前工程项目管理难以突破的瓶颈，由于各个单位信息系统相互独立，种类繁多而且没有统一化、 系统化、规范化的数据管理，导致数据往往会被孤立，随着管理的项目越来越多，系统中数据量日益增长，数据的统一管理、交互工作也显得格外重要，以往的数据对接中只是针对某个项目进行，依然没有解决数据孤岛的问题，而作为公司总部或者集团型企业总部，往往需要对各级单位的数据进行整合、汇总，形成以总部为核心的数据库或数据湖，为总部统筹决策、资源调配以及分析评价各方面服务，因此如何在现有资源条件下，更好地实现各单位的数据对接，以什么方式进行整合，是目前面临的问题。
[0003]现有的系统缺少专门对数据进行管理、监督和控制的组织。信息系统的建设和管理职能分散在各个业务部门，数据管理的职责分散，权责不明确。组织机构各部门关注数据的角度不同，缺少一个组织从全局的视角对数据进行管理，导致无法建立统一的数据管理规程、标准等，相应的数据管理监督措施无法得到落实，组织机构的数据考核体系也尚未建立，无法保障数据管理标准和规程的有效执行。

技术实现思路

[0004]为了克服现有技术的上述缺陷，本专利技术的实施例提供一种线上授权线下交互业务数据的混合对接系统，通过xx，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：包括交互数据管理模块、数据源连接管理模块、任务管理模块、数据传输管理模块，实时监控模块以及用户管理模块，所述交互数据管理模块提供交互数据源的元数据采集和梳理标注功能，为数据整合交互提供必要的样例分析服务，所述数据源连接管理模块支持对各种异构的关系型数据库、二进制文件大数据平台多类型数据源的连接，所述任务管理模块实现复制同步任务管理、交互整合任务管理、文件传输任务管理、数据文件入库任务管理以及任务调度管理支持实时和定时的数据同步交互，所述数据传输管理模块运用WAN多线程传输加速，实现跨网段的实时数据交互，所述实时监控模块对主机、交互任务、通道运行监控以及对交互数据流转进行跟踪，提供可视化监控管理，所述用户管理模块通过授权账户登录系统，实现企业、市场、交付、客户各个业务之间的相互交流。
[0006]在一个优选地实施方式中，所述交互数据管理模块基于B/S架构，各节点均提供交互数据源的元数据采集和梳理标注功能，形成本地数据目录，支持查询、查看实例数据、进行数据分析、标注中文语义等元数据操作，为数据整合交互提供必要的样例分析服务，并实现对交互数据结构的管理和定义，具有远程数据通道服务器，支持通道主图连接用户的管
理、通道配置，安全管理设置、数据授权服务以及数据通道的运行监控，通道用户管理支持通道主体连接用户的创建、管理和删除，通道配置实现通道服务类型和通道消息处理方式的配置、连接用户的数据权限和交互数据结构标准的选用，运用Informatica PowerCente使用户能够方便地从异构的已有系统和数据源中抽取数据，拥有强大的数据整合殷勤，所有的数据抽取转换、整合都是在内存中执行的，能够保证数据整合过程能够最优化执行，便于数据仓库管理员对系统进行管理，适应增加的数据装载和用户群。
[0007]在一个优选地实施方式中，所述数据源连接管理模块采用Kafka技术支持动态加载不同版本的驱动及参数配置，以适应集成环境中同时具有不同版本的数据库以及分布式数据库，支持对各种异构的关系型数据库、二进制文件大数据平台多类型数据源的连接，登录系统创建数据库连接信息，给每个数据源分配一个位移的code，支持多种数据库类型，数据源创建成功后可以针对这个数据源定义相关资源的增删改查接口，分别对应restful的post、delete、put、get请求接口定义完成后，自动生成接口地址，系统接收到请求后，从请求接口地址中解析出要操作的数据源code，基于Durid创建对应的数据库连接池。
[0008]在一个优选地实施方式中，所述任务管理模块系统能够实现复制同步任务管理、交互整合任务管理、文件传输任务管理、数据文件入库任务管理以及任务调度管理支持实时和定时的数据同步交互，复制同步任务应包括全量和日志模式增量CDC任务，支持Oracle、SQLServer、MySQL、PostgreSQL、Infbrmix，支持按应用系统处理事务的时间次序交互数据，保证业务数据的完整性和一致性交互整合任务，支持触发器、标识位、时间戳、全量比对等增量模式，以及对物理表和视图的交互、多表整合，文件传输任务实现指定系统目录下及FTP、HDFS文件服务器下文件的高效流传输交互，通过RelayFS实现高效的数据传输技术，Relay提供了一种机制，使得内核空间的程序能够通过用户定义的relay通道（channel）将大量数据高效地传输到用户空间，一个relay通道由一组和CPU一一对应的内核缓冲区组成，这些缓冲区又被称为relay缓冲区，其中的每一个在用户空间都用一个常规文件来表示，这被叫做relay文件，内核空间的用户可以利用relay提供的API接口来写入数据，这些数据会被自动地写入当前的CPU id对应的那个relay缓冲区，这些缓冲区从用户空间看来，是一组普通文件，可以直接使用read(）进行读取，也可以使用mmap(）进行映射，Relay将数据的读和写分离，使得突发性大量数据写入的时候，不需要受限于用户空间相对较慢的读取速度，从而大大提高了效率，Relay作为写入和读取的桥梁，也就是将内核用户写入的数据缓存并转发给用户空间的程序，任务调度管理能够设置任务定时，并按设置的时间周期智能启动任务的执行，复制同步任务和交互整合任务中通过过滤的数据处理功能，数据过滤能够实现按指定条件对元数据进行过滤，为满足条件的数据不予以交换。
[0009]在一个优选地实施方式中，所述数据传输管理模块运用WAN多线程传输加速，实现跨网段的实时数据交互，运用远程安全通道服务功能，分离数据源和目标数据库的权限，实现跨网络节点之间的安全数据交互，第三方通过系统授权账户访问平台数据，运用数据加密和数据远程传输的方法，实现断点续传。
[0010]在一个优选地实施方式中，所述实时监控模块通过接入节点数据源和系统的实时运行监控、运营统计分析、报警通知以及成果展现，所述实时运行监控对主机、交互任务、通道运行监控以及对交互数据流转进行跟踪，通过连接用户名/密码、数据授权、数据加/解密、数据压缩，以及节点IP过滤全方位的数据交互安全功能，提供可视化监控管理以图标的
方式呈现，所述运营统计分析对设定时间段的任务运行情况、交互业务运行情况提供多视角的统计分析，所述报警通知对异常情况进行报警，对运行状况定时告知，所述成果展现面向上层管理提供交互数据的动态展示、交互任务和业务运行展示以及业绩展示功能。
[0011]在一个优选地实施方式中，所述用户管理模块通过Web设计界面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于智慧城市云服务的数据加密系统，其特征在于：包括交互数据管理模块、数据源连接管理模块、任务管理模块、数据传输管理模块，实时监控模块以及用户管理模块，所述交互数据管理模块提供交互数据源的元数据采集和梳理标注功能，为数据整合交互提供必要的样例分析服务，所述数据源连接管理模块支持对各种异构的关系型数据库、二进制文件大数据平台多类型数据源的连接，所述任务管理模块实现复制同步任务管理、交互整合任务管理、文件传输任务管理、数据文件入库任务管理以及任务调度管理支持实时和定时的数据同步交互，所述数据传输管理模块运用WAN多线程传输加速，实现跨网段的实时数据交互，所述实时监控模块对主机、交互任务、通道运行监控以及对交互数据流转进行跟踪，提供可视化监控管理，所述用户管理模块通过授权账户登录系统，实现企业、市场、交付、客户各个业务之间的相互交流。2.根据权利要求1所述的一种线上授权线下交互业务数据的混合对接系统，其特征在于：所述交互数据管理模块基于B/S架构，各节点均提供交互数据源的元数据采集和梳理标注功能，形成本地数据目录，支持查询、查看实例数据、进行数据分析、标注中文语义等元数据操作，为数据整合交互提供必要的样例分析服务，并实现对交互数据结构的管理和定义，具有远程数据通道服务器，支持通道主图连接用户的管理、通道配置、安全管理设置、数据授权服务以及数据通道的运行监控，通道用户管理支持通道主体连接用户的创建、管理和删除，通道配置实现通道服务类型和通道消息处理方式的配置、连接用户的数据权限和交互数据结构标准的选用，运用Informatica PowerCente使用户能够方便地从异构的已有系统和数据源中抽取数据。3.根据权利要求1所述的一种线上授权线下交互业务数据的混合对接系统，其特征在于：所述数据源连接管理模块采用Kafka技术支持动态加载不同版本的驱动及参数配置，以适应集成环境中同时具有不同版本的数据库以及分布式数据库，支持对各种异构的关系型数据库、二进制文件大数据平台多类型数据源的连接，登录系统创建数据库连接信息，给每个数据源分配一个位移的code，支持多种数据库类型，数据源创建成功后可以针对这个数据源定义相关资源的增删改查接口，分别对应restful的post、delete、put、get请求接口定义完成后，自动生成接口地址，系统接收到请求后，从请求接口地址中解析出要操作的数...

【专利技术属性】
技术研发人员：李建珍，
申请(专利权)人：山西迈特锐科技有限公司，
类型：发明
国别省市：