一种多系统多业务的可视化系统接入工具技术方案

本发明专利技术提供一种多系统多业务的可视化系统接入工具。一种多系统多业务的可视化系统接入工具，包括：数据源管理模块，用于对数据链接进行管理；数据目标模板管理模块，用于对数据目标模板进行管理；数据同步模块，用于提供同步任务配置方案；任务管理模块，用于创建数据同步任务并对数据同步任务进行管理；可视化模块，用于对数据同步任务进行可视化展示。本发明专利技术关键在于提供了一种多业务多系统的可视化系统接入工具，实现对企业中不同类型数据的实时收集，建立不同系统数据的连接关系，对数据进行分析整理，让企业内不同系统的数据发挥应有的价值，实现数据驱动企业生产和决策，使企业运营和决策更科学、更合理。更合理。更合理。

【技术实现步骤摘要】
一种多系统多业务的可视化系统接入工具


[0001]本专利技术涉及数据处理
，特别地涉及一种多系统多业务的可视化系统接入工具。

技术介绍

[0002]随着制造业转型升级的脚步持续加快，现如今企业拥有大量的系统，例如仓库管理系统、制造执行系统和企业资源计划系统等。受到企业的企业文化和技术架构等因素的影响，同一个企业的不同系统之间并不连通，造成了数据孤岛现象，很难释放数据的力量，数据也无法发挥应有的价值。

技术实现思路

[0003]针对上述问题，本申请提供一种多系统多业务的可视化系统接入工具，实现对不同系统数据的采集，建立不同系统数据的连接关系，让企业内不同系统的数据发挥应有的价值。
[0004]本专利技术的技术方案为：一种多系统多业务的可视化系统接入工具，包括：
[0005]数据源管理模块，用于对数据链接进行管理，包括新建数据源、测试链接、修改链接、复制链接、查询链接和删除链接；
[0006]数据目标模板管理模块，用于对数据目标模板进行管理，包括新建数据目标模板、修改目标模板、模板化快速建立数据链接和删除数据目标模板，数据目标模板为系统与数据库之间的数据关系映射模型；
[0007]数据同步模块，用于提供同步任务配置方案，包括一键实时同步方案、增量实时同步方案和离线同步方案；
[0008]任务管理模块，用于创建数据同步任务并对数据同步任务进行管理，包括创建任务、启动任务、任务监控、任务编辑、任务复制、任务重置和任务删除；
[0009]可视化模块，用于对数据同步任务进行可视化展示。
[0010]进一步地，对于数据同步模块，记同步任务配置当天为第T天，还包括：
[0011]对于一键实时同步方案，先同步全量数据，然后再实时同步增量数据至目标端，同步任务配置当天，源表全量数据一次性写入目标表中的T
‑
1分区，源表增量数据与全量数据合并后实时写入目标表T
‑
1分区；同步任务配置第N天，源表增量数据与全量数据合并后实时写入表T+N
‑
1分区；
[0012]对于增量实时同步方案，仅同步增量数据至目标端。
[0013]进一步地，对于离线同步方案，还包括：
[0014]离线全增量同步，先同步全量数据，然后周期性同步增量数据至目标端，同步任务配置当天，源表全量数据一次性写入目标表T
‑
1分区，同步任务配置第T+N天，源表增量数据周期性写入目标表T+N
‑
1分区；
[0015]周期性全量同步，周期性同步源表全量数据至目标端，同步任务配置第T+1天，源
表全量数据周期性写入目标表T分区；
[0016]一次性全量同步，一次性同步源表全量数据至目标端，同步任务配置当天，源表全量数据一次性写入目标表T
‑
1分区；
[0017]周期性增量同步，周期性同步源表增量数据至目标端，同步任务配置第T+1天，源表增量数据周期性写入目标表T分区；
[0018]一次性增量同步，一次性同步源表增量数据至目标端，任务配置当天T，源表增量数据一次性写入目标表T
‑
1分区。
[0019]进一步地，对于一键实时同步方案，还包括：
[0020]通过数据实时读取单元、数据转换单元和数据写入单元实现数据的实时同步，对于单个一键实时同步方案，支持多个数据转换单元一起对数据实时读取单元读取到的数据进行数据清洗，支持多个数据写入单元将经过数据转换单元进行数据清洗后的数据输出至目标端的目标数据库；
[0021]一键实时同步方案包括单表增量数据实时同步和整库增量数据实时同步；
[0022]对于单表增量数据实时同步，包括对输入的数据源进行数据过滤、字符串替换和数据脱敏处理，再将处理后的数据输出至目标端的目标数据库；
[0023]对于整库增量数据实时同步，默认将数据写入到目标端中的同名表中，若同名表不存在，则默认新建同名表。
[0024]进一步地，对于离线同步方案，还包括：
[0025]支持通过配置模式配置任务、通过脚本模式配置任务、通过OpenAPI配置任务实现对离线同步任务的创建；
[0026]对于通过配置模式配置任务，提供向导式的开发引导，通过可视化的填写和下一步的引导，完成数据同步任务的配置工作；
[0027]对于通过脚本模式配置任务，提供脚本式的开发引导，通过直接编写数据同步的JSON脚本来完成数据同步开发；
[0028]对于通过OpenAPI配置任务，通过OpenAPI调用相关接口，创建数据同步任务。
[0029]进一步地，还包括：
[0030]任务规则管理模块，用于创建数据校验、数据运算和数据处理的规则，并对创建的规则进行管理；
[0031]任务规则管理模块包括：
[0032]规则创建单元，用于自定义数据校验、数据运算和数据处理的规则；
[0033]规则启用停用单元，用于对规则进行启用与停用，
[0034]规则编辑单元，用于对规则的内容进行修改，包括该规则下数据分发目的地、数据处理等信息的修改与保存，以及对规则进行删除，启用状态的规则不允许进行编辑，当规则被停用后可对规则进行修改与删除。
[0035]进一步地，数据运维模块，用于查看数据同步任务的运行详情，对数据同步任务运行使用的资源进行监控，包括获取数据同步任务的整体运行情况、数据同步任务运行期间对资源调度的变化趋势；
[0036]数据运维模块包括实时同步任务运维单元和离线同步任务运维单元。
[0037]进一步地，还包括：
[0038]对于实时同步任务运维单元，包括展示选定日期内实时同步任务的运行状态分布图像，展示实时同步任务的数据同步速度并统计速度的总和，展示预设数量的延迟最高的任务的名称；
[0039]对于离线同步任务运维单元，包括展示选定日期内实时同步任务的运行状态分布图像，展示选定日期内离线同步任务的数据同步量，包括数据总同步量、公网总流量和记录总量；展示预设数量的最新成功任务的名称，展示预设数量的最新失败任务的名称。
[0040]本专利技术具有以下优点：
[0041]本专利技术关键在于提供了一种多业务多系统的可视化系统接入工具，实现对企业中不同类型数据的实时收集，建立不同系统数据的连接关系，对数据进行分析整理，让企业内不同系统的数据发挥应有的价值，实现数据驱动企业生产和决策，使企业运营和决策更科学、更合理。
附图说明
[0042]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0043]图1为本专利技术实施例中一种多系统多业务的可视化系统接入工具的结构示意图。
具体实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多系统多业务的可视化系统接入工具，其特征在于，包括：数据源管理模块，用于对数据链接进行管理，包括新建数据源、测试链接、修改链接、复制链接、查询链接和删除链接；数据目标模板管理模块，用于对数据目标模板进行管理，包括新建数据目标模板、修改目标模板、模板化快速建立数据链接和删除数据目标模板，数据目标模板为系统与数据库之间的数据关系映射模型；数据同步模块，用于提供同步任务配置方案，包括一键实时同步方案、增量实时同步方案和离线同步方案；任务管理模块，用于创建数据同步任务并对数据同步任务进行管理，包括创建任务、启动任务、任务监控、任务编辑、任务复制、任务重置和任务删除；可视化模块，用于对数据同步任务进行可视化展示。2.如权利要求1所述的一种多系统多业务的可视化系统接入工具，其特征在于，对于数据同步模块，记同步任务配置当天为第T天，还包括：对于一键实时同步方案，先同步全量数据，然后再实时同步增量数据至目标端，同步任务配置当天，源表全量数据一次性写入目标表中的T
‑
1分区，源表增量数据与全量数据合并后实时写入目标表T
‑
1分区；同步任务配置第N天，源表增量数据与全量数据合并后实时写入表T+N
‑
1分区；对于增量实时同步方案，仅同步增量数据至目标端。3.如权利要求2所述的一种多系统多业务的可视化系统接入工具，其特征在于，对于离线同步方案，还包括：离线全增量同步，先同步全量数据，然后周期性同步增量数据至目标端，同步任务配置当天，源表全量数据一次性写入目标表T
‑
1分区，同步任务配置第T+N天，源表增量数据周期性写入目标表T+N
‑
1分区；周期性全量同步，周期性同步源表全量数据至目标端，同步任务配置第T+1天，源表全量数据周期性写入目标表T分区；一次性全量同步，一次性同步源表全量数据至目标端，同步任务配置当天，源表全量数据一次性写入目标表T
‑
1分区；周期性增量同步，周期性同步源表增量数据至目标端，同步任务配置第T+1天，源表增量数据周期性写入目标表T分区；一次性增量同步，一次性同步源表增量数据至目标端，任务配置当天T，源表增量数据一次性写入目标表T
‑
1分区。4.如权利要求3所述的一种多系统多业务的可视化系统接入工具，其特征在于，对于一键实时同步方案，还包括：通过数据实时读取单元、数据转换单元和数据写入单元实现数据的实时同步，对于单个一键实时同步方案，支持多个数据转换单元...

【专利技术属性】
技术研发人员：谢莉蕊，石伟，刘永进，曹玉龙，谢超男，王玅，张文茹，
申请(专利权)人：北京航天智造科技发展有限公司，
类型：发明
国别省市：