基于工业互联网行业的有效数据集成管理方法技术

本发明专利技术公开了基于工业互联网行业的有效数据集成管理方法，包括S0开始项目、S1初始化项目、S2实现支持N种数据链路集成方案、S3判断需求是否在已实现的N种数据链路集成方案之内、S4启动工程、S5配置数据源信息、S6配置目的地信息、S7配置新增数据集成任务、S8连接数据源节点到目的地节点、S9保存或修改数据集成任务并确保配置信息正确、S10判断配置信息是否正确、S11发布数据集成任、S12判断数据集成任务是否发布成功以及S13结束任务。本发明专利技术可兼容多数据源、多版本、多场景、多任务和多目的地的数据集成，能够应对企业大多数数据集成场景，简化数据集成场景开发流程，统一底层技术实现方式，降低开发难度，形成统一数据集成平台。台。台。

【技术实现步骤摘要】
基于工业互联网行业的有效数据集成管理方法


[0001]本专利技术涉及数据集成管理的
，特别是基于工业互联网行业的有效数据集成管理方法的


技术介绍

[0002]工业互联网(Industrial Internet)是新一代信息通信技术与工业经济深度融合的新型基础设施、应用模式和工业生态，通过对人、机、物和系统等的全面连接以构建起覆盖全产业链、全价值链的全新制造和服务体系，为工业乃至产业数字化、网络化、智能化发展提供了实现途径。
[0003]在工业互联网行业之中，对于很多企业而言，其在业务经营期间经常需要打通各个业务系统以及第三方系统，从而实现链接各个孤岛系统，整合企业多方数据源，形成统一的数据集成平台，为决策者提供有效数据支撑，赋能企业产业转型升级。
[0004]为此，目前多数企业是按需接入，零散而杂乱，业务系统间耦合重，更多通过API方式以单一线路串接业务系统数据，牵一发而动全身，不能形成体系、数据不完整且业务间耦合性高。具体而言，工业互联网行业的数据集成管理的现有技术存在以下缺陷：
[0005]1)单一API方式不适合满足各种复杂业务场景需求且效率低下；
[0006]2)缺乏统一的数据集成平台用于数据交换及数据处理；
[0007]3)难以处理不同类型业务系统数据对接，其底层技术实现方式存在差异；
[0008]4)业务系统间数据对接耦合重；
[0009]5)开发人员技术能力差异，人力成本大，耗时耗力；
[0010]6)运行维护成本高；
[0011]7)排错难度大。

技术实现思路

[0012]本专利技术的目的就是解决现有技术中的问题，提出基于工业互联网行业的有效数据集成管理方法，可优化并提升现有数据集成场景中实施流程，兼容多数据源、多版本、多场景、多任务和多目的地的数据集成，统一管控，从而实现有效的数据集成管理方法，能够应对企业大多数数据集成场景，简化数据集成场景开发流程，统一底层技术实现方式，降低开发难度，形成统一数据集成平台，同时节省人力成本、提升效率，进而提升企业效益。
[0013]为实现上述目的，本专利技术提出了基于工业互联网行业的有效数据集成管理方法，包括如下步骤：
[0014]S0.开始项目；
[0015]S1.初始化项目；
[0016]S2.实现支持N种数据链路集成方案；
[0017]S3.判断需求是否在已实现的N种数据链路集成方案之内；若是，则执行步骤S4；若否，则执行步骤S14；
[0018]S4.启动工程；
[0019]S5.配置数据源信息；
[0020]S6.配置目的地信息；
[0021]S7.配置新增数据集成任务；
[0022]S8.连接数据源节点到目的地节点；
[0023]S9.保存或修改数据集成任务并确保配置信息正确；
[0024]S10.判断配置信息是否正确；若是，则执行步骤S11；若否，则执行步骤S9；
[0025]S11.发布数据集成任务；
[0026]S12.判断数据集成任务是否发布成功；若是，则执行步骤S13；若否，则执行步骤S9；
[0027]S13.结束任务；
[0028]S14.在项目中增添支持新数据链路集成功能。
[0029]作为优选，在所述步骤S5中，数据源信息包括数据源名称、数据源类型、数据库类型、数据库驱动、数据库地址、用户名和密码中的一种或几种的组合。
[0030]作为优选，在所述步骤S6中，目的地信息包括目的地名称、目的地类型和目的地连接信息中的一种或几种的组合。
[0031]作为优选，在所述步骤S7中，新增数据集成任务包括任务名称、数据源节点信息和目的地节点信息中的一种或几种的组合。
[0032]作为优选，所述数据源节点信息包括节点名称、选择数据源、数据库、选择表、选择字段映射字段及新字段信息和数据摄入类型及频率中的一种或几种的组合。
[0033]作为优选，所述目的地节点信息包括节点名称、选择目的地和目的地连接信息中的一种或几种的组合。
[0034]作为优选，在步骤S4之后还包括步骤S15和步骤S16且步骤S15和步骤S16的具体过程如下：
[0035]S15.定时遍历所有数据集成任务并判断是否存在异常任务；若是，则执行步骤S16；若否，则执行步骤S15；
[0036]S16.统计告警通知并处理，再执行步骤S13。
[0037]本专利技术的有益效果：
[0038]1)本专利技术对于开发人员而言简单实用，易于扩展推广，有益于提升工业互联网行业数据集成管理工作效率，降低开发人员人力成本，提升企业效益；
[0039]2)本专利技术能够形成统一数据集成平台，兼容大多数的数据集成场景，统一企业数据集成工作，并可对异常数据集成任务进行告警；
[0040]3)本专利技术能够应对工业互联网行业下各种复杂的异构数据源数据集成工作，从而为工业互联网行业下多种复杂的数据集成场景提供了一种很好的解决方案。
[0041]本专利技术的特征及优点将通过实施例结合附图进行详细说明。
【附图说明】
[0042]图1是本专利技术基于工业互联网行业的有效数据集成管理方法的流程图；
【具体实施方式】
[0043]数据集成管理工作不仅是工业互联网行业打通各个终端孤岛系统的重要任务，也关系到工业互联网平台数据管控能力和效率。本专利技术基于工业互联网行业的有效数据集成管理方法，源于工业互联网数据集成管理工作繁杂且开发人员技术能力差异而提出，主要包括如下六个部分：
[0044]a)系统归纳出需要实现支持的N种数据链路集成方案(如常见的大多数数据源数据库类型、数据源数据库版本、目的地类型以及目的地基础信息，具体为将数据从哪个数据源数据库集成到哪个目的地中，数据集成频率如何，实时集成还是批量集成以及数据源数据库版本如何等)；
[0045]b)确定各种数据链路集成场景下的底层技术实现方式以及实现流程；
[0046]c)梳理数据集成配置界面样式以及配置功能方式，绘制成UI界面；
[0047]d)遍历所有任务类型，以确定所有数据集成任务是否异常，针对异常任务进行统计告警处理；
[0048]e)将所有场景下的数据集成方式、流程以及界面通过程序编码进行实现；
[0049]f)通过界面配置方式提交数据集成任务，形成统一数据集成平台。
[0050]本专利技术主要从通用性的角度来对数据集成工作进行统一管理，具体操作在程序中实现。参阅图1，基于工业互联网行业的有效数据集成管理方法，包括如下步骤：
[0051]S0.开始项目；
[0052]S1.初始化项目；
[0053]S2.实现支持N种数据链路集成方案；
[0054]S3.判断需求是否在已实现的N种数据链路集成方案之内；若是，则执行步骤S4；若否，则执行步骤S14；
[0055]S4.启动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于工业互联网行业的有效数据集成管理方法，其特征在于，包括如下步骤：S0.开始项目；S1.初始化项目；S2.实现支持N种数据链路集成方案；S3.判断需求是否在已实现的N种数据链路集成方案之内；若是，则执行步骤S4；若否，则执行步骤S14；S4.启动工程；S5.配置数据源信息；S6.配置目的地信息；S7.配置新增数据集成任务；S8.连接数据源节点到目的地节点；S9.保存或修改数据集成任务并确保配置信息正确；S10.判断配置信息是否正确；若是，则执行步骤S11；若否，则执行步骤S9；S11.发布数据集成任务；S12.判断数据集成任务是否发布成功；若是，则执行步骤S13；若否，则执行步骤S9；S13.结束任务；S14.在项目中增添支持新数据链路集成功能。2.如权利要求1所述的基于工业互联网行业的有效数据集成管理方法，其特征在于：在所述步骤S5中，数据源信息包括数据源名称、数据源类型、数据库类型、数据库驱动、数据库地址、用户名和密码中的一种或几种的组合。3.如权利要求1所述的基于工业互联网行业的有效数据集成管理方法，其特征在于：在所述步骤S...

【专利技术属性】
技术研发人员：聂清，黎冬生，
申请(专利权)人：杭州玖欣物联科技有限公司，
类型：发明
国别省市：