用于管理和监控分布式数据采集任务的方法和系统技术方案

本发明专利技术涉及一种用于管理和监控分布式数据采集任务的方法和系统。基于本发明专利技术所涉及的数据传输管控工具，建立离线传输网络，完成传输任务设置，并跟踪传输任务状态，从而实现跨网络环境(公网、DCN网络、CN2网络)的传输任务管理和传输状态跟踪的通用能力。管理和传输状态跟踪的通用能力。管理和传输状态跟踪的通用能力。

【技术实现步骤摘要】
用于管理和监控分布式数据采集任务的方法和系统


[0001]本专利技术涉及大数据领域，尤其涉及数据采集和数据传输及通信技术。

技术介绍

[0002]现有的离线数据采集方法大部分是通过ftp(sftp)与服务器定时任务结合的方式进行离线传输，通过校验文件(check file)和接收回执文件(rpt file)对文件传输进行管理。当前这种方法可以监控文件在服务器两两点对点之间的传输状态，在需要通过多个网络环境、多个服务器节点做中转的场景下，无法及时有效获取当前数据传输状态，只能通过逐个登陆服务器获取文件传输状态，在配置新建传输任务、对传输任务巡检及排障的效率极低。
[0003]究其基本原因，首先电信系统内部由于安全等原因，存在多个内部专网，导致数据传输场景较为复杂，经常需要通过公网及多个内部专网等多个网络环境，由于公网与专网之间以及专网与专网之间网络互相不通，因此在数据传输中经常存在中转透传的传输节点。其次开源工具(ftp/sftp)中缺少管理不同网络环境下、由多个中转透传节点建立的传输通道的能力和方法，对此场景下的传输通道中运行的传输任务也缺乏有效的管理方法。
[0004]因此，需要能够改进现有技术中的缺陷的方法和系统。

技术实现思路

[0005]提供本
技术实现思路
来以简化形式介绍将在以下具体实施方式部分中进一步描述的一些概念。本
技术实现思路
并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0006]本专利技术的技术方案在不改变原有的ftp、sftp等传输模式的情况下，在现有ftp/sftp传输能力基础上，通过自定义的数据传输管控工具对传输流程进行监控和管理，从而在使用推广上具备向下兼容的优势。在数据传输需要跨公网及多个内部网络且传输通道由多个中转透传传输点组成的场景中，通过分布式部署本专利技术的传输管控工具，形成传输管控集群，通过该解决跨网络(公网、内网(DCN、CN2))数据离线任务状态跟踪管理问题。由此，本专利技术的技术方案实现对数据传输任务进行分布式的监控与管理，实时获取数据传输任务在各个传输点状态的能力，解决了现有传输任务有多段ftp/sftp传输的方式下无法获取任务全流程状态的缺陷。
[0007]此外，本专利技术中的技术方案所提供的数据传输管控工具还能够通过对所传输的文件名进行精确匹配与模糊匹配来按照文件名特征完成待传文件的自动扫描和传输，以使得能够适应多种数据传输场景，而无需像现有技术中那样为了设置用于管理的定时任务而分段手动编写传输任务脚本。另外，本专利技术的数据传输管控工具能够融合并适配ftp、sftp、cp、scp等多种数据传输及拷贝方式，解决传输任务适配场景通用性问题。
[0008]在本专利技术的一个实施例中，公开了一种传输管控工具，其用于传输任务状态管理、传输文件特征管理、传输节点管理、传输任务配置管理、以及传输网络管理。首先基于各个
传输管控工具进行组网，然后通过各个传输管控工具进行传输任务设置以及传输任务状态跟踪，这将在下文中更详细地描述。
[0009]在本专利技术的一个实施例中，提供了一种用于管理和监控分布式数据采集任务的方法，该方法包括：
[0010]在公网采集服务器和至少一个内网采集服务器上部署传输管控工具并完成所述传输管控工具的传输集群网络的组网；
[0011]在所述传输管控工具中新建传输任务，所述传输任务包括从源端接收数据文件的第一传输子任务以及将所述数据文件传送至目的端的第二传输子任务，以便于由数据中心采集节点将所述数据文件采集走；
[0012]在所述传输管控工具中设置所述第一传输子任务和所述第二传输子任务的配置信息，设置所述配置信息包括将所述第一传输子任务和所述第二传输子任务的数据传输方式设置为分别与所述源端和所述目的端所使用的数据传输方式相同；以及
[0013]获取在所述传输管控工具本地配置的所有传输任务及相关联的传输过程以检查所述传输过程是否已完成并将检查结果同步至所述传输集群网络中的所有其它传输管控工具。
[0014]在本专利技术的另一个实施例中，提供了一种用于管理和监控分布式数据采集任务的系统，该系统包括：
[0015]用于在公网采集服务器和至少一个内网采集服务器上部署传输管控工具并完成所述传输管控工具的传输集群网络的组网的装置；
[0016]用于在所述传输管控工具中新建传输任务的装置，所述传输任务包括从源端接收数据文件的第一传输子任务以及将所述数据文件传送至目的端的第二传输子任务，以便于由数据中心采集节点将所述数据文件采集走；
[0017]用于在所述传输管控工具中设置所述第一传输子任务和所述第二传输子任务的配置信息的装置，设置所述配置信息包括将所述第一传输子任务和所述第二传输子任务的数据传输方式设置为分别与所述源端和所述目的端所使用的数据传输方式相同；以及
[0018]用于获取在所述传输管控工具本地配置的所有传输任务及相关联的传输过程以检查所述传输过程是否已完成并将检查结果同步至所述传输集群网络中的所有其它传输管控工具的装置。
[0019]在本专利技术的又一个实施例中，提供了一种存储计算机可执行指令的计算机可读介质，这些指令包括：
[0020]用于在公网采集服务器和至少一个内网采集服务器上部署传输管控工具并完成所述传输管控工具的传输集群网络的组网的指令；
[0021]用于在所述传输管控工具中新建传输任务的指令，所述传输任务包括从源端接收数据文件的第一传输子任务以及将所述数据文件传送至目的端的第二传输子任务，以便于由数据中心采集节点将所述数据文件采集走；
[0022]用于在所述传输管控工具中设置所述第一传输子任务和所述第二传输子任务的配置信息的指令，设置所述配置信息包括将所述第一传输子任务和所述第二传输子任务的数据传输方式设置为分别与所述源端和所述目的端所使用的数据传输方式相同；以及
[0023]用于获取在所述传输管控工具本地配置的所有传输任务及相关联的传输过程以
检查所述传输过程是否已完成并将检查结果同步至所述传输集群网络中的所有其它传输管控工具的指令。
[0024]在结合附图研读了下文对本专利技术的具体示例性实施例的描述之后，本专利技术的其他方面、特征和实施例对于本领域普通技术人员将是明显的。尽管本专利技术的特征在以下可能是针对某些实施例和附图来讨论的，但本专利技术的全部实施例可包括本文所讨论的有利特征中的一个或多个。换言之，尽管可能讨论了一个或多个实施例具有某些有利特征，但也可以根据本文讨论的本专利技术的各种实施例使用此类特征中的一个或多个特征。以类似方式，尽管示例性实施例在下文可能是作为设备、系统或方法实施例进行讨论的，但是应当领会，此类示例性实施例可以在各种设备、系统、和方法中实现。
附图说明
[0025]为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中阐示。然而应该注意，附图仅阐示了本公开的某些典型方面，故不应被认为限定其范本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于管理和监控分布式数据采集任务的方法，包括：在公网采集服务器和至少一个内网采集服务器上部署传输管控工具并完成所述传输管控工具的传输集群网络的组网；在所述传输管控工具中新建传输任务，所述传输任务包括从源端接收数据文件的第一传输子任务以及将所述数据文件传送至目的端的第二传输子任务，以便于由数据中心采集节点将所述数据文件采集走；在所述传输管控工具中设置所述第一传输子任务和所述第二传输子任务的配置信息，设置所述配置信息包括将所述第一传输子任务和所述第二传输子任务的数据传输方式设置为分别与所述源端和所述目的端所使用的数据传输方式相同；以及获取在所述传输管控工具本地配置的所有传输任务及相关联的传输过程以检查所述传输过程是否已完成并将检查结果同步至所述传输集群网络中的所有其它传输管控工具。2.如权利要求1所述的方法，其特征在于：所述公网采集服务器从公网数据源获取数据文件并将所获取的数据文件传送至所述至少一个内网采集服务器中的相应的一个内网采集服务器；所述至少一个内网采集服务器从所述公网采集服务器或内网数据源获取数据文件并将所获取的数据文件传送至另一个内网采集服务器或所述数据中心采集节点；所述源端包括所述公网数据源、所述内网数据源和所述公网采集服务器；以及所述目的端包括所述内网采集服务器和所述数据中心采集节点。3.如权利要求1所述的方法，其特征在于，所述传输集群网络的组网包括所述传输管控工具的初始化并启动，以及在已经存在所述传输集群网络的情况下加入现存的传输集群网络，否则新建所述传输集群网络。4.如权利要求1所述的...

【专利技术属性】
技术研发人员：吕超，张继东，李金珅，吴风蛟，郜世伟，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：