数据传输方法、装置、服务器、终端、系统及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据传输方法，包括：服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求；根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务，如此，能够实现Flume任务资源的动态管理。本发明专利技术实施例还提供了一种数据传输装置、服务器、终端、系统及存储介质。

【技术实现步骤摘要】
数据传输方法、装置、服务器、终端、系统及存储介质
本专利技术涉及数据处理领域，尤其是涉及一种数据传输方法、装置、服务器、终端、系统及存储介质。
技术介绍
Flume是一种分布式的流式数据传输工具，它能够对流式数据进行高效地收集、聚合以及分流，用灵活的拓扑方式传输流式数据。同时，Flume还具有良好的鲁棒性，有一定的容错能力和故常切换能力，是目前大数据领域流式数据传输的主流工具。然而，当前对Flume数据流资源的控制管理很不灵活，导致存在Flume数据流资源集群时出现资源混乱的情况，造成大面积的负载不均衡，因此，如何有效的管理Flume数据流资源是亟需解决的重要问题。
技术实现思路
有鉴于此，本专利技术实施例的主要目的在于提供一种数据传输方法，装置、服务器、终端、系统及存储介质，能够实现Flume任务资源的动态管理。为达到上述目的，本专利技术实施例提供了一种数据传输方法，包括：服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求；根据所述任务创建请求向资源管理器Yarn发送启动请求本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，包括：/n服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求；/n根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；/n获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务。/n

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：
服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求；
根据所述任务创建请求向资源管理器Yarn发送启动请求信息，所述启动请求信息中携带有所述Flume任务的运行资源参数；
获取所述Yarn根据接收到所述启动请求信息后返回的响应信息，根据所述响应信息向指定代理节点发送任务运行请求，所述任务运行请求用于在所述Yarn中所述指定代理节点获取所述Flume任务的运行资源并运行所述Flume任务。


2.根据权利要求1所述的数据传输方法，其特征在于，还包括：
采集所述Flume任务在所述Yarn上的运行日志信息；其中，所述Flume任务的运行日志信息实时存储于对应的消息列队中；
周期性发送所述运行日志信息到指定终端。


3.根据权利要求1所述的数据传输方法，其特征在于，还包括：
采集所述Flume任务在所述Yarn上的运行状态信息；其中，所述Flume任务的运行状态信息实时更新于对应的分布式应用程序协调服务节点中；
周期性发送所述运行状态信息到指定终端。


4.根据权利要求1至3中任一项所述的数据传输方法，其特征在于，所述服务器接收携带有日志收集系统Flume任务的配置参数的任务创建请求之后，还包括：
服务器根据所述Flume任务的配置参数确定所述Flume任务的Flume配置文件，当所述Flume任务的目的地址为HDFS时，更新所述Flume任务的传输路径和传输文件名中的日期属性；其中，所述Flume配置文件携带有所述Flume任务的所述目的地址。


5.根据权利要求4所述的数据传输方法，其特征在于，所述根据所述任务创建请求向资源管理器Yarn发送启动请求信息，包括：
根据所述任务创建请求中的Flume任务的配置参数确定所述Flume任务的Flume资源需求信息；其中，所述Flume资源需求信息携带有运行所述Flume任务的资源量参数以及Yarn中调度队列的信息；
根据所述Flume资源需求信息确定所述Flume任务的运行环境；
根据所述Flume配置文件和所述Flume任务的运行环境向所述Yarn发送启动请求信息。

【专利技术属性】
技术研发人员：张永曦，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏;32