数据传输任务处理、数据传输任务监控方法和装置制造方法及图纸

本发明专利技术涉及一种数据传输任务处理方法和装置、数据传输任务监控方法和装置，该数据传输任务处理方法包括：向服务器发送针对用户终端与分布式文件系统之间数据传输任务的注册请求；接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令；根据所述任务启动指令启动所述数据传输任务；向所述服务器上报所述数据传输任务的运行状态；接收所述服务器根据所述运行状态反馈的响应消息；根据所述响应消息对所述数据传输任务进行相应操作。本申请提供的数据传输任务处理方法和装置、数据传输任务监控方法和装置，提高了数据传输的效率。

Data transmission task processing, data transmission task monitoring method and device

The invention relates to a data transmission processing method and device, data transmission method and device for monitoring, including the task of data transmission processing method: request for data transmission between the user terminal and the distributed file system to register server; receiving the starting instruction in the server according to the registration request registration of the data transmission after the task feedback task; according to the task start command to start the task of data transmission; the running state of reporting the data transmission task to the server; the server receives the response message according to the operation of state feedback; according to the response message corresponding operation to the task of data transmission. The data transmission task processing method and device, data transmission task monitoring method and device are provided by this application, and the efficiency of data transmission is improved.

【技术实现步骤摘要】
数据传输任务处理、数据传输任务监控方法和装置
本专利技术涉及互联网
，特别是涉及一种数据传输任务处理、数据传输任务监控方法和装置。
技术介绍
随着互联网技术的高速发展，数据以指数倍数飞速增长，仅通过增加硬盘数量来扩展文件系统存储容量的方式已经无法满足用户需求。分布式文件系统中多个节点与网络相连，通过网络进行节点间的数据传输，极大地扩展了文件系统的存储容量，从而凭借其高扩展性成为主要的数据存储系统被广泛地应用。但是，针对分布式文件系统传输的数据通常都是数据量较大的数据，传输过程需要消耗较长的时间，需要用户关注数据传输的运行状态，否则在数据传输过程中出现问题时就不能得到及时的处理，导致数据传输的效率低下。
技术实现思路
基于此，有必要针对数据传输效率低下的问题，提供一种数据传输任务处理、数据传输任务监控方法和装置。一种数据传输任务处理方法，所述方法包括：向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求；接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令；根据所述任务启动指令启动所述数据传输任务；向所述服务器上报所述数据传输任务的运行状态；接收所述服务器根据所述运行状态反馈的响应消息；根据所述响应消息对所述数据传输任务进行相应操作。一种数据传输任务处理装置，包括：注册请求模块，用于向服务器发送针对用户终端与分布式文件系统之间数据传输任务的注册请求；任务启动模块，用于接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令，根据所述任务启动指令启动所述数据传输任务；状态上报模块，用于向所述服务器上报所述数据传输任务的运行状态；消息响应模块，用于接收所述服务器根据所述运行状态反馈的响应消息；用于根据所述响应消息对所述数据传输任务进行相应操作。一种数据传输任务监控方法，所述方法包括：接收用户终端发送的针对本地与分布式文件系统之间数据传输任务的注册请求；根据所述注册请求注册所述数据传输任务；注册所述数据传输任务成功后，向所述用户终端反馈任务启动指令，使得所述用户终端根据所述任务启动指令启动所述数据传输任务；接收所述用户终端上报的所述数据传输任务的运行状态；根据所述运行状态向所述用户终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作。一种数据传输任务监控装置，包括：任务注册模块，用于接收用户终端发送的针对用户终端与分布式文件系统之间数据传输任务的注册请求；根据所述注册请求注册所述数据传输任务；指令反馈模块，用于注册所述数据传输任务成功后，向所述用户终端反馈任务启动指令，使得所述用户终端根据所述任务启动指令启动所述数据传输任务；消息反馈模块，用于接收所述用户终端上报的所述数据传输任务的运行状态；根据所述运行状态向所述终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作。上述数据传输任务处理、数据传输任务监控方法和装置，用户终端向服务器发送针对与分布式文件系统之间的数据传输任务注册请求，并获取启动任务指令后，启动数据传输任务；在执行数据传输任务期间，向服务器上报数据传输任务的运行状态，与服务器之间建立通信，服务器根据用户终端上报的运行状态即时做出响应，形成有效的监控机制，能够及时处理数据传输过程中出现的问题，提高了数据传输的效率。附图说明图1为一个实施例中数据传输系统的应用环境图；图2为一个实施例中用户终端的内部结构示意图；图3为一个实施例中服务器的内部结构示意图；图4为一个实施例中数据传输任务处理方法的流程示意图；图5为一个实施例中根据任务重启消息重启数据传输任务步骤的流程示意图；图6为一个实施例中数据传输任务运行结果校验的流程示意图；图7为一个实施例中数据传输任务监控方法的流程示意图；图8为一个实施例中数据传输任务监控方法中服务器与监控终端交互步骤的流程示意图；图9为一个实施例中数据传输任务处理与监控方法的流程图；图10为一个实施例中数据传输任务处理装置的结构框图；图11为另一个实施例中数据传输任务处理装置的结构框图；图12为一个实施例中数据传输任务监控装置的结构框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。可以理解，本专利技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，第一数据量和第二数据量两者都是数据量，但其不是同一数据量。图1为一个实施例中数据传输系统的应用环境图。如图1所示，该数据传输系统包括分布式文件系统110、用户终端120、服务器130和监控终端140。分布式文件系统110可通过网络与用户终端120连接并进行数据传输，用户终端120与监控终端140可通过网络连接到服务器140。监控终端140可通过服务器130监控用户终端120与分布式文件系统110之间所进行数据传输任务的运行状态。分布式文件系统110可使用Hadoop服务器集群来实现，其中Hadoop是一个由Apache软件基金会(ApacheSoftwareFoundation，简称为ASF)所开发的分布式系统基础架构。图2为一个实施例中用户终端的内部结构示意图。如图2所示，该用户终端包括通过系统总线连接的处理器、非易失性存储介质、内存储器、网络接口、显示屏和输入装置。其中，用户终端的非易失性存储介质存储有操作系统，还包括一种数据传输任务处理装置，数据传输任务处理装置用于实现一种数据传输任务处理方法。用户终端的处理器用于提供计算和控制能力，支撑整个用户终端的运行。用户终端中的内存储器为非易失性存储介质中的数据传输任务处理装置的运行提供环境。用户终端的内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据传输任务处理方法。网络接口用于与服务器进行网络通信，如发送数据传输任务的注册请求至服务器，接收服务器发送的任务启动指令等。终端的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该终端可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。图3为一个实施例中服务器的内部结构示意图。如图3所示，该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中，该服务器的非易失性存储介质存储有操作系统、数据库和数据传输任务监控装置，该数据传输任务监控装置用于实现一种适用于服务器的数据传输任务监控方法。该服务器的处理器用于提供计算和控制能力，支撑整个服务器的运行。该服务器的内存储器为非易失性存储介质中的数据传输任务监控装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种数据传输任务监本文档来自技高网...

【技术保护点】
一种数据传输任务处理方法，所述方法包括：向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求；接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令；根据所述任务启动指令启动所述数据传输任务；向所述服务器上报所述数据传输任务的运行状态；接收所述服务器根据所述运行状态反馈的响应消息；根据所述响应消息对所述数据传输任务进行相应操作。

【技术特征摘要】
1.一种数据传输任务处理方法，所述方法包括：向服务器发送针对本地与分布式文件系统之间数据传输任务的注册请求；接收所述服务器在根据所述注册请求注册所述数据传输任务后反馈的任务启动指令；根据所述任务启动指令启动所述数据传输任务；向所述服务器上报所述数据传输任务的运行状态；接收所述服务器根据所述运行状态反馈的响应消息；根据所述响应消息对所述数据传输任务进行相应操作。2.根据权利要求1所述的方法，其特征在于，所述接收所述服务器根据所述运行状态反馈的响应消息的步骤包括：接收所述服务器在所述运行状态为失败状态且失败次数不超过预设次数阈值时反馈的任务重启消息；所述根据所述响应消息对所述数据传输任务进行相应操作的步骤包括：根据所述任务重启消息重启所述数据传输任务。3.根据权利要求2所述的方法，其特征在于，所述根据所述任务重启消息重启所述数据传输任务的步骤包括：响应于所述任务重启消息，获取所述数据传输任务所对应本地数据的第一数据量，以及与所述数据传输任务对应的所述分布式文件系统中数据的第二数据量；将所述第一数据量与所述第二数据量进行比较，确定所述本地数据和所述分布式文件系统中数据之间的差异数据；重启所述数据传输任务，并在执行所述数据传输任务时重新传输所述差异数据。4.根据权利要求1所述的方法，其特征在于，所述接收所述服务器根据所述运行状态反馈的响应消息的步骤包括：接收所述服务器在所述运行状态为失败状态且失败次数超过预设次数阈值时反馈的任务终止消息；所述根据所述响应消息对所述数据传输任务进行相应操作的步骤包括：根据所述任务终止消息终止所述数据传输任务。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述数据传输任务结束后，获取所述数据传输任务所对应本地数据的第三数据量，以及与所述数据传输任务对应的所述分布式文件系统中数据的第四数据量；将所述第三数据量与所述第四数据量进行比较；当所述第三数据量与所述第四数据量一致时，确定对所述数据传输任务的运行结果校验通过。6.一种数据传输任务监控方法，所述方法包括：接收用户终端发送的针对所述用户终端与分布式文件系统之间数据传输任务的注册请求；根据所述注册请求注册所述数据传输任务；注册所述数据传输任务成功后，向所述用户终端反馈任务启动指令，使得所述用户终端根据所述任务启动指令启动所述数据传输任务；接收所述用户终端上报的所述数据传输任务的运行状态；根据所述运行状态向所述用户终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作。7.根据权利要求6所述的方法，其特征在于，所述接收所述用户终端上报的所述数据传输任务的运行状态之后，所述方法还包括：向监控终端发送运行状态列表，所述运行状态列表包括上报的运行状态和相应的用户终端标识；接收所述监控终端针对所述运行状态列表中选中的用户终端标识的任务操作指令；向所述选中的用户终端标识对应的用户终端发送所述任务操作指令，使得接收到所述任务操作指令的所述用户终端根据所述任务操作指令对相应的数据传输任务进行操作。8.根据权利要求6所述的方法，其特征在于，所述根据所述运行状态向所述用户终端反馈响应消息，使得所述用户终端根据所述响应消息对所述数据传输任务进行相应操作的步骤包括：当所述运行状态为失败状态时，获取所述数据传输任务的失败次数；将所述失败次数与预设次数阈值比较；当所述失败次数不超过预设次数阈值时，向所述用户终端反馈任务重启消息，使得所述用户终端根据所述任务重启消息重启所述数据传输任务；当所述失败次数超过预设次数阈值时，向所...

【专利技术属性】
技术研发人员：李家昌，何瑞，万志颖，阮华，史晓茸，曾凡，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44