一种跨域的任务调度断点续传方法技术

本发明专利技术实施例公开了一种跨域的任务调度断点续传方法，所述方法包括：创建任务ID；获取待传输数据并生成数据的描述信息；将数据拆分成多个数据包，按顺序编号并进行持久化存储；将所述任务ID和数据的描述信息发送至服务端，以便服务端根据所述任务ID和数据的描述信息查询服务端是否存储有已接收的数据包，并反馈查询结果；根据所述反馈结果，向服务端发送第一个数据包或编号N+1的数据包，所述编号N+1为所述服务端根据服务端存储的该任务ID下已接收数据包的最大编号N值计算并反馈的编号值。该方法具有耗时短、网络资源消耗低、不会产生大量的垃圾数据、数据传输可以跟业务的执行分离、独立性强等优点。

A Cross-Domain Task Scheduling Breakpoint Continuation Method

【技术实现步骤摘要】
一种跨域的任务调度断点续传方法
本专利技术实施例涉及数据传输
，具体涉及一种跨域的任务调度断点续传方法。
技术介绍
当今互联网发展迅速，各种基于客户端/服务端的服务站点和架构层出不穷，两者之间数据传输的稳定性也是越来越得到人们的重视，但是基于客户端和服务端之间跨域的数据传输，难免会存在由于网络异常导致的连接中断，传输终止的现象，因此就会导致两端数据的不一致，为了应对以上情况的发生，在数据传输的过程中降低网络波动所产生的影响变得尤为重要。目前针对以上情况的解决方案只有在连接中断或者传输终止的时候，接受数据的一方重新请求数据或者发送数据的一方重新发送数据，这样会导致数据的重复传输和大量无效数据产生，这两种解决方案不仅浪费了数据传输的时间和网络资源，同时由于大量数据垃圾的产生消耗服务器的资源。
技术实现思路
为此，本专利技术实施例提供一种跨域的任务调度断点续传方法，以解决现有数据的重复传输导致传输耗时大大增加，重复数据在传输的过程中会占用网络资源，数据的重新发送会导致之前接受的数据无效、有大量的数据垃圾产生的问题。为了实现上述目的，本专利技术的实施方式提供如下技术方案：在本专利技术的实施方式的第一方面中，提供了一种跨域的任务调度断点续传方法，所述方法包括：创建任务ID；获取待传输数据并生成数据的描述信息；根据数据的描述信息将数据拆分成多个数据包，按顺序编号并进行持久化存储；将所述任务ID和数据的描述信息发送至服务端，以便服务端根据所述任务ID和数据的描述信息查询服务端是否存储有已接收的数据包，并反馈查询结果；若确定服务端未存储有已接收的数据包，则根据所述反馈结果向服务端发送编号为最小值的数据包；若确定服务端存储有已接收的数据包，则向服务端发送编号N+1的数据包，所述编号N+1为服务端根据服务端存储的该任务ID下已接收数据包的最大编号N值计算并反馈的编号值；待服务端对接收到的数据包验证通过并持久化存储后，继续响应服务端按照由小到大的顺序发出的下一编号数据包请求，向服务端发送下一编号数据包，直至数据包全部发送完毕。优选的，所述将数据包按顺序编号并进行持久化存储还包括：根据消息摘要算法为每个数据包生成消息摘要，将匹配有消息摘要的各数据包进行持久化存储。优选的，所述待服务端对接收到的数据包验证通过并持久化存储后包括：服务端根据接收到的数据包中的消息摘要验证数据包中数据的完整性和准确性；若数据完整并准确，则将数据包中的消息摘要删除后进行持久化存储；若数据不完整或不准确，则服务端重复请求该编号的数据包。优选的，所述向服务端发送下一编号数据包，直至数据包全部发送完毕还包括：当向服务端发送的数据包为最大编号的数据包时，则向服务端发送数据包发送结束通知。优选的，所述获取待传输数据之后，所述方法还包括：将获取的不同类型的数据转换为字节数组。优选的，所述方法还包括：将所述字节数组数据按照指定的数据包大小拆分为多个数据包，最后一个数据包的大小为实际数据包大小。优选的，所述数据的描述信息包括指定数据包的大小、数据包的个数以及总的字节数组数据的大小。在本专利技术的实施方式的第二方面中，提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令用于执行如上所述的一种跨域的任务调度断点续传方法。本专利技术实施例具有如下优点：将数据发送作为一个任务，并创建一个任务ID，在发送数据之前将发送的数据按照固定的大小拆成多个数据包，每次的传输均以数据包为单位，如果某个数据包的传输过程中由于网络或其它原因导致传输中断，则下一次的传输会根据任务ID向服务端询问上次的数据传输发送到了哪个数据包，这样下次的数据传输会继续传输余下的数据包，不会重复传输上一次服务端已经接收到的数据，该方法不会重复发送大量的数据，因此不会在数据传输的过程中消耗大量的时间，而且因为不传输大量的重复数据不会产生大量网络资源的消耗，重新建立连接之后是接续传输，所以上一次连接传输的数据是有效数据，不会产生大量的垃圾数据，服务器的资源消耗也会减少，业务逻辑的执行和数据的发送可以独立进行，互不影响。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。图1为本专利技术实施例1提供的一种跨域的任务调度断点续传方法流程示意图；图2为为本专利技术实施例1提供的一种跨域的任务调度断点续传方法的实施装置结构示意图。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本说明书中所引用的如“上”、“下”、“左”、右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本专利技术可实施的范围，其相对关系的改变或调整，在无实质变更
技术实现思路
下，当亦视为本专利技术可实施的范畴。实施例1如图1所示，本实施例提出的一种跨域的任务调度断点续传方法，方法包括以下步骤：S10，创建任务ID。数据发送任务初始创建时客户端为任务创建一个任务ID，并基于此任务ID进行后续数据传输以及断点续传。S20，获取待传输数据并生成数据的描述信息。优选的，获取待传输数据之后包括：由客户端将获取的不同类型的数据转换为统一的字节数组以便存储。数据的描述信息包括指定数据包的大小、数据包的个数以及总的字节数组数据的大小。根据用户配置文件或自定义的单个数据包大小计算出数据包的个数，然后将包含每个数据包的大小、数据包的个数以及总的字节数组数据的大小组装成数据的描述信息，并将数据的描述信息进行持久化存储。S30，根据数据的描述信息将数据拆分成多个数据包，将数据包按顺序编号并进行持久化存储。优选的，客户端将字节数组数据按照数据的描述信息中指定的数据包大小拆分为多个数据包，最后一个数据包的大小为实际数据包大小，即当最后一个数据包的实际大小不足一个数据包的指定大小时，按照最后一个数据包的实际大小进行分包。优选的，将数据包按顺序编号并进行持久化存储还包括：根据消息摘要算法为每个数据包生成消息摘要，将匹配有消息摘要的各数据包组装为真实存储的数据包进行持久化存储。S40，客户端将任务ID和数据的描述信息发送至服务端。S50，服务端根据任务ID和数据的描述信息查询服务端是否存储有已接收的数据包，并向客户端反馈查询结果。S60，若确定服务端存储有已接收的数据包，服务端根据服务端存储的该任务ID下已接收数据包的最大编号N值，计算得到待传输的下一数据包编号N+1并反馈给客户端，客户端根据返回值向服务端发送编号N本文档来自技高网...

【技术保护点】
1.一种跨域的任务调度断点续传方法，其特征在于，所述方法包括：创建任务ID；获取待传输数据并生成数据的描述信息；根据数据的描述信息将数据拆分成多个数据包，按顺序编号并进行持久化存储；将所述任务ID和数据的描述信息发送至服务端，以便服务端根据所述任务ID和数据的描述信息查询服务端是否存储有已接收的数据包，并反馈查询结果；若确定服务端未存储有已接收的数据包，则根据所述反馈结果向服务端发送编号为最小值的数据包；若确定服务端存储有已接收的数据包，则向服务端发送编号N+1的数据包，所述编号N+1为服务端根据服务端存储的该任务ID下已接收数据包的最大编号N值计算并反馈的编号值；待服务端对接收到的数据包验证通过并持久化存储后，继续响应服务端按照由小到大的顺序发出的下一编号数据包请求，向服务端发送下一编号数据包，直至数据包全部发送完毕。

【技术特征摘要】
1.一种跨域的任务调度断点续传方法，其特征在于，所述方法包括：创建任务ID；获取待传输数据并生成数据的描述信息；根据数据的描述信息将数据拆分成多个数据包，按顺序编号并进行持久化存储；将所述任务ID和数据的描述信息发送至服务端，以便服务端根据所述任务ID和数据的描述信息查询服务端是否存储有已接收的数据包，并反馈查询结果；若确定服务端未存储有已接收的数据包，则根据所述反馈结果向服务端发送编号为最小值的数据包；若确定服务端存储有已接收的数据包，则向服务端发送编号N+1的数据包，所述编号N+1为服务端根据服务端存储的该任务ID下已接收数据包的最大编号N值计算并反馈的编号值；待服务端对接收到的数据包验证通过并持久化存储后，继续响应服务端按照由小到大的顺序发出的下一编号数据包请求，向服务端发送下一编号数据包，直至数据包全部发送完毕。2.根据权利要求1所述的一种跨域的任务调度断点续传方法，其特征在于，所述将数据包按顺序编号并进行持久化存储还包括：根据消息摘要算法为每个数据包生成消息摘要，将匹配有消息摘要的各数据包进行持久化存储。3.根据权利要求2所述的一种跨域的任务调度断点续传方法，其特征在于，所述待服务端对接收到的数据包验证...

【专利技术属性】
技术研发人员：李克新，左胜利，卢九樨，张立清，金正皓，
申请(专利权)人：北京东方国信科技股份有限公司，
类型：发明
国别省市：北京,11