一种跨网络的断点续传方法和系统技术方案

本发明专利技术涉及一种跨网络的断点续传方法和系统，前端对待上传文件进行加密，获得文件唯一标识发送给后端；后端根据文件唯一标识查询数据库，若文件上传过，则直接返回文件信息给前端；前端根据自定义配置开始对待上传文件进行分片，获得分片文件；前端将分片文件上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片；后端接收前端上传的分片文件，进行唯一标识验证，若验证失败，则返回上传文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，将完整文件保存在文件服务器，并返回完整文件信息给前端，并把完整文件信息保存在数据库。其可以节约时间、流量，节省存储空间。

A Method and System for Continuous Transmission of Break Points across Networks

【技术实现步骤摘要】
一种跨网络的断点续传方法和系统
本专利技术涉及计算机文件传输领域，尤其涉及一种跨网络的断点续传方法和系统。
技术介绍
随着现代社会的发展，移动办公越来越频繁，使用手机进行数据采集，也越来越方便。在警员执法过程中，可以利用随身手机进行录制视频、音频、拍照等。传统的传输文件方式，在网络不稳定的情况下，大文件常常会传输失败，重新传输会浪费流量和传输时间。而且由于公安内网与互联网不通，使文件不能实时同步到公安内部系统中，导致数据流通不及时。
技术实现思路
本专利技术的目的在于克服现有技术之缺陷，提供了一种跨网络的断点续传方法和系统，能够便于民警进行数据采集，并通过此方法及系统有效地提高公安的工作效率，降低民警工作强度，加强社会治安综合治理。本专利技术是这样实现的：本专利技术提供一种跨网络的断点续传方法，包括如下步骤：S1、前端首先对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；S2、后端根据文件唯一标识查询持久化库，若该文件上传过，则直接返回文件信息给前端，即达到了秒传，否则执行步骤S3；S3、前端根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；S4、前端将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；S5、后端接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型，上传完成。进一步地，在步骤S3中，根据用户的实际网络环境，自动设置最高效率的分片方式，对分片大小自动配置，对文件对象采用分段读取至内存中的分片方式。进一步地，前端与后端之间使用至少一层反向代理服务器进行跨网络通信，实现跨网络请求；反向代理服务器采用nginx进行代理转发。进一步地，前端对分片文件进行异步并发上传，并根据配置控制并发数量。进一步地，在步骤S3中具体分片方式为：通过动态的监测前端的网络速度及带宽，结合自定义配置中的分片大小限制、分片数量的限制，来动态的计算出分片文件的大小，进行分片。本专利技术提供一种跨网络的断点续传系统，包括前端、后端，所述前端用于对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；所述后端根据文件唯一标识查询持久化库，若文件上传过，则直接返回文件信息给前端，即达到了秒传；所述前端用于根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；所述前端还用于将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；所述后端用于接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证每个分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型。进一步地，所述前端为各类用户终端，包括移动端、WEB端、PC客户端；所述后端为各类支撑服务端，包括跨网络的转发服务器、接收和组装文件服务器、数据库。进一步地，所述用户终端与服务器之间使用至少一层反向代理服务器进行跨网络通信，并通过安全网闸，保证数据的安全性；反向代理服务器采用nginx进行代理转发。本专利技术提供一种跨网络的断点续传系统，包括文件加密模块、文件分片模块、文件上传控制模块、文件组装模块以及文件持久化模块，其中：所述文件加密模块用于对待上传文件进行加密，获得文件唯一标识；所述文件分片模块用于根据自定义配置对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；并将包含分片文件以及分片文件信息的提供给文件上传控制模块；所述文件上传控制模块用于将包含分片文件以及分片文件信息的集合进行上传，并根据分片的返回结果展示上传进度，以及重新上传上传失败的分片；所述文件组装模块用于最终接收分片文件，对每个分片文件进行唯一标识验证，用于验证分片文件的完整性，当全部分片上传完成后，根据分片排序对分片文件进行组装，组装后的文件保存在文件服务器，调用文件持久化模块将完整文件信息保存在数据库；文件信息包括完整文件的唯一标识、文件名、文件大小、文件类型、文件存储位置；所述文件持久化模块用于将文件信息保存在数据库，同时提供通过文件的唯一标识来查询完整文件的所有信息。进一步地，本专利技术的跨网络的断点续传系统还包括文件转发模块，所述文件转发模块用于对文件上传控制模块的上传请求进行转发，通过反向代理来实现跨网络；使用多层文件转发模块来跨多层网络；并通过安全网闸，保证数据的安全性；反向代理服务器采用nginx进行代理转发。进一步地，所述文件上传控制模块采用文件分片异步上传控制模块，文件分片异步上传控制模块用于对分片文件进行异步并发上传，并根据配置控制并发数量；所述文件分片模块用于动态监测前端的网络速度及带宽，结合自定义配置中的分片大小限制、分片数量的限制，来动态的计算出分片文件的大小，进行分片。与现有技术相比，本专利技术具有以下有益效果：本专利技术前端首先对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；后端根据文件唯一标识查询数据库如持久化库，若文件上传过，则直接返回文件信息给前端，即达到了秒传；通过获得的唯一标识查询持久化库，可以达到一个秒传的效果，当同一个文件多次上传时，可以大大减少等待时间，提升用户体验，节约流量，同时也节省文件服务器的存储空间，即同一个文件不需要存多次。本系统的文件信息持久化的设计可以减少企业存储重复文件的成本，同时大大提升用户体验。本系统提供了一种跨网络的请求方式，前端与后端之间使用至少一层反向代理服务器进行跨网络通信，解决了互联网与企业内网之间由于多层网闸导致数据流通不及时的问题。本专利技术提供了一种可拓展的模块化的断点续传系统，包括文件加密模块、文件分片模块、文件上传控制模块、文件组装模块以及文件转发模块，可以根据不同的需求场景自行定制各个模块，提高文件传输效率。本专利技术的文件上传控制模块对分片文件进行“异步并发上传”，并根据返回的结果，展示上传进度，如果上传失败，则只需上传失败的分片，即断点续传。“异步并发上传”可以采用并发控制器来进行控制并发数量，以减少后端服务器压力。且本专利技术支持可配置的分片模块，可以根据网络状况对分片大小自动配置，对文件对象采用分段读取本文档来自技高网...

【技术保护点】
1.一种跨网络的断点续传方法，其特征在于,包括如下步骤：S1、前端首先对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；S2、后端根据文件唯一标识查询持久化库，若该文件上传过，则直接返回文件信息给前端，即达到了秒传，否则执行步骤S3；S3、前端根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；S4、前端将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；S5、后端接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型，上传完成。

【技术特征摘要】
1.一种跨网络的断点续传方法，其特征在于,包括如下步骤：S1、前端首先对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；S2、后端根据文件唯一标识查询持久化库，若该文件上传过，则直接返回文件信息给前端，即达到了秒传，否则执行步骤S3；S3、前端根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；S4、前端将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；S5、后端接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型，上传完成。2.根据权利要求1所述的方法，其特征在于：前端与后端之间使用至少一层反向代理服务器进行跨网络通信，实现跨网络请求；反向代理服务器采用nginx进行代理转发。3.根据权利要求1所述的方法，其特征在于：前端对分片文件进行异步并发上传，并根据配置控制并发数量。4.根据权利要求1所述的方法，其特征在于：在步骤S3中具体分片方式为：通过动态的监测前端的网络速度及带宽，结合自定义配置中的分片大小限制、分片数量的限制，来动态的计算出分片文件的大小，进行分片。5.一种跨网络的断点续传系统，其特征在于：包括前端、后端，所述前端用于对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；所述后端根据文件唯一标识查询持久化库，若文件上传过，则直接返回文件信息给前端，即达到了秒传；所述前端用于根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；所述前端还用于将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；所述后端用于接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证每个分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功...

【专利技术属性】
技术研发人员：杨安成，廖乔治，
申请(专利权)人：武汉烽火众智数字技术有限责任公司，
类型：发明
国别省市：湖北,42