数据预处理及下载方法、系统、计算机设备、可读存储介质技术方案

本发明专利技术公开了一种数据预处理及下载方法，涉及互联网技术领域，包括如下步骤：服务器加载各个客户端所需要的数据并生成相应的sqlite数据库；服务器对生成好的各sqlite数据库压缩；将压缩后的数据库文件上传到CDN中，并删除存放于服务器本地的sqlite数据库；客户端请求并获得压缩后的数据库文件，下载并解压。本发明专利技术所提供的方法降低客户端下载网络的消耗，减少下载的时间，提升用户体验，同时减缓服务器实时处理数据的压力。

【技术实现步骤摘要】
数据预处理及下载方法、系统、计算机设备、可读存储介质
本专利技术涉及互联网
，具体涉及一种数据预处理及下载方法、系统、计算机设备、可读存储介质。
技术介绍
现有技术中，客户端，包括苹果手机/平板、安卓手机/平板、windows应用程序，为了提升使用体验，在一些场景下，比如网络数据不需要很实时的情况下，去掉网络的请求，以加快页面的展示。这通常需要提前循环请求接口，针对数据进行格式转换，最后存在本地数据库中，当数据拉取接口完毕后，打开页面只需要读取数据库中的内容即可。但是，现有技术所采用的的方法具有如下缺陷：在数据量非常大的时候，会有很长的等待时间，不仅浪费网络的流量也降低用户的体验；依赖于服务器的性能，在流量高峰期，服务器性能会有所下降，这时候拉取的接口将会更加的慢。
技术实现思路
为解决前述问题，本专利技术提供了一种数据预处理及下载方法，降低客户端下载网络的消耗，减少下载的时间，提升用户体验，同时减缓服务器实时处理数据的压力。为了达到上述目的，本专利技术采用如下技术方案：一种本文档来自技高网...

【技术保护点】
1.一种数据预处理及下载方法，其特征在于，所述数据预处理及下载方法包括如下步骤：/n服务器加载各个客户端所需要的数据，基于不同客户端所需要的数据生成相应的数据库；/n服务器对生成好的各数据库分别进行压缩处理，形成与数据库相对应的待用文件；/n将所有待用文件上传到CDN中；/n客户端在有数据需求时请求服务器的接口，以获得相应的待用文件的CDN下载地址；/n客户端下载待用文件并对待用文件进行解压。/n

【技术特征摘要】
1.一种数据预处理及下载方法，其特征在于，所述数据预处理及下载方法包括如下步骤：
服务器加载各个客户端所需要的数据，基于不同客户端所需要的数据生成相应的数据库；
服务器对生成好的各数据库分别进行压缩处理，形成与数据库相对应的待用文件；
将所有待用文件上传到CDN中；
客户端在有数据需求时请求服务器的接口，以获得相应的待用文件的CDN下载地址；
客户端下载待用文件并对待用文件进行解压。


2.根据权利要求1所述的数据预处理及下载方法，其特征在于，服务器生成数据库后，开启数据库的WAL模式，进行写入。


3.根据权利要求1所述的数据预处理及下载方法，其特征在于，已经生成过数据库的客户端所需要的数据，服务器沿用已经生成的数据库，将所需要的数据增量写入已经生成的数据库。


4.根据权利要求1所述的数据预处理及下载方法，其特征在于，服务器对各数据库执行checkpoint后，对生成好的各数据库分别进行7z压缩处理。


5.根据权利要求1所述的数据预处理及下载方法，其特征在于，将所有待用文件上传到CDN以后，删除存放于服务器本地的数据库。


6.根据权利要求1所述的数据预处理及下载方法，其特征在于，待用文件包括对应的数据库的版本号，客户端请求服务器的接口时附带对应的数据库的版本号，服务器根据数据库的版本号寻找对应的待用文件，向客户端提供对应的待用文件的CDN下载链接。


7.根据权利要求1至6之一所述的数据预处理及下载方法，其特征在于，所述数据库为sqlite数据库。


8.一种数据预处理及下载系统，其特征在于，所述数据预处理及下载系统包括服务器子系统和客户端子系统，
所述服务器子系统包括：
加载模块，用以加载各个客户端所需要的数据；
数据库生成模块，用以基于不同客户端所需要的数据生成相应的数据库；
压缩模块，用以对生成好的各数据...

【专利技术属性】
技术研发人员：李遵源，
申请(专利权)人：杭州有赞科技有限公司，
类型：发明
国别省市：浙江;33