数据预处理及下载方法、系统、计算机设备、可读存储介质技术方案

本发明专利技术公开了一种数据预处理及下载方法，涉及互联网技术领域，包括如下步骤：服务器加载各个客户端所需要的数据并生成相应的sqlite数据库；服务器对生成好的各sqlite数据库压缩；将压缩后的数据库文件上传到CDN中，并删除存放于服务器本地的sqlite数据库；客户端请求并获得压缩后的数据库文件，下载并解压。本发明专利技术所提供的方法降低客户端下载网络的消耗，减少下载的时间，提升用户体验，同时减缓服务器实时处理数据的压力。

【技术实现步骤摘要】
数据预处理及下载方法、系统、计算机设备、可读存储介质
本专利技术涉及互联网
，具体涉及一种数据预处理及下载方法、系统、计算机设备、可读存储介质。
技术介绍
现有技术中，客户端，包括苹果手机/平板、安卓手机/平板、windows应用程序，为了提升使用体验，在一些场景下，比如网络数据不需要很实时的情况下，去掉网络的请求，以加快页面的展示。这通常需要提前循环请求接口，针对数据进行格式转换，最后存在本地数据库中，当数据拉取接口完毕后，打开页面只需要读取数据库中的内容即可。但是，现有技术所采用的的方法具有如下缺陷：在数据量非常大的时候，会有很长的等待时间，不仅浪费网络的流量也降低用户的体验；依赖于服务器的性能，在流量高峰期，服务器性能会有所下降，这时候拉取的接口将会更加的慢。
技术实现思路
为解决前述问题，本专利技术提供了一种数据预处理及下载方法，降低客户端下载网络的消耗，减少下载的时间，提升用户体验，同时减缓服务器实时处理数据的压力。为了达到上述目的，本专利技术采用如下技术方案：一种数据预处理及下载方法，包括如下步骤：服务器加载各个客户端所需要的数据，基于不同客户端所需要的数据生成相应的数据库；服务器对生成好的各数据库分别进行压缩处理，形成与数据库相对应的待用文件；将所有待用文件上传到CDN中；客户端在有数据需求时请求服务器的接口，以获得相应的待用文件的CDN下载地址；客户端下载待用文件并对待用文件进行解压。可选的，服务器生成数据库后，开启数据库的WAL模式，进行写入。可选的，已经生成过数据库的客户端所需要的数据，服务器沿用已经生成的数据库，将所需要的数据增量写入已经生成的数据库。可选的，服务器对各数据库执行checkpoint后，对生成好的各数据库分别进行7z压缩处理。可选的，将所有待用文件上传到CDN以后，删除存放于服务器本地的数据库。可选的，待用文件包括对应的数据库的版本号，客户端请求服务器的接口时附带对应的数据库的版本号，服务器根据数据库的版本号寻找对应的待用文件，向客户端提供对应的待用文件的CDN下载链接。可选的，所述数据库为sqlite数据库。本专利技术所提供的方法具有如下有益效果：1.节省客户端的流量：采用本专利技术所提供的方法下载数据时用户使用App所需要的流量，与采用现有技术下载数据时用户使用App所需要的流量二者相比显著减少；2.节省服务器的压力：采用本专利技术所提供的方法，因为数据提前准备好并缓存在CDN中，所以几乎不需要经过服务器来获取数据。3.降低数据库的损坏率：现有技术在客户端生成数据库时，会经常因断电或者App进程被中止而导致数据库损坏率较高，采用本专利技术所提供的方法，因为客户端下载了服务器生成的sqlite数据库，所以数据库的损坏率也得到改善。此外，本专利技术还提供了一种数据预处理及下载系统，包括服务器子系统和客户端子系统，所述服务器子系统包括：加载模块，用以加载各个客户端所需要的数据；数据库生成模块，用以基于不同客户端所需要的数据生成相应的数据库；压缩模块，用以对生成好的各数据库分别进行压缩处理，形成与数据库相对应的待用文件；上传模块，用以将所有待用文件上传到CDN中；接口，用以接收来自客户端的请求客户端子系统包括：请求模块，用以在有数据需求时请求服务器的接口，以获得相应的待用文件的CDN下载地址；下载模块，用以下载待用文件；解压模块，用以对待用文件进行解压。可选的，生成数据库后，开启数据库的WAL模式，进行写入。可选的，对于已经生成过数据库的客户端所需要的数据，数据库生成模块沿用已经生成的数据库，将所需要的数据增量写入已经生成的数据库。可选的，压缩模块对各数据库执行checkpoint后，对生成好的各数据库分别进行7z压缩处理。可选的，上传模块将所有待用文件上传到CDN以后，删除存放于服务器本地的数据库。可选的，待用文件包括对应的数据库的版本号，请求模块请求服务器的接口时附带对应的数据库的版本号，服务器根据数据库的版本号寻找对应的待用文件，向客户端提供对应的待用文件的CDN下载链接。可选的，所述数据库生成模块生成的数据库为sqlite数据库。本专利技术所提供的数据预处理及下载系统的有益效果与前述数据预处理及下载方法的有益效果推理过程相似，在此不再赘述。同时，本专利技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。同时，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。本专利技术的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本专利技术最佳的实施方式或手段将结合附图来详尽表现，但并非是对本专利技术技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。【附图说明】下面结合附图对本专利技术作进一步说明：图1为本专利技术实施例一的流程图。【具体实施方式】下面结合本专利技术实施例的附图对本专利技术实施例的技术方案进行解释和说明，但下述实施例仅为本专利技术的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本专利技术的保护范围。在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。实施例一：如图1所示，本实施例提供了一种数据预处理及下载方法，在服务器提前生成好客户端需要使用的sqlite数据库并删减掉一些不必要的数据，进行压缩后最终上传到CDN，即ContentDeliveryNetwork内容分发网络中。客户端通过访问服务器接口来获取CDN地址，进行下载操作。下载完的数据进行解压即为本地所需要的数据库。具体包括如下步骤：服务器加载各个客户端所需要的数据，基于不同客户端所需要的数据，生成相应的sqlite数据库，开启sqlite数据库的WAL模式，进行写入，以使数据写入更快，然后在写入时处理好事务，即访问并可能更新数据库中各种数据项的一个程序执行单元。同时，还能防止写入不正确的数据。对于已经生成过sqlite数据库的客户端所需要的数据，服务器沿用已经生成的sqlite数据库，将所需要的数据增量写入已经生成的sqlite数据库；因为WAL机制导致sqlite数据库文件非常大，因此，服务器对各数据库执行checkpoint后，对生成好的各sqlite数据库分别进行7z压缩处理，以减少文本文档来自技高网...

【技术保护点】
1.一种数据预处理及下载方法，其特征在于，所述数据预处理及下载方法包括如下步骤：/n服务器加载各个客户端所需要的数据，基于不同客户端所需要的数据生成相应的数据库；/n服务器对生成好的各数据库分别进行压缩处理，形成与数据库相对应的待用文件；/n将所有待用文件上传到CDN中；/n客户端在有数据需求时请求服务器的接口，以获得相应的待用文件的CDN下载地址；/n客户端下载待用文件并对待用文件进行解压。/n

【技术特征摘要】
1.一种数据预处理及下载方法，其特征在于，所述数据预处理及下载方法包括如下步骤：
服务器加载各个客户端所需要的数据，基于不同客户端所需要的数据生成相应的数据库；
服务器对生成好的各数据库分别进行压缩处理，形成与数据库相对应的待用文件；
将所有待用文件上传到CDN中；
客户端在有数据需求时请求服务器的接口，以获得相应的待用文件的CDN下载地址；
客户端下载待用文件并对待用文件进行解压。


2.根据权利要求1所述的数据预处理及下载方法，其特征在于，服务器生成数据库后，开启数据库的WAL模式，进行写入。


3.根据权利要求1所述的数据预处理及下载方法，其特征在于，已经生成过数据库的客户端所需要的数据，服务器沿用已经生成的数据库，将所需要的数据增量写入已经生成的数据库。


4.根据权利要求1所述的数据预处理及下载方法，其特征在于，服务器对各数据库执行checkpoint后，对生成好的各数据库分别进行7z压缩处理。


5.根据权利要求1所述的数据预处理及下载方法，其特征在于，将所有待用文件上传到CDN以后，删除存放于服务器本地的数据库。


6.根据权利要求1所述的数据预处理及下载方法，其特征在于，待用文件包括对应的数据库的版本号，客户端请求服务器的接口时附带对应的数据库的版本号，服务器根据数据库的版本号寻找对应的待用文件，向客户端提供对应的待用文件的CDN下载链接。


7.根据权利要求1至6之一所述的数据预处理及下载方法，其特征在于，所述数据库为sqlite数据库。


8.一种数据预处理及下载系统，其特征在于，所述数据预处理及下载系统包括服务器子系统和客户端子系统，
所述服务器子系统包括：
加载模块，用以加载各个客户端所需要的数据；
数据库生成模块，用以基于不同客户端所需要的数据生成相应的数据库；
压缩模块，用以对生成好的各数据...

【专利技术属性】
技术研发人员：李遵源，
申请(专利权)人：杭州有赞科技有限公司，
类型：发明
国别省市：浙江;33