一种数据存储系统和上传、存储方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例提供一种数据存储系统和上传、存储方法、装置、设备及介质，用以将数据文件在选择的分区服务器上传，提升上传速度，以及实现数据的结构化存储，节约存储空间。该系统包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至任务分发管理模块；任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器；分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。

【技术实现步骤摘要】
一种数据存储系统和上传、存储方法、装置、设备及介质
本专利技术涉及数据存储
，尤其涉及一种数据存储系统和上传、存储方法、装置、设备及介质。
技术介绍
随着网约车业务量的不断增加，除了固定的数据源，各种结构化和非结构化的数据在以指数级数量递增，随着数据存储的需求量快速加大，导致已有的存储单元和存储节点难以应对，由于部分业务数据为非结构化数据，存在着存储空间的无效占用，浪费存储空间，制约着网约车业务的发展。
技术实现思路
本专利技术实施例提供一种数据存储系统和上传、存储方法、装置、设备及介质，用以将数据文件在选择的分区服务器上传，提升上传速度，以及实现数据的结构化存储，节约存储空间。根据本专利技术实施例的第一方面，提供一种数据存储系统，该系统包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至任务分发管理模块；任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据本文档来自技高网...

【技术保护点】
1.一种数据存储系统，其特征在于，包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，/n所述业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至所述任务分发管理模块；/n所述任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器；/n所述分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对所述数据包进行结构化存储。/n

【技术特征摘要】
1.一种数据存储系统，其特征在于，包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，
所述业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至所述任务分发管理模块；
所述任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器；
所述分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对所述数据包进行结构化存储。


2.根据权利要求1所述的系统，其特征在于，所述任务分发管理模块基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器，具体用于：
基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度，则将该数据文件已上传至所述第一分区服务器的部分同步至所述第二分区服务器，并将该数据文件未上传的部分继续上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。


3.根据权利要求1所述的系统，其特征在于，所述任务分发管理模块基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器，具体用于：
基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若所述剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至所述第一分区服务器，若剩余上传时长大于或等于所述预设时长阈值，则将该数据文件重新上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。


4.根据权利要求2或3所述的系统，其特征在于，若所述数据文件上传至两个及两个以上的分区服务器，则所述分区服务器将接收到的数据文件组合成数据包，具体用于：
在确定所有数据文件均上传完成时，将所述两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在所述目标分区服务器中将接收到的数据文件组合成数据包。


5.根据权利要求1所述的系统，其特征在于，所述分区服务器，对所述数据包进行结构化存储，具体用于：
从所述数据包中提取用于描述数据包的描述数据，所述描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与所述分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定所述数据包本身的第一评价数据以及所述数据包与所述中心服务器中其它数据之间的第二评价数据；
将所述描述数据、所述第一评价数据、以及所述第二评价数据以结构化的形式存储到数据库中。


6.根据权利要求1所述的系统，其特征在于，所述任务分发管理模块将所述多个数据文件上传至分区服务器，具体用于：
以预设位数的密匙对所述多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，所述密匙经多轮位置变换操作生成、且所述密匙周期性更新。


7.一种数据上传方法，应用于如权利要求1-6中任一项所述的数据存储系统中的任务分发管理模块，其特征在于，包括：
获取包含用户数据的数据包；
将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器。


8.根据权利要求7所述的方法，其特征在于，所述基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器，包括：
基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度，则将该数据文件已上传至所述第一分区服务器的部分同步至所述第二分区服务器，并将该数据文件未上传的部分继续上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。


9.根据权利要求7所述的方法，其特征在于，所述基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器，包括：
基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若所述剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至所述第一分区服务器，若剩余上传时长大于或等于所述预设时长阈值，则将该数据文件重新上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。


10.根据权利要求7所述的方法，其特征在于，所述将所述多个数据文件上传至分区服务器，包括：
以预设位数的密匙对所述多个数据文件加密处理，将加密处理后的数...

【专利技术属性】
技术研发人员：曾辉，孙清泉，
申请(专利权)人：南京领行科技股份有限公司，
类型：发明
国别省市：江苏;32