数据管理系统技术方案

本申请实施例提供了一种数据管理系统，包括：文件管理模块，配置为设置统一的本地磁盘与网盘的交互接口，并建立文件目录，其中，网盘包括一个或多个，文件目录用于索引所述本地磁盘与网盘内存储的文件；网络传输模块，连接文件管理模块，配置为使用多工作线程的传输方式，与本地磁盘或所述网盘进行文件传输；任务管理模块，连接网络传输模块，配置为管理传输文件的任务，其中，不同的任务对应于不同的优先级和不同数量的工作线程；网盘管理模块，连接网络传输模块，配置为与不同的网盘进行通信连接。连接。连接。

【技术实现步骤摘要】
数据管理系统


[0001]本申请涉及数据传输
，具体而言，涉及一种数据管理系统。

技术介绍

[0002]随着计算机技术的发展，社会已经步入信息化时代，数据承载着各种信息，需要在不同的终端进行传递和交互，数据存储已成为个人企事业单位的必要需求。过去数据主要存储在个人、企事业单位的存储设备中，数据传递需要移动存储设备，常会出现移动存储设备的遗忘、丢失和资源浪费等问题，给用户造成不便和困扰。
[0003]为了解决该问题，各互联网公司陆续推出各自的数据服务中心，即网盘。各互联网公司为了占领市场，扩大影响，为用户提供免费的存储空间。用户可以把数据资源存储在网盘中，可以通过网络，随时随地存储、访问、备份、编辑、使用和共享数据资源。为用户节约了资源，提供了方便，目前越来越多个人用户倾向于将大量数据存放在网络数据中心，数据存储由分散存储逐步走向集中存储。
[0004]由于网盘成本高昂，各网络公司推出的免费网盘一般容量较小，而且为了防止用户滥用网盘资源，通常限制网盘单个文件大小和传输速度。用户为了降低成本满足存储需求常会申请多个网盘。但是不同公司的网盘需要不同的客户端和账号，网盘间无法进行数据互通，用户使用数据时需要频繁的在不同公司的网盘间切换，造成了极大不便。
[0005]针对相关技术中，不同公司的网盘之间数据无法互通导致用户使用数据不便的问题，目前尚未有有效的解决办法。

技术实现思路

[0006]本申请实施例提供了一种数据管理系统，以至少解决相关技术中不同公司的网盘之间数据无法互通导致用户使用数据不便的问题。
[0007]在本申请的一个实施例中，提出了一种数据管理系统，包括：文件管理模块，配置为设置统一的本地磁盘与网盘的交互接口，并建立文件目录，其中，所述网盘包括一个或多个，所述文件目录用于索引所述本地磁盘与所述网盘内存储的文件；网络传输模块，连接所述文件管理模块，配置为使用多工作线程的传输方式，与所述本地磁盘或所述网盘进行文件传输；任务管理模块，连接所述网络传输模块，配置为管理传输文件的任务，其中，不同的所述任务对应于不同的优先级和不同数量的工作线程；网盘管理模块，连接所述网络传输模块，配置为与不同的网盘进行通信连接。
[0008]在一实施例中，所述文件管理模块包括：文件目录缓存单元，配置为根据所述本地磁盘与所述网盘内存储的文件，建立所述文件目录；文件目录索引单元，配置为根据所述文件目录，进行路径检索获取所述文件的详细信息；文件目录获取单元，配置为接受所述任务管理模块的调度，根据所述路径检索的结果获取所述本地磁盘与所述网盘内存储的文件。
[0009]在一实施例中，所述文件目录缓存单元还配置为：每隔指定的时间周期，或在检测到所述网盘内文件发生变化时，更新所述文件目录。
[0010]在一实施例中，所述网络传输模块包括：多线程加速单元，配置为打开多个连接到目标文件的工作线程，实现针对所述目标文件的多线路数据传输；断点续传单元，配置为对文件传输过程中的传输数据进行本地保存；多线程部署单元，配置为对所述工作线程的数量进行协调。
[0011]在一实施例中，所述断点续传单元还配置为，通过读取本地保存的任务数据快速还原之前的任务数据，其中，所述任务数据包括需要传输的文件；恢复任务数据或创建了新的任务后，重新保存最新的任务数据，并在接下来的执行过程中同步更新；在需要传输部分数据的情况下，向远程服务器传递范围参数指定数据范围；传输完成后，对需要合并文件的任务执行文件并操作；任务完成报告主线程，移除相应任务数据，删除临时文件。
[0012]在一实施例中，所述任务管理模块包括：任务设计单元，配置为确定所述任务的优先级，根据所述任务的优先级确定所述任务对应的工作线程的数量。
[0013]在一实施例中，所述任务设计单元还配置为，当目标任务发生变化，导致所述目标任务持有的工作线程数量和预先设计不符时，根据优先级排序，进行工作线程的移除或添加。
[0014]在一实施例中，所述网盘管理模块包括：数据备份单元，配置为在其他功能模块工作时，所述数据备份单元处于休眠或单一线程工作的状态；当其他功能模块不工作时，所述数据备份单元进行所述文件的传输备份；数据互通单元，配置为将第一网盘中的第一文件下载到本地后，从本地上传所述第一文件至第二网盘。
[0015]在一实施例中，所述数据备份单元还配置为，通过文件大小、修改时间以及md5值判断文件是否备份，覆盖或保存原文件。
[0016]通过本申请实施例提供的数据管理系统，文件管理模块，配置为设置统一的本地磁盘与网盘的交互接口，并建立文件目录，其中，网盘包括一个或多个，文件目录用于索引所述本地磁盘与网盘内存储的文件；网络传输模块，连接文件管理模块，配置为使用多工作线程的传输方式，与本地磁盘或所述网盘进行文件传输；任务管理模块，连接网络传输模块，配置为管理传输文件的任务，其中，不同的任务对应于不同的优先级和不同数量的工作线程；网盘管理模块，连接网络传输模块，配置为与不同的网盘进行通信连接。解决了相关技术中不同公司的网盘之间数据无法互通导致用户使用数据不便的问题。通过本申请提供的基于本地客户端的多网盘数据管理机制，并通过混合编程实现了一个多网盘数据管理系统，使得用户无需在多网盘之间切换，同时提升了数据传输效率，提高文件管理效率。
附图说明
[0017]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0018]图1是根据本申请实施例的一种可选的数据管理系统结构框图；
[0019]图2是根据本申请实施例的一种可选的数据管理系统操作界面示意图；
[0020]图3是根据本申请实施例的一种可选的DiskHandleClient的类图；
[0021]图4是根据本申请实施例的一种可选的DiskHandleClient衍生类图；
[0022]图5是根据本申请实施例的一种可选的文件目录更新流程图；
[0023]图6是根据本申请实施例的一种可选的NetWorker类图；
[0024]图7是根据本申请实施例的一种可选的传输任务执行逻辑流程图；
[0025]图8是根据本申请实施例的一种可选的ThreadPool类图；
[0026]图9是根据本申请实施例的一种可选的会员非会员多线程传输效果示意图；
[0027]图10是根据本申请实施例的一种可选的TaskMaster主要执行逻辑流程图；
[0028]图11是根据本申请实施例的一种可选的多线程任务管理示意图；
[0029]图12是根据本申请实施例的一种可选的TaskMaster计算任务线程的数量分布示意图；
[0030]图13是根据本申请实施例的一种可选的网盘数据互通示意图；
[0031]图14是根据本申请实施例的一种可选的页面响应延迟示意图；
[0032]图15是根据本申请实施例的一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理系统，其特征在于，包括：文件管理模块，配置为设置统一的本地磁盘与网盘的交互接口，并建立文件目录，其中，所述网盘包括一个或多个，所述文件目录用于索引所述本地磁盘与所述网盘内存储的文件；网络传输模块，连接所述文件管理模块，配置为使用多工作线程的传输方式，与所述本地磁盘或所述网盘进行文件传输；任务管理模块，连接所述网络传输模块，配置为管理传输文件的任务，其中，不同的所述任务对应于不同的优先级和不同数量的工作线程；网盘管理模块，连接所述网络传输模块，配置为与不同的网盘进行通信连接。2.根据权利要求1所述的系统，其特征在于，所述文件管理模块包括：文件目录缓存单元，配置为根据所述本地磁盘与所述网盘内存储的文件，建立所述文件目录；文件目录索引单元，配置为根据所述文件目录，进行路径检索获取所述文件的详细信息；文件目录获取单元，配置为接受所述任务管理模块的调度，根据所述路径检索的结果获取所述本地磁盘与所述网盘内存储的文件。3.根据权利要求2所述的系统，其特征在于，所述文件目录缓存单元还配置为：每隔指定的时间周期，或在检测到所述网盘内文件发生变化时，更新所述文件目录。4.根据权利要求1所述的系统，其特征在于，所述网络传输模块包括：多线程加速单元，配置为打开多个连接到目标文件的工作线程，实现针对所述目标文件的多线路数据传输；断点续传单元，配置为对文件传输过程中的传输数据进行本地保存；多线程部署单元，配置为对所述工作线程的数...

【专利技术属性】
技术研发人员：孙伟乐，程勇，
申请(专利权)人：江苏开放大学江苏城市职业学院，
类型：发明
国别省市：