一种基于云技术的数据传输及管理系统技术方案

本发明专利技术提供了一种基于云技术的数据传输及管理系统，包括用于数据存储的云服务器，所述云服务器为若干个，对应存储不同的数据库，若干个云服务器位于分布式存储组件中；冗余编码组件，所述冗余编码组件用于对云服务器中的数据进行冗余编码，以生成冗余数据；网络传输组件，所述网络传输组件通过云计算，将生成的冗余数据从源端传输至目的端；还包括与网络传输组件连接的身份认证单元和访问控制单元，用于限制冗余数据传输中的访问权限和操作权限；还包括与网络传输组件通讯连接的监控组件，所述监控组件用于监控数据传输的运行状态

【技术实现步骤摘要】
一种基于云技术的数据传输及管理系统


[0001]本专利技术涉及数据传输和管理
，尤其涉及一种基于云技术的数据传输及管理系统
。

技术介绍

[0002]在现有技术中，传统的数据传输系统在恶劣天气条件下存在一些缺陷
。
首先，恶劣天气条件下的强风
、
暴雨等极端天气会导致传输线路的中断，从而导致数据传输失败
。
其次，传统的数据管理系统对于大量数据的存储和管理效果较差，无法满足现代大数据处理的需求
。

技术实现思路

[0003]本专利技术的目的是解决在恶劣天气条件下，如台风等极端天气情况下，数据传输失败和数据管理效果差的问题
。
通过利用云技术，避免了传统数据传输系统容易受到破坏的问题，同时利用云计算技术提高了数据管理的效果
。
为实现上述目的，本专利技术通过以下技术方案予以实现
。
[0004]本专利技术的有益效果如下：本专利技术通过利用云技术实现数据传输和管理，解决了在恶劣天气条件下数据传输失败和数据管理效果差的问题
。
通过数据存储
、
数据传输
、
数据处理和管理以及系统保护等步骤，提高了数据传输的可靠性和完整性，同时提高了数据管理的效果
。
这一技术创新对于提高数据传输和管理的效率和可靠性具有重要意义
。
具体实施方式
[0005]下面结合各实施方式对本专利技术进行详细说明，但应当说明的是，这些实施方式并非对本专利技术的限制，本领域普通技术人员根据这些实施方式所作的功能
、
方法
、
或者结构上的等效变换或替代，均属于本专利技术的保护范围之内
。
[0006]本专利技术中的一种基于云技术的数据传输及管理系统，其整个的原理以及传输过程如下：第一，数据存储方面使用中，具体是将需要传输和管理的数据存储在云端，通过云存储技术实现数据的高效存储和管理
。
具体步骤如下：将数据分块并进行压缩处理，减小数据的存储空间
。
[0007]将压缩后的数据分别存储在多个云服务器上，以提高数据的可靠性和可用性
。
[0008]对存储的数据进行索引和分类，方便后续的数据管理和检索
。
[0009]举例说明：假设有一个需要传输的文件，大小为
100MB。
首先将文件分为
10
个
10MB
的块，并对每个块进行压缩处理，减小存储空间
。
然后将压缩后的块分别存储在3个云服务器上，以提高数据的可靠性和可用性
。
最后对存储的数据进行索引和分类，便于后续的数据
管理和检索
。
[0010]具体地，针对压缩组件，本专利技术中，选用
LZ77、LZ78
或
LZW
等，以提高数据存储空间的压缩比例
。
这些算法在压缩数据的同时，能够保持数据的完整性和可恢复性
。
通过使用这些算法，可以进一步减小数据的存储空间，提高存储资源的利用率
。
而选用压缩算法后，原来需要传输的文件为
100MB
，则会被压缩至
50MB。
这样可以减小存储空间的占用，提高存储资源的利用率
。
[0011]本实施例中，采用分布式存储系统，如
Hadoop
分布式文件系统（
HDFS
）或
GlusterFS
等，来实现数据在多个云服务器之间的一致性和同步性
。
这些分布式存储系统能够将数据分布在多个节点上，并提供数据的冗余备份和自动恢复功能，以确保数据的可靠性和可用性
。
假设将压缩后的数据分别存储在3个云服务器上，若采用
Hadoop
分布式文件系统（
HDFS
）来实现数据的分布式存储
。HDFS
将数据分布在多个节点上，并提供数据的冗余备份和自动恢复功能，以确保数据的可靠性和可用性
。
[0012]为了更加灵活的对数据进行索引和分类，以方便后续的数据管理和检索，采用分布式数据库系统，如
ApacheCassandra
或
MongoDB
等，来实现数据的索引和分类
。
这些分布式数据库系统能够提供灵活的数据模型和高效的查询功能，以满足不同应用场景下的数据管理和检索需求
。
假设对存储的数据进行索引和分类
。
采用
Apache Cassandra
作为分布式数据库系统，通过定义适当的数据模型和索引，可以实现对数据的灵活管理和高效检索
。
本专利技术通过对数据存储方案进行优化，提出了采用更加高效的压缩算法
、
分布式存储系统和分布式数据库系统的改进方案
。
这些优化方案能够提高数据存储空间的压缩比例，确保数据在多个云服务器之间的一致性和同步性，以及实现灵活和高效的数据索引和分类
。
这些改进方案在实际应用中已经得到验证，能够提高数据传输和管理系统的效率和可靠性
。
[0013]第二，数据传输方面利用云技术实现数据传输，通过云计算中的网络传输技术，将数据从源端传输至目的端
。
在传输过程中，采用冗余传输和差错校验等技术，确保数据传输的完整性和可靠性
。
具体步骤如下：将需要传输的数据进行分组，并对每个分组进行冗余编码，以提高数据传输的容错能力
。
所述冗余编码，选用
LDPC
码作为冗余编码算法，并动态调整冗余编码的参数
。LDPC
码是一种具有较高编码效率和纠错能力的冗余编码算法
。
通过动态调整冗余编码的参数，可以在保证容错能力的同时，减少传输延迟和存储空间占用
。
通过选择合适的冗余编码方式和优化冗余编码的实现方式，可以提高数据传输的容错能力，同时减少传输延迟和存储空间占用
。
这一优化方案对于解决在恶劣天气条件下数据传输失败和数据管理效果差的问题具有重要意义
。
[0014]本专利技术中，通过云计算中的网络传输技术，将数据分组从源端传输至目的端
。
在传输过程中，对每个分组进行差错校验，以确保数据传输的完整性和可靠性
。
比如有一个需要传输的文件，分为
10
个
10MB
的块
。
首先对每个块进行冗余编码，生成冗余数据以提高传输的容错能力
。
然后通过云计算中的网络传输技术，将数据分组从源端传输至目的端
。
在传输过程中，对每个分组进行差错校验，以确保数据传输的完整性和可靠性
。
[0015]本实施例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于云技术的数据传输及管理系统，其特征在于，包括，用于数据存储的云服务器，所述云服务器为若干个，对应存储不同的数据库，若干个云服务器位于分布式存储组件中；冗余编码组件，所述冗余编码组件用于对云服务器中的数据进行冗余编码，以生成冗余数据；网络传输组件，所述网络传输组件通过云计算，将生成的冗余数据从源端传输至目的端；还包括与网络传输组件连接的身份认证单元和访问控制单元，用于限制冗余数据传输中的访问权限和操作权限；还包括与网络传输组件通讯连接的监控组件，所述监控组件用于监控数据传输的运行状态
。2.
根据权利要求1所述的一种基于云技术的数据传输及管理系统，其特征在于，还包括数据处理单元，所述数据处理单元用于数据库的分块，使其按照设定的存储量分成若干块，且每个数据块压缩后存储于所述云服务器中
。3.
根据权利要求2所述的一种基于云技术的数据传输及管理系统，其特征在于，所述网络传输组件为若干个，若干个网络传输组件与若干块数据块一一对应，使得若干块数据块同步传输
。4.
根据权利要求2所述的一种基于云技术的数据传输及管理系统，其特征在于，所述网络传输组件的传输方式为断点续传，并通过设定传输超时时间的阈值，以在超过设定阈值时，自动重新传输
。5.
根据权利要求1所述的一种基于云技术的数据传输及管理系统，其特征在于，还包括分组单元，所述分组单元用于辅助网络传输组件，使得从源端传输至目的...

【专利技术属性】
技术研发人员：纪峰，王清艺，马一飞，刘晗，雷一帆，李永超，
申请(专利权)人：陕西环保产业研究院有限公司，
类型：发明
国别省市：