A LRC erasure code can be restored based on cloud storage system, including user information management module, file management module, database server, business processing server and a plurality of data storage server; user information management module for registration and login; the database server is used to store the username and password; file management module for file upload, use check block LRC erasure code generation to upload files, download files, delete and search; data storage server for storing files and parity blocks; business process server for the parity block file recovery and download; the invention adopts LRC erasure codes, I/O network reduces the amount of data transmission, data recovery operation reduces the recovery time is fast; a block of data and checking blocks encryption and Hash processing, to ensure the data transmission process in secret.
【技术实现步骤摘要】
一种基于LRC纠删码的可恢复云存储系统
本专利技术属于文件存储
,具体涉及一种基于LRC纠删码的可恢复云存储系统。
技术介绍
云存储系统具有以下优点:无需本地存储、节省大量的存储空间、可以随时随地进行上传和下载、无需专门的管理人员、节省管理和经济成本等显著优点,且能提供可用性、可维护性和扩展性保障。然而当前的云存储服务器面临着安全性的威胁:当个人或企业用户将数据上传到服务器时,如果发生不可预知的事情,如自然灾害、病毒入侵、服务器受到攻击或者工作人员管理疏忽问题时,数据的完整性和机密性都得到了威胁。因此,确保在文件部分破坏时能完整的恢复出来越来越得到重视。纠删码技术是一类源于信道传输的编码技术,由于具有容忍多个数据帧丢失的特点被广泛应用在分布式存储领域中。在分布式存储系统中,纠删码将数据编码成数据块和校验块,当部分数据块损坏时,系统可以根据剩余的数据块和校验块恢复原来完整的文件,从而保证数据的完整性和可靠性。基于纠删码的容错技术因为它较高的资源利用率、较强的容错能力成为最常用的容错技术。纠删码通过技术含量较高的算法,提供和副本近似的可靠性,同时减小了额外所需冗余设备的数量,从而提高了存储设备的利用率。但纠删码所带来的额外负担主要是计算量和数倍的网络负载,优缺点都相当明显。尤其是在出现硬盘故障后,重建数据非常耗CPU,而且计算一个数据块需要通过网络读出N倍的数据并传输,所以网络负载也有数倍甚至10数倍的增加。当前大多数的云存储系统采用的是RS纠删码技术,但为了满足分布式存储的要求,即当单个存储磁盘发生故障时,只需要对该磁盘中的存储进行恢复,这样就能把影响 ...
【技术保护点】
一种基于LRC纠删码的可恢复云存储系统,其特征在于,包括:用户信息管理模块、文件管理模块和服务器端;所述服务器端包括:数据库服务器、业务处理服务器和数据存储服务器;所述用户信息管理模块,用于获取用户输入的用户名和密码,并发送给数据库服务器;接收数据库服务器发送的登陆成功消息或用户名/密码错误消息,如果为登录成功消息,提示用户登陆成功,并向文件管理模块发送认证成功消息,如果为用户名/密码错误消息,提示用户登陆失败;所述数据库服务器,接收用户信息管理模块发送的用户名和密码,判断用户名与密码是否匹配,是,向用户信息管理模块发送登陆成功消息,否则,向用户信息管理模块发送用户名/密码错误消息;所述文件管理模块,用于接收用户信息管理模块发送的认证成功消息,并判断操作类型,如果为上传操作,获取待上传文件,提取文件名,将待上传文件分为数据块,并进行LRC纠删码编码,生成待上传文件的全局校验块和局部校验块,将数据块、文件名、全局校验块和局部校验块发送给数据存储服务器,将文件名存储到本地数据库;接收文件存储成功消息并显示;如果为下载操作,获取待下载文件的文件名和存储位置,将文件名和下载请求发送给业务处理服 ...
【技术特征摘要】
1.一种基于LRC纠删码的可恢复云存储系统,其特征在于,包括:用户信息管理模块、文件管理模块和服务器端;所述服务器端包括:数据库服务器、业务处理服务器和数据存储服务器;所述用户信息管理模块,用于获取用户输入的用户名和密码,并发送给数据库服务器;接收数据库服务器发送的登陆成功消息或用户名/密码错误消息,如果为登录成功消息,提示用户登陆成功,并向文件管理模块发送认证成功消息,如果为用户名/密码错误消息,提示用户登陆失败;所述数据库服务器,接收用户信息管理模块发送的用户名和密码,判断用户名与密码是否匹配,是,向用户信息管理模块发送登陆成功消息,否则,向用户信息管理模块发送用户名/密码错误消息;所述文件管理模块,用于接收用户信息管理模块发送的认证成功消息,并判断操作类型,如果为上传操作,获取待上传文件,提取文件名,将待上传文件分为数据块,并进行LRC纠删码编码,生成待上传文件的全局校验块和局部校验块,将数据块、文件名、全局校验块和局部校验块发送给数据存储服务器,将文件名存储到本地数据库;接收文件存储成功消息并显示;如果为下载操作,获取待下载文件的文件名和存储位置,将文件名和下载请求发送给业务处理服务器;接收业务处理服务器发送的待下载文件,并根据存储位置存储待下载文件;所述数据存储服务器,用于接收文件管理模块发送的数据块、文件名、全局校验块和局部校验块,并分散存储,向文件管理模块发送文件存储成功消息;用于接收业务处理服务器发送的文件名,根据文件名提取该文件名对应的数据块、全局校验块和局部校验块,并发送给业务处理服务器;所述业务处理服务器,用于接收文件管理模块发送的文件名和下载请求,并将文件名发送给数据存储服务器;接收数据存储服务器发送的数据块、全局校验块和局部校验块,利用全局校验块或局部校验块恢复待下载文件,并将待下载文件发送给文件管理模块。2.根据权利要求1所述的基于LRC纠删码的可恢复云存储系统,其特征在于,所述文件管理模块还用于获取用户输入的用户名、密码和确认密码,并发送给数据库服务器;接收数据库服务器发送的注册完成消息并提示用户注册完成;所述数据库服务器还用于接收用户信息管理模块发送的用户名、密码和确认密码,存储用户名、密...
【专利技术属性】
技术研发人员:徐剑,玄鹏开,徐健巡,张浩然,
申请(专利权)人:东北大学,
类型:发明
国别省市:辽宁,21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。