一种数据存储方法、系统和设备技术方案

一种数据存储方法，其特征在于，所述方法包括：接收第一终端发送的第一写请求，所述第一写请求携带待写入数据；其中，所述第一写请求为基于第一协议的写请求，根据所述第一写请求生成所述待写入数据的第一元数据，所述第一元数据为基于第一协议的元数据，并将所述待写入数据和所述第一元数据写入存储设备；接收第二终端发送的第二读请求，所述第二读请求为基于第二协议的读请求；将所述第二读请求转换为第一读请求，所述第一读请求为基于第一协议的读请求；利用所述第一元数据从所述存储设备中读取所述第一读请求所要读取的目标数据，所述目标数据为所述待写入数据或所述待写入数据的部分数据；并将所述目标数据返回给所述第二终端。

【技术实现步骤摘要】
一种数据存储方法、系统和设备
本专利技术涉及通信领域，尤其涉及一种数据存储方法、系统和设备。
技术介绍
数据备份是容灾的基础，传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是由于这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，目前采用网络备份来实现数据备份。而网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。现有的网络备份技术常常采用S3(SimpleStorageService，简易存储服务)，通过网络服务系统提供网络线上存储服务，经由网络服务页面，提供用户能够轻易把档案储存到网络服务器的方式来实现。S3是一个全球存储区域网络(StorageAreaNetworking，SAN)，可以在其中存储和检索数字资产，在S3存储和检索的资产被称为对象，对象存储在存储桶中，而且可以通过统一资源标识符(UniformResourceIdentifier，URI)查找对象和存储桶。此外，S3还提供了指定存储桶和对象的所有者和权限的能力，在定义对象或存储桶时，用户可以通过指定一个访问控制策略，注明谁可以访问用户的S3资产以及如何访问。用户用S3进行数字资产归档备份时，用户将数据通过S3协议写入网络服务器上，之后可以通过统一资源标示符(URI)查找和读取数据。同时，对于服务管理员可以使用传统的应用软件通过NFS(NetworkFileSystem，网络文件系统)协议读取网络服务器上数据来进行分析和统计。现有技术中，S3FS可以实现通过Posix文件接口或者导出后(Export)通过NFS协议访问S3存储桶中的对象。但是S3FS是一个单机版的本地文件系统，无分布式部署和处理能力，也无法实现协议转换。
技术实现思路
本专利技术的实施例提供一种数据存储方法、系统和设备，提供了一种数据存储的机制，不仅保证了在数据存储时的分布式处理能力，同时实现了数据存储时不同协议之间的协议转换，提高了数据存储的处理效率。为达到上述目的，本专利技术的实施例采用如下技术方案：第一方面，提供了一种数据存储方法，所述方法包括：接收第一终端发送的第一写请求，所述第一写请求携带待写入数据；其中，所述第一写请求为基于第一协议的写请求；根据所述第一写请求生成所述待写入数据的第一元数据，所述第一元数据为基于第一协议的元数据，并将所述待写入数据和所述第一元数据写入存储设备；接收第二终端发送的第二读请求，所述第二读请求为基于第二协议的读请求；将所述第二读请求转换为第一读请求，所述第一读请求为基于第一协议的读请求；利用所述第一元数据从所述存储设备中读取所述第一读请求所要读取的目标数据；所述目标数据为所述待写入数据或所述待写入数据的部分数据，并将所述目标数据返回给所述第二终端。结合第一方面，在第二种可能的实现方式中，所述第一读请求包括：所述目标数据的对象名称、所述目标数据所在的存储桶的桶名、第三偏移量和第一权限信息；所述第二读请求包括：所述目标数据的文件名称、所述目标数据所在的文件夹的文件夹名称、第四偏移量和第二权限信息；所述将所述第二读请求转换为第一读请求包括：将所述第二读请求中的所述目标数据的文件名称转换为所述目标数据的对象名称；将所述第二读请求中的所述第二权限信息转换为所述第一权限信息；将所述第二读请求中的所述目标数据所在的文件夹的文件夹名称转换为所述目标数据所在的存储桶的桶名；将所述第二读请求中的所述第四偏移量转换为所述第三偏移量，从而得到所述第一读请求。第二方面，提供一种数据存储方法，所述方法包括：接收第二终端发送的第二写请求，所述第二写请求携带待写入数据；其中，所述第二写请求为基于第二协议的写请求；将所述第二写请求转换为第一写请求，所述第一写请求为基于第一协议的写请求；将所述待写入数据写入存储设备；根据所述第一写请求生成所述待写入数据的第一元数据，并将所述第一元数据写入所述存储设备，所述第一元数据为基于第一协议的元数据；接收第一终端发送的第一读请求，所述第一读请求为基于第一协议的读请求；从所述存储设备中读取所述第一读请求所要读取的目标数据；所述目标数据为所述待写入数据或所述待写入数据的部分数据，并将所述目标数据返回给所述第一终端。结合第二方面，在第一种可能的实现方式中，所述第一写请求包括：所述待写入数据的对象名称、所述待写入数据的对象大小、所述待写入数据所要存入的存储桶的桶名、第一偏移量和第一用户信息，其中，所述第一用户信息包括第一用户权限信息；所述第二写请求包括：所述待写入数据的文件名称、所述待写入数据的文件大小、所述待写入数据所要存入的文件的文件名称、第二偏移量和第二用户信息，其中，所述第二用户信息包括第二用户权限信息；所述将所述第二写请求转换为第一写请求具体包括：将所述第二写请求中的所述待写入数据的文件名称转换为所述待写入数据的对象名称；将所述第二写请求中的所述待写入数据的文件大小转换为所述待写入数据的对象大小；将所述第二写请求中的所述待写入数据所要存入的文件的文件名称转换为所述待写入数据所要存入的存储桶的桶名；将所述第二写请求中的所述第一用户信息转换为所述第二用户信息；将所述第二写请求中的所述第二偏移量转换为所述第一偏移量，从而得到所述第一写请求。第三方面，提供一种数据存储方法，所述方法包括：接收所述第二管理服务器发送的第二读请求，所述第二读请求为所述第二管理服务器从所述第二终端接收的，所述第二读请求为基于第二协议的读请求；将所述第二读请求转换为第一读请求；利用所述第一读请求从所述存储设备中读取所述第一读请求所要读取的目标数据；所述目标数据为所述待写入数据或所述待写入数据的部分数据，并将所述目标数据返回给所述第二终端。结合第三方面，在第一种可能的实现方式中，所述接收所述第二管理服务器发送的第二读请求之前，所述方法包括：接收第一管理服务器发送的第一写请求，所述第一写请求为所述第一管理服务器从第一终端接收的，所述第一写请求为基于第一协议的写请求；将所述第一写请求转换为第二写请求，以便所述第二管理服务器根据所述第二写请求生成所述待写入数据的第二元数据。结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一写请求包括：所述待写入数据的对象名称、所述待写入数据的对象大小、所述待写入数据所要存入的存储桶的桶名、第一偏移量和第一用户信息，其中，所述第一用户信息包括第一用户权限信息；所述第二写请求包括：所述待写入数据的文件名称、所述待写入数据的文件大小、所述待写入数据所要存入的文件的文件名称、第二偏移量和第二用户信息，其中，所述第二用户信息包括第二用户权限信息；所述将所述第一写请求转换为第二写请求包括：将所述第一写请求中的所述第一偏移量转换为所述第二偏移量；将所述第一写请求中的所述待写入数据的对象名称转换为所述待写入数据的文件名称；将所述第一写请求中的所述待写入数据的对象大小转换为所述待写入数据的文件大小；将所述第一写请求中的所述待写入数据所要存入的存储桶的桶名转换为所述待写入数据所要存入的文件的文件名称；将所述第一写请求中的所述第一用户信息转换为所述第二用户信息，从而得到所述第二写请求；所述第二写请求为基于第二协议的写请求；以便所述第二管理服务器根据所述第二写请求生成所述本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，所述方法包括：接收第一终端发送的第一写请求，所述第一写请求携带待写入数据；其中，所述第一写请求为基于第一协议的写请求，根据所述第一写请求生成所述待写入数据的第一元数据，所述第一元数据为基于第一协议的元数据，并将所述待写入数据和所述第一元数据写入存储设备；接收第二终端发送的第二读请求，所述第二读请求为基于第二协议的读请求；将所述第二读请求转换为第一读请求，所述第一读请求为基于第一协议的读请求；利用所述第一元数据从所述存储设备中读取所述第一读请求所要读取的目标数据，所述目标数据为所述待写入数据或所述待写入数据的部分数据；并将所述目标数据返回给所述第二终端。

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法包括：接收第一终端发送的第一写请求，所述第一写请求携带待写入数据；其中，所述第一写请求为基于第一协议的写请求，根据所述第一写请求生成所述待写入数据的第一元数据，所述第一元数据为基于第一协议的元数据，并将所述待写入数据和所述第一元数据写入存储设备；接收第二终端发送的第二读请求，所述第二读请求为基于第二协议的读请求；将所述第二读请求转换为第一读请求，所述第一读请求为基于第一协议的读请求；利用所述第一元数据从所述存储设备中读取所述第一读请求所要读取的目标数据，所述目标数据为所述待写入数据或所述待写入数据的部分数据；并将所述目标数据返回给所述第二终端。2.根据权利要求1所述的方法，其特征在于，所述第一读请求包括：所述目标数据的对象名称、所述目标数据所在的存储桶的桶名、第三偏移量和第一权限信息；所述第二读请求包括：所述目标数据的文件名称、所述目标数据所在的文件夹的文件夹名称、第四偏移量和第二权限信息；所述将所述第二读请求转换为第一读请求包括：将所述第二读请求中的所述目标数据的文件名称转换为所述目标数据的对象名称；将所述第二读请求中的所述第二权限信息转换为所述第一权限信息；将所述第二读请求中的所述目标数据所在的文件夹的文件夹名称转换为所述目标数据所在的存储桶的桶名；将所述第二读请求中的所述第四偏移量转换为所述第三偏移量，从而得到所述第一读请求。3.一种数据存储方法，其特征在于，所述方法包括：接收第二终端发送的第二写请求，所述第二写请求携带待写入数据；其中，所述第二写请求为基于第二协议的写请求；将所述第二写请求转换为第一写请求，所述第一写请求为基于第一协议的写请求；将所述待写入数据写入存储设备；根据所述第一写请求生成所述待写入数据的第一元数据，并将所述第一元数据写入所述存储设备，所述第一元数据为基于第一协议的元数据；接收第一终端发送的第一读请求，所述第一读请求为基于第一协议的读请求；利用所述第一元数据从所述存储设备中读取所述第一读请求所要读取的目标数据；所述目标数据为所述待写入数据或所述待写入数据的部分数据，并将所述目标数据返回给所述第一终端。4.根据权利要求3所述的方法，其特征在于，所述第一写请求包括：所述待写入数据的对象名称、所述待写入数据的对象大小、所述待写入数据所要存入的存储桶的桶名、第一偏移量和第一用户信息，其中，所述第一用户信息包括第一用户权限信息；所述第二写请求包括：所述待写入数据的文件名称、所述待写入数据的文件大小、所述待写入数据所要存入的文件的文件名称、第二偏移量和第二用户信息，所述第二用户信息包括第二用户权限信息；所述将所述第二写请求转换为第一写请求包括：将所述第二写请求中的所述待写入数据的文件名称转换为所述待写入数据的对象名称；将所述第二写请求中的所述待写入数据的文件大小转换为所述待写入数据的对象大小；将所述第二写请求中的所述待写入数据所要存入的文件的文件名称转换为所述待写入数据所要存入的存储桶的桶名；将所述第二写请求中的所述第二用户信息转换为所述第一用户信息；将所述第二写请求中的所述第二偏移量转换为所述第一偏移量，从而得到所述第一写请求。5.一种数据存储方法，其特征在于，所述方法包括：接收第二管理服务器发送的第二读请求，所述第二读请求为所述第二管理服务器从第二终端接收的，所述第二读请求为基于第二协议的读请求；将所述第二读请求转换为第一读请求；根据所述第一读请求从存储设备中读取所述第一读请求所要读取的目标数据；并将所述目标数据返回给所述第二终端。6.根据权利要求5所述的方法，其特征在于，所述接收所述第二管理服务器发送的第二读请求之前，所述方法包括：接收第一管理服务器发送的第一写请求，所述第一写请求为所述第一管理服务器从第一终端接收的，所述第一写请求为基于第一协议的写请求；将所述第一写请求转换为第二写请求，以便所述第二管理服务器根据所述第二写请求生成待写入数据的第二元数据。7.根据权利要求6所述的方法，其特征在于，所述第一写请求包括：所述待写入数据的对象名称、所述待写入数据的对象大小、所述待写入数据所要存入的存储桶的桶名、第一偏移量和第一用户信息，其中，所述第一用户信息包括第一用户权限信息；所述第二写请求包括所述待写入数据的文件名称、所述待写入数据的文件大小、所述待写入数据所要存入的文件的文件名称、第二偏移量和第二用户信息，其中，所述第二用户信息包括第二用户权限信息；所述将所述第一写请求转换为第二写请求包括：将所述第一写请求中的所述第一偏移量转换为所述第二偏移量；将所述第一写请求中的所述待写入数据的对象名称转换为所述待写入数据的文件名称；将所述第一写请求中的所述待写入数据的对象大小转换为所述待写入数据的文件大小；将所述第一写请求中的所述待写入数据所要存入的存储桶的桶名转换为所述待写入数据所要存入的文件的文件名称；将所述第一写请求中的所述第一用户信息转换为所述第二用户信息，从而得到所述第二写请求；所述第二写请求为基于第二协议的写请求。8.根据权利要求5所述的方法，其特征在于，所述第一读请求包括：所述目标数据的对象名称、所述目标数据所在的存储桶的桶名、第三偏移量和第一权限信息；所述第二读请求包括：所述目标数据的文件名称、所述目标数据所在的文件夹的文件夹名称、第四偏移量和第二权限信息；所述将所述第二读请求转换为第一读请求包括：将所述第二读请求中的所述目标数据的文件名称转换为所述目标数据的对象名称；将所述第二读请求中的所述第二权限信息转换为所述第一权限信息；将所述第二读请求中的所述目标数据所在的文件夹的文件夹名称转换为所述目标数据所在的存储桶的桶名；将所述第二读请求中的所述第四偏移量转换为所述第三偏移量；从而得到所述第一读请求。9.一种数据存储方法，其特征在于，所述方法包括：接收第二管理服务器发送的第二写请求，所述第二写请求为所述第二管理服务器从第二终端接收的，所述第二写请求携带待写入数据，所述第二写请求为基于第二协议的写请求；将所述第二写请求转换为第一写请求，所述第一写请求为基于第一协议的写请求；以便第一管理服务器根据所述第一写请求生成所述待写入数据的第一元数据；根据第一写请求将所述待写入数据写入存储设备。10.根据权利要求9所述的方法，其特征在于，所述第一写请求包括：所述待写入数据的对象名称、所述待写入数据的对象大小、所述待写入数据所要存入的存储桶的桶名、第一偏移量和第一用户信息，其中，所述第一用户信息包括第一用户权限信息；所述第二写请求包括：所述待写入数据的文件名称、所述待写入数据的文件大小、所述待写入数据所要存入的文件的文件名称、第二偏移量和第二用户信息，其中，所述第二用户信息包括第二用户权限信息；所述将所述第二写请求转换为第一写请求包括：将所述第二写请求中的所述待写入数据的文件名称转换为所述待写入数据的对象名称；将所述第二写请求中的所述待写入数据的文件大小转换为所述待写入数据的对象大小；将所述第二写请求中的所述待写入数据所要存入的文件的文件名称转换为所述待写入数据所要存入的存储桶的桶名；将所述第二写请求中的所述第二用户信息转换为所述第一用户信息；将所述第二写请求中的所述第二偏移量转换为所述第一偏移量，从而得到所述第一写请求。11.一种数据存储系统，包括至少一个第一终端、至少一个第二终端、存储设备，其特征在于，所述系统还包括：第一管理服务器，用于接收所述第一终端发送的第一写请求，所述第一写请求携带待写入数据；其中，所述第一写请求为基于第一协议的写请求，根据所述第一写请求生成所述待写入数据的第一元数据，所述第一元数据为基于第一协议的元数据，并将所述待写入数据和所述第一元数据写入存储设备；第二管理服务器，用于接收第二终端发送的第二读请求，所述第二读请求为基于第二协议的读请求，并将所...

【专利技术属性】
技术研发人员：丁也，王建，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：