一种数据存储方法、系统、电子设备及存储介质技术方案

本发明专利技术提供一种数据存储方法、系统、电子设备及存储介质，客户端接收授权服务器反馈的票证时，与HDFS系统建立连接，并向HDFS系统发送远程过程访问请求，以使HDFS系统确定存在远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与待迁移文件对应的至少一个数据节点信息，并确定每个数据节点信息对应的目标数据节点与客户端距离最短的目标链路；客户端根据对应的目标链路与相应目标数据节点进行通信，从目标数据节点中获取与待迁移文件相应的数据块，并将数据块传输至与HDFS系统连接的蓝光存储系统，直至待迁移文件相关的所有数据块均传输至蓝光存储系统为止。本发明专利技术能够解决在数据迁移的过程中容易出现操作风险以及增加相应的运营成本的问题。加相应的运营成本的问题。加相应的运营成本的问题。

【技术实现步骤摘要】
一种数据存储方法、系统、电子设备及存储介质


[0001]本专利技术涉及计算机
，更具体地说，涉及一种数据存储方法、系统、电子设备及存储介质。

技术介绍

[0002]随着社会的发展和时间的积累，产生了大量的信息，这些信息一般以数字的方式存储在相应的设备中。由于不同数据的应用场景不同，使得不同数据所需存放的时间、查询、更新速度等等相关需求也存在很大的差异，进而可以将需要频繁查询或者修改的数据存放于可以提供快速查询更新操作的OLTP(On Line Transaction Processing)的数据库系统，将不做修改用于统计分析的数据存放至OLAP(On Line Analytical Processing)的数据仓库和大数据系统。
[0003]但是当前的数据仓库及大数据系统，其底层存储介质大部分为固态硬盘、机械硬盘等等，使用年限普遍较低并不适合长期存放数据，需要在每次接近有效期时将存储的数据迁移至新的存储设备中，在数据迁移的过程中容易出现操作风险，以及增加相应的运营成本。

技术实现思路

[0004]有鉴于此，本专利技术提供一种数据存储方法、系统、电子设备及存储介质，以解决现有的存储设备由于存储年限有限，需要在每次接近有效期时将存储的数据迁移至新的存储设备中，导致在数据迁移的过程中容易出现操作风险，以及增加相应的运营成本的问题。
[0005]本专利技术第一方面公开一种数据存储方法，应用于客户端，所述方法包括：
[0006]接收授权服务器反馈的票证时，与HDFS系统建立连接，并向所述HDFS系统发送远程过程访问请求，以使所述HDFS系统确定存在所述远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与所述待迁移文件对应的至少一个数据节点信息，并确定每个数据节点信息对应的目标数据节点与所述客户端距离最短的目标链路；其中，所述票证是所述授权服务器根据所述客户端发送的验证信息确认所述客户端为合法性客户端时反馈的；所述验证信息是所述客户端基于认证服务器基于所述客户端发送的授权票证请求生成的；
[0007]根据对应的目标链路与相应所述目标数据节点进行通信，从所述目标数据节点中获取与所述待迁移文件相应的数据块，并将所述数据块传输至与所述HDFS系统连接的蓝光存储系统，直至所述待迁移文件相关的所有数据块均传输至所述蓝光存储系统为止；其中，待迁移文件为无需修改、查询需求为非实时，以及保存时间要求长的数据。
[0008]本专利技术第二方面公开的一种数据存储系统，所述数据存储系统应用于客户端，所述系统包括：
[0009]远程过程访问请求发送单元，用于接收授权服务器反馈的票证时，与HDFS系统建立连接，并向所述HDFS系统发送远程过程访问请求，以使所述HDFS系统确定存在所述远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与所述待迁移文件对应的至少一
个数据节点信息，并确定每个数据节点信息对应的目标数据节点与所述客户端距离最短的目标链路；其中，所述票证是所述授权服务器根据所述客户端发送的验证信息确认所述客户端为合法性客户端时反馈的；所述验证信息是所述客户端通过验证信息生成单元基于认证服务器根据所述客户端发送的授权票证请求生成的；
[0010]传输单元，用于根据对应的目标链路与相应所述目标数据节点进行通信，从所述目标数据节点中获取与所述待迁移文件相应的数据块，并将所述数据块传输至与所述HDFS系统连接的蓝光存储系统，直至所述待迁移文件相关的所有数据块均传输至所述蓝光存储系统为止；其中，待迁移文件为无需修改、查询需求为非实时，以及保存时间要求长的数据。
[0011]本专利技术第三方面提供一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如上述本专利技术第一方面公开的数据存储方法。
[0012]本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本专利技术第一方面公开的数据存储方法。
[0013]本专利技术提供一种数据存储方法、系统、电子设备及存储介质，客户端接收授权服务器反馈的票证时，与HDFS系统建立连接，并向HDFS系统发送远程过程访问请求，以使HDFS系统确定存在远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与待迁移文件对应的至少一个数据节点信息，并确定每个数据节点信息对应的目标数据节点与客户端距离最短的目标链路；其中，票证是授权服务器根据客户端发送的验证信息确认客户端为合法性客户端时反馈的；验证信息是客户端基于认证服务器根据客户端发送的授权票证请求生成的；针对每个目标数据节点而言，客户端根据对应的目标链路与目标数据节点进行通信，从目标数据节点中获取与待迁移文件相应的数据块，并将数据块传输至与HDFS系统连接的蓝光存储系统，直至待迁移文件相关的所有数据块均传输至蓝光存储系统为止；其中，待迁移文件为无需修改、查询需求为非实时，以及保存时间要求长的数据。本专利技术提供的技术方案，预先建立HDFS系统与蓝光存储系统的连接，进而可以通过客户端将HDFS系统中的无需修改、查询需求为非实时，以及保存时间要求长的待迁移文件迁移至蓝光存储系统中进行存储，从而解决由于现有的存储设备存在存储年限，需要在每次接近有效期时将存储的数据迁移至新的存储设备中，导致在数据迁移的过程中容易出现操作风险，以及增加相应的运营成本的问题。
附图说明
[0014]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0015]图1为本专利技术实施例提供的一种Hadoop集群中的HDFS系统以及数据仓库对接蓝光存储系统的架构图；
[0016]图2为本专利技术实施例提供的一种数据存储方法的流程示意图；
[0017]图3为本专利技术实施例提供的另一种数据存储方法的流程示意图；
[0018]图4为本专利技术实施例提供的一种数据存储系统的结构示意图；
[0019]图5为本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0020]下面将参照附图更详细地描述本专利技术公开的实施例。虽然附图中显示了本专利技术公开的某些实施例，然而应当理解的是，本专利技术公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本专利技术公开的附图及实施例仅用于示例性作用，并非用于限制本专利技术公开的保护范围。
[0021]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在，应用于客户端，所述方法包括：接收授权服务器反馈的票证时，与HDFS系统建立连接，并向所述HDFS系统发送远程过程访问请求，以使所述HDFS系统确定存在所述远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与所述待迁移文件对应的至少一个数据节点信息，并确定每个数据节点信息对应的目标数据节点与所述客户端距离最短的目标链路；其中，所述票证是所述授权服务器根据所述客户端发送的验证信息确认所述客户端为合法性客户端时反馈的；所述验证信息是所述客户端基于认证服务器基于所述客户端发送的授权票证请求生成的；根据对应的目标链路与相应所述目标数据节点进行通信，从所述目标数据节点中获取与所述待迁移文件相应的数据块，并将所述数据块传输至与所述HDFS系统连接的蓝光存储系统，直至所述待迁移文件相关的所有数据块均传输至所述蓝光存储系统为止；其中，待迁移文件为无需修改、查询需求为非实时，以及保存时间要求长的数据。2.根据权利要求1所述的方法，其特征在于，所述基于认证服务器基于所述客户端发送的授权票证请求的加密信息，生成所述验证信息，包括：向认证服务器发送授权票证请求，以使所述认证服务器根据用户名获取相应的授权票证，利用密码对所述所述授权票证进行加密，并将得到的加密信息发送给所述客户端；其中，所述授权票证请求包括所述用户名和密码；利用所述密码对所述加密信息进行解密，得到所述授权票证，并根据所述Ticket Granting Ticket，生成所述验证信息。3.根据权利要求1所述的方法，其特征在于，所述将所述数据块传输与所述HDFS系统连接的蓝光存储系统，包括：在所述蓝光存储系统上创建与所述待迁移文件对应的存储桶，并获取所述存储桶对应的目标URL；根据所述目标URL，将所述数据块传输至所述蓝光存储系统上的存储桶。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：在将所述数据块传输至与所述HDFS系统连接的蓝光存储系统后，计算所述数据块的校验值，并判断所述校验值与所述数据块中的校验位的校验值是否一致；若所述校验值与所述数据块中的校验位的校验值一致，确定所述数据块传输完成；若所述校验值与所述数据块中的校验位的校验值不一致，确定所述数据块传输失败，并输出对应的报错信息。5.根据权利要求1所述的方法，其特征在于，所述将待迁移文件相关的所有数据块均传输至所述蓝光存储系统之后，所述方法还包括：从所述HDFS系统中获取所述待迁移文件的第一数据总量信息，以及获取所述蓝光存储系统中所述待迁移文件的第二数据总量信息；将所述第一数据总量信息和所述第二数据总量信息进行比对；若所述第一数据总量信息和所述第二数据总量信...

【专利技术属性】
技术研发人员：吕旖旎，韩超，奚卫红，高云，邓罡，门玉森，李睿，杨俊，梁策，杨元，曹铭轩，赵文韬，李巍伟，林恩爱，娄峰，马晓平，
申请(专利权)人：中国民航信息网络股份有限公司，
类型：发明
国别省市：