一种数据管理方法、系统、计算机设备及存储介质技术方案

本文提供了一种数据管理方法、系统、计算机设备及存储介质，其中，数据管理方法包括：接收并解析数据请求方的数据迁移请求，得到虚拟文件系统的访问目录及迁移后存储系统的访问目录；根据虚拟文件系统的访问目录，将迁移后存储系统的访问目录新增至预先建立的路由配置表中，其中，所述路由配置表中配置有虚拟文件系统的访问目录与各存储系统的访问目录之间的关联关系；路由配置表修改后，响应数据迁移请求。本实施例，能够有效降低存储系统数据管理和使用的复杂度，提升用户体现，实现单一路由配置表跨存储系统数据迁移，且能保证数据迁移过程中数据能够访问，避免访问失败。避免访问失败。避免访问失败。

【技术实现步骤摘要】
一种数据管理方法、系统、计算机设备及存储介质


[0001]本文涉及大数据领域，尤其涉及一种数据管理方法、系统、计算机设备及存储介质。

技术介绍

[0002]跨HDFS集群及云存储访问数据可利用Hadoop ViewFS技术方案去实现。ViewFs全称视图文件系统，简单的可以理解为这是一个虚拟的逻辑上的文件系统。ViewFs主要做2件重要的事情：路径映射和请求转发，ViewFs将不同集群HDFS存储、云存储挂载到ViewFS文件系统不同的目录。但在数据爆炸的时代，受限于单个集群HDFS文件数的制约，单个集群HDFS存储空间有瓶颈，定期将无用数据删除或将使用频率很低的历史数据从HDFS存储迁移到云存储是通常的做法。由于不同存储系统的ViewFs挂载目录不同，在数据发生迁移后，会导致从同一个HIVE表查不到全量数据，进而影响数据的管理和使用。如果要查到全量数据，需创建两个HIVE表，数据的管理和使用存在着极大的不便。而HDFS另外维护挂载目录配置需要修改所有集群的配置，存在集群运维工作量大的问题。

技术实现思路

[0003]本文用于解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，其特征在于，应用于建立在数据请求方与多个存储系统之间的虚拟文件系统，所述方法包括：接收并解析所述数据请求方发送的数据迁移请求，得到虚拟文件系统的访问目录及迁移后存储系统的访问目录；根据虚拟文件系统的访问目录，将迁移后存储系统的访问目录新增至预先建立的路由配置表中，其中，所述路由配置表中配置有虚拟文件系统的访问目录与各存储系统的访问目录之间的关联关系；路由配置表修改后，响应数据迁移请求。2.如权利要求1所述的数据管理方法，其特征在于，还包括：接收并解析数据请求方发送的数据访问请求，得到虚拟文件系统的访问目录及访问文件信息；根据虚拟文件系统的访问目录及所述路由配置表，确定待访问的存储系统的访问目录；根据所述待访问的存储系统的访问目录及所述访问文件信息，确定文件存储路径；根据所述文件存储路径，从相应存储文件读取数据，将读取的数据发送给数据请求方。3.如权利要求2所述的数据管理方法，其特征在于，若所述文件存储路径至少包括HDFS存储系统的存储路径及云存储系统的存储路径，则根据所述文件存储路径，从相应存储文件读取数据包括：根据所述HDFS存储系统的存储路径，确定第一文件列表；根据所述云存储系统的存储路径，确定第二文件列表；确定第一文件列表与第二文件列表中重复的文件，删除第二文件列表中重复的文件；合并第一文件列表及去重后的第二文件列表；根据合并后的文件列表，读取数据。4.如权利要求2所述的数据管理方法，其特征在于，根据所述文件存储路径，从相应存储文件读取数据之后还包括：对读取数据做去重及整合处理，将处理后的数据返回至数据请求方。5.如权利要求1所述的数据管理方法，其特征在于，所述虚拟文件系统的建立过程包括：定义虚...

【专利技术属性】
技术研发人员：兰筱明，
申请(专利权)人：泰康在线财产保险股份有限公司，
类型：发明
国别省市：