【技术实现步骤摘要】
本申请涉及信息技术(information technology，it)、存储，尤其涉及数据流动感知方法及相关装置。
技术介绍
1、随着网络技术的发展和云架构的普及，企业数据中心从主备模式向多数据中心协同模式发展。数据的爆发式增长也使得数据分布从单一数据中心的集中式管理走向多数据中心的联邦式管理。越来越多的业务需要同时用到存放于多数据中心的数据进行分析和查询。
2、跨数据中心的数据查询依赖文件视图来进行查询。由每一个数据中心基于本数据中心的文件的视图，完成本数据中心的查询，再汇总多个数据中心的查询结果得到最终查询结果。
3、多数据中心环境下，组建联合文件系统、提供全局统一文件视图能力渐渐成为业界趋势，即：在多个数据中心的数据从逻辑上组织在一个统一的文件系统内，在每个数据中心都能看到联合文件系统的整体的文件视图。在联合文件系统中，上层的文件系统的视图统一，而文件的数据可以在多个数据中心之间流动，在任一数据中心都可以访问多个数据中心的数据，并将远端的数据加载到本地。
4、在这种情况下，由于多个数据中心所看...
【技术保护点】
1.一种数据流动感知方法，其特征在于，应用于第一数据处理系统中的数据流动感知装置，所述第一数据处理系统包括第一计算集群和第一存储集群，所述第一计算集群和所述第一存储集群相连，所述第一计算集群上运行有第一大数据平台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标结构化数据的元数据包括如下的一项或多项：所述目标结构化数据的名称、所述目标结构化数据在所述第一存储集群上的存放位置、所述目标结构化数据的版本、所述目标结构化数据的类型、所述目标结构化数据的分块标识。
3.根据权利要求2所述的方法，其特征在于，所述目标结构化数据在第一存储...
【技术特征摘要】
1.一种数据流动感知方法，其特征在于，应用于第一数据处理系统中的数据流动感知装置，所述第一数据处理系统包括第一计算集群和第一存储集群，所述第一计算集群和所述第一存储集群相连，所述第一计算集群上运行有第一大数据平台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述目标结构化数据的元数据包括如下的一项或多项：所述目标结构化数据的名称、所述目标结构化数据在所述第一存储集群上的存放位置、所述目标结构化数据的版本、所述目标结构化数据的类型、所述目标结构化数据的分块标识。
3.根据权利要求2所述的方法，其特征在于，所述目标结构化数据在第一存储集群上的存放位置为所述目标目录所对应的存储位置。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第二存储集群属于第二数据处理系统，所述第二数据处理系统还包括与所述第二存储集群相连的第二计算集群，所述第二计算集群上运行有第二大数据平台；
5.根据权利要求4所述的方法，其特征在于，所述向所述第二计算集群提供所述目标结构化数据的元数据，包括：
6.根据权利要求4或5所述的方法，其特征在于，所述文件系统属于全局文件系统，所述第一存储集群和所述第二存储集群分别存储了所述全局文件系统的部分数据；所述全局文件系统提供全局消息总线；
7.根据权利要求1-5任一项所述的方法，其特征在于，所述文件系统属于全局文件系统，所述第一存储集群和所述第二存储集群分别存储了所述全局文件系统的部分数据；所述全局文件系统提供全局消息总线；
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1-8任一项所述的方法，其特征在于，删除所述目标结构化数据的元数据之后的第一大数据平台的元数据库用于大数据的业务查询，所述业务查询不涉及对所述目标结构化数据的查询。
10.一种数据流动感知方法，其特征在于，应用于第二数据处理系统中的数据流动感知装置，所述第二数据处理系统包括第二计算集群和第二存储集群，所述第二计算集群和所述第二存储集群相连，所述第二计算集群上运行有第二大数据平台，所述方法包括：
11.根据权利要求10所述的方法，其特征在于，所述目标结构化数据的元数据包括如下的一项或多项：所述目标结构化数据的名称、所述目标结构化数据在所述第二存储集群上的存放位置、所述目标结构化数据的版本、所述目标结构化数据的类型、所述目标结构化数据的分块标识。
12.根据权利要求10或11所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：赵玥，兰龙文，鲁江波，周子博，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。