一种数据处理的方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：执行接收的数据处理指令，以完成对待处理数据的处理操作；所述待处理数据存储在目标数据仓库中，以及所述目标数据仓库为多个Hadoop集群共享；根据所述数据处理指令的执行结果，更新所述待处理数据的共享元数据表；所述共享元数据表为所述目标数据仓库与所述多个Hadoop集群中的数据集市共享。该方法提高服务器的利用率，大大降低服务器的存储资源的浪费。以及，区别于现有技术中每个数据集市都要维护一套元数据，本发明专利技术实施例中的目标数据仓库与多个Hadoop集群中的数据集市共享一个元数据表，进而降低了运维的成本。

【技术实现步骤摘要】
一种数据处理的方法和装置
本专利技术涉及计算机
，尤其涉及一种数据处理的方法和装置。
技术介绍
随着电子商务、移动互联网的快速发展，用于对数据进行分析与处理的数据仓库(DataWarehouse，DW或DWH)发挥着越来越重要的作用，基于Hive数据仓库的数据中心架构图如图1所示：各个线上系统的数据通过ETL(提取Extra、转化Transfer、加载Load操作)同步到操作性数据仓库ODS中，然后对ODS中的数据进行面向主题域建模形成数据仓库DataWarehouse。其中，DataWarehouse数据仓库为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，是一个包含所有主题的通用的集合。DataMart数据集市是针对某一个业务领域建立模型，具体用户(决策层)查看数据集市生成的报表，数据集市只关心自己需要的数据，不会全盘考虑企业整体的数据架构和应用，每个应用有自己的数据集市。现有技术中，对于每个Hadoop集群，都维护有自己的数据仓库，以及集群中的每个数据集市都维护有自己独立的元数据表。若要对数据进行本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，包括：/n执行接收的数据处理指令，以完成对待处理数据的处理操作；所述待处理数据存储在目标数据仓库中，以及所述目标数据仓库为多个Hadoop集群共享；/n根据所述数据处理指令的执行结果，更新所述待处理数据的共享元数据表；所述共享元数据表为所述目标数据仓库与所述多个Hadoop集群中的数据集市共享。/n

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
执行接收的数据处理指令，以完成对待处理数据的处理操作；所述待处理数据存储在目标数据仓库中，以及所述目标数据仓库为多个Hadoop集群共享；
根据所述数据处理指令的执行结果，更新所述待处理数据的共享元数据表；所述共享元数据表为所述目标数据仓库与所述多个Hadoop集群中的数据集市共享。


2.根据权利要求1所述的方法，其特征在于，在根据所述数据处理指令的执行结果，更新所述待处理数据的共享元数据表之后，还包括：
获取所述目标数据仓库的权限授权信息；
根据所述权限授权信息确定所述多个Hadoop集群中待通知的数据集市；
将所述执行结果发送至所述多个Hadoop集群中待通知的数据集市。


3.根据权利要求2所述的方法，其特征在于，所述权限授权信息包括数据级别授权信息和表级别授权信息。


4.根据权利要求1所述的方法，其特征在于，执行接收的数据处理指令，以完成对待处理数据的处理操作的步骤包括：
解析接收的数据处理指令，以确定所述数据处理指令为数据同步指令；
根据所述数据同步指令获取待同步数据；
将获取的所述待同步数据存储在目标数据仓库中。


5.一种数据处理的装置，其特征在于，包括：
指令执行模块，用于执行接收的数据处理指令，以完成对待处理数据的处理操作；所述待处理数据存...

【专利技术属性】
技术研发人员：张明阳，马千里，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11