一种数据中台、数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据中台、数据处理方法、装置、设备及存储介质，所述数据中台包括多个数据仓库和多个所述数据仓库共用的中间层，其中：所述中间层，用于接收客户端发送的数据处理请求，确定所述数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应。本发明专利技术实施例提供的数据中台通过将中间层中的应用程序编程接口替换为与之对应的结构化查询语言模板方法，使得中间层的数据处理指令可适用于不同版本的数据仓库，实现了使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。低数据中台的运维难度。低数据中台的运维难度。

【技术实现步骤摘要】
一种数据中台、数据处理方法、装置、设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据中台、数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网技术的不断发展，数据量的不断增多，数据中台的应用越来越广泛。数据中台基于大数据技术，对海量数据进行采集、加工存储，可以突破信息孤岛，提升企业内部各个部门间的合作。Hadoop作为大数据生态圈里最重要的一环，基于Hadoop所衍生出来的产品，已经覆盖了大数据细分的各个领域。HIVE作为HADOOP生态链里的重要一环，其依托于HDFS存储，构建了清晰的元数据MetaStore，早已成为市场上最主流的数据仓库产品。而各大厂商的数据中台解决方案，也正是基于HIVE来构建数据中台的数据仓库。
[0003]在实现本专利技术的过程中，专利技术人发现现有技术中至少存在以下技术问题：在构建数据中台时，各个业务部门往往都已经自建Hadoop集群，因此各个业务部门底层也存在多种版本的HIVE。由于底层的HIVE版本不同，一种解决方案是开发不同版本的数据中台；而另一种解决方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据中台，其特征在于，包括多个数据仓库和多个所述数据仓库共用的中间层，其中：所述中间层，用于接收客户端发送的数据处理请求，确定所述数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应。2.根据权利要求1所述的数据中台，其特征在于，所述调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应，包括：获取所述数据处理请求中携带的处理参数，将所述处理参数作为所述目标结构化查询语言模板方法的执行参数；基于所述执行参数执行所述目标结构化查询语言模板方法，获取所述数据处理请求关联的权限校验参数；根据所述权限校验参数校验所述数据处理请求的执行权限，并在权限校验通过后调用目标数据仓库获取所述数据处理请求的处理结果，将所述处理结果作为响应信号进行响应。3.根据权利要求2所述的方法，其特征在于，所述执行权限包括执行类型权限，所述权限校验参数包括所述目标结构化查询语言模板方法的目标结构化查询语言类型，所述根据所述权限校验参数校验所述数据处理请求的执行权限，包括：将所述目标结构化查询语言类型与预设的禁用结构化查询语言类型进行匹配；当所述目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配成功时，判定所述数据处理请求的执行类型权限校验未通过；当所述目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配失败时，判定所述数据处理请求的执行类型权限校验通过。4.根据权利要求3所述的方法，其特征在于，所述执行权限还包括用户权限，在所述目标结构化查询语言类型与预设的禁用结构化查询语言类型匹配成功后，还包括：获取所述数据处理操作关联的数据库表信息，调用所述数据库表信息的权限接口判断所述用户标识是否具备所述数据库表信息的处理权限；当所述用户标识具备所述数据库表信息的处理权限时，判定所述用户权限校验通过；当所述用户标识不具备所述数据库表信息的处理权限时，判定所述用户权限校验未通过。5.根据权利要求4所述的方法，其特征在于，所述数据库表信息包括库信息、表...

【专利技术属性】
技术研发人员：马赛，尹健全，常文昭，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：