一种数据传输方法及其相关设备技术

本申请实施例公开了一种数据传输方法，包括：获取HQL语句；基于Python执行所述HQL语句，建立与Hive之间的交互，以获得存储于Hadoop分布式文件系统中的目标数据；将所述目标数据写入目标Excel文件；调整所述目标Excel文件的文件格式。基于上述方法可知本方案具有以下优点：能够有效减少数据分析人员搭建可视化报表的重复工作。能够避免数据分析人员手动执行查询语句并导出数据的行为，提高数据传输效率。能够让业务人员拿到数据文件之后，直接使用，不需要进行额外处理。该数据交付方式不需要用到MySQL或GP数据库，节约数据库资源。该方法使用Python进行处理，能够有效满足复杂的业务场景。景。景。

【技术实现步骤摘要】
一种数据传输方法及其相关设备


[0001]本申请属于数据处理领域，尤其涉及一种数据传输方法及其相关设备。

技术介绍

[0002]随着大数据的兴起，为支持业务实施越来越多公司搭建了海杜普集群(Hadoop)，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。并将海量数据存储到HDFS(Hadoop Distributed File System)中。后续开发人员基于Hive平台进行数据查询与分析。Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表
[0003]通常，为了给业务人员了解业务数据完成情况，并及时从中发现问题，通常会有数据分析人员，从Hive中查询并分析数据，并把分析结果存入到Hive结果表中。
[0004]当业务人员需要经常看一些表格数据时，每次都由数据分析人员本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：获取HQL语句；基于Python执行所述HQL语句，建立与Hive之间的交互，以获得存储于Hadoop分布式文件系统中的目标数据；将所述目标数据写入目标Excel文件；调整所述目标Excel文件的文件格式。2.根据权利要求1所述的数据传输方法，其特征在于，所述方法还包括：将所述目标Excel文件传输至云存储平台。3.根据权利要求1所述的数据传输方法，其特征在于，所述方法基于Python文件进行。4.根据权利要求3所述的数据传输方法，其特征在于，所述Python文件按预设时间间隔重复执行。5.根据权利要求1所述的数据传输方法，其特征在于，所述将所述目标数据写入目标Excel文件，之前所述方法还包括：将所述目标数据暂存于DataFrame中并进行初步处理；所述将所述目标数据写入目标Excel文件，包括：将暂存于DataFrame中的目标数据存储至所述目标Excel文件。6.根据权利要求1所述的数据传输方法，其特征在于，所述调整所述目标Excel文件的文件格式，包括：冻结所述Excel...

【专利技术属性】
技术研发人员：王国彬，李均，李将，王亚坤，
申请(专利权)人：土巴兔集团股份有限公司，
类型：发明
国别省市：