【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种基于spark sql的数据处理方法及装置。
技术介绍
1、数据仓库(data warehouse，简写为dw)，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
2、在数据仓库中，处理好的数据还需要同步到不同的数据库中，以供各种应用使用。在基于hadoop、spark的数据仓库中，用spark处理完数据，然后还需要将数据同步到rdbms、elasticsearch等数据库中。其中将数据同步到elasticsearch时，由于elasticsearch与spark常规处理差异比较大，同步时需要很多的开发工作才可以完成，而由于开发的代码很多，bug也会同步增长，从而降低了数据同步的效率。
技术实现思路
1、为克服现有技术中的不足，本申请提供一种基于spark sql的数据处理方法及装置，能够通过配置表名称完...
【技术保护点】
1.一种基于Spark SQL的数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于Spark SQL的数据处理方法，其特征在于，所述基于Spark引擎对原始数据进行处理，包括以下步骤：
3.根据权利要求2所述一种基于Spark SQL的数据处理方法，其特征在于，所述基于所述Hive表构建ElasticSearch表，包括以下步骤：
4.根据权利要求3所述一种基于Spark SQL的数据处理方法，其特征在于，所述将所述ElasticSearch表中的数据删除，包括以下步骤：
5.根据权利要求4所述一种...
【技术特征摘要】
1.一种基于spark sql的数据处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于spark sql的数据处理方法，其特征在于，所述基于spark引擎对原始数据进行处理，包括以下步骤：
3.根据权利要求2所述一种基于spark sql的数据处理方法，其特征在于，所述基于所述hive表构建elasticsearch表，包括以下步骤：
4.根据权利要求3所述一种基于spark sql的数据处理方法，其特征在于，所述将所述elasticsearch表中的数据删除，包括以下步骤：
5.根据权利要求4所述一种基于spark sql的数据处理方法，其特征在于，所述基于spark引擎将所述hive表的中的数据写入elasticsearch表中，包括以下步骤：
6.根据权利要求5所述一种基于spark sql的数据处理方法，其特...
【专利技术属性】
技术研发人员：崔雪征，张金龙，贾小龙，李娟，
申请(专利权)人：昆仑数智科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。