基于Hive分区表实现物化视图性能优化的方法及系统技术方案

本发明专利技术公开了基于Hive分区表实现物化视图性能优化的方法及系统，其方法包括如下步骤：1、用户需要将原表设为分区表，系统中称为高性能表，指定分区字段，分区粒度等信息，底层根据用户的配置将原表转化成分区表；2、在原表有数据变化，数据追加、修改或删除时将变化的信息记录下来，包括变化的分区，数据量等；3、在执行物化视图更行时根据有数据变化的分区的数据进行计算，将计算结果替换原物化视图对应分区的数据，得到最终的数据。其系统包括：1、原表存储数据类型转化装置；2、物化视图映射逻辑配置装置。本专利极大的减少了原数据量非常大时物化视图的刷新时间，极大的提高了物化视图刷新的性能；降低了用户的使用门槛，对不懂数据库，不懂编程的用户非常友好。

【技术实现步骤摘要】
基于Hive分区表实现物化视图性能优化的方法及系统
本专利技术涉及信息技术数据集成领域，具体涉及一种基于Hive分区表技术实现物化视图性能优化的方法及系统。
技术介绍
现阶段，以ApacheHive分区表作为数据库创建的物化视图，在原表数据更新，触发物化视图更新时需要重新计算全量数据，无法精准的基于变化的分区数据做计算从而更新物化视图。但是实际使用场景往往是原表不断的数据追加，大部分分区的数据没有变化，如果每次更新都全量进行重新计算，无疑会进行很多重复且没有意义的计算，浪费计算资源，同时也会造成物化视图刷新执行时间长，用户等待时间长，降低用户的使用体验。如果能在原表更新时，仅根据有数据变化的分区计算变化的数据，然后将计算结果更行物化视图的数据，那么就可以避免重复计算，减少计算资源的浪费，提升用户的使用体验。
技术实现思路
为实现上述目的，本专利技术提供如下技术方案：基于Hive分区表实现物化视图性能优化的方法及系统，其方法包括如下步骤：1、用户需要将原表设为分区表，系统中称为高性能表，指定分区字段，分区粒度等信息，底本文档来自技高网...

【技术保护点】
1.基于Hive分区表实现物化视图性能优化的方法，其特征在于，其方法包括如下步骤：/n(1)、用户需要将原表设为分区表，系统中称为高性能表，指定分区字段，分区粒度信息，底层根据用户的配置将原表转化成分区表；/n(2)、在原表有数据变化，数据追加、修改或删除时将变化的信息记录下来，包括变化的分区，数据量；/n(3)、在执行物化视图更行时根据有数据变化的分区的数据进行计算，将计算结果替换原物化视图对应分区的数据，得到最终的数据。/n

【技术特征摘要】
1.基于Hive分区表实现物化视图性能优化的方法，其特征在于，其方法包括如下步骤：
(1)、用户需要将原表设为分区表，系统中称为高性能表，指定分区字段，分区粒度信息，底层根据用户的配置将原表转化成分区表；
(2)、在原表有数据变化，数据追加、修改或删除时将变化的信息记录下来，包括变化的分区，数据量；
(3)、在执行物化视图更行时根据有数据变化的分区的数...

【专利技术属性】
技术研发人员：赵恒杰，
申请(专利权)人：北京海致网聚信息技术有限公司，
类型：发明
国别省市：北京;11