数据的更新方法及装置制造方法及图纸

本发明专利技术公开了一种数据的更新方法及装置，涉及数据处理技术领域，对Impala数据库中已存储的数据进行更新操作。本发明专利技术的方法包括：接收数据更新请求；根据所述数据更新请求确定待更新数据所在的数据分区，并在所述数据分区中提取第一分区数据，其中，所述第一分区数据中包含所述待更新数据；对所述第一分区数据中的所述待更新数据进行剔除处理；获取所述待更新数据对应的更新数据，并对经过剔除处理的所述第一分区数据和所述更新数据进行拼接处理，以获得第二分区数据；使用所述第二分区数据覆盖所述第一分区数据。本发明专利技术适用于对Impala数据库中已存储的数据进行更新操作的过程中。

Data updating method and device

【技术实现步骤摘要】
数据的更新方法及装置
本专利技术涉及数据处理
，特别是涉及一种数据的更新方法及装置。
技术介绍
随着互联网技术的日益发展，互联网用户的数量也在急剧增多，从而使得需要进行存储的用户数据的数据量也在飞速增长，如何存储和快速查询海量用户数据成为了大型互联网企业新的关注点。Impala数据库作为一款分布式数据库，由于其具有查询效率高、性能好等优点受到了广大互联网企业的欢迎。但是，由于Impala数据库内部架构偏向于提升查询效率，从而导致Impala数据库牺牲掉部分性能，如不支持对存储的数据进行更新操作等，然而，在日常运维过程中对数据库中已存储的数据进行更新操作是必不可少的步骤，因此，如何使Impala数据库支持对存储的数据进行更新操作是当前亟需解决的问题。目前，当需要使Impala数据库支持对存储的数据进行更新操作时，需要将Impala数据库的CDH(ClouderaDistributionHadoop)版本提升至5.10以上，并将Impala数据库的底层文件系统所使用的存储引擎更改为Kudu存储引擎。然而，在实际应用过程中，升级CDH的本文档来自技高网...

【技术保护点】
1.一种数据的更新方法，其特征在于，包括：/n接收数据更新请求；/n根据所述数据更新请求确定待更新数据所在的数据分区，并在所述数据分区中提取第一分区数据，其中，所述第一分区数据中包含所述待更新数据；/n对所述第一分区数据中的所述待更新数据进行剔除处理；/n获取所述待更新数据对应的更新数据，并对经过剔除处理的所述第一分区数据和所述更新数据进行拼接处理，以获得第二分区数据；/n使用所述第二分区数据覆盖所述第一分区数据。/n

【技术特征摘要】
1.一种数据的更新方法，其特征在于，包括：
接收数据更新请求；
根据所述数据更新请求确定待更新数据所在的数据分区，并在所述数据分区中提取第一分区数据，其中，所述第一分区数据中包含所述待更新数据；
对所述第一分区数据中的所述待更新数据进行剔除处理；
获取所述待更新数据对应的更新数据，并对经过剔除处理的所述第一分区数据和所述更新数据进行拼接处理，以获得第二分区数据；
使用所述第二分区数据覆盖所述第一分区数据。


2.根据权利要求1所述的方法，其特征在于，所述数据更新请求中包含所述待更新数据对应的属性和/或所述待更新数据对应的标识；所述根据所述数据更新请求确定待更新数据所在的数据分区，并在所述数据分区中提取第一分区数据，包括：
根据所述待更新数据对应的属性和/或所述待更新数据对应的标识确定所述待更新数据所在的数据分区；
在所述数据分区中提取所述第一分区数据。


3.根据权利要求2所述的方法，其特征在于，所述对所述第一分区数据中的所述待更新数据进行剔除处理，包括：
根据所述待更新数据对应的属性对所述第一分区数据中的所述待更新数据进行剔除处理；和/或
根据所述待更新数据对应的标识对所述第一分区数据中的所述待更新数据进行剔除处理；
将经过剔除处理的所述第一分区数据存储至第一数据表中。


4.根据权利要求3所述的方法，其特征在于，在所述获取所述待更新数据对应的更新数据之后，所述方法还包括：
判断所述更新数据对应的列顺序与经过剔除处理的所述第一分区数据对应的列顺序是否相同；
若是，则将所述更新数据存储至第二数据表中；
若否，则根据预设规则将所述更新数据对应的列顺序调整至与经过剔除处理的所述第一分区数据对应的列顺序一致，并将经过调整处理的所述更新数据存储至所述第二数据表中。


5.根据权利要求4所述的方法，其特征在于，所述对经过剔除处理的所述第一分区数据和所述更新数据进...

【专利技术属性】
技术研发人员：姚宇豪，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11