一种数据处理方法及装置制造方法及图纸

本申请公开了一种数据处理方法及装置，该数据处理方法包括：获取待存入数据库的数据，并确认所述数据应当存入的数据表；将所述数据存储到所述应当存入的数据表中；判断在所述数据表中是否存在与所述数据对应的历史数据；如果在所述数据表中存在与所述数据对应的历史数据，则删除所述数据表中与所述数据对应的历史数据。采用本申请技术方案，在向数据表存储数据时，还执行对新存入的数据对应的历史数据的删除操作，使数据表中只存储每种数据的最新数据，这样在从数据表中查询某种数据的最新数据时，直接读取数据表中存储该种数据即可，不需要再进行数据版本的筛选，可以提高最新数据查询速度。

A data processing method and device

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及数据库
，尤其涉及一种数据处理方法及装置。
技术介绍
分布式数据库Greenplum属于联机分析处理(OnlineAnalyticalProcessing，OLAP)系统。一般对联机分析处理系统都是只进行数据插入操作，不会对历史数据进行更新操作，因此造成Greenplum的数据插入性能优异，更新操作性能较差。而有些基于Greenplum构建的系统既有分析数据的需求，也有更新数据的需求，因此需要对Greenplum存储的数据进行更新操作，从而可以从中查询到最新数据。为了便于对Greenplum数据库中的数据进行更新，以便从中读取新版本数据，业内规定在数据入库存储到数据表中时，为数据增加时间戳，使得存储到Greenplum的数据都具备明确的时间属性，当需要查询最新数据时，从Greenplum中过滤出时间戳最新的数据即可。但是，随着Greenplum数据库中的数据量不断增加，从存储的所有数据中过滤出最新数据时需要过滤的数据量也相应增加，由此造成数据查询工作量很大，数据查询速度慢。本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取待存入数据库的数据，并确认所述数据应当存入的数据表；/n将所述数据存储到所述应当存入的数据表中；/n判断在所述数据表中是否存在与所述数据对应的历史数据；/n如果在所述数据表中存在与所述数据对应的历史数据，则删除所述数据表中与所述数据对应的历史数据，得到更新后的数据表。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取待存入数据库的数据，并确认所述数据应当存入的数据表；
将所述数据存储到所述应当存入的数据表中；
判断在所述数据表中是否存在与所述数据对应的历史数据；
如果在所述数据表中存在与所述数据对应的历史数据，则删除所述数据表中与所述数据对应的历史数据，得到更新后的数据表。


2.根据权利要求1所述的方法，其特征在于，在将所述数据存储到所述应当存入的数据表中时，所述方法还包括：记录所述数据在所述数据表中的版本标识；
所述判断在所述数据表中是否存在与所述数据对应的历史数据，包括：
判断在所述数据表中是否存在与所述数据对应的，版本标识比所述数据的版本标识更早的数据；
如果在所述数据表中存在与所述数据对应的，版本标识比所述数据的版本标识更早的数据，则确认在所述数据表中存在与所述数据对应的历史数据。


3.根据权利要求1或2所述的方法，其特征在于，在删除所述数据表中与所述数据对应的历史数据之前，所述方法还包括：
将所述数据表中与所述数据对应的历史数据存储到与所述数据表对应的归档表中；其中，所述归档表为用于将数据归档存储的数据表。


4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
当接收到请求与所述数据对应的最新版本数据的请求信息时，输出所述数据表中的所述数据。


5.一种数据处理装置，其特征在于，包括：
数据获取单元，用于获取待存入数据库的数据，并确认所述数据应当存入的数据表；
数据存储单元，用于将...

【专利技术属性】
技术研发人员：蒋亚飞，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11