数据处理方法和装置、存储介质及电子装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置、存储介质及电子装置。其中，该方法包括：获取行式存储数据库的数据表中在目标时间上待被清除的多个目标行；将所述多个目标行的多个目标列上记录的目标属性值存储至列式存储数据库中的目标页面，其中，所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值被记录在所述列式存储数据库中的多个目标页面中的至少一个页面上；在达到所述目标时间之后，清除所述多个目标行。本发明专利技术解决了相关技术中的数据处理方式会导致难以追溯历史数据的技术问题。

Data Processing Method and Device, Storage Media and Electronic Device

【技术实现步骤摘要】
数据处理方法和装置、存储介质及电子装置
本专利技术涉及计算机领域，具体而言，涉及一种数据处理方法和装置、存储介质及电子装置。
技术介绍
目前，通常采用数据库的方式进行数据存储。对于数据库中的历史数据，通过采用清除操作将其清除。上述数据处理方式会使得数据库中的历史数据缺失，从而导致难以追溯历史数据的问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据处理方法和装置、存储介质及电子装置，以至少解决相关技术中的数据处理方式会导致难以追溯历史数据的技术问题。根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：获取行式存储数据库的数据表中在目标时间上待被清除的多个目标行；将该多个目标行的多个目标列上记录的目标属性值存储至列式存储数据库中的目标页面，其中，所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值被记录在所述列式存储数据库中的多个目标页面中的至少一个页面上；在达到所述目标时间之后，清除该多个目标行。根据本专利技术实施例的另一方面，还提供了一种数据处理装置，包括：第一获取单元，用于获取行式存储数据库的数据表中在目标时间上待被清除的多个目标行；存储单元，用于将所述多个目标行的多个目标列上记录的目标属性值存储至列式存储数据库中的目标页面，其中，所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值被记录在所述列式存储数据库中的多个目标页面中的至少一个页面上；清除单元，用于在达到所述目标时间之后，清除所述多个目标行。根据本专利技术实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法。根据本专利技术实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的方法。在本专利技术实施例中，采用将行式存储数据库的数据表中待被清除的目标行通过列式存储数据库进行存储的方式，通过获取行式存储数据库的数据表中在目标时间上待被清除的多个目标行；将多个目标行的多个目标列上记录的目标属性值存储至列式存储数据库中的目标页面，其中，多个目标行的多个目标列中相同目标列上记录的目标属性值被记录在列式存储数据库中的多个目标页面中的至少一个页面上；在达到目标时间之后，清除多个目标行，达到了对数据库中的历史数据进行保存的目的，从而实现了保证数据变迁历史数据完整的技术效果，进而解决了相关技术中的数据处理方式会导致难以追溯历史数据的技术问题。附图说明此处所说的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种数据处理方法的应用环境的示意图；图2是根据本专利技术实施例的一种可选的数据处理方法的流程示意图；图3是根据本专利技术实施例的一种可选的转储过渡页的示意图；图4是根据本专利技术实施例的另一种可选的转储过渡页的示意图；图5是根据本专利技术实施例的另一种可选的数据处理方法的示意图；图6是根据本专利技术实施例的又一种可选的数据处理方法的示意图；图7是根据本专利技术实施例的又一种可选的数据处理方法的示意图；图8是根据本专利技术实施例的又一种可选的数据处理方法的示意图；图9是根据本专利技术实施例的另一种可选的数据处理方法的流程示意图；图10是根据本专利技术实施例的又一种可选的数据处理方法的流程示意图；图11是根据本专利技术实施例的一种可选的数据处理装置的结构示意图；图12是根据本专利技术实施例的一种可选的电子装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本专利技术实施例的一个方面，提供了一种数据处理方法。可选地，上述数据处理方法可以但不限于应用于如图1所示的应用环境中。如图1所示，用户102使用的用户设备104包括：RAM106和处理器108。用户102可以使用用户设备104通过网络112向查询系统114发送查询请求110。查询系统114中的搜索引擎116包括：索引引擎118和排序引擎120。接收到查询请求110后，查询系统可以根据查询请求对行式存储数据库122和列式存储数据库124进行查询，得到查询结果126，并将查询结果126通过网络112返回给用户设备104。对于查询系统114上的数据处理，系统中的每个节点设备可以获取行式存储数据库122的数据表中在目标时间上待被清除的多个目标行；将多个目标行的多个目标列上记录的目标属性值存储至列式存储数据库124中的目标页面，其中，多个目标行的多个目标列中相同目标列上记录的目标属性值被记录在列式存储数据库中的多个目标页面中的至少一个目标页面上；在达到目标时间之后，清除多个目标行。可选地，用户设备104可以包括但不限于：手机、平板电脑等、台式电脑等；查询系统114可以包括但不限于以下至少之一：分布式数据库系统(每个节点采用实施例的数据处理方法)、基于多版本并发控制(Multi-VersionConcurrencyControl，简称为MVCC)的关系型数据库系统、基于MVCC的非关系型数据库系统等。上述网络可以包括但不限于无线网络、有线网络，其中，无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。有线网络可以包括但不限于：局域网、城域网和广域网。上述查询系统可以包括但不限于以下至少之一：PC机及其他用于计算服务的设备。上述只是一种示例，本实施例中对此不做任何限定。可选地，在本实施例中，作为一种可选的实施方式，如图2所示，上述数据处理方法可以包括：S202，获取行式存储数据库的数据表中在目标时间上待被清除的多个目标行；S204，将多个目标行的多个目标列上记录的目标属性值存储至列式存储数据库中的目标页面，其中，多个目标行的多个目标列中相同目标列上记录的目标属性值被记录在列式存储数据库中的多个目标页面中的至少一个页面上；S206，在达到目标时间之后，清除多个目标行。可选地，上述数据处理方法可以但不限于应用于：记录用户行为、保存账号的账务变动、记录股票交易记录、记录气象天气等需要对历史信息支持的场景。例如，以保存账号的账务变动的场景为例，对于用户的网上账户，用户会往网上账户充值，也会通过网上账户消费，而如果账户信息只有余额，在日后账务出现问题时，用户无法得知账务何时何地因何事出本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：获取行式存储数据库的数据表中在目标时间上待被清除的多个目标行；将所述多个目标行的多个目标列上记录的目标属性值存储至列式存储数据库中的目标页面，其中，所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值被记录在所述列式存储数据库中的多个目标页面中的至少一个页面上；在达到所述目标时间之后，清除所述多个目标行。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取行式存储数据库的数据表中在目标时间上待被清除的多个目标行；将所述多个目标行的多个目标列上记录的目标属性值存储至列式存储数据库中的目标页面，其中，所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值被记录在所述列式存储数据库中的多个目标页面中的至少一个页面上；在达到所述目标时间之后，清除所述多个目标行。2.根据权利要求1所述的方法，其特征在于，将所述多个目标行的所述多个目标列上记录的目标属性值存储至所述列式存储数据库中的所述目标页面包括：将所述多个目标行的所述多个目标列中不同目标列上记录的目标属性值存储至所述目标页面中的不同页面上，其中，在所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值中的部分目标属性值写满所述目标页面中的第一页面的情况下，将所述多个目标行的所述多个目标列中相同目标列上记录的所述目标属性值中除所述部分目标属性值以外的其他目标属性值存储至所述目标页面中的第二页面上。3.根据权利要求1所述的方法，其特征在于，将所述多个目标行的所述多个目标列上记录的目标属性值存储至所述列式存储数据库中的所述目标页面包括：将所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值存储至转储过渡页，其中，所述转储过渡页用于将所述多个目标列上记录的属性值转储至所述列式存储数据库的所述目标页面；在所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值的全部或者部分目标属性值写满所述转储过渡页的情况下，将所述转储过渡页中记录的属性值存储至所述目标页面中的第三页面中，其中，所述转储过渡页中记录的属性值包括所述多个目标行的所述多个目标列中相同一列上记录的目标属性值中写入到所述转储过渡页中的目标属性值。4.根据权利要求3所述的方法，其特征在于，将所述多个目标行的所述多个目标列中相同目标列上记录的目标属性值存储至所述转储过渡页包括：确定所述转储过渡页的页头信息，其中，所述页头信息用于标识与所述转储过渡页中记录的属性值对应的目标标识的标识值范围；将所述页头信息和所述转储过渡页中记录的属性值存储至所述目标页面中的所述第三页面中。5.根据权利要求4所述的方法，其特征在于，所述页头信息包括：与所述转储过渡页中记录的属性值所对应的版本标识的最大值和最小值，其中，所述目标标识为所述版本标识，所述版本标识用于唯一标识所述多个目标列的列版本；或者，所述页头信息包括：一个或多个键值对，所述键值对包括所述多个目标列中第一列的属性值以及与所述第一列的属性值对应的页内偏移量，其中，所述第一列的属性值与所述转储过渡页中存储的第二列的属性值的列版本对应，与所述第一列的同一属性值对应的所述转储过渡页中记录的所述第二列的属性值在所述转储过渡页中连续存储，所述页内偏移量为与所述第一列的属性值对应的所述转储过渡页中记录的所述第二列的属性值的存储位置在所述转储过渡页中的偏移量。6.根据权利要求3所述的方法，其特征在于，将所述转储过渡页中记录的属性值存储至所述目标页面中的所述第三页面中包括：确定使用目标压缩方式对多个转储过渡页中的各转储过渡页的数据进行压缩之后预计得到的总压缩数据量，其中，所述多个转储过渡页中的各转储过渡页存储有与所述多个目标列中相同目标列对应的属性值，所述多个转储过渡页包含所述转储过渡页；在所述总压缩数据量满足目标条件的情况下，使用所述目标压缩方式对所述多个转储过渡页中的各转储过渡页分别进行压缩，得到总压缩数据，其中，所述目标条件为：所述总压缩数据量小于或等于目标阈值，且所述总压缩数据量加上一个转储过渡页的压缩数据量大于所述目标阈值；将所述总压缩数据存储至所述目...

【专利技术属性】
技术研发人员：李海翔，叶盛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44