数据页处理方法、数据页处理装置、电子设备及存储介质制造方法及图纸

技术编号:36166426 阅读:15 留言:0更新日期:2022-12-31 20:16
本申请提出的数据页处理方法、数据页处理装置、电子设备及存储介质,涉及数据库技术领域。该方法包括:获取待写入数据的数据量;根据所述数据量对所述空闲空间映射表进行搜索,得到选定数据页;其中,所述选定数据页用于表示:空闲空间大于或等于所述数据量的所述候选数据页;对所述选定数据页进行写锁处理,得到写锁结果;若所述写锁结果为写锁失败,则根据所述数据量和至少一个所述候选数据页对所述选定数据页进行切换。本申请实施例提高了对选定数据页的选取速度。数据页的选取速度。数据页的选取速度。

【技术实现步骤摘要】
数据页处理方法、数据页处理装置、电子设备及存储介质


[0001]本申请涉及数据库
,尤其涉及一种数据页处理方法、数据页处理装置、电子设备及存储介质。

技术介绍

[0002]随着智能工业、智能电网、云计算、物联网的发展,数据库所需要存储的数据量越来越大,在一些场景下需要并发批量的写入大量数据。例如在写入智能工业设备产生的时序数据时,现有的数据库无法兼容如此高的数据写入。
[0003]目前数据库在进行数据页扩展时,会首先考虑数据页容量使用率的问题,即让多个并发线程的写入能尽量把数据写入现有的数据页中,从而减小冗余空间,提升数据库查询性能。在数据批量并发写入场景下,由于数据写入量飙升,原有的数据页扩展方法会变成写入速度增加的瓶颈。因此,如何提供一种数据页处理方法,提高数据页选取速度,成为了亟待解决的技术问题。

技术实现思路

[0004]本申请实施例的主要目的在于提出数据页处理方法、数据页处理装置、电子设备及存储介质,能够提高数据页选取速度。
[0005]为实现上述目的,本申请实施例的第一方面提出了一种数据页处理方法,应用于数据库,所述数据库包括空闲空间映射表,所述空闲空间映射表包括至少一个候选数据页,所述方法包括:获取待写入数据的数据量;根据所述数据量对所述空闲空间映射表进行搜索,得到选定数据页;其中,所述选定数据页用于表示:空闲空间大于或等于所述数据量的所述候选数据页;对所述选定数据页进行写锁处理,得到写锁结果;若所述写锁结果为写锁失败,则根据所述数据量和至少一个所述候选数据页对所述选定数据页进行切换。
[0006]在一些实施例,所述方法还包括:若所述写锁结果为写锁成功,则获取所述选定数据页的空闲空间;若所述选定数据页的空闲空间大于或等于所述数据量,则将待写入数据写入所述选定数据页。
[0007]在一些实施例,所述数据库还包括至少一个数据写入线程,所述根据所述数据量对所述空闲空间映射表进行搜索,得到选定数据页,包括:检测每一所述候选数据页的空闲空间;若所有的所述候选数据页的空闲空间小于所述数据量,通过至少一个所述数据写入线程进行数据页扩展,得到至少一个扩展数据页;将所述扩展数据页添加至所述空闲空间映射表,得到更新后的所述空闲空间映射
表;根据所述数据量对更新后的所述空闲空间映射表进行搜索,得到所述选定数据页。
[0008]在一些实施例,所述通过至少一个所述数据写入线程进行数据页扩展,得到至少一个扩展数据页,包括:通过至少一个所述数据写入线程获取所述数据库的表文件扩展锁,得到第一选定数据写入线程;其中,所述第一选定数据写入线程用于表示:得到所述表文件扩展锁的所述数据写入线程;通过所述第一选定数据写入线程进行数据页扩展,得到至少一个所述扩展数据页。
[0009]在一些实施例,所述通过至少一个所述数据写入线程进行数据页扩展,得到至少一个扩展数据页,还包括:若获取不到所述表文件扩展锁,则根据预设的锁定状态对所述空闲空间映射表进行查找,得到中间数据页;所述中间数据页用于表示:所述锁定状态为已锁定的所述候选数据页;根据所述中间数据页对应的所述数据写入线程得到第二选定数据写入线程;通过所述第二选定数据写入线程进行数据页扩展,得到至少一个所述扩展数据页。
[0010]在一些实施例,所述通过至少一个所述数据写入线程进行数据页扩展,得到至少一个扩展数据页,还包括:若获取不到所述表文件扩展锁,则通过至少一个所述数据写入线程获取所述数据库的数据写入锁,得到第三选定数据写入线程;其中,所述第三选定数据写入线程用于表示:得到所述数据写入锁的所述数据写入线程;通过所述第三选定数据写入线程进行数据页扩展,得到至少一个所述扩展数据页。
[0011]在一些实施例,所述数据库还包括数据页扩展线程,在所述根据所述数据量对所述空闲空间映射表进行搜索,得到选定数据页之前,所述方法包括:通过所述数据页扩展线程记录预设时段内的所述数据库对数据页的历史扩展数量;根据所述预设时段和所述历史扩展数量进行数量预测,得到预测扩展数量;通过所述数据页扩展线程对数据页进行扩展,得到数量为预测扩展数量的扩展数据页;将所述扩展数据页添加至所述空闲空间映射表。
[0012]为实现上述目的,本申请实施例的第二方面提出了一种数据页处理装置,应用于数据库,所述数据库包括空闲空间映射表,所述空闲空间映射表包括至少一个候选数据页,所述装置包括:获取模块,用于获取待写入数据的数据量;搜索模块,用于根据所述数据量对所述空闲空间映射表进行搜索,得到选定数据页;其中,所述选定数据页用于表示:空闲空间大于或等于所述数据量的所述候选数据页;
写锁模块,用于对所述选定数据页进行写锁处理,得到写锁结果;切换模块,用于若所述写锁结果为写锁失败,则根据所述数据量和至少一个所述候选数据页对所述选定数据页进行切换。
[0013]为实现上述目的,本申请实施例的第三方面提出了一种电子设备,所述电子设备包括存储器、处理器、所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
[0014]为实现上述目的,本申请实施例的第四方面提出了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
[0015]本申请提出的数据页处理方法、数据页处理装置、电子设备及存储介质,通过数据量筛选出空闲空间大于或等于数据量的候选数据页,将其作为选定数据页。得到选定数据页之后,直接对选定数据页进行写锁处理,并检测得到写锁结果。若写锁结果为写锁失败,则表明该选定数据页不可进行数据写入,则根据数据量再重新对候选数据页进行筛选,以对选定数据页进行切换,提高了对选定数据页的选取速度。
附图说明
[0016]图1是本申请一个实施例提供的数据页处理方法的流程图;图2是本申请另一个实施例提供的数据页处理方法的流程图;图3是图1中的步骤S102的流程图;图4是图3中的步骤S302的流程图;图5是图3中的步骤S302的流程图;图6是本申请另一个实施例提供的数据页处理方法的流程图图7是本申请一个实施例提供的应用示例流程图;图8是本申请实施例提供的数据页处理装置的模块结构框图;图9是本申请一个实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0017]为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
[0018]需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
[0019]除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据页处理方法,其特征在于,应用于数据库,所述数据库包括空闲空间映射表,所述空闲空间映射表包括至少一个候选数据页,所述方法包括:获取待写入数据的数据量;根据所述数据量对所述空闲空间映射表进行搜索,得到选定数据页;其中,所述选定数据页用于表示:空闲空间大于或等于所述数据量的所述候选数据页;对所述选定数据页进行写锁处理,得到写锁结果;若所述写锁结果为写锁失败,则根据所述数据量和至少一个所述候选数据页对所述选定数据页进行切换。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:若所述写锁结果为写锁成功,则获取所述选定数据页的空闲空间;若所述选定数据页的空闲空间大于或等于所述数据量,则将待写入数据写入所述选定数据页。3.根据权利要求1所述的方法,其特征在于,所述数据库还包括至少一个数据写入线程,所述根据所述数据量对所述空闲空间映射表进行搜索,得到选定数据页,包括:检测每一所述候选数据页的空闲空间;若所有的所述候选数据页的空闲空间小于所述数据量,通过至少一个所述数据写入线程进行数据页扩展,得到至少一个扩展数据页;将所述扩展数据页添加至所述空闲空间映射表,得到更新后的所述空闲空间映射表;根据所述数据量对更新后的所述空闲空间映射表进行搜索,得到所述选定数据页。4.根据权利要求3所述的方法,其特征在于,所述通过至少一个所述数据写入线程进行数据页扩展,得到至少一个扩展数据页,包括:通过至少一个所述数据写入线程获取所述数据库的表文件扩展锁,得到第一选定数据写入线程;其中,所述第一选定数据写入线程用于表示:得到所述表文件扩展锁的所述数据写入线程;通过所述第一选定数据写入线程进行数据页扩展,得到至少一个所述扩展数据页。5.根据权利要求4所述的方法,其特征在于,所述通过至少一个所述数据写入线程进行数据页扩展,得到至少一个扩展数据页,还包括:若获取不到所述表文件扩展锁,则根据预设的锁定状态对所述空闲空间映射表进行查找,得到中间数据页;所述中间数据页用于表示:所述锁定状态为已锁定的所述候选数据页;根据所述中间数据页对应的...

【专利技术属性】
技术研发人员:李传成
申请(专利权)人:本原数据北京信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1