基于大数据的数据库碎片整理方法、装置、设备及介质制造方法及图纸

本申请提出一种基于大数据的数据库碎片整理方法、装置、电子设备及存储介质，基于大数据的数据库碎片整理方法包括：计算数据库中数据表的第一逻辑空间值；对所述第一逻辑空间值进行优化调整获得所述数据表的第二逻辑空间值；查询所述数据表的物理空间值，并基于所述物理空间值和所述第二逻辑空间值计算所述数据表的碎片率；基于所述碎片率对所述数据库中的数据表进行筛选获得待整理数据表；对所述待整理数据表中的碎片进行整理以释放所述数据库的存储空间。本申请能够通过对数据库中数据表的逻辑空间值的优化调整获取更为准确的碎片率，从而对数据库中的存储空间进行有效释放，提高数据库中存储空间的利用率。提高数据库中存储空间的利用率。提高数据库中存储空间的利用率。

【技术实现步骤摘要】
基于大数据的数据库碎片整理方法、装置、设备及介质


[0001]本申请涉及大数据
，尤其涉及一种基于大数据的数据库碎片整理方法、装置、电子设备及存储介质。

技术介绍

[0002]数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，目前数据库已经能够提供转变用户所需要的各种数据管理方式，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。
[0003]常见的数据库如MySQL和Oracle等在日常的运行维护中经常会产生一些物理文件非常大的数据表，然而这些数据表中实际存储的内容却很少。原因在于数据表的日常使用中会涉及到删除操作，每当数据表中删除了一行内容，该段空间值就会变为空白而被留空，尤其是在一段时间内的大量删除操作，会使这种留空的空间值变得比存储列表内容所使用的空间值更大，但如果这些空白空间值一直没有被大小合适的数据占用，就会形成数据碎片，从而影响数据库中存储空间的利用率。

技术实现思路

[0004]鉴于以上内容，有必要提出一种基于大数据的数据库碎片整理方法、装置、电子设备及存储介质，以解决如何提高数据库中存储空间的利用率这一技术问题。
[0005]本申请提供一种基于大数据的数据库碎片整理方法，所述方法包括：
[0006]计算数据库中数据表的第一逻辑空间值；
[0007]对所述第一逻辑空间值进行优化调整获得所述数据表的第二逻辑空间值；
[0008]查询所述数据表的物理空间值，并基于所述物理空间值和所述第二逻辑空间值计算所述数据表的碎片率；
[0009]基于所述碎片率对所述数据库中的数据表进行筛选获得待整理数据表；
[0010]对所述待整理数据表中的碎片进行整理以释放所述数据库的存储空间。
[0011]在一些实施例中，所述计算数据库中数据表的第一逻辑空间值包括：
[0012]基于数据库查询数据表的数据空间值和索引空间值；
[0013]对所述数据空间值和所述索引空间值进行求和，并将求和结果作为所述数据表的第一逻辑空间值。
[0014]在一些实施例中，所述对所述第一逻辑空间值进行优化调整获得所述数据表的第二逻辑空间值包括：
[0015]查询所述数据表的元数据空间值和所述数据表中的真实行数；
[0016]计算所述数据表中与所述元数据空间值相对应的理论行数；
[0017]计算所述理论行数与所述真实行数的比值；
[0018]基于所述比值计算所述数据空间值的置信权重，并将所述数据空间值和所述置信权重的乘积作为所述数据空间值的优化调整值；
[0019]对所述数据空间值的优化调整值和所述索引空间值进行求和，并将求和结果作为所述数据表的第二逻辑空间值。
[0020]在一些实施例中，所述查询所述数据表的物理空间值，并基于所述物理空间值和所述第二逻辑空间值计算所述数据表的碎片率包括：
[0021]基于所述数据库查询所述数据表的物理空间值；
[0022]计算所述物理空间值与所述第二逻辑空间值的差值；
[0023]将所述差值与所述物理空间值的百分比值作为所述数据表的碎片率。
[0024]在一些实施例中，所述数据表的碎片率满足关系式：
[0025][0026]其中，C
i
为第i个数据表的碎片率，P
i
为第i个数据表的物理空间值，A
i
和B
i
为第i个数据表的数据空间值和索引空间值，α为超参数，α>0，m
i
为第i个数据表的理论行数与真实行数的比值，m
i
≥1。
[0027]在一些实施例中，所述基于所述碎片率对所述数据库中的数据表进行筛选获得待整理数据表包括：
[0028]对比所述碎片率和预设的碎片率阈值；
[0029]对比所述数据表的物理空间值和预设的物理空间阈值；
[0030]将同时满足碎片率大于所述碎片率阈值且物理空间值大于所述物理空间阈值的数据表作为待整理数据表。
[0031]在一些实施例中，所述对所述待整理数据表中的碎片进行整理以释放所述数据库的存储空间包括：
[0032]创建与所述待整理数据表具有相同表结构的新数据表；
[0033]将所述待整理数据表中的数据同步至所述新数据表中进行碎片整理；
[0034]删除所述待整理数据表，并使用经过碎片整理的新数据表替换所述待整理数据表以释放所述数据库的存储空间。
[0035]本申请实施例还提供一种基于大数据的数据库碎片整理装置，所述装置包括计算模块、优化模块、查询模块、筛选模块以及整理模块：
[0036]所述计算模块，用于计算数据库中数据表的第一逻辑空间值；
[0037]所述优化模块，用于对所述第一逻辑空间值进行优化调整获得所述数据表的第二逻辑空间值；
[0038]所述查询模块，用于查询所述数据表的物理空间值，并基于所述物理空间值和所述第二逻辑空间值计算所述数据表的碎片率；
[0039]所述筛选模块，用于基于所述碎片率对所述数据库中的数据表进行筛选获得待整理数据表；
[0040]所述整理模块，用于对所述待整理数据表中的碎片进行整理以释放所述数据库的存储空间。
[0041]本申请实施例还提供一种电子设备，所述电子设备包括：
[0042]存储器，存储至少一个指令；
[0043]处理器，执行所述存储器中存储的指令以实现所述的基于大数据的数据库碎片整
理方法。
[0044]本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的基于大数据的数据库碎片整理方法。
[0045]本申请通过对计算得到的数据库中数据表的逻辑空间值进行优化调整，可以获取更为准确的碎片率，从而对数据库中的存储空间进行有效释放，提高数据库中存储空间的利用率。
附图说明
[0046]图1是本申请所涉及的基于大数据的数据库碎片整理方法的较佳实施例的流程图。
[0047]图2是本申请所涉及的基于大数据的数据库碎片整理装置的较佳实施例的功能模块图。
[0048]图3是本申请所涉及的基于大数据的数据库碎片整理方法的较佳实施例的电子设备的结构示意图。
具体实施方式
[0049]为了能够更清楚地理解本申请的目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。在下面的描述中阐述了很多具体细节以便于充分理解本申请，所述描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
[0050]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的数据库碎片整理方法，其特征在于，所述方法包括：计算数据库中数据表的第一逻辑空间值；对所述第一逻辑空间值进行优化调整获得所述数据表的第二逻辑空间值；查询所述数据表的物理空间值，并基于所述物理空间值和所述第二逻辑空间值计算所述数据表的碎片率；基于所述碎片率对所述数据库中的数据表进行筛选获得待整理数据表；对所述待整理数据表中的碎片进行整理以释放所述数据库的存储空间。2.如权利要求1所述的基于大数据的数据库碎片整理方法，其特征在于，所述计算数据库中数据表的第一逻辑空间值包括：基于数据库查询数据表的数据空间值和索引空间值；对所述数据空间值和所述索引空间值进行求和，并将求和结果作为所述数据表的第一逻辑空间值。3.如权利要求2所述的基于大数据的数据库碎片整理方法，其特征在于，所述对所述第一逻辑空间值进行优化调整获得所述数据表的第二逻辑空间值包括：查询所述数据表的元数据空间值和所述数据表中的真实行数；计算所述数据表中与所述元数据空间值相对应的理论行数；计算所述理论行数与所述真实行数的比值；基于所述比值计算所述数据空间值的置信权重，并将所述数据空间值和所述置信权重的乘积作为所述数据空间值的优化调整值；对所述数据空间值的优化调整值和所述索引空间值进行求和，并将求和结果作为所述数据表的第二逻辑空间值。4.如权利要求1所述的基于大数据的数据库碎片整理方法，其特征在于，所述查询所述数据表的物理空间值，并基于所述物理空间值和所述第二逻辑空间值计算所述数据表的碎片率包括：基于所述数据库查询所述数据表的物理空间值；计算所述物理空间值与所述第二逻辑空间值的差值；将所述差值与所述物理空间值的百分比值作为所述数据表的碎片率。5.如权利要求4所述的基于大数据的数据库碎片整理方法，其特征在于，所述数据表的碎片率满足关系式：其中，C
i
为第i个数据表的碎片率，P
i
为第i个数据表的物理空间值，A
i
和B
i
为第i个数据表的数据空间值...

【专利技术属性】
技术研发人员：陈德虎，
申请(专利权)人：平安壹钱包电子商务有限公司，
类型：发明
国别省市：