基于神经网络的数据库清理方法及系统技术方案

技术编号:28035005 阅读:44 留言:0更新日期:2021-04-09 23:17
本发明专利技术提供一种基于神经网络的数据库清理方法及系统,属于人工智能技术领域。该基于神经网络的数据库清理方法包括:根据当前数据表的特征构造当前数据表特征矩阵;将当前数据表特征矩阵输入最优数据清理模型中,得到当前清理策略;其中,最优数据清理模型通过如下步骤创建:将历史数据表特征矩阵输入初始数据清理模型中,得到预测清理策略,根据预测清理策略和实际清理策略创建最优数据清理模型;根据当前清理策略清理当前数据表。本发明专利技术可以对数据库进行高效精准的清理,提高数据库的空间性能和使用性能。

【技术实现步骤摘要】
基于神经网络的数据库清理方法及系统
本专利技术涉及人工智能
,具体地,涉及一种基于神经网络的数据库清理方法及系统。
技术介绍
数据库中包含数据表,数据表是一个临时保存数据的网格虚拟表,是数据存储中最常见和最简单的形式,并且在数据库中占据实际的物理空间。随着时间推移,数据库中的数据表会逐渐增多,数据表中存储的数据量逐渐增大,表中会产生残留垃圾数据或冗余字段,内存碎片等问题。对于数据库中这些过于冗余,无用,难以检索的数据表,数据库的空间性能和使用性能将出现明显下滑,例如数据量少的表却占用很大的物理空间,或者对于数据量大的表的检索速度很慢等。针对上述情况现在已经存在很多的数据库清理方法,例如分库分表,碎片清理,建立索引,压缩备份等。但是上述方法仅仅基于数据表的一个属性对数据表标记策略,因此通过上述方法无法得到最优的清洗数据库的策略。现有技术需要具有多年的经验专家在粗略对数据库进行标记的基础上相互讨论并再次对数据库标记相应的策略。面对巨大的数据库,专家对每张表进行标记的策略无法实现。如果仅按照对数据库进行粗略标记的策略清理数据库,本文档来自技高网...

【技术保护点】
1.一种基于神经网络的数据库清理方法,其特征在于,包括:/n根据当前数据表的特征构造当前数据表特征矩阵;/n将所述当前数据表特征矩阵输入最优数据清理模型中,得到当前清理策略;其中,所述最优数据清理模型通过如下步骤创建:将历史数据表特征矩阵输入初始数据清理模型中,得到预测清理策略,根据所述预测清理策略和实际清理策略创建最优数据清理模型;/n根据所述当前清理策略清理当前数据表。/n

【技术特征摘要】
1.一种基于神经网络的数据库清理方法,其特征在于,包括:
根据当前数据表的特征构造当前数据表特征矩阵;
将所述当前数据表特征矩阵输入最优数据清理模型中,得到当前清理策略;其中,所述最优数据清理模型通过如下步骤创建:将历史数据表特征矩阵输入初始数据清理模型中,得到预测清理策略,根据所述预测清理策略和实际清理策略创建最优数据清理模型;
根据所述当前清理策略清理当前数据表。


2.根据权利要求1所述的基于神经网络的数据库清理方法,其特征在于,将历史数据表特征矩阵输入初始数据清理模型中,得到预测清理策略,根据所述预测清理策略和实际清理策略创建最优数据清理模型包括:
执行如下迭代处理:
将历史数据表特征矩阵输入初始数据清理模型中,得到预测清理策略;
确定预测清理策略对应的预测损失函数和实际清理策略对应的实际损失函数;
判断所述预测损失函数与该实际损失函数的误差是否小于预设阈值;
当所述误差小于预设阈值时,确定当前迭代中的初始数据清理模型为最优数据清理模型,否则根据所述误差更新所述初始数据清理模型,继续执行所述迭代处理。


3.根据权利要求2所述的基于神经网络的数据库清理方法,其特征在于,确定预测清理策略对应的预测损失函数包括:
确定预测清理策略对应的数据表搜索速度预测值和数据表空间利用率预测值;
根据所述数据表搜索速度预测值和所述数据表空间利用率预测值确定预测清理策略对应的预测损失函数;
确定实际清理策略对应的实际损失函数包括;
确定实际清理策略对应的数据表搜索速度实际值和数据表空间利用率实际值;
根据所述数据表搜索速度实际值和所述数据表空间利用率实际值确定实际清理策略对应的实际损失函数。


4.根据权利要求2所述的基于神经网络的数据库清理方法,其特征在于,当所述误差小于预设阈值时,确定当前迭代中的初始数据清理模型为最优数据清理模型包括:
当所述误差小于预设阈值时,将测试数据表特征矩阵输入当前迭代中的初始数据清理模型中,得到测试清理策略;
根据所述测试清理策略与实际清理策略的比较结果确定当前迭代中的初始数据清理模型为最优数据清理模型。


5.一种基于神经网络的数据库清理系统,其特征在于,包括:
当前矩阵构造单元,用于根据当前数据表的特征构造当前数据表特征矩...

【专利技术属性】
技术研发人员:田士福王文春刘伟恒陈琦
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1