数据库的自动维护方法、系统、设备和存储介质技术方案

本发明专利技术公开了一种数据库的自动维护方法、系统、设备和存储介质。通过本发明专利技术提供的技术方案，能够从庞大的数据库数据和操作系统数据中通过多项指标降维分析的方式，找到与运维场景相关的主成分，并根据主成分的变动情况了解数据库当前所需的运维场景以及响应动作，从而能够主动、智能发起运维动作，如回收资源、搜集相关的数据信息，提升后续查询效率，降低运维成本，具有可推广价值。具有可推广价值。具有可推广价值。

【技术实现步骤摘要】
数据库的自动维护方法、系统、设备和存储介质


[0001]本专利技术涉及数据库运维
，特别涉及一种数据库的自动维护方法、系统、设备和存储介质。

技术介绍

[0002]数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。而数据库管理系统则是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。作为数据库系统的核心组成部分，数据库管理系统主要完成对数据库的操作与管理功能，实现数据库对象的创建、数据库存储数据的查询、添加、修改与删除操作和数据库的用户管理、权限管理等。
[0003]可以理解的是，随着零售企业的业务规模与数据规模不断增长，越来越多的应用场景需要应用到数据库对海量数据进行处理和消化，Greenplum数据库作为十分常见，且起到关键作用的核心大数据载体和平台，其所需的运维场景目前尚且无法用传统运维方法来解决，而运维效率也难以继续支撑业务规模的快速扩张。现有的运维管理模式往往会出现响应过慢，导致失去最佳的干预窗口；同时需要安排众多人力进行繁琐且低效的工作，也导致运维成本居高不下。

技术实现思路

[0004]本专利技术提供了一种数据库的自动维护方法、系统、设备和存储介质。具体地，本专利技术的第一方面提供了一种数据库的自动维护方法，其中数据库通过对应的操作系统进行功能实现。该种自动维护方法包括如下步骤：
[0005]获取数据库与操作系统的若干运维关联数据；
[0006]对运维关联数据进行降维处理以获取对应的运维关联成分；
[0007]根据运维关联成分进行预设模型训练以获得对应的训练结果；
[0008]其中，训练结果包括若干预设情况以及对应的自动维护策略；
[0009]在检测到出现预设情况的情况下，对数据库执行对应的自动维护策略以实现对数据库的自动维护。
[0010]在上述第一方面的一种可能的实现中，在获取数据库与操作系统的若干运维关联数据的过程中，包括：
[0011]持续采集数据库以及操作系统的请求日志和系统指标日志，以作为运维关联数据。
[0012]在上述第一方面的一种可能的实现中，在对运维关联数据进行降维处理以获取对应的运维关联成分的过程中，分别对请求日志和系统指标日志进行独立的降维处理。
[0013]在上述第一方面的一种可能的实现中，在对运维关联数据进行降维处理以获取对应的运维关联成分的过程中，包括：
[0014]生成关联于每个运维关联数据的指标成分表；
[0015]对指标成分表进行转置以生成包含各个指标成分的密集矩阵；
[0016]根据主成分分析法对密集矩阵进行训练，以获取降维后的降维投影输出表，并将降维投影输出表作为运维关联成分。
[0017]在上述第一方面的一种可能的实现中，降维投影输出表包括输出表部分以及残余表部分，其中：
[0018]输出表部分包括投影至主成分的数据表，主成分对应的累计标准差比例与主成分反映的原始信息比例成正比；
[0019]参与表部分包括主成分与每个运维关联数据项对应的误差。
[0020]在上述第一方面的一种可能的实现中，在根据运维关联成分进行预设模型训练以获得对应的训练结果的过程中，包括基于长短期记忆人工神经网络对运维关联成分进行训练。
[0021]在上述第一方面的一种，在请求指标和读写指标同时出现异常的情况下，使用vacuum操作实现对数据库的自动维护；
[0022]在请求指标和中央处理器指标同时出现异常的情况下，使用analyze操作实现对数据库的自动维护。
[0023]本申请的第二方面提供了一种数据库的自动维护系统，应用于前述第一方面提供的数据库的自动维护方法中。该种自动维护系统可以包括：
[0024]获取模块，用于获取数据库与操作系统的若干运维关联数据；
[0025]降维模块，用于对运维关联数据进行降维处理以获取对应的运维关联成分；
[0026]训练模块，用于根据运维关联成分进行预设模型训练以获得对应的训练结果，其中训练结果包括若干预设情况以及对应的自动维护策略；
[0027]维护模块，用于在检测到出现预设情况的情况下，对数据库执行对应的自动维护策略以实现对数据库的自动维护。
[0028]本申请的第三方面提供了一种数据库的自动维护设备，包括：
[0029]存储器，用于存储计算机程序；
[0030]处理器，用于执行计算机程序时实现前述第一方面提供的数据库的自动维护方法。
[0031]本申请的第四方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现前述第一方面提供的数据库的自动维护方法。
[0032]与现有技术相比，本专利技术的有益效果是：
[0033]通过本专利技术提供的技术方案，能够从庞大的数据库数据和操作系统数据中通过多项指标降维分析的方式，找到与运维场景相关的主成分，并根据主成分的变动情况了解数据库当前所需的运维场景以及响应动作，从而能够主动、智能发起运维动作，如回收资源、搜集相关的数据信息，提升后续查询效率，降低运维成本，具有可推广价值。
附图说明
[0034]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、
目的和优点将会变得更明显：
[0035]图1根据本专利技术实施例，示出了一种数据库的自动维护方法的流程示意图；
[0036]图2根据本专利技术实施例，示出了一种对运维关联数据进行降维处理以获取对应的运维关联成分的流程示意图；
[0037]图3根据本专利技术实施例，示出了一种自动维护方法对应的部分运维场景分析示意图；
[0038]图4根据本专利技术实施例，示出了一种自动维护方法对应的结果呈现示意图；
[0039]图5根据本专利技术实施例，示出了一种数据库的自动维护系统的结构示意图；
[0040]图6根据本专利技术实施例，示出了电子设备的结构示意图；
[0041]图7根据本专利技术实施例，示出了计算机可读存储介质的结构示意图。
具体实施方式
[0042]下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。
[0043]在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少区域地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0044]针对现有技术存在的上述问题，在本专利技术提供的一些实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库的自动维护方法，所述数据库通过对应的操作系统进行功能实现，其特征在于，所述自动维护方法包括如下步骤：获取所述数据库与所述操作系统的若干运维关联数据；对所述运维关联数据进行降维处理以获取对应的运维关联成分；根据所述运维关联成分进行预设模型训练以获得对应的训练结果；其中，所述训练结果包括若干预设情况以及对应的自动维护策略；在检测到出现所述预设情况的情况下，对所述数据库执行对应的所述自动维护策略以实现对所述数据库的自动维护。2.根据权利要求1所述的数据库的自动维护方法，其特征在于，在所述获取数据库与操作系统的若干所述运维关联数据的过程中，包括：持续采集所述数据库以及所述操作系统的请求日志和系统指标日志，以作为所述运维关联数据。3.根据权利要求2所述的数据库的自动维护方法，其特征在于，在所述对所述运维关联数据进行降维处理以获取对应的运维关联成分的过程中，分别对所述请求日志和所述系统指标日志进行独立的所述降维处理。4.根据权利要求1所述的数据库的自动维护方法，其特征在于，在所述对所述运维关联数据进行降维处理以获取对应的运维关联成分的过程中，包括：生成关联于每个所述运维关联数据的指标成分表；对所述指标成分表进行转置以生成包含各个所述指标成分的密集矩阵；根据主成分分析法对所述密集矩阵进行训练，以获取降维后的降维投影输出表，并将所述降维投影输出表作为所述运维关联成分。5.根据权利要求4所述的数据库的自动维护方法，其特征在于，所述降维投影输出表包括输出表部分以及残余表部分，其中：所述输出表部分包括投影至主成分的数据表，所述主成分对应的累计标准差比例与所述主成分...

【专利技术属性】
技术研发人员：潘威，胡海洋，吴昭松，王元盛，王新，蒋作梁，彭肖溶，
申请(专利权)人：上海海鼎信息工程股份有限公司，
类型：发明
国别省市：