PostgreSQL数据库海量数据管理方法及系统技术方案

本发明专利技术提供一种PostgreSQL数据库海量数据管理方法及系统，基于Linux平台实现，包括海量存储管理配置初始化，启动系统定时调度；对预留时间段外的过期数据分区进行删除，然后对未过期数据分区中，预留时间段内与实际保存周期外的分区数据进行清理；存储空间检查，判断存储空间是否支持预扩展，支持则执行分区预扩展操作和索引创建，否则触发自适应精减机制。本发明专利技术保证了数据的有效性、可用性和可扩展性，为数据扩容提供了数值依据，有效提升数据库管理人员的维护效率，大大降低数据库的管理维护成本，具有重要的市场价值。

【技术实现步骤摘要】

本专利技术涉及数据库应用的
，具体涉及一种基于Linux平台实现的PostgreSQL数据库的海量数据管理方法及系统。
技术介绍
PostgreSQL数据库是一种开源、实用、高效、应用广泛的通用数据库管理系统，其传统处理的数据管理的方式主要由两种：一种是数据量在可预测范围内可控制情况下，一次性完成数据存储空间的部署，后续无需扩容；另外一种，就是依托数据库DBA进行日常巡检，来维护数据库的正常运行。随着各种业务系统的层出不穷，针对不同类型数据的需求，数据存储的可预见性相对降低，对数据空间的预置难度不断加大，这就要求不同的系统都要配置不同的数据库管理员，如果单个数据库管理员DBA同时管理多个系统，无疑将消耗大量的人力和物力，对数据库管理员的要求和标准越来越高。而人力终究是有限的，随着应用自动化的不断出现，数据库管理也需要相关的自动管理技术手段和方法，以提高数据管理的效率，有效降低维护的成本。
技术实现思路
针对上述问题，本专利技术提供一种基于Linux平台的PostgreSQL数据库的海量数据管理方法及系统，以容量预配置数据为基础，结合系统的自动监控机制，实现大数据存储的自动管理。本本文档来自技高网...

【技术保护点】
一种PostgreSQL数据库海量数据管理方法，基于Linux平台实现，其特征在于：包括以下步骤，步骤1‑1，海量存储管理配置初始化，包括初始化表空间配置表、存储设备配置表、表对象配置表、索引对象配置表以及系统配置表；步骤1‑2，启动系统定时调度，通过Linux系统Crond服务，配置实现数据库管理调度机制；步骤1‑3，历史数据清理，包括对预留时间段外的过期数据分区进行删除，然后对未过期数据分区中，预留时间段内与实际保存周期外的分区数据进行清理；步骤1‑4，存储空间检查，判断存储空间是否支持预扩展，包括将表空间使用率与自适应精减调整的触发阈值进行比较，若该值小于触发阈值，则支持，直接进入步骤1...

【技术特征摘要】
1.一种PostgreSQL数据库海量数据管理方法，基于Linux平台实现，其特征在于：包括以下步骤，步骤1-1，海量存储管理配置初始化，包括初始化表空间配置表、存储设备配置表、表对象配置表、索引对象配置表以及系统配置表；步骤1-2，启动系统定时调度，通过Linux系统Crond服务，配置实现数据库管理调度机制；步骤1-3，历史数据清理，包括对预留时间段外的过期数据分区进行删除，然后对未过期数据分区中，预留时间段内与实际保存周期外的分区数据进行清理；步骤1-4，存储空间检查，判断存储空间是否支持预扩展，包括将表空间使用率与自适应精减调整的触发阈值进行比较，若该值小于触发阈值，则支持，直接进入步骤1-5，若该值大于等于触发阈值，则触发自适应精减机制，完成数据配置的一次缩减，返回执行步骤1-3，若执行N次缩减操作后表空间使用率仍然大于等于触发阈值，则直接生成告警记录退出整个流程；N为预定的次数上限；步骤1-5，执行分区预扩展操作和索引创建，包括通过调用数据库函数接口，完成对象表中表对象的分区扩展，并完成扩展分区上的索引创建；步骤1-6，处理流程结束。2.根据权利要求1所述PostgreSQL数据库海量数据管理方法，其特征在于：步骤1-3中数据清理实现包括以下步骤，步骤2-1，调用数据库接口，获取海量数据表的表对象信息；步骤2-2，根据获取的表对象信息，提取过期分区的表分区区间以及预留分区的区间，生成过期分区信息和预留分区信息；步骤2-3，检查过期分区区间对应的表分区是否存在，如果存在则删除过期表分区，进入步骤2-4，如果不存在直接进入步骤2-4；步骤2-4，检查预留分区区间对应的表分区是否存在，如果存在则清除预留表分区，进入步骤2-5，如果不存在则直接进入步骤2-5结束；步骤2-5，处理流程结束。3.根据权利要求1所述PostgreSQL数据库海量数据管理方法，其特征在于：步骤1-4中数据存储有效空间检查实现包括以下步骤，步骤3-1，调用数据库函数接口，获取存储设备中允许表空间使用的配置容量以及存储路径；步骤3-2，调用Linux系统函数接口，获取对应表空间实际使用的大小，得到实际使用容量；步骤3-3，根据实际使用大小与配置容量比值得到表空间使用率，并判断该数值是否触发自适应精减调整机制，如果小于触发阈值，直接进入步骤3-6，否则进入步骤3-4；步骤3-4，判断是否缩减操作次数大于N次，是则直接进入步骤3-6，否则进入步骤3-5；步骤3-5，对海量数据存储配置进行缩减调整，然后进入步骤1-3；步骤3-6，处理流程结束。4.根据权利要求1所述PostgreSQL数据库海量数据管理方法，其特征在于：步骤3-5中的缩减调整包括对表对象配置表中表对象的存储周期按照优先级进行缩减。5.根据权利要求1所述PostgreSQL数据库海量数据管理方法，其特征在于：步骤1-5中分区预扩展处理实现包括以下步骤，步骤4-1，调用数据库接口，获取海量数据表的表对象信息；步骤4-2，根据获取的表对象信息，获取表对象预扩展表分区信息，生成预扩展分区的表分区名称、表空间名称以及预留分区的区间；步骤4-3，检查预扩展表分区是否存在，是则返回步骤4-2，否则如果不存在则创建表分区，进入步骤4-4；步骤4-4，获取扩展分区对应索引信息：根据获取的索引对象信息，创建扩展分区对应索引，生成预扩展分区的索引名称和表空间名称；步骤4-5，检查预扩展表分区索引是否存在，是则返回步骤4-4，否则如果不存在则执行创建操作，创建表对象预扩展分区索引；步骤4-6，处理流程结束。6.一种P...

【专利技术属性】
技术研发人员：肖建桥，胡志勇，叶仕祥，蔡剑峰，肖伟明，余道敏，
申请(专利权)人：武汉虹信技术服务有限责任公司，
类型：发明
国别省市：湖北;42