日志文件管理方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及云监控技术领域，通过对日志文件管理实现日志监控。具体公开了一种日志文件管理方法、装置、设备及存储介质，该方法包括：通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集所述主机产生的日志文件；根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；将所述压缩日志文件上传至预设的云端进行存储。该方法可以减小磁盘的存储空间，进而提高数据库系统的运行效率。

Log File Management Method, Device, Computer Equipment and Storage Media

【技术实现步骤摘要】
日志文件管理方法、装置、计算机设备及存储介质
本申请涉及互联网
，尤其涉及一种日志文件管理方法、装置、计算机设备及存储介质。
技术介绍
在数据库系统中，日志是事务对数据库进行的各种操作的记录，是撤销事务和出现故障时恢复事务的依据以及用于时候故障查询，因此有必要对日志进行管理。数据库系统均包括多台主机，随着数据库系统复杂性的增长，会产生大量日志文件，且大部分日志文件都是存在本地磁盘中，如果本地磁盘存满之后就不能写入日志，现有的方式只能手动处理或者自动删除，影响了日志管理效率，给日志文件管理的带来了不便，因此有必要提供一种日志文件管理方法以解决上述问题。
技术实现思路
本申请提供了一种日志文件管理方法、装置、计算机设备及存储介质，提高了日志文件管理效率，同时减小了磁盘的存储空间，进而提高数据库系统的运行效率。第一方面，本申请提供了一种日志文件管理方法，所述方法包括：获取收集管理平台和日志采集组件的安装包；根据所述安装包将所述收集管理平台安装在所述数据库系统的其中一台主机中以及将所述日志采集组件安装在所述数据库系统的所有主机中；通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集所述主机产生的日志文件；根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；以及将所述压缩日志文件上传至预设的云端进行存储。第二方面，本申请还提供了一种日志文件管理装置，所述装置包括：安装包获取单元，用于获取收集管理平台和日志采集组件的安装包；安装设置单元，用于根据所述安装包将所述收集管理平台安装在所述数据库系统的其中一台主机中以及将所述日志采集组件安装在所述数据库系统的所有主机中；信息获取单元，用于通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；策略获取单元，用于根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；文件采集单元，用于根据确定的日志采集策略采集所述主机产生的日志文件；文件压缩单元，用于根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；以及上传存储单元，用于将所述压缩日志文件上传至预设的云端进行存储。第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的日志文件管理方法。第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的日志文件管理方法。本申请公开了一种日志文件管理方法、装置、设备及存储介质，通过获取主机的磁盘的使用信息，根据该使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集主机产生的日志文件；再根据确定的日志压缩策略对采集的日志文件进行压缩处理以得到压缩后的日志文件；将得到的压缩日志文件上传至预设的云端服务器进行存储。该方法可以自动对主机产生的日志文件进行保存处理，提高了日志管理效率，减小了磁盘空间，同时又提高了数据库系统的运行效率。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请的实施例提供的日志文件管理方法的应用场景示意图；图2是本申请的实施例提供的一种日志文件管理方法的示意流程图；图3是图1中的日志文件管理方法的子步骤示意流程图；图4是图1中的日志文件管理方法的子步骤示意流程图；图5是本申请的实施例提供的预设显示界面的效果示意图；图6是本申请的实施例提供的另一种日志文件管理方法的示意流程图；图7为本申请的实施例提供的一种日志文件管理装置的示意性框图；图8为本申请的实施例提供的另一种日志文件管理装置的示意性框图；图9为本申请的实施例提供的一种计算机设备的结构示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。本申请的实施例提供了一种日志文件管理方法、日志文件管理装置、计算机设备及存储介质。其中，该日志文件管理方法可以应用于服务器中，以实现对数据库系统的日志文件管理，通过减小磁盘的存储空间，进而提高数据库系统的运行效率。请参阅图1所示，图1是本申请的实施例提供的日志文件管理方法的应用场景示意图。该日志文件管理方法应用于数据库系统中，该数据库系统包括多台服务器，也称为主机，即主机1、主机2、...主机N，其中该服务器可以为独立的服务器，也可以为服务器集群。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。请参阅图2，图2是本申请的实施例提供的一种日志文件管理方法的示意流程图。如图2所示，该日志文件管理方法具体包括步骤S101至S107。S101、获取收集管理平台和日志采集组件的安装包。首先，基于日志文件管理方法可以开发出日志归档收集工具，该日志归档收集工具包括收集管理平台和日志采集组件。其中，日志采集组件用于采集主机产生的日志文件；收集管理平台用于收集各个日志采集组件采集的日志文件。将开发完成的日志归档收集工具的安装包保存在其中一台主机中，比如图1的主机1中，当然也可以是其他主机中，该安装包包括收集管理平台的安装包和日志采集组件的安装包。在一个实施例中，该收集管理平台还提供了界面功能，具体为Web显示界面，用于与用户交互完成相应的功能，该Web显示界面包括：显示哪些主机安装了日志采集组件、主机磁盘空间、设置日志采集策略、设置日志压缩策略、手动上传日志和自动定时上传日志等功能按钮等。在一个实施例中，获取收集管理平台和日志采集组件的安装包，包括：从数据库系统中保存有日志归档收集工具的主机中获取收集管理平台和日志采集组件的安装包，并将该主机设为管理主机，管理主机需要安装收集管理平台和日志采集组件。相应地，数据库系统中的其他主机也从该管理主机中获取收集管理平台和日志采集组件的安装包，包括：获取日志采集组件的安装包。因此数据库其他主机只需要获取日志采集组件的安装包，进而可以减小数据库系统中的主机之间的数据传输，同时有提高了安装效率。S102、根据所述安装包将所述收集管理平台安装在所述数据库系统的其中一台主机中以及将所述日志采集组件安装在所述数据库系统的所有主机中。具体地，将收集管理平台安装在数据库系统的其中任意一台主机(服务器)中，将日志采集组件安装在数据库系统中所有的主机中，包括安装有收集管理平台的主机，即安装收集管理平台的主机也需要安装日志采集组件，用于收集主机产生本文档来自技高网...

【技术保护点】
1.一种日志文件管理方法，应用于数据库系统，其特征在于，包括：获取收集管理平台和日志采集组件的安装包；根据所述安装包将所述收集管理平台安装在所述数据库系统的其中一台主机中,以及将所述日志采集组件安装在所述数据库系统的所有主机中；通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集所述主机产生的日志文件；根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；将所述压缩日志文件上传至预设的云端进行存储。

【技术特征摘要】
1.一种日志文件管理方法，应用于数据库系统，其特征在于，包括：获取收集管理平台和日志采集组件的安装包；根据所述安装包将所述收集管理平台安装在所述数据库系统的其中一台主机中,以及将所述日志采集组件安装在所述数据库系统的所有主机中；通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集所述主机产生的日志文件；根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；将所述压缩日志文件上传至预设的云端进行存储。2.根据权利要求1所述的日志文件管理方法，其特征在于，所述根据所述安装包将所述收集管理平台安装在所述数据库系统的其中一台主机中以及将所述日志采集组件安装在所述数据库系统的所有主机中，包括：根据所述收集管理平台的安装包将所述收集管理平台安装在所述数据库系统的其中一台主机中，并将所述主机与其他主机建立通信连接；获取需要安装所述日志采集组件的主机对应的主机标识；根据所述主机标识将所述日志采集组件的安装包发送至所述主机标识对应主机以使所述主机根据所述安装包自动完成注册安装并将注册信息发送所述收集管理平台。3.根据权利要求1所述的日志文件管理方法，其特征在于，所述根据所述磁盘的使用信息确定日志采集策略和日志压缩策略，包括：根据所述磁盘的使用信息匹配所述磁盘的使用等级范围；根据使用等级范围与预设的日志采集策略以及日志压缩策略之间的对应关系，确定匹配的使用等级范围对应的日志采集策略以及日志压缩策略。4.根据权利要求1所述的日志文件管理方法，其特征在于，所述主机的内存设有第一缓冲区和第二缓冲区；所述根据确定的日志采集策略采集所述主机产生的日志文件，包括：检测所述第一缓冲区和第二缓冲区的状态信息，所述状态信息包括工作状态或归档状态，在所述工作状态下的缓冲区用于记录日志，在所述归档状态的缓冲区用于归档日志；判断所述状态信息是否满足预设条件；若所述状态信息满足所述预设条件，根据确定的日...

【专利技术属性】
技术研发人员：李巍，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44