日志存储方法和装置制造方法及图纸

本发明专利技术实施例提供一种日志存储方法和装置。该方法包括：接收日志源发送的日志存储请求；确定日志源发送日志数据的发送速率；根据日志数据的发送速率，确定包含有日志数据的日志的大小；根据日志的标识和日志源的IP地址，确定日志的存储地址；根据日志的大小，采用预分配的方法，在与存储地址对应的磁盘中为日志分配磁盘空间；将包含有日志数据的日志存储到与磁盘空间中。本方案通过确定日志大小以及日志的存储地址，并通过在与该存储地址对应的磁盘中为日志预分配磁盘空间，能够将日志存储到预分配的磁盘空间中。由于该磁盘空间是根据日志大小分配的，因此能够减少磁盘碎片，并提高日志服务器的磁盘的性能。

【技术实现步骤摘要】
【专利摘要】本专利技术实施例提供一种日志存储方法和装置。该方法包括：接收日志源发送的日志存储请求；确定日志源发送日志数据的发送速率；根据日志数据的发送速率，确定包含有日志数据的日志的大小；根据日志的标识和日志源的IP地址，确定日志的存储地址；根据日志的大小，采用预分配的方法，在与存储地址对应的磁盘中为日志分配磁盘空间；将包含有日志数据的日志存储到与磁盘空间中。本方案通过确定日志大小以及日志的存储地址，并通过在与该存储地址对应的磁盘中为日志预分配磁盘空间，能够将日志存储到预分配的磁盘空间中。由于该磁盘空间是根据日志大小分配的，因此能够减少磁盘碎片，并提高日志服务器的磁盘的性能。【专利说明】日志存储方法和装置
本专利技术实施例涉及计算机存储技术，尤其涉及一种日志存储方法和装置。
技术介绍
日志是日志源(例如网络设备、系统及服务程序等)在运行时产生的名为log的事件记录，是日志源运行时产生的数据的集合，每一行日志都记载着日期、时间、使用者及动作等相关操作的描述信息。日志记录了日志源的生命周期，通过查阅与分析日志，可以获知日志源在某个时刻所处的状态。日志服务器是一种对不同日志源运行产生并发送的日志进行记录存储的服务器装置，一般具有比较大的磁盘存储空间，以实现对不同日志源发送的日志进行分类存储，例如，按日期分类存储，在一些对时间统计需求比较高的场合，通常还需要按小时或分钟等对日志文件进行分割存储。现有的日志存储技术，一般是根据日志源发送的日志临时分配相应的磁盘存储空间，从而达到将日志存储到磁盘的目的。上述日志存储技术均存在以下缺陷:在集中式的日志存储结构中，也即当多个日志源同时向日志服务器发送日志时，日志服务器会交替的往每个日志源对应的日志存储文件中写入日志数据，导致单个日志在日志服务器的磁盘上的存储区域不连续，进一步导致各个日志存储文件中的日志数据的存储区域交叉在一起，从而产生大量磁盘碎片，降低日志服务器的磁盘的性能。
技术实现思路
本专利技术实施例提供一种日志存储方法和装置，以减少磁盘碎片，并提高日志服务器的磁盘的性能。第一方面，本专利技术实施例提供了一种日志存储方法，包括:接收日志源发送的日志存储请求，所述日志存储请求包括:日志数据、包含有所述日志数据的日志的标识和日志源的IP地址；确定日志源发送日志数据的发送速率；根据日志数据的发送速率，确定包含有所述日志数据的日志的大小；根据所述日志的标识和日志源的IP地址，确定日志的存储地址；根据所述日志的大小，采用预分配的方法，在与所述存储地址对应的磁盘中为所述日志分配磁盘空间；将包含有所述日志数据的日志存储到与所述磁盘空间中。第二方面，本专利技术实施例还提供了一种日志存储装置，包括:存储请求接收模块，用于接收日志源发送的日志存储请求，所述日志存储请求包括:日志数据、包含有所述日志数据的日志的标识和日志源的IP地址；发送速率确定模块，用于确定日志源发送日志数据的发送速率；日志大小确定模块，用于根据日志数据的发送速率，确定包含有所述日志数据的日志的大小；存储地址确定模块，用于根据所述日志的标识和日志源的IP地址，确定日志的存储地址；磁盘空间分配模块，用于根据所述日志的大小，采用预分配的方法，在与所述存储地址对应的磁盘中为所述日志分配磁盘空间；日志存储模块，用于将包含有所述日志数据的日志存储到与所述磁盘空间中。本专利技术实施例提供的日志存储方法和装置，通过日志源发送日志数据的发送速率，能够确定日志大小，通过日志存储请求中的日志的标识和日志源的IP地址，能够确定日志的存储地址，通过在与该存储地址对应的磁盘中为日志预分配磁盘空间，因此能够将日志存储到预分配的磁盘空间中。由于预分配的磁盘空间是根据日志大小分配的，因此能够减少磁盘碎片，并提高日志服务器的磁盘的性能。【专利附图】【附图说明】为了更清楚地说明本专利技术，下面将对本专利技术中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例一提供的一种日志存储方法的流程图；图2为本专利技术实施例二提供的一种日志存储方法的流程图；图3为本专利技术实施例三提供的一种日志存储装置的结构示意图。【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施例中的技术方案作进一步详细描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定，基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。实施例一请参阅图1，为本专利技术实施例一提供的一种日志存储方法的流程图。本专利技术实施例的方法可以由以硬件和/或软件实现的日志存储装置来执行，该装置典型的是配置于能够提供日志存储服务的服务器中。如图1所示,所述方法包括:步骤110、接收日志源发送的日志存储请求，所述日志存储请求包括:日志数据、包含有所述日志数据的日志的标识和日志源的IP地址；在本步骤中，日志源包括网络设备、系统及服务程序等。日志数据是日志源在运行时产生的，日志数据记载着日志源的运行记录，例如，日期、时间、使用者及相关操作等信息。日志是日志源在运行时产生的名为log的事件记录，为日志数据的集合。日志源不间断地产生日志数据，并对日志分配一个日志标识，也即日志ID。通常具有相同的事件主体、相同时间发生的日志具有相同的日志标识。需要说明的是，本步骤中，可以同时接收不同日志源发送的日志存储请求，并对不同的日志存储请求进行并行处理。步骤120、确定日志源发送日志数据的发送速率；在本步骤中，可以通过监测所述日志存储请求，确定日志源发送日志数据的发送速率。换言之，当监测到的请求类型为日志存储请求时，触发监测该日志存储请求,从而确定日志源发送日志数据的发送速率。步骤130、根据日志数据的发送速率，确定包含有所述日志数据的日志的大小；在本步骤中，可以通过日志数据的发送速率和发送时长，确定包含有所述日志数据的日志的大小；也可以通过预先统计获知日志数据的发送速率和日志大小的对应关系，根据该对应关系，将与当前日志数据的发送速率对应的日志大小确定为包含有所述日志数据的日志的大小，例如通过统计预设时间段(例如，I个月或3周等)内的日志数据的发送速率与对应的日志大小获知该对应关系。步骤140、根据所述日志的标识和日志源的IP地址，确定日志的存储地址；本步骤具体是确定日志的存储地址。示例性地，根据所述日志的标识和日志源的IP地址，根据预设日志存储策略，确定日志的存储地址为{磁盘名称/日志ID/log/IP地址/日期/时间}。实际应用中，一个业务的相关日志数据(即，一个业务下的应用)对应一个日志ID，例如，对于业务为QQ浏览器的业务日志来说，可以设置用户注册事件(QQ浏览器下的一个应用)对应一个日志ID，具有对应的日志数据结构，而用户浏览事件(QQ浏览器下的另一个应用)对应另一个日志ID，相应具有该日志ID对应的日志数据结构。当然，实际应用中，一个业务也可以只申请本文档来自技高网...

【技术保护点】
一种日志存储方法，其特征在于，包括：接收日志源发送的日志存储请求，所述日志存储请求包括：日志数据、包含有所述日志数据的日志的标识和日志源的IP地址；确定日志源发送日志数据的发送速率；根据日志数据的发送速率，确定包含有所述日志数据的日志的大小；根据所述日志的标识和日志源的IP地址，确定日志的存储地址；根据所述日志的大小，采用预分配的方法，在与所述存储地址对应的磁盘中为所述日志分配磁盘空间；将包含有所述日志数据的日志存储到与所述磁盘空间中。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘杰，梁润强，欧吉增，霍键聪，史伟，
申请(专利权)人：广东睿江科技有限公司，
类型：发明
国别省市：广东;44