一种日志查询方法和系统技术方案

本发明专利技术公开了一种日志查询方法，该方法包括：接收采集的至少一条日志，该日志包括日志来源、日志生成日期和日志生成时间；将每一条日志存储为一个第一文件，该第一文件以该条日志的日志来源、日志生成日期和日志生成时间为存储路径；读取日志来源相同、日志生成日期相同和日志生成时间所属的时间段相同的存储路径下的至少一个第一文件；将至少一个第一文件有序排列后合并为一个第二文件，第二文件以日志生成时间为索引，并以日志来源、日志生成日期和日志生成时间所属的时间段为存储路径；接收用户的日志分页查询请求，获取相应存储路径下的第二文件，对该第二文件进行分页查询后将查询结果返回至用户。本发明专利技术还公开了一种日志查询系统。

【技术实现步骤摘要】

本专利技术涉及数据处理
，尤其涉及一种日志查询方法和系统。
技术介绍
随着移动通信网、互联网、物联网等信息技术的飞速发展，信息技术已经融入到人们的生活，遍布世界各地的各种通信终端、传感设备等产生了超过以往任何时代的巨量数据。与此同时，电子商务、社交网络的兴起每时每刻都在生成各种各样的数据。海量的数据中蕴含着大量信息，从信息中可以提取大量有用价值。其中，网站采集的日志一般包含了大量人们一特别是产品分析人员感兴趣的信息，其记录了服务器接收处理请求以及运行时错误等各种原始信息，通过对这些日志进行分析和统计，能够有效掌握系统运行情况以及网站内容的受访问情况、加强对整个网站及其内容的维护与管理。而这些海量的日志数据通常为小文件，面对海量零散小文件的日志数据，如何高效的进行存储以及查询十分关键。由于目前普遍使用的基于关系型数据库的存储查询方案在海量小文件数据存储和查询的条件下加载效率低、检索速度慢，因此需要一种能够适应海量小文件数据存储、查询等应用需求、提高数据查询效率的日志查询方案。
技术实现思路
鉴于此，本专利技术提供了一种新的日志查询方案，以力图解决或至少缓解上面存在的问题本文档来自技高网...

【技术保护点】
一种日志查询方法，该方法包括：接收采集的至少一条日志，所述日志包括日志来源、日志生成日期和日志生成时间；将接收的每一条日志存储为一个第一文件，所述第一文件以该条日志的日志来源、日志生成日期和日志生成时间为存储路径；读取日志来源相同、日志生成日期相同和日志生成时间所属的时间段相同的存储路径下的至少一个第一文件；将所述至少一个第一文件按照其中日志生成时间有序排列后合并为一个第二文件，所述第二文件以第一文件中日志生成时间为索引，并以所述日志来源、日志生成日期和日志生成时间所属的时间段为存储路径；接收用户的日志分页查询请求，获取相应存储路径下的第二文件，对获取的第二文件进行分页查询后将查询结果返回至用...

【技术特征摘要】

【专利技术属性】
技术研发人员：朱峰，
申请(专利权)人：北京皮尔布莱尼软件有限公司，
类型：发明
国别省市：北京;11