一种基于海量日志数据的实时显示方法及系统技术方案

本发明专利技术公开了一种基于海量日志数据的实时显示方法及系统

【技术实现步骤摘要】
一种基于海量日志数据的实时显示方法及系统


[0001]本专利技术涉及计算机信息处理
，尤其涉及一种基于海量日志数据的实时显示方法及系统
。

技术介绍

[0002]在现代计算机系统和应用程序中，生成的日志数据中通常包含了系统或应用程序运行过程中的各种事件
、
状态和错误信息，以致日志数据的数据量非常庞大
。
并且，这些日志数据可能来自不同的数据源，比如服务端日志或三方组件日志
。
因此，对于系统管理员
、
开发人员和运维团队来说，能够实时查看和分析这些日志数据对于故障排除和性能优化至关重要
。
[0003]现有技术中，通常利用网络数据分析工具实现对海量日志数据的实时查看
。
但是，在日志数据较多的情况下，网络数据分析工具的页面展示数据太多不利用用户选取日志
。
并且，网络数据分析工具若存储大量的日志数据，会导致占用过多的硬件资源，降低了日志数据的实时性
。
因此，如何实现高效地对海量日志数据进行实时显示，提高日志数据的实时性，是目前亟待解决的问题
。

技术实现思路

[0004]本专利技术提供了一种基于海量日志数据的实时显示方法及系统，可以解决日志数据的实时性较低的问题
。
[0005]根据本专利技术的一方面，提供了一种基于海量日志数据的实时显示方法，该方法包括：
[0006]通过客户端对初始日志数据流进行数据预处理操作，得到所述初始日志数据流对应的初始属性信息，并向服务端上报包含初始日志数据流及初始属性信息的初始数据包；
[0007]通过服务端接收所述初始数据包，对所述初始数据包进行实时数据处理操作，得到基础数据包并将所述基础数据包发送至客户端；
[0008]通过客户端接收所述基础数据包，依据目标搜索条件匹配所述基础数据包中的目标日志数据，并可视化展示所述目标日志数据
。
[0009]根据本专利技术的另一方面，提供了一种基于海量日志数据的实时显示系统，该系统包括：
[0010]客户端，用于对初始日志数据流进行数据预处理操作，得到所述初始日志数据流对应的初始属性信息，并向服务端上报包含初始日志数据流及初始属性信息的初始数据包；
[0011]服务端，用于接收所述初始数据包，对所述初始数据包进行实时数据处理操作，得到基础数据包并将所述基础数据包发送至客户端；
[0012]客户端，用于接收所述基础数据包，依据目标搜索条件匹配所述基础数据包中的目标日志数据，并可视化展示所述目标日志数据
。
[0013]本专利技术实施例的技术方案，通过客户端对初始日志数据流进行数据预处理操作，得到初始日志数据流对应的初始属性信息，并向服务端上报包含初始日志数据流及初始属性信息的初始数据包，进而，通过服务端接收初始数据包，对初始数据包进行实时数据处理操作，得到基础数据包并将基础数据包发送至客户端，最后，通过客户端接收基础数据包，依据目标搜索条件匹配基础数据包中的目标日志数据，并可视化展示目标日志数据，解决了日志数据的实时性较低的问题，能够实现高效地对海量日志数据进行实时显示，提高了日志数据的实时性
。
[0014]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围
。
本专利技术的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0015]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0016]图1是根据本专利技术实施例一提供的一种基于海量日志数据的实时显示方法的流程图；
[0017]图2是根据本专利技术实施例二提供的一种基于海量日志数据的实时显示方法的流程图；
[0018]图3是根据本专利技术实施例二提供的一种可选的基于海量日志数据的实时显示方法的流程图；
[0019]图4是根据本专利技术实施例三提供的一种基于海量日志数据的实时显示系统的结构示意图
。
具体实施方式
[0020]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围
。
[0021]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“初始”、“基础”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施
。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程
、
方法
、
系统
、
产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程
、
方法
、
产品或设备固有的其它步骤或单元
。
[0022]需要说明的是，本申请技术方案中对数据的获取
、
存储
、
使用以及处理等均符合国家法律法规的相关规定
。
[0023]实施例一
[0024]图1为本专利技术实施例一提供的一种基于海量日志数据的实时显示方法的流程图，本实施例可适用于对海量日志数据进行实时显示的情况，该方法可以由基于海量日志数据的实时显示系统来执行
。
如图1所示，该方法包括：
[0025]S110、
通过客户端对初始日志数据流进行数据预处理操作，得到所述初始日志数据流对应的初始属性信息，并向服务端上报包含初始日志数据流及初始属性信息的初始数据包
。
[0026]其中，客户端可以指生成日志数据的相关计算机系统
、
应用程序或其它设备
。
初始日志数据流可以指客户端运行过程中产生的日志数据流
。
[0027]在一个可选的实施方式中，初始日志数据流可以包括：结构化数据和
/
或非结构化数据
。
其中，结构化数据可以指用二维表结构来逻辑表达实现的数据，也可以称为行数据，一般存储在数据库里
。
非结构化数据可以指不方便用数据库二维逻辑表来表现的数据，通常可以包括所有格式的办公文档
、
文本
、
图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于海量日志数据的实时显示方法，其特征在于，包括：通过客户端对初始日志数据流进行数据预处理操作，得到所述初始日志数据流对应的初始属性信息，并向服务端上报包含初始日志数据流及初始属性信息的初始数据包；通过服务端接收所述初始数据包，对所述初始数据包进行实时数据处理操作，得到基础数据包并将所述基础数据包发送至客户端；通过客户端接收所述基础数据包，依据目标搜索条件匹配所述基础数据包中的目标日志数据，并可视化展示所述目标日志数据
。2.
根据权利要求1所述的方法，其特征在于，所述通过客户端对初始日志数据流进行数据预处理操作，得到所述初始日志数据流对应的初始属性信息，包括：通过客户端依据预设关键字段确定初始日志数据流对应的初始属性信息
。3.
根据权利要求1所述的方法，其特征在于，所述通过服务端接收所述初始数据包，对所述初始数据包进行实时数据处理操作，包括：通过服务端接收所述初始数据包，并依次对所述初始数据包进行解析处理及过滤处理
。4.
根据权利要求3所述的方法，其特征在于，通过服务端对所述初始数据包进行解析处理，包括：通过服务端依据初始数据包中的初始属性信息确定与所述初始数据包对应的相关属性信息
。5.
根据权利要求3所述的方法，其特征在于，通过服务端对所述初始数据包进行过滤处理，包括：通过服务端依据预设过滤条件，筛选处理所述初始数据包，确定满足预设过滤条件的目标初始数据包
。6.
根据权利要求1所述的方法，其特征在于，通过...

【专利技术属性】
技术研发人员：孟曦东，
申请(专利权)人：北京博睿宏远数据科技股份有限公司，
类型：发明
国别省市：