基于ElasticSearch的日志实时显示方法、装置、计算机设备和介质制造方法及图纸

本申请属于数据处理领域，公开了一种基于ElasticSearch的日志实时显示方法、装置、计算机设备及可读存储介质。所述方法包括从日志服务器上采集日志信息，并将采集到的日志信息存储到预设缓冲数据库中，作为日志缓冲数据；若日志缓冲数据为预设日志类型，则对日志缓冲数据进行切割处理，切割处理后的日志缓冲数据进行存储，作为待显示日志数据；在接收到终端发送的日志查看请求时，对所述日志查看请求进行解析处理，得到索引信息；每隔预设时间从预设搜索数据库中搜索得到目标显示日志数据进行展示，并将目标显示日志数据中的最后一行日志的位置作为下次搜索的起始标志位。本方法可以避免重复搜索导致的显示延时或者遗漏搜索造成的显示不全的技术问题。

【技术实现步骤摘要】
基于ElasticSearch的日志实时显示方法、装置、计算机设备和介质
本申请涉及数据处理领域，特别是涉及一种基于ElasticSearch的日志实时显示方法、装置、计算机设备和存储介质。
技术介绍
现有技术中，可以通过在前后端之间建立了双向连接，将后端得到的日志在前端上实时显示。中国专利技术专利CN109783754公开了一种基于web技术实现的日志展示方法，通过根据前端发送的带查询日志的查询条件从预先写入到搜索引擎中的日志信息中搜索所需要的日志信息，并将得到的日志信息在前端页面上渲染显示。通过该中国专利技术专利公开的技术方案可以将后端的日志放到前端显示。但是该技术方案在将日志数据推送到前端界面上展示时，会通过限制字节数、调用频率来缓解展示界面的展示压力。这种通过调用频率缓解展示界面的展示压力的方式会导致日志数据在前端上显示的延迟太高，限制字节数则会导致大数据量的日志无法显示，给用户带来极大的不便。
技术实现思路
基于此，有必要针对上述技术问题，本申请提供一种基于ElasticSearch的日志实时显示方法、装置、计算机设备及存储介质，以解决传统技术中通过调用频率缓解展示界面的展示压力的方式会导致日志数据在前端上显示的延迟太高以及限制字节数则导致的大数据量的日志无法显示的技术问题。一种基于ElasticSearch的日志实时显示方法，所述方法包括：从日志服务器上采集日志信息，并将采集到的日志信息存储到预设缓冲数据库中，作为日志缓冲数据；识别所述日志缓冲数据的日志类型；若所述日志缓冲数据为预设日志类型，则对所述日志缓冲数据进行切割处理，并将切割处理后的日志缓冲数据存储到预设搜索数据库中，作为待显示日志数据，其中，所述预设搜索数据库为ElasticSearch；在接收到终端发送的日志查看请求时，对所述日志查看请求进行解析处理，得到所述待显示日志数据的索引信息；每隔预设时间从所述预设搜索数据库中搜索与所述索引信息匹配的日志数据，作为目标显示日志数据进行展示，并将所述目标显示日志数据中的最后一行日志在所述预设搜索数据库中的位置作为下次搜索的起始标志位。一种基于ElasticSearch的日志实时显示装置，所述装置包括：缓冲模块，从日志服务器上采集日志信息，并将采集到的日志信息存储到预设缓冲数据库中，作为日志缓冲数据；识别模块，用于识别所述日志缓冲数据的日志类型；分解模块，用于若所述日志缓冲数据为预设日志类型，则对所述日志缓冲数据进行切割处理，并将切割处理后的日志缓冲数据存储到预设搜索数据库中，作为待显示日志数据；查询模块，用于在接收到终端发送的日志查看请求时，对所述日志查看请求进行解析处理，得到所述待显示日志数据的索引信息；显示模块，用于每隔预设时间从所述预设搜索数据库中搜索与所述索引信息匹配的日志数据，作为目标显示日志数据进行展示，并将所述目标显示日志数据中的最后一行日志在所述预设搜索数据库中的位置作为下次搜索的起始标志位。一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于ElasticSearch的日志实时显示方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于ElasticSearch的日志实时显示方法的步骤。上述基于ElasticSearch的日志实时显示方法、装置、计算机设备和存储介质，通过将采集到的日志信息存储到预设缓冲数据中进行缓冲存储，作为日志缓冲数据；然后根据日志缓冲数据的类型对日志缓冲数据分别进行处理，若日志缓冲数据的类型是预设日志类型则对日志缓冲数据进行切割、匹配等处理，得到带显示日志数据。最后根据日志查看请求的索引信息每隔一段将搜索得到的目标显示日志数据进行展示，并将日志显示日志数据中的最后一行日志在预设搜索数据库中的位置作为下一次搜索的起始标志位。从预设搜索数据库中获取待显示日志进行显示时，因为日志服务器上日志文件中的日志数据是会增加的，但并非每一时刻都有增加，可能某一段时间无法采集到的新的日志数据，所以需要每隔几秒从预设搜索数据库中查询一次待显示日志，将得到的待显示日志作为目标显示日志进行显示，然后获取新得到的目标显示日志中最后一条日志数据在预设搜索数据库中对应的偏移量，并将该偏移量作为下一次搜索的起始标志位，可以实现从该起始标志位的下一条待显示日志进行下一次搜索。解决了现有技术中通过限制限制字节数、调用频率来缓解展示界面的展示压力实现日志显示导致无法将采集到的日志信息实时进行实现的技术问题。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为基于ElasticSearch的日志实时显示方法的应用环境示意图；图2为基于ElasticSearch的日志实时显示方法的流程示意图；图3为图2中步骤202的流程示意图；图4为图2中步骤206的流程示意图；图5为图4中步骤404的流程示意图；图6为图4中步骤408的流程示意图；图7为基于ElasticSearch的日志实时显示方法的另一流程示意图；图8为图2中步骤210的流程示意图；图9为基于ElasticSearch的日志实时显示方法装置的示意图；图10为一个实施例中计算机设备的示意图。具体实施方式除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供的基于ElasticSearch的日志实时显示方法，可以应用于如图1所示的应用环境中。其中，该应用环境可以包括终本文档来自技高网...

【技术保护点】
1.一种基于ElasticSearch的日志实时显示方法，其特征在于，包括：/n从日志服务器上采集日志信息，并将采集到的日志信息存储到预设缓冲数据库中，作为日志缓冲数据；/n识别所述日志缓冲数据的日志类型；/n若所述日志缓冲数据为预设日志类型，则对所述日志缓冲数据进行切割处理，并将切割处理后的日志缓冲数据存储到预设搜索数据库中，作为待显示日志数据，其中，所述预设搜索数据库为ElasticSearch；/n在接收到终端发送的日志查看请求时，对所述日志查看请求进行解析处理，得到所述待显示日志数据的索引信息；/n每隔预设时间从所述预设搜索数据库中搜索与所述索引信息匹配的日志数据，作为目标显示日志数据进行展示，并将所述目标显示日志数据中的最后一行日志在所述预设搜索数据库中的位置作为下次搜索的起始标志位。/n

【技术特征摘要】
1.一种基于ElasticSearch的日志实时显示方法，其特征在于，包括：
从日志服务器上采集日志信息，并将采集到的日志信息存储到预设缓冲数据库中，作为日志缓冲数据；
识别所述日志缓冲数据的日志类型；
若所述日志缓冲数据为预设日志类型，则对所述日志缓冲数据进行切割处理，并将切割处理后的日志缓冲数据存储到预设搜索数据库中，作为待显示日志数据，其中，所述预设搜索数据库为ElasticSearch；
在接收到终端发送的日志查看请求时，对所述日志查看请求进行解析处理，得到所述待显示日志数据的索引信息；
每隔预设时间从所述预设搜索数据库中搜索与所述索引信息匹配的日志数据，作为目标显示日志数据进行展示，并将所述目标显示日志数据中的最后一行日志在所述预设搜索数据库中的位置作为下次搜索的起始标志位。


2.根据权利要求1所述的方法，其特征在于，所述从日志服务器上采集日志信息，并将采集到的日志信息存储到预设缓冲数据库中，作为日志缓冲数据，包括：
在日志服务器中检测指定的日志文件；
将检测到的日志文件中的所述日志信息发送到所述预设缓冲数据库中，作为所述日志缓冲数据。


3.根据权利要求1所述的方法，其特征在于，所述对所述日志缓冲数据进行切割处理，并将切割处理后的日志缓冲数据存储到预设搜索数据库中，包括：
获取预设切割标识；
定位所述预设切割标识在所述日志缓冲数据中的坐标，作为切割坐标；
根据所述切割坐标切割所述日志缓冲数据，得到待解析字段；
根据预设匹配条件为所述待解析字段匹配解析字段，得到结构化日志，并将所述结构化日志存储到所述预设搜索数据库中。


4.根据权利要求3所述的方法，其特征在于，所述定位预设切割标识在所述日志缓冲数据中的坐标，作为切割坐标，包括：
将预设行数的所述日志缓冲数据中的每一个字符串的出现频次作为频次数组，并计算所述频次数组的方差；
若所述频次数组的方差小于特定数值，则将所述字符串作为所述预设切割标识，并定位所述预设切割标识在所述日志缓冲数据中坐标，作为所述切割坐标。


5.根据权利要求3所述的方法，其特征在于，所述根据预设匹配条件为所述待解析字段匹配解析字段，得到结构化日志，包括：
获取所述待解析字段与所述解析字段的字...

【专利技术属性】
技术研发人员：饶鑫，黄望，石晓龙，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44