本申请提供了一种处理日志的方法和装置，涉及计算机技术领域。该方法包括：接收来自应用服务器的查询请求；基于目标关键字和倒排索引，确定包含该目标关键字的目标日志文件名；向部署在应用服务器中的日志采集工具发送查询任务。基于本申请提供的处理日志的方法，日志中心可以在接收到查询请求的情况下，根据查询请求中包含的目标关键字，以及本地预先生成的倒排索引中关键字与日志文件名的对应关系，确定目标日志文件名，从而对日志采集工具下发查询任务，使得日志采集工具能够对日志文件进行有选择地推送，而不是对日志进行全量推送，能够减少对资源的无效占用，进而减小日志中心的压力。的压力。的压力。
【技术实现步骤摘要】
一种处理日志的方法和装置
[0001]本申请涉及计算机
，尤其涉及一种处理日志的方法和装置。
技术介绍
[0002]随着互联网技术发展，服务器规模也越来越大。日志作为服务器基本的输出数据，对服务状态监控和问题排查起到重要作用。如何高效地处理日志数据，成为技术人员越来越关注的问题。
[0003]目前，日志采集工具在采集日志过程中需要全量推送，而日志中心需要对日志采集工具推送过来的日志文件进行处理，这需要占用大量的资源，如处理器、网络、磁盘等资源，日志中心面临巨大的压力。
技术实现思路
[0004]本申请提供了一种处理日志的方法和装置，能够根据用户需求推送日志，避免全量推送，减少对资源的无效占用，进而减小日志中心的压力。
[0005]第一方面，本申请提供了一种处理日志的方法，该方法包括：接收来自应用服务器的查询请求，该查询请求中包含目标关键字；基于该目标关键字和倒排索引，确定包含目标关键字的目标日志文件名，目标日志文件名所标识的日志文件为请求查询的日志文件，其中，该倒排索引包括以至少一个关键字为索引的至少一个关键字与至少一个日志文件名的映射关系，每个关键字包含在所对应的至少一个日志文件名所标识的日志文件中；向部署在应用服务器中的日志采集工具发送查询任务，查询任务中包含目标日志文件名。
[0006]其中，该查询请求用于请求查询包含目标关键字的日志文件。该目标关键字例如可以是用户通过应用的操作界面输入的，用户希望搜索的日志文件的关键字。本文中为了便于区分，将查询请求中包含的关键字记为目标关键字。
[0007]基于上述方法，日志中心可以在接收到查询请求的情况下，根据查询请求中包含的目标关键字，以及本地预先生成的倒排索引中关键字与日志文件名的对应关系，确定目标日志文件名，从而对日志采集工具下发查询任务，使得日志采集工具能够对日志文件进行有选择地推送，而不是对日志进行全量采集与全量推送，因此，日志中心只需将日志采集工具推送的日志文件在本地进行处理，从而可以减少无效日志文件对资源的占用，进而减小日志中心的压力。此外，由于不需要对无效日志文件进行处理，还可以提高日志中心的处理效率。
[0008]结合第一方面，在第一方面的某些可能的实现方式中，该方法还包括：接收来自日志采集工具的日志信息，该日志信息包括日志采集工具基于预定义的个性化配置信息对应用日志采集得到的日志信息，该个性化配置信息包括应用日志的一个或多个关键字，该日志信息包括应用日志所包含的一个或多个日志文件中每个日志文件的日志文件名；基于该日志信息，确定每个关键字对应的日志文件名；基于每个关键字及其对应的日志文件名，生成倒排索引。
[0009]应当说明，该倒排索引可以根据日志采集工具此前采集到的日志信息和针对每个应用日志预设的关键字生成。
[0010]可选地，一种可能的实现方式是，接收来自日志采集工具的日志信息；基于日志信息，确定每个关键字对应的日志文件名；基于每个关键字及其对应的日志文件名，生成倒排索引。其中，日志信息包括日志采集工具基于预定义的个性化配置信息对应用日志采集得到的日志信息，个性化配置信息包括应用日志的一个或多个关键字，日志信息包括应用日志所包含的一个或多个日志文件中每个日志文件的日志文件名。
[0011]结合第一方面，在第一方面的某些可能的实现方式中，该日志信息还包括每个日志文件的以下至少一项信息：应用日志的应用名、应用服务器的集群名、应用服务器的互联网协议(internet protocol，IP)地址、每个关键字在一个日志文件中出现的次数、生成时间和日志行数。
[0012]结合第一方面，在第一方面的某些可能的实现方式中，该方法还包括：接收来自应用服务器的个性化配置信息，个性化配置信息包括应用日志的关键字；向该日志采集工具发送个性化配置信息。
[0013]具体地，该个性化配置信息可以是用户通过应用的操作界面输入的。用户可以在设备运行时随时调整个性化配置信息，对关键字进行实时更新配置。
[0014]结合第一方面，在第一方面的某些可能的实现方式中，该个性化配置信息还包括应用日志的日志文件路径。
[0015]结合第一方面，在第一方面的某些可能的实现方式中，该方法还包括：接收来自日志采集工具的目标日志文件；基于对目标日志文件的解析，展示解析得到的日志详细信息。
[0016]第二方面，本申请提供了一种处理日志的方法，该方法包括：接收来自日志中心的个性化配置信息，个性化配置信息包括应用日志的一个或多个关键字；从该应用日志采集一个或多个日志文件；基于个性化配置信息和一个或多个日志文件，生成日志信息，该日志信息包括包含一个或多个关键字的日志文件及其对应的日志文件名和关键字；向日志中心发送该日志信息。
[0017]基于上述方法，当用户需要为应用日志配置个性化配置信息或更新个性化配置信息时，可以在应用端进行配置或更新，因此，应用不需要停机，就可以实现对个性化配置信息的实时更新配置。此外，通过日志采集工具基于关键字采集日志信息，并发送至日志中心，可以便于日志中心基于采集到的日志信息生成包含至少一个关键字和至少一个日志文件名的倒排索引，从而便于用户根据需求查询日志文件，有效提高处理日志的效率。
[0018]结合第二方面，在第二方面的某些可能的实现方式中，该方法应用于日志采集工具，日志采集工具部署在应用服务器，且与日志中心保持长连接。
[0019]结合第二方面，在第二方面的某些可能的实现方式中，接收来自日志中心的个性化配置信息，包括：通过长轮询，接收来自日志中心的个性化配置信息。
[0020]结合第二方面，在第二方面的某些可能的实现方式中，个性化配置信息还包括应用日志的日志文件路径。
[0021]结合第二方面，在第二方面的某些可能的实现方式中，日志信息还包括每个日志文件的以下至少一项信息：应用日志的应用名、应用服务器的集群名、应用服务器的IP地址、每个关键字在一个日志文件中出现的次数、生成时间和日志行数。
[0022]结合第二方面，在第二方面的某些可能的实现方式中，该方法还包括：接收来自日志中心的查询任务，查询任务中包括目标日志文件名，目标日志文件名所标识的目标日志文件是基于用户的查询请求确定的包含有目标关键字的日志文件；基于目标日志文件名，向日志中心发送日志文件。
[0023]第三方面，本申请提供了一种处理日志的装置，该装置包括用于实现第一方面和第二方面或第一方面和第二方面任意一种可能实现方式中的方法的模块或单元。应理解，各个模块或单元可通过执行计算机程序来实现相应的功能。
[0024]第四方面，本申请提供了一种处理日志的装置，包括处理器，该处理器用于执行计算机程序，以执行第一方面和第二方面以及第一方面和第二方面任意一种可能的实现方式。
[0025]第五方面，本申请提供了一种计算机可读存储介质，包括计算机程序，当该计算机程序在计算机上运行时，使得计算机执行第一方面和第二方面以及第一方面和第二方面任一种可能实现方式中的方法本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种处理日志的方法，其特征在于，包括：接收来自应用服务器的查询请求，该查询请求中包含目标关键字；基于所述目标关键字和倒排索引，确定包含所述目标关键字的目标日志文件名，所述目标日志文件名所标识的日志文件为请求查询的日志文件，其中，所述倒排索引包括以至少一个关键字为索引的所述至少一个关键字与至少一个日志文件名的映射关系，每个关键字包含在所对应的至少一个日志文件名所标识的日志文件中；向部署在所述应用服务器中的日志采集工具发送查询任务，所述查询任务中包含目标日志文件名。2.如权利要求1所述的方法，其特征在于，所述方法还包括：接收来自所述日志采集工具的日志信息，所述日志信息包括所述日志采集工具基于预定义的个性化配置信息对应用日志采集得到的日志信息，所述个性化配置信息包括所述应用日志的一个或多个关键字，所述日志信息包括所述应用日志所包含的一个或多个日志文件中每个日志文件的日志文件名；基于所述日志信息，确定每个关键字对应的日志文件名；基于每个关键字及其对应的日志文件名，生成所述倒排索引。3.如权利要求2所述的方法，其特征在于，所述日志信息还包括每个日志文件的以下至少一项信息：所述应用日志的应用名、所述应用服务器的集群名、所述应用服务器的IP地址、每个关键字在一个日志文件中出现的次数、生成时间和日志行数。4.如权利要求2或3所述的方法，其特征在于，所述方法还包括：接收来自所述应用服务器的个性化配置信息，所述个性化配置信息包括所述应用日志的关键字；向所述日志采集工具发送所述个性化配置信息。5.如权利要求4所述的方法，其特征在于，所述个性化配置信息还包括所述应用日志的日志文件路径。6.如权利要求1所述的方法，其特征在于，所述方法还包括：接收来自所述日志采集工具的所述目标日志文件；基于对所述目标日志文件的解析，展示解析得到的日志详细信息。7.一种处理日志的方法，其特征在于，包括：接收来自日志中心的个性化...
【专利技术属性】
技术研发人员：李芳，林慕云，陆新龙，王泽洋，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。