日志自动搜索方法及系统技术方案

一种日志自动搜索方法及系统，涉及软件开发和测试领域，可应用于金融领域和其他领域，所述方法包含：根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；获取待搜索日志信息，根据所述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。型于日志数据库中筛选获得对应的目标日志。型于日志数据库中筛选获得对应的目标日志。

【技术实现步骤摘要】
日志自动搜索方法及系统


[0001]本专利技术涉及软件开发和测试领域，可应用于金融领域和其他领域，尤指一种日志自动搜索方法及系统。

技术介绍

[0002]在软件系统的开发测试过程中，很多程序问题的发现和溯源都依赖于程序在执行过程中记录的日志。甚至于在生产环境中，很多生产问题的实时监控和报警都依赖于日志信息。
[0003]由于软件系统的请求量和并发度的不断提高，集中式架构的软件系统已经不足以支持正常的业务需求。现有大型软件系统大都使用分布式架构，或者在向分布式架构转型进程中。在分布式架构系统中，程序运行时的日志信息分散到了集群中的众多服务器中，如何在日志海洋中快速准确找到所需要日志信息，成为每个程序员的必修课。
[0004]现有日志搜索方法中，较多使用跟随服务全流程的流程ID(tranceId)进行相关日志搜索，将匹配到这个tranceId的日志信息认为是搜索命中的信息，这种方法虽然能命中全流程日志信息，但是一个服务全流程的日志信息过于冗余，开发测试的时候有时候只需要全流程中某个节点的日志信息，需要二次搜索，且这种方法日志量过大，会增加搜索和下载日志的时间消耗；在此基础上，也有一些搜索方法结合tranceId和事件编号(eventNo)搜索服务全流程中某个节点的信息，这种搜索方法需要服务中每个节点记录上游调用方传递过来的eventNo作为该节点的关联事件编号(relatedEventNo)，而该节点需要生成新的事件编号(eventNo
′
)，这种方式类似于双向链表，可以根据eventNo搜索到某个节点和其上下游的日志信息，这种方法能够较为精确地命中节点日志，与tranceId结合能从该节点的日志信息进行发散，搜索到需要的日志。
[0005]上述方法的搜索流程虽然能搜索到较为全面具体的日志信息，但是属于重复的认为动作，需要程序员由eventNo出发，搜索到所有分布式机器中带有该eventNo的日志，再从日志信息中的tranceId搜索全部的日志信息进行分析。这种搜索方法日志搜索的时间比较长，冗余的日志信息也增大了程序员分析日志查找问题的精力损耗。

技术实现思路

[0006]本专利技术目的在于提供一种日志自动搜索方法及系统，通过深度强化模型DQN(Deep Q
‑
Learning)对日志搜索的操作进行学习，使用海量日志信息进行训练，使得该模型能自动对日志进行搜索，有效地降低了搜索日志过程中地搜索时间，降低搜索内容的冗余程度，解放人力，自动搜索到准确的日志信息。
[0007]为达上述目的，本专利技术所提供的日志自动搜索方法所述方法包含：根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；获取待搜索日志信息，根据所
述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。
[0008]在上述日志自动搜索方法中，优选的，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。
[0009]在上述日志自动搜索方法中，优选的，获取待搜索日志信息包含：将服务器的日志文件下载并存储至预定的日志数据库。
[0010]在上述日志自动搜索方法中，优选的，将服务器的日志文件下载并存储至预定的日志数据库还包含：通过所述决策模型于多个预设的下载策略中确定当前应用的下载策略，根据确定的下载策略于所述服务器中下载日志文件。
[0011]在上述日志自动搜索方法中，优选的，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件。
[0012]在上述日志自动搜索方法中，优选的，所述方法还包含：记录所述日志搜索信息及对应的所述目标日志，并持久化存储；将预定周期内搜索频率高于预定阈值的日志文件拉取至本地存储。
[0013]在上述日志自动搜索方法中，优选的，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型包含：根据搜索结果与所述日志搜索信息的匹配度通过预设模型计算获得的奖励值；通过所述决策模型在每一步日志筛选动作过后得到的奖励值获取到的经验值；通过所述经验值校正所述强化学习模型获得所述决策模型。
[0014]在上述日志自动搜索方法中，优选的，通过以下公式计算获得奖励值：
[0015]Q(s,a)＝λ
×
tf(w,D)+β
×
df(w,D)+χ
×
lf(w,D)
‑
δt
‑
εs；
[0016]通过以下公式计算获得经验值：
[0017][0018]在上式中，λ,β,χ,δ,ε为权重参数，tf(w,D)为文档D中关键搜索信息w的词频；df(w,D)为w出现的文档频率；lf(w,D)为匹配行数；t为执行操作a的执行时间；ε为执行操作a的网络带宽占用量；s
t
′
,a
t
′
为执行完a
t
之后下一时刻的状态和行为；α为学习率；γ是奖励性衰系数。
[0019]本专利技术还提供的一种日志自动搜索系统，所述系统包含输入输出模块、日志获取模块、日志筛选模块和决策模块；所述输入输出模块用于获取用户提供日志搜索信息；以及，将目标日志反馈至用户；所述日志获取模块与多个分布式服务器或集中日志管理平台相连，用于将服务器的日志文件下载并存储至预定的日志数据库；所述日志筛选模型用于根据所述日志搜索信息生成搜索动作指令，根据所述搜索动作指令通过所述决策模型于所述日志数据库中筛选获得对应的目标日志；所述决策模块用于根据所述日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略，根据所述搜索策略对所述日志数据库中日志文件进行筛选搜索，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型。
[0020]在上述日志自动搜索系统中，优选的，所述日志获取模块包含下载单元和处理单元；所述下载单元用于存放多个预设的下载策略，根据所述处理单元提供的下载指令，采用
对应下载策略进行日志文件下载；所述处理单元用于通过所述决策模型确定下载策略，根据确定的下载策略生成下载指令并提供至所述下载单元。
[0021]在上述日志自动搜索系统中，优选的，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件。
[0022]在上述日志自动搜索系统中，优选的，所述日志筛选模型包含搜索单元和策略单元；所述搜索单元用于存放搜索池，根据所述策略单元提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志自动搜索方法，其特征在于，所述方法包含：根据用户提供日志搜索信息和预设的强化学习模型通过预设的搜索池中决策确定搜索策略；根据所述搜索策略对日志数据库中日志文件进行筛选搜索获得搜索结果；根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型；获取待搜索日志信息，根据所述待搜索日志信息通过所述决策模型于日志数据库中筛选获得对应的目标日志。2.根据权利要求1所述的日志自动搜索方法，其特征在于，所述搜索策略包含通过关键信息全局搜索日志文件策略、通过关键信息二分法搜索日志文件策略、通过多个关键信息进行链式搜索日志文件策略和通过多个关键信息依次单个冗余搜索并取日志文件交集策略。3.根据权利要求1所述的日志自动搜索方法，其特征在于，获取待搜索日志信息包含：将服务器的日志文件下载并存储至预定的日志数据库。4.根据权利要求3所述的日志自动搜索方法，其特征在于，将服务器的日志文件下载并存储至预定的日志数据库还包含：通过所述决策模型于多个预设的下载策略中确定当前应用的下载策略，根据确定的下载策略于所述服务器中下载日志文件。5.根据权利要求4所述的日志自动搜索方法，其特征在于，所述下载策略包含通过二分法下载日志文件、全量日志下载文件、根据路由信息的哈希信息进行对应容器的日志文件下载、随机日志文件下载和根据业务类型下载对应的类型的日志文件。6.根据权利要求1所述的日志自动搜索方法，其特征在于，所述方法还包含：记录所述日志搜索信息及对应的所述目标日志，并持久化存储；将预定周期内搜索频率高于预定阈值的日志文件拉取至本地存储。7.根据权利要求1所述的日志自动搜索方法，其特征在于，根据搜索结果与所述日志搜索信息的匹配度校正所述强化学习模型获得所述决策模型包含：根据搜索结果与所述日志搜索信息的匹配度通过预设模型计算获得的奖励值；通过所述决策模型在每一步日志筛选动作过后得到的奖励值获取到的经验值；通过所述经验值校正所述强化学习模型获得所述决策模型。8.根据权利要求7所述的日志自动搜索方法，其特征在于，通过以下公式计算获得奖励值：Q(s,a)＝λ
×
tf(w,D)+β
×
df(w,D)+χ
×
lf(w,D)
‑
δt
‑
εs；通过以下公式计算获得经验值：在上式中，λ,β,χ,δ,ε为权重参数，tf(w,D)为文档D中关键搜索信息w的词频；df(w,D)为w出现的文档频率；lf(w,D)为匹配行数；t为执行操作a的执行时间；ε为执行操作a的网络带宽占用量；s
t
...

【专利技术属性】
技术研发人员：林芝峰，廖俊宇，孔永锋，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：