【技术实现步骤摘要】
基于算法选择的日志检索分析及可视化挖掘方法
本专利技术涉及数据分析及挖掘
，尤其涉及基于算法选择的日志检索分析及可视化挖掘方法。
技术介绍
旧的检索分析基于检索条件生成规则，并不能直观的体现出系统在检索分析过程中使用了什么样的方式来进行，检索规则具体起了什么样的作用，通过对检索分析规则与算法配置关联关系，提高了规则的可读性。传统的挖掘分析基于规则和算法进行，用户配置后由后台挖掘引擎根据规则完成与大数据平台的对接和算法的处理，这些操作都在后台进行，用户无法进行感知。引入基于模型和可视化的挖掘分析，提高了用户对挖掘分析的整体流程的感知。
技术实现思路
本专利技术的目的在于提供基于算法选择的日志检索分析及可视化挖掘方法。本专利技术采用的技术方案是：基于算法选择的日志检索分析及可视化挖掘方法，其包括检索和挖掘两部分，具体步骤如下：一、检索部分包括以下步骤：步骤1-1，采集获取所有的日志数据，构建索引后存储于分布式文件系统中；步骤1-2,根据自身检索的需求从多种候选测算...
【技术保护点】
1.基于算法选择的日志检索分析及可视化挖掘方法，其特征在于：其包括检索和挖掘两部分，具体步骤如下：/n一、检索部分包括以下步骤：/n步骤1-1，采集获取所有的日志数据，构建索引后存储于分布式文件系统中；/n步骤1-2,根据自身检索的需求从多种候选测算方法中选取一个算法；/n步骤1-3,根据选定的算法配置对应的算法参数信息；/n步骤1-4,基于配置信息执行选定的算法流程以获取对应的测算结果；/n步骤1-5，基于测试结果决定是否产生告警；/n二、挖掘部分包括以下步骤：/n步骤2-1，明确业务需求并基于业务需求从候选模型选择对应的模型；/n步骤2-2，基于选定模型的特点设置对应的...
【技术特征摘要】
1.基于算法选择的日志检索分析及可视化挖掘方法，其特征在于：其包括检索和挖掘两部分，具体步骤如下：
一、检索部分包括以下步骤：
步骤1-1，采集获取所有的日志数据，构建索引后存储于分布式文件系统中；
步骤1-2,根据自身检索的需求从多种候选测算方法中选取一个算法；
步骤1-3,根据选定的算法配置对应的算法参数信息；
步骤1-4,基于配置信息执行选定的算法流程以获取对应的测算结果；
步骤1-5，基于测试结果决定是否产生告警；
二、挖掘部分包括以下步骤：
步骤2-1，明确业务需求并基于业务需求从候选模型选择对应的模型；
步骤2-2，基于选定模型的特点设置对应的条件以配置挖掘数据的来源；
步骤2-3，针对确定的挖掘数据来源调整选定模型的算法参数信息；
步骤2-4，执行选定的模型得到模型运算结果；
步骤2-5，根据模型中的配置通过告警、报表、可视化的方式输出模型挖掘的分析结果。
2.根据权利要求1所述的基于算法选择的日志检索分析及可视化挖掘方法，其特征在于：步骤1-2中候选算法包括容忍度测算方法、突变测算方法、峰值测算方法和差值测算方法。
3.根据权利要求2所述的基于算法选择的日志检索分析及可视化挖掘方法，其特征在于：检索部分中当容忍度测算方法为选定算法时，则：
步骤1-3的具体步骤为：
步骤1-3-1，选择容忍行为的属性条件；
步骤1-3-2，选择被容忍行为的属性条件；
步骤1-3-3，选择容忍度测算的关注点；
步骤1-4的执行选定算法后具体流程步骤为：
步骤1-4-1，提取容忍行为的数据；
步骤1-4-2，提取容忍行为的关注点；
步骤1-4-3，从单个关注点提取容忍和被容忍的占比；
步骤1-5的具体步骤为：判断算法获取同一关注点的占比是否超过容忍度阈值；是则，产生告警；否则，不告警并选定下个关注点执行步骤1-5。
4.根据权利要求2所述的基于算法选择的日志检索分析及可视化挖掘方法，其特征在于：检索部分中当突变测算方法为选定算法时，则：
步骤1-3的具体步骤为：
步骤1-3-1，选择突变测算的属性条件；
步骤1-3-2，选择突变测算的时间差；
步骤1-3-3，选择突变测算的关注点；
步骤1-4的执行选定算法后具体流程步骤为：
步骤1-4-1，提取当前时间内满足属性条件的数据按关注点汇总计数；当前时间内即表示（当前时间-突变测算的时间差）到当前时间的一段时间段；
步骤1-4-2，提取配置中上一个时间内满足属性条件的数据的同一关注点汇总计数；
步骤1-5的具体步骤为：判断算法获取的同一关注点的前后时间的计数变化趋势是否超过预设的趋势变化阈值；是则，产生告警；否则，不告警并选定下个关注点执行步骤1-5。
5.根据权利要求2所述的基于算法选择的日志检索分析及可视化挖...
【专利技术属性】
技术研发人员：谢辉，谢良汉，易鹏程，尤如飞，
申请(专利权)人：中电福富信息科技有限公司，
类型：发明
国别省市：福建;35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。