自动日志传感器调谐制造技术

本发明专利技术涉及一种用于自动调谐一组收集器和/或传感器的处理，包括：在集合框架中由第一传感器收集第一机器数据；在集合框架中由第一收集器处理第一机器数据以产生第一收集的机器数据；对第一收集的机器数据执行分析以生成分析输出；以及至少部分基于所述分析输出，调谐第一传感器和第一收集器中的至少一个。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及一种用于自动调谐一组收集器和/或传感器的处理，包括：在集合框架中由第一传感器收集第一机器数据；在集合框架中由第一收集器处理第一机器数据以产生第一收集的机器数据；对第一收集的机器数据执行分析以生成分析输出；以及至少部分基于所述分析输出，调谐第一传感器和第一收集器中的至少一个。【专利说明】自动日志传感器调谐
本专利技术涉及一种对于搜索簇如何调谐和收集来自不同源的数据用于进一步分析。
技术介绍
在计算机日志管理和智能中，日志分析(或系统与网络日志分析)是一组用于提供对计算机生成的记录(也称为日志或审计跟踪记录)的认识(insight)的技术。创建这些记录的处理被称之为数据登录。人们进行日志分析的原因如下:(i)遵循安全策略、(ii)遵循审计、(iii)系统故障诊断(troubleshooting)、(iv)法庭所需(forensics)、和/或安全事故响应。日志由网路设备、操作系统、应用或其他可编程设备发出。按照时间顺序的消息流可构成日志。日志有时被导入文件并存储在盘中，或者作为“网络流”被导入日志收集器。日志消息:(i)是针对其源(例如，应用)的内部状态被解释；以及(ii)宣告关于安全或关于操作的事件(例如，系统错误)。日志通常由软件开发者创建用来帮助调试软件应用的操作。日志分析解释应用、卖主(vendor)、系统或配置(其中每一个可以具有其用于生成日志的形式和格式)的上下文中的消息，从而在来自不同日志源的消息之间进行有用的比较。 一些与登录相关的功能包括:(i)模式识别是一种选择输入消息并将它们与模式书进行比较以便以不同方式进行你个过滤或处理的功能；(ii)规范化是将消息部分转换成相同格式的功能(例如共同的数据格式或规范化的IP地址)分类和加标签就是采用不同类别对消息进行排序或者采用不同关键词为它们加标签以便随后使用(例如，过滤或显示)；以及(iv)相关性分析是一种从不同系统收集消息并找到属于同一事件的所有消息(例如，在诸如网络设备、防火墙、服务器等的不同系统上由预谋(malic1us)活动产生的消息)。 调试日志由一个企业(enterprise)的多个组件创建,这些组件包括:(i)系统、 (ii)交换器、(iii)网络、以及(iv)软件。在典型的日志分析环境中，从该企业的每个组件发出的日志与中心搜索簇同步。通过被称为“传感器”的程序执行这种调试日志的收集。传感器从某些企业组件收集机器数据。收集器由企业部署来收集、聚集、扩充、和/或分配机器数据，其包括日志、移动事务、和/或来自多个传感器的其他文件。收集器在其不可用时可以委派或切换给(failover)另一个收集器。簇分析(通常称为“聚类”)是以这样的方式对对象集合进行分组的任务，所述方式使得处于相同组(称为“簇”)中的对象彼此之间比与处于其他组(簇)中的那些对象之间更相似。调试搜索簇就是与异常系统条件相关联的对象的组。 集合框架管理这些传感器以便基于来自各种源的所收集数据采取措施。例如，集合框架操作以使得所收集数据与对应的调试搜索簇同步。
技术实现思路
本专利技术提供了一种方法，包括:在集合框架中由第一传感器收集第一机器数据；在集合框架中由第一收集器处理第一机器数据以产生第一收集的机器数据；对第一收集的机器数据执行分析以生成分析输出；以及至少部分基于所述分析输出，调谐下述第一传感器和第一收集器中的至少一个。 【专利附图】【附图说明】 图1是根据本专利技术的网络连接的计算机系统的第一实施例的示意图； 图2是显示至少部分由第一实施例的网络连接的计算机系统执行的第一方法的流程图； 图3是第一实施例的网络连接的计算机系统的一部分的示意图； 图4是根据本专利技术的日志分析系统的框图； 图5是显示至少部分由第一实施例的日志分析系统执行的第二方法的流程图； 图6是根据本专利技术的逻辑分析系统的第二实施例的框图； 图7是根据本专利技术的逻辑分析系统的第三实施例的框图； 图8是用于基于管道编程模型提供分析的系统的实施方式的实例的框图； 图9是用于基于管道编程模型执行分析的核心处理模块的实施方式的实例的框图； 图10是用于基于管道编程模型执行分析的附加细节的实施方式的实例的框图； 图11是根据本主题的实施例的用于基于管道编程模型执行分析的管理HTTP请求脚本代码输入以及管道HTTP响应可视数据输出的实现方式的实例； 图12是根据本专利技术的第三方法的流程图； 图13是根据本专利技术的第四方法的流程图； 图14是根据本专利技术的第五方法的流程图。 【具体实施方式】 本详细描述部分被划分为以下几个子部分:(i)硬件和软件环境、(ii)第一实施例、(iii)进一步评论和/或实施例、和(iv)定义。 1.硬件和软件环境 所属
的技术人员知道，本专利技术的各个方面可以实现为系统、方法或计算机程序产品。因此，本专利技术的各个方面可以具体实现为以下形式，即:完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本专利技术的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码/指令。 可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括一但不限于一无线、有线、光缆、RF等等，或者上述的任意合适的组合。 可以以一种或多种程序设计语言的任意组合来编写用于执行本专利技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言一诸如Java(注意:术语“Java”可能在全世界的各个地区享有商标权，这里仅仅用于在该商标权可能存在的范围指示该标识所能恰当表明的产品和服务)、Smalltalk、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一本文档来自技高网...

【技术保护点】
一种方法，包括：在集合框架中由第一传感器收集第一机器数据；在集合框架中由第一收集器处理第一机器数据以产生第一收集的机器数据；对第一收集的机器数据执行分析以生成分析输出；以及至少部分基于所述分析输出，调谐第一传感器和第一收集器中的至少一个。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：M贝西尔格，D约瑟夫，DK纳德吉尔，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US