一种智能搜集日志、数据并快速形成关系拓扑的方法技术

本发明专利技术公开了一种智能搜集日志、数据并快速形成关系拓扑的方法。它具体包括如下步骤：外部组件负责与内核进行交互，负责在不影响内核工作效率的情况下获取有效的数据构建日志并主动上报；通过数据采集模块负责各类日志的无差别实时采集，获得原始日志数据块；通过数据聚合模块负责对各类实时收录的原始日志数据按照真实存在的关联关系进行关系梳理，并构建真实准确的关系型标准数据，实现标准化输出；通过数据请求模块负责注册、登录外部数据请求的传输方式并传输给第三方日志分析平台进行日志清洗、日志标记和日志分类，注册成功后的数据请求被响应，否则无效。本发明专利技术的有益效果是：提高数据质量和内容辨识度，减轻计算单元的计算压力。单元的计算压力。单元的计算压力。

【技术实现步骤摘要】
一种智能搜集日志、数据并快速形成关系拓扑的方法


[0001]本专利技术涉及日志采集相关
，尤其是指一种智能搜集日志、数据并快速形成关系拓扑的方法。

技术介绍

[0002]传统的日志采集技术主要是对操作系统以及应用程序产生的大量运行数据为目标进行数据采集，采集完毕后再通过数据传输的方式和渠道将采集到的若干数据传输给远端的存储设备进行存储，存储的数据庞大、无序且存在大量冗余信息，造成了大量的存储负担，在大数据应用场景下无形加重了计算节点和智能分析相关作业模块的工作压力，对形成有效数据存在阻力，且在数据关系构建过程中存在一定误判和信息缺失，不利于作业人员对日志提取的目标设备进行综合的审计和分析。
[0003]很多情况下，对目标设备提取的日志进行审计和分析是为了满足作业人员对目标设备的问题排查及操作行为的追踪溯源，以此达到定位问题、实时监控、风险排查的效果，系统日志及相关应用日志虽然能够提供大部分的运行数据，但是往往缺乏关键的关系型数据且数据维度存在一定的局限性，对节点的监控和审计造成一定程度的信息缺失。
专利
技术实现思路

[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，由组件管理模块进行业务驱动，组件管理模块作为核心模块，为增量服务提供注册及接入入口并对外部组件进行驱动、监控和管理，所有外部组件需要符合组件管理模块的注册标准，具体包括如下步骤：(1)日志处理：外部组件负责与内核进行交互，负责在不影响内核工作效率的情况下获取有效的数据构建日志并主动上报；(2)数据采集：通过数据采集模块负责各类日志的无差别实时采集，获得原始日志数据块；(3)数据聚合：通过数据聚合模块负责对各类实时收录的原始日志数据按照真实存在的关联关系进行关系梳理，并构建真实准确的关系型标准数据，实现标准化输出；(4)数据请求：通过数据请求模块负责注册、登录外部数据请求的传输方式并传输给第三方日志分析平台进行日志清洗、日志标记和日志分类，注册成功后的数据请求被响应，否则无效。2.根据权利要求1所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，所述的组件管理模块包括注册、组件管理、组件监控和网络通信，所述的注册包括组件认证、组件测试和组件加载，所述的组件管理包括启用组件、停用组件、重启组件和卸载组件，所述的组件监控包括组件的运行状态检查，所述的网络通信包括解析执行远端指令、上传监控数据和回传日志数据。3.根据权利要求2所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，组件管理模块的具体操作方法如下：(a)外部组件通过组件管理模块的注册单元进行接入，组件管理模块的注册单元会对申请接入的外部组件进行自动化的可行性测试，将外部组件添加到组件执行库中，添加成功后，外部组件会被复制到NCA
‑
autoScript组件目录中，即可进行组件的认证、测试和加载；外部组件负责指定类别日志的搜集和上传动作，在外部组件的制作过程中必须将申请到的组件唯一电子认证证书固化到外部组件中，传输方式和数据格式必须符合组件管理模块规定的标准；(b)组件管理模块在进行外部组件的注册过程中会通过网络通信进行组件认证，认证唯一条件为固化到外部组件内部的唯一电子认证证书，认证成功后，外部组件会发送测试数据到组件管理模块的通信接口进行数据解析并等待回执，若收到的回执内容与发送的数据内容匹配，则将外部组件从NCA
‑
autoScript移动到CA
‑
autoScript目录中，并标记状态为已认证；(c)已认证的组件通过网络通信传输给目标设备进行使用，各设备装载的已认证的组件在当前设备的组件列表中进行查阅，作业人员对指定设备的相关已认证的组件进行启用、停用、重启、卸载操作；(d)目标设备中的已认证的组件会实时地向设备中的监控模块上报心跳数据，若发现已认证的组件出现异常情况，会向组件管理模块发送组件异常信息并尝试重启组件进行修复，组件管理模块对目标设备的已认证的组件运行异常的情况进行报警并红色高亮标记，若目标设备通过内部自我修复的方式恢复组件的正常使用会再次向组件管理模块发送服务恢复的通告，组件管理模块则停止目标的异常告警并撤销相关的高亮标记行为。
4.根据权利要求2或3所述的一种智能搜集日志、数据并快速形成关系拓扑的方法，其特征是，在步骤(2)中，各类日志分别由不同分工的外部组件提供采集支撑，采集到的有效数据通过网络通信上传到本地存储器进行存储，存储的数据分为未经处理的系统采集的原始数据和经过数据聚合的标准化数据两类，未经处理的系统采集的原始数据采用即采即存的方式进行数据存储，经过数据聚合的标准化数据由步骤(3)获取，经过数据聚合的标准化数据是在对数据进行实时存储后，将冗余数据进行规则化的清洗，然后依靠数据模型对各已认证的组件上报的数据进行关系构建，数据模型对已认证的组...

【专利技术属性】
技术研发人员：梁挺义，吴鹏程，郭德宇，
申请(专利权)人：上海梦鱼信息科技有限公司，
类型：发明
国别省市：