基于值守追踪的大数据全生命周期管理方法、系统及应用技术方案

本发明专利技术属于数据追踪技术领域，公开了一种基于值守追踪的大数据全生命周期管理方法、系统及应用，在大数据生命周期内，对数据采集存储整合过程中，增加探针收集相应的链路数据，并将数据传输到值守跟踪平台，进行聚合分析，组装成可视化数据后进行存储，开放Web追踪功能，拓扑图与监控告警功能，达成对大数据生命周期的追踪。本发明专利技术采用字节码增强、插件化形式采集，具有很强的可扩展性与稳定性，在数据收集阶段使用微内核架构，微内核架构将变化的部分和不变的部分拆分，降低了测试的成本，可以保证内核系统以及其他插件的稳定性，在增加新处理过程的时候，只需要新增相应插件模块即可，具有极强的可扩展性。具有极强的可扩展性。具有极强的可扩展性。

【技术实现步骤摘要】
基于值守追踪的大数据全生命周期管理方法、系统及应用


[0001]本专利技术属于数据追踪
，尤其涉及一种基于值守追踪的大数据全生命周期管理方法、系统及应用。

技术介绍

[0002]目前，随着大数据时代的发展，人们对数据的挖掘与运用越来越多，在数据的生命周期中，数据价值决定着数据全生命周期的长度，数据的采集粒度与时效性、存储方式、整合状况、可视化程度、分析的深度和应用衔接的程度，都会影响数据价值。
[0003]基于值守追踪的管理方法就是为了解决数据各生命周期内，如采集、存储、整合、呈现与使用、分析与应用、归档和销毁等环节的追踪与告警，提供快速定位至某处理过程，提高数据追踪能力。
[0004]上述中数据的每个过程都是不同的处理方式，如采集过程可以离线采集、实时采集等，使用的ETL工具也是各不相同。虽然每个过程都可以独立编写监控与记录操作过程，但是侵入性强与多样化在生命周期内整体的对数据的追踪，无法形成一套统一的标准，无法快速追踪至某个处理节点上。如何处理数据生命周期内的非侵入统一监控追踪就成为了大数据生命周期管理的关键。
[0005]通过上述分析，现有技术存在的问题及缺陷为：
[0006]现有的对数据在整体生命周期内的追踪，无法形成一套统一的记录审查追踪标准，无法快速追踪至某个异常处理节点上。
[0007]解决以上问题及缺陷的难度为：
[0008]因大数据处理过程的各组件语言多元化、过程复杂化、实现的差异性。若实现追踪，需每个处理过程单独实现，代码侵入强，对接周期长，后期难维护。

技术实现思路

[0009]针对现有技术存在的问题，本专利技术提供了一种基于值守追踪的大数据全生命周期管理方法、系统及应用。
[0010]本专利技术是这样实现的，一种基于值守追踪程序的大数据全生命周期管理方法包括：
[0011]在大数据生命周期内，对数据采集存储整合过程中，增加探针收集相应的链路数据，并将数据传输到值守跟踪平台，进行聚合分析，组装成可视化数据后进行存储，开放Web追踪功能，拓扑图与监控告警功能，达成对大数据生命周期的追踪。
[0012]进一步，所述基于值守追踪程序的大数据全生命周期管理方法具体包括以下步骤：
[0013]步骤一，创建探针核心工程agent
‑
core，创建代理主入口，基于javaagent机制，创建premain方法，以agentArgs代表传递过来的参数，使用agent技术API，来改变和重新定义大数据处理过程中的行为。抽象业务处理接口，基于javaspi技术创建可扩展plugins初始
模块、编写MANIFEST.MF文件，其中包含主入口实现类路径，最后将整体打包成jar，供后续植入使用。
[0014]步骤二，创建各过程所需的探针插件包工程agent
‑
plugins，根据agent
‑
core的plugins规范，统一实现agent
‑
core业务处理接口后，编译生成jar包，放置agent
‑
core中的agent
‑
plugins目录下。
[0015]步骤三，在各数据生命周期过程中植入探针核心工程agent
‑
core，服务启动后，探针核心工程agent
‑
code的资源解析器加载agent
‑
plugins文件夹内相应的过程处理插件；
[0016]步骤四，在生命周期处理过程中，根据agent
‑
core主入口进行植入，匹配到处理过程中的目标类后，传入预先编写的agent
‑
plugin，进行拦截并字节码重写，如采集的过程，根据获取到采集数据，进一步分析聚合等处理；
[0017]步骤五，整体过程中，对接的数据采用OpenTracing标准创建数据格式，不同agent
‑
plugin业务处理工程将每次数据处理的追踪数据以grpc服务发送至分析服务器；
[0018]步骤六，分析服务器接收追踪数据，调用大数据计算框架，将追踪数据进行二次聚合计算、调用相应的规则分析处理后生成可追踪的链路报告；
[0019]步骤七，提供Web UI将分析后结果以链路式的视图展现，同时提供链路中每个节点的具体处理信息与预警信息。
[0020]进一步，步骤四中，进行拦截并字节码重写时，增加监控数据、指标数据和记录日志采集逻辑。
[0021]进一步，步骤五中，将每次数据处理的过程记录为一个完整的Trace，每一次调用就记录Span，形成追踪数据。
[0022]进一步，每一次调用都要带上全局的TraceId，形成调用链。
[0023]本专利技术的另一目的在于提供一种基于值守追踪的大数据全生命周期管理系统，所述基于值守追踪的大数据全生命周期管理系统包括：
[0024]探针核心工程agent
‑
core，采用微内核架构模式，用于植入至数据的各生命周期过程；
[0025]探针插件包工程agent
‑
plugins，基于spi规范，内置针对大数据生命周期内各个过程数据采集插件，可随生命周期中处理的不同动态扩展；
[0026]数据格式创建模块，用于采用OpenTracing标准创建数据格式；
[0027]分析服务器，用于接收追踪数据，利用大数据计算框架，将追踪数据进行二次聚合计算、调用相应的规则分析处理后生成可追踪的链路报告；
[0028]结果展示模块，用于通过Web UI将分析后结果以链路式的视图展现，同时提供链路中每个节点的具体处理信息与预警信息。
[0029]进一步，所述探针核心工程agent
‑
core中包含查找并加载所有插件、定义插件拦截的基础规则、字节码基础操作。
[0030]结合上述的所有技术方案，本专利技术所具备的优点及积极效果为：
[0031]本专利技术采用字节码增强、插件化形式采集，具有很强的可扩展性与稳定性。本专利技术在数据收集阶段使用微内核架构，微内核架构将变化的部分和不变的部分拆分，降低了测试的成本。由于每个插件模块相对独立，即使其中一个插件有问题，也可以保证内核系统以及其他插件的稳定性。在增加新处理过程的时候，只需要新增相应插件模块即可；在进行历
史功能下线时，也只需删除相应插件模块，具有极强的可扩展性。
[0032]本专利技术遵守OpenTracing标准化Trace数据结构和格式，通过提供平台无关、语言无关、厂商无关的API接口，只要遵循OpenTracing标准，就都可以对接OpenTracing兼容的监控后端。
[0033]本专利技术提供的方法为大数据生命周期内的不同处理过程，有一套统一的日志收集追踪过程，无侵入式代码，同时支持无限扩展。
附图说明
[0034]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于值守追踪的大数据全生命周期管理方法，其特征在于，所述基于值守追踪程序的大数据全生命周期管理方法包括：在大数据生命周期内，对数据采集存储整合过程中，增加探针收集相应的链路数据，并将数据传输到值守跟踪平台，进行聚合分析，组装成可视化数据后进行存储，开放Web追踪功能，拓扑图与监控告警功能，达成对大数据生命周期的追踪。2.如权利要求1所述的基于值守追踪的大数据全生命周期管理方法，其特征在于，所述基于值守追踪程序的大数据全生命周期管理方法具体包括以下步骤：步骤一，创建探针核心工程agent
‑
core，创建代理主入口，基于javaagent机制，创建premain方法，以agentArgs代表传递过来的参数，使用agent技术API，来改变和重新定义大数据处理过程中的行为。抽象业务处理接口，基于javaspi技术创建可扩展plugins初始模块、编写MANIFEST.MF文件，其中包含主入口实现类路径，最后将整体打包成jar，供后续植入使用。步骤二，创建各过程所需的探针插件包工程agent
‑
plugins，根据agent
‑
core的plugins规范，统一实现agent
‑
core业务处理接口后，编译生成jar包，放置agent
‑
core中的agent
‑
plugins目录下；步骤三，在各数据生命周期过程中植入探针核心工程agent
‑
core，服务启动后，探针核心工程agent
‑
code的资源解析器加载agent
‑
plugins文件夹内相应的过程处理插件；步骤四，在生命周期处理过程中，根据agent
‑
core主入口进行植入，匹配到处理过程中的目标类后，传入预先编写的agent
‑
plugin，进行拦截并字节码重写，如采集的过程，根据获取到采集数据，进一步分析聚合等处理；步骤五，整体过程中，对接的数据采用OpenTracing标准创建数据格式，不同agent
‑
plugin业务处理工程将每次数据处理的追踪数据以grpc服务发送至分析服务器；步骤六，分析服务器接收追踪数据，调用大数据计算框架，将追踪数据进行二次聚合计算、调用相应的规则分析...

【专利技术属性】
技术研发人员：吴志雄，朱升高，
申请(专利权)人：南威软件股份有限公司，
类型：发明
国别省市：