【技术实现步骤摘要】
本专利技术涉及应用性能监测和分析领域，具体涉及一种基于网络镜像技术的交易全链路追踪方法和系统。
技术介绍
1、在分布式、微服务的架构下，一个请求往往需要多个服务协作才能完成响应，这给应用的故障排查、性能优化带来了全新的挑战，全链路追踪技术是应对这一挑战很好的解决方案。
2、全链路追踪，顾名思义，是在用户一次请求的过程中，将请求在所有子系统间的调用过程追踪记录下来，还原成调用链路集中展示。目前通用的全链路追踪技术最早可以追溯到2010年由google公开发表的一篇论文《dapper，alarge-scale distributed systemtracing infrastructure》。这篇论文讲述了dapper链路追踪系统的基本原理和关键技术难点。
3、全链路追踪技术在互联网行业微服务体系架构下应用非常广泛，但是在金融行业特别是证券期货交易系统上使用案例较少。主要原因是金融行业对系统安全稳定运行要求较高，系统的升级频率比较低，金融交易系统引入这种字节码注入式链路追踪的风险较大。
技术实现思路
1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
2、本专利技术的目的在于解决上述问题，提供了一种基于网络镜像技术的交易全链路追踪方法
3、本专利技术的技术方案为：本专利技术揭示了一种基于网络镜像技术的交易全链路追踪方法，方法包括：
4、步骤1：将网络设备上的数据镜像同步到抓包服务器；
5、步骤2：通过应用性能管理工具在指定网卡上抓包并打上时间戳；
6、步骤3：应用性能管理工具对抓到的数据包进行解析并落地；
7、步骤4：将落地数据进行展示。
8、根据本专利技术的基于网络镜像技术的交易全链路追踪方法的一实施例，步骤1中的镜像是span镜像，数据是网络设备的报单数据且以逐笔报文的形式同步到抓包服务器。
9、根据本专利技术的基于网络镜像技术的交易全链路追踪方法的一实施例，步骤1中，支持两种精度模式的同步：第一种精度模式：网络设备是低延时网络设备并支持erspan，网络报文的时间戳在span镜像数据流的过程中，直接使用erspan包头时间戳；第二种精度模式：网络设备是普通的网络设备，只支持常规的span，网络报文的时间戳采用应用性能管理工具的主机的时间戳。
10、根据本专利技术的基于网络镜像技术的交易全链路追踪方法的一实施例，步骤2中，应用性能管理工具中设有抓包线程，用于捕获网络设备镜像的数据包，支持网卡、网络协议、端口三个维度的配置。
11、根据本专利技术的基于网络镜像技术的交易全链路追踪方法的一实施例，步骤3中，解析是实时的，应用性能管理工具中设置解析线程，解析线程从缓存队列中读取数据后，对原始的链路层消息进行解析，包括tcp/ip协议解析、缓存定序、应用层协议解析、消息过滤。
12、根据本专利技术的基于网络镜像技术的交易全链路追踪方法的一实施例，消息过滤包括消息编号过滤、字段过滤、ip过滤和行情采样过滤。
13、根据本专利技术的基于网络镜像技术的交易全链路追踪方法的一实施例，步骤4中的展示是在可视化平台上进行展示。
14、本专利技术还揭示了一种基于网络镜像技术的交易全链路追踪系统，系统包括：
15、span镜像模块，用于将接入网与核心网交换机的全量网络数据包实时镜像到抓包服务器；
16、数据采集模块，用于通过应用性能管理工具在指定网卡上抓包并打上时间戳；
17、数据分析模块，用于对全量网络数据进行逐笔分析并落地；
18、数据展示模块，用于将落地数据进行展示。
19、根据本专利技术的基于网络镜像技术的交易全链路追踪系统的一实施例，span镜像模块通过端口镜像方式采集数据包。
20、根据本专利技术的基于网络镜像技术的交易全链路追踪系统的一实施例，数据采集模块使用交换机上的时间戳或者使用应用性能管理工具主机的时间戳。
21、根据本专利技术的基于网络镜像技术的交易全链路追踪系统的一实施例，数据分析模块从缓存队列中读取数据后，对原始的链路层消息进行解析，包括tcp/ip协议解析、缓存定序、应用层协议解析、消息过滤。
22、根据本专利技术的基于网络镜像技术的交易全链路追踪系统的一实施例，数据展示模块基于大数据可视化技术，展示分析结果与检索历史分析结果。
23、本专利技术对比现有技术有如下的有益效果：本专利技术的方法基于全链路追踪的原理，在不影响原有系统(即金融交易系统)实时交易的前提下，实现了更加轻量化、精细化的监控方式。本专利技术通过镜像交易链路中所有关键路径节点进出网络设备的流量，实时解析，从而实现对金融交易系统关键路径进行逐笔委托和行情纳秒级精度的延时测量和监控，通过交换机span镜像的方式，实现了逐笔订单延时的全链路追踪，具有对原有系统无侵入、实时性强、精度高、易扩展、可视化等诸多优点。
24、详细而言，本专利技术具有以下的几个特点：
25、(1)系统无侵入
26、传统的链路追踪的方式通常是通过日志采样或者字节码注入等方式追踪订单，采用日志的方式，系统性能开销大，采样频率低，很难观测到系统微观层面的运行状态，特别是对于金融期货交易这种周期性微爆流量的场景，采样很难真实的反映订单在系统中的实际延时分布情况。基于字节码注入的链路追踪方案需要预定义注入逻辑，修改代码进行适配，如果分析逻辑或者统计方式发生变化，就需要改动被监测系统的代码。而本专利技术的交换机span镜像的方案，直接通过交换机的span功能，从网络层面镜像一份数据，被监测系统无侵入，无感知。
27、(2)追踪精度高
28、基于日志或者字节码注入的追踪方式，通常使用的是主机时钟，精度单位为微秒，不同主机之间，使用ntp(network time protocol，即网络时间协议)时钟校准，如果出现时钟校准失败，对产生的数据精度会有很大的影响。基于网络镜像的方式，有两种精度模式，如果采用交换机的时钟戳，精度可以达到百纳秒级，如果采用主机的时间戳，精度可以达到微秒，两种方式可以同时工作，相互佐证，有很高的容错性。
29、(3)监控精细化
30、数据实时同步、实时分析、实时展示，相比与基于采样日志的追踪方式，全链路追踪方案能从更细粒度的对金融交易系统的服务质量进行度量，基于全链路追踪技术，引入了业务指令网络分段耗时、服务质量抖动概率密度、行情驱动抢单分析、前置分发时延差异等数十个细粒度监控指标。
31、(4)方案易扩展
32、本专利技术支持会员本文档来自技高网...
【技术保护点】
1.一种基于网络镜像技术的交易全链路追踪方法，其特征在于，方法包括：
2.根据权利要求1所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤1中的镜像是SPAN镜像，数据是网络设备的报单数据且以逐笔报文的形式同步到抓包服务器。
3.根据权利要求2所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤1中，支持两种精度模式的同步：第一种精度模式：网络设备是低延时网络设备并支持ERSPAN，网络报文的时间戳在SPAN镜像数据流的过程中，直接使用ERSPAN包头时间戳；第二种精度模式：网络设备是普通的网络设备，只支持常规的SPAN，网络报文的时间戳采用应用性能管理工具的主机的时间戳。
4.根据权利要求1所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤2中，应用性能管理工具中设有抓包线程，用于捕获网络设备镜像的数据包，支持网卡、网络协议、端口三个维度的配置。
5.根据权利要求1所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤3中，解析是实时的，应用性能管理工具中设置解析线程，解析线程从缓存队列中读取数据
6.根据权利要求5所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，消息过滤包括消息编号过滤、字段过滤、IP过滤和行情采样过滤。
7.根据权利要求1所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤4中的展示是在可视化平台上进行展示。
8.一种基于网络镜像技术的交易全链路追踪系统，其特征在于，系统包括：
9.根据权利要求8所述的基于网络镜像技术的交易全链路追踪系统，其特征在于，SPAN镜像模块通过端口镜像方式采集数据包。
10.根据权利要求8所述的基于网络镜像技术的交易全链路追踪系统，其特征在于，数据采集模块使用交换机上的时间戳或者使用应用性能管理工具主机的时间戳。
11.根据权利要求8所述的基于网络镜像技术的交易全链路追踪系统，其特征在于，数据分析模块从缓存队列中读取数据后，对原始的链路层消息进行解析，包括TCP/IP协议解析、缓存定序、应用层协议解析、消息过滤。
12.根据权利要求8所述的基于网络镜像技术的交易全链路追踪系统，其特征在于，数据展示模块基于大数据可视化技术，展示分析结果与检索历史分析结果。
...【技术特征摘要】
1.一种基于网络镜像技术的交易全链路追踪方法，其特征在于，方法包括：
2.根据权利要求1所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤1中的镜像是span镜像，数据是网络设备的报单数据且以逐笔报文的形式同步到抓包服务器。
3.根据权利要求2所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤1中，支持两种精度模式的同步：第一种精度模式：网络设备是低延时网络设备并支持erspan，网络报文的时间戳在span镜像数据流的过程中，直接使用erspan包头时间戳；第二种精度模式：网络设备是普通的网络设备，只支持常规的span，网络报文的时间戳采用应用性能管理工具的主机的时间戳。
4.根据权利要求1所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤2中，应用性能管理工具中设有抓包线程，用于捕获网络设备镜像的数据包，支持网卡、网络协议、端口三个维度的配置。
5.根据权利要求1所述的基于网络镜像技术的交易全链路追踪方法，其特征在于，步骤3中，解析是实时的，应用性能管理工具中设置解析线程，解析线程从缓存队列中读取数据后，对原始的链路层消息进行解析，包括tcp/ip协议解析、缓存...
【专利技术属性】
技术研发人员：王海兵，李健舒，张贺龙，应国力，刘军，
申请(专利权)人：上海金融期货信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。