一种基于网络协议分析的业务分析监控方法及系统技术方案

本发明专利技术涉及一种基于网络协议分析的业务分析监控方法及系统，该方法包括以下步骤：数据采集模块采集生产业务系统中产生的新的业务数据包，并将业务数据包复制到数据采集器；数据采集器通过数据文件进行存储或通过数据流方式发送到指定位置；协议分析网关提取业务数据包，并对其进行解码；协议分析网关进一步加工数据包的字段，对解码字段做分解、转译、合并或屏蔽处理，最终生成业务记录，并输出到业务记录数据中心；业务记录数据中心存贮接收到的业务记录，并将各种业务记录进行关联，建立和更新记录数据索引。与现有技术相比，本发明专利技术具有独立于业务系统、不增加业务系统复杂性，且具备优异的可复制、可扩展能力等优点。

【技术实现步骤摘要】

本专利技术涉及一种业务分析方法及系统，尤其是涉及一种基于网络协议分析的业务分析监控方法及系统。
技术介绍
如何分析监控日益复杂的生产业务系统是一个非常困难但又非常重要的问题，特别是对于企业的运维，有着非常重要的实际意义。目前还没有好的解决方案。企业级的业务系统多基于网络，采用B/S或C/S构架。出于对效率和安全的考虑，在实际部署中，会建立多个子网，并部署路由器、网关、防火墙等大量网络设备，这大大增加了观察整个业务系统的困难，带来了运维的复杂性。而目前，随着云计算和虚拟化等新技术被越来越多地引入到业务系统中，更是大大加剧了这种复杂性。 另一方面业务系统随着企业和业务的不同，呈现出多种多样并且巨大的差异，有着很多的定制需求，甚至有些系统就是单独为该企业该业务开发的，例如中国银联系统是全世界独一无二的。而同时，企业中往往运行多个关键的业务系统，这些系统之间可能需要相互协作，例如验证系统为其它系统提供授权和验证服务。所以，在传统的运维过程中，缺少统一的方法和工具去分析和观察业务系统，一般只能考量一些硬件指标(例如CPU使用率)和底层网络指标(例如网络带宽使用率，TCP响应时间等)，来大致评估系统的运行情况。这种方法不但针对性和预见性差，不能将底层指标和上层业务关联起来，当问题发生时，还需要消耗大量时间和人力才可能找出故障到底发生在网络层面或硬件层面还是生产业务系统层面；而且当网络或硬件指标告警时，也不能对业务的运行提供降低风险的指导。同时这种方法效益低下，往往造成这样一种局面企业不断地加大硬件投入和提高网络带宽，而实际的生产业务系统性能却没有什么明显改善。目前已有的一些业务分析系统主要是以该系统附加功能的方式出现的，通过软件自身增加额外代码来输出运行(和错误)日志或者管理配置界面等方式提供。这种方法带来以下几个问题(1)各个系统独立，没有统一监控界面，而且不能监控管理系统之间的交互情况；(2)这些附加功能明显提高了业务系统的复杂性，带来潜在的故障点，并且明显造成业务系统的性能下降；(3)随着业务扩展和调整，新业务增加，相应监控系统的开发同样需要投入大量的人力物力；(3)非第三方的监控系统，明显存在不够客观的问题，很多时候，业务开发方不愿意提供详细指标和数据来测量自己系统的弱点。因此，业务分析系统相对独立，缺乏统一管理视图，在发生问题时常常需要付出较多的人力成本和时间成本。而随着核心业务的扩展、新业务的不断增加，系统自身负担日益加重，运维管理压力也逐渐增大。与此同时，工作人员也发现在传统的管理手段下，各业务系统之间缺乏统一的管理视角，系统运行、网络运行与业务运营指标关联度不够高，导致各层面的管理系统之间形同信息孤岛，无法实现流畅的信息对接。所以在运维工作中管理人员往往需要付出额外的工作量，依靠技术积累和经验进行人工分析、定位、关联系统之间或者系统和网络之间的运维数据，以应对多层面联动的异常及故障问题。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种独立于业务系统、不增加业务系统复杂性，且具备优异的可复制、可扩展能力的基于网络协议分析的业务分析监控方法及系统。本专利技术的目的可以通过以下技术方案来实现一种基于网络协议分析的业务分析监控方法，其特征在于，该方法包括以下步骤1)数据采集模块采集生产业务系统中产生的新的业务数据包，并根据配置判断是否满足复制要求，如果判断为是则将业务数据包复制到数据采集器，否则进行步骤)；2)数据采集器根据配置判断是否需要采集业务数据包，如果判断为是则将其进行缓存，并通过数据文件进行存储或通过数据流方式发送到指定位置，然后进行步骤3)，如果判断为否，则丢弃业务数据包；3)协议分析网关提取业务数据包，并对其进行解码，解析出数据包中的各层协议，然后结合已缓存的解码内容分析业务数据包中的各条业务记录是否完整，如果记录完整，则进行步骤4)，否则缓存业务记录的解码内容；4)协议分析网关进一步加工数据包的字段，对解码字段做分解、转译、合并或屏蔽处理，最终生成业务记录，并输出到业务记录数据中心；5)业务记录数据中心存贮接收到的 业务记录，并将各种业务记录进行关联，建立和更新记录数据索引。所述的步骤I)中的并根据配置判断是否满足复制要求具体为用户设定主机、端口或协议，数据采集模块判断业务数据包是否来自用户设定的主机、端口或协议来判断是否进行数据复制。所述的数据采集器根据配置判断是否需要采集业务数据包具体为用户设定主机、端口、协议或协议字段的内容，数据采集器判断业务数据包是否来自用户设定的主机、端口、协议或协议字段的内容来判断是否进行缓存。所述的协议分析网关还接收其他数据源的数据，并进行步骤3) 5)。所述的其他数据源的数据包括硬件指标和底层网络指标，所述的硬件指标包括CPU使用率、内存使用率，所述的底层网络指标包括网络带快使用率、TCP响应时间。一种实施权利要求I所述的基于网络协议分析的业务分析监控方法的系统，其特征在于，该系统包括数据采集模块、数据采集器、协议分析网关、业务记录数据中心、索引服务器及用户PC机，所述的数据采集模块与生产业务系统连接，将生产业务系统中产生的新的业务数据包复制到数据采集器，数据采集器将数据包发送给协议分析网关，协议分析网关发送业务记录到业务记录数据中心，业务记录数据中心与索引服务器相关联，用户PC机与索引服务器连接。与现有技术相比，本专利技术具有以下优点I、基于网络数据的业务性能监控采用在业务系统自身提供的监控方案，往往会因监控程序占用了过多的系统资源，反而影响生产，同时复杂的设计，可能带来潜在的系统稳定和安全风险；本系统设计为利用网络数据进行业务分析，采用完全独立于现有业务系统的旁路系统观察网络数据，从而来分析业务系统。监控系统完全对业务系统透明，做到零业务系统资源占用，保证监控系统不影响生产业务系统，不增加业务系统复杂性，不引进新的故障点，不降低业务系统性能；2、深入到业务层数据信息不同于传统的网络分析监控系统只分析网络的基本流量，分布，和TCP等通用协议的响应时间等，本系统能深入分析企业核心业务协议，提取协议数据，将其关联到业务层面的所有信息，例如对于金融等交易系统，提取交易单号、交易用户、交易类型、交易金额、交易成功率、交易报错信息等等；而对于通信系统，则提取主被叫号码、业务类型、业务起始时间，业务成功率，报错信息等等。本系统可以全方位呈现业务层数据信息。3、共享资源，统一管理视角本系统独立于业务系统，通过分析业务协议的网络数据来提取业务信息和分析业务运行情况，因此，对于企业中运行的多种不同的核心业务，本系统设计为与支撑网网络分析系统共享资源，基于网络通信协议通用标准进行界定，多层次、多环节关联，建立统一管理视角。 本系统是以关键节点的网络数据为分析数据源，因此在提供业务性能分析的同时，能够关联相关的网络性能数据，从而建立统一的管理视角，更容易界定异常、故障发生是属于网络问题，还是系统问题，还是业务应用问题的层面，并定位具体位置。对于底层的网络告警，也能及时关联预案，来指导上层业务应用做出响应的调整。4、全模块化设计，具备优异的可复制、可扩展能力可扩展能力是评价一套监控系统的重要指标，充分考虑到业务监控需求的持续增力口、更新，本系统设计为组件本文档来自技高网...

【技术保护点】
一种基于网络协议分析的业务分析监控方法，其特征在于，该方法包括以下步骤：1)数据采集模块采集生产业务系统中产生的新的业务数据包，并根据配置判断是否满足复制要求，如果判断为是则将业务数据包复制到数据采集器，并执行步骤2)，否则重新采集生产业务系统中产生的新的业务数据包；2)数据采集器根据配置判断是否需要采集业务数据包，如果判断为是则将其进行缓存，并通过数据文件进行存储或通过数据流方式发送到指定位置，然后进行步骤3)，如果判断为否，则丢弃业务数据包；3)协议分析网关提取业务数据包，并对其进行解码，解析出数据包中的各层协议，然后结合已缓存的解码内容分析业务数据包中的各条业务记录是否完整，如果记录完整，则进行步骤4)，否则缓存业务记录的解码内容；4)协议分析网关进一步加工数据包的字段，对解码字段做分解、转译、合并或屏蔽处理，最终生成业务记录，并输出到业务记录数据中心；5)业务记录数据中心存贮接收到的业务记录，并将各种业务记录进行关联，建立和更新记录数据索引。

【技术特征摘要】
1.一种基于网络协议分析的业务分析监控方法，其特征在于，该方法包括以下步骤 1)数据采集模块采集生产业务系统中产生的新的业务数据包，并根据配置判断是否满足复制要求，如果判断为是则将业务数据包复制到数据采集器，并执行步骤2)，否则重新采集生产业务系统中产生的新的业务数据包； 2)数据采集器根据配置判断是否需要采集业务数据包，如果判断为是则将其进行缓存，并通过数据文件进行存储或通过数据流方式发送到指定位置，然后进行步骤3)，如果判断为否，则丢弃业务数据包； 3)协议分析网关提取业务数据包，并对其进行解码，解析出数据包中的各层协议，然后结合已缓存的解码内容分析业务数据包中的各条业务记录是否完整，如果记录完整，则进行步骤4)，否则缓存业务记录的解码内容； 4)协议分析网关进一步加工数据包的字段，对解码字段做分解、转译、合并或屏蔽处理，最终生成业务记录，并输出到业务记录数据中心； 5)业务记录数据中心存贮接收到的业务记录，并将各种业务记录进行关联，建立和更新记录数据索引。2.根据权利要求I所述的一种基于网络协议分析的业务分析监控方法，其特征在于，所述的步骤I)中的并根据配置判断是否满足复制要求具体为用户设定主机、端口或协议，数据采集模块判断业务数据包是否来自用户设定...

【专利技术属性】
技术研发人员：杨光辉，蔡晓华，
申请(专利权)人：上海天旦网络科技发展有限公司，
类型：发明
国别省市：