服务运行时流量链路监测方法及装置制造方法及图纸

本申请实施例提供一种服务运行时流量链路监测方法及装置，也可用于金融领域，方法包括：接收外部请求响应的流量，判别所述流量的流量类型，并根据所述流量类型分别对所述流量进行流量标记和流量集合存储；根据所述流量标记对存储的流量集合进行资源消耗分析，得到对应的运行时实时资源消耗和运行完成后整体资源消耗并进行持久化存储和可视化展示；本申请能够准确、便捷得对服务运行时流量链路进行监测。

【技术实现步骤摘要】
服务运行时流量链路监测方法及装置
本申请涉及数据处理领域，也可用于金融领域，具体涉及一种服务运行时流量链路监测方法及装置。
技术介绍
现有技术中没有针对在服务运行时、在流量回放时对流量的执行情况进行监控并生成流量视图统计信息的方案，但是在实际操作中，通常会采用以下情况观察服务运行情况：1.直接登入服务的机器、或利用某些jvm内存监控工具获取目标服务整体的cpu和内存消耗；2.观察流量回放时的服务连接和服务响应情况，得出回放过程中目标服务的可用性。专利技术人发现，现有技术主要有以下几个问题：1.无法针对流量所在的服务线程进行有效的监控：目前方案中，服务在外部看来是个黑盒，得到的信息是服务整体的信息，各条流量/各个接口的具体运行情况、对系统资源的消耗、对系统的影响无法得到分辨和控制。2.原有的监控体系的展示信息不全：仅仅展示了整体的cpu消耗、连接数、内存占用、整体服务响应情况等。实际上测试或开发人员实际上更加关注单条流量或单个接口的细节信息，如：流量执行耗时、单接口执行次数、流量高峰、接口响应高峰、流量代码覆盖率、流量所在线程状态、线程消耗的cpu、流量和实际业务对应、流量来源标记等统计信息。3.原有监控无法持续形成资产库：原有的监控方式只能实时的观察到当前状态，或者仅对整体的内存、cpu消耗曲线进行记录，无法持久化每种接口的线程消耗、调用次数等统计信息。4.对回放流量监控体系没有覆盖：流量视图应当可以推广到回放流量时的流量回放执行视图。将回放流量和正常流量进行区分，并且对回放程序在响应服务时各个接口的响应情况、高并发下回放流量的占用资源情况、回放时的mock链路详情等信息进行统计，从而进一步分析流量回放时的服务性能情况。5.流量标记技术没有有效的被利用起来：没有充分利用流量带着透传标记flowid这一特点，将执行的流量和实际业务对应起来。6.对mock接口没有有效的监控：当采用sandbox等流量回放技术执行回放时，对于mock记录的控制是不全面的，利用的是相似度对比算法获取需要mock接口的mock数据时，如果mock了错误的数据，测试人员也无从得知。
技术实现思路
针对现有技术中的问题，本申请提供一种服务运行时流量链路监测方法及装置，能够准确、便捷得对服务运行时流量链路进行监测。为了解决上述问题中的至少一个，本申请提供以下技术方案：第一方面，本申请提供一种服务运行时流量链路监测方法，包括：接收外部请求响应的流量，判别所述流量的流量类型，并根据所述流量类型分别对所述流量进行流量标记和流量集合存储；根据所述流量标记对存储的流量集合进行资源消耗分析，得到对应的运行时实时资源消耗和运行完成后整体资源消耗并进行持久化存储和可视化展示。进一步地，所述判别所述流量的流量类型，包括：判断所述流量的访问来源头信息和/或访问来源参数调用信息中是否在特定流量标识，若是，则判定该流量的流量类型为回放流量，否则，判定该流量的流量类型为正常流量。进一步地，所述根据所述流量类型分别对所述流量进行流量标记和流量集合存储，包括：若所述流量的流量类型为正常流量，则根据访问地址、调用参数以及当前时间戳中的至少一种生成流量标记并与所述流量建立绑定关系，将绑定有所述流量标识的正常流量存储至对应的流量集合；若所述流量的流量类型为回放流量，则根据访问地址、调用参数以及当前时间戳中的至少一种生成流量标记并添加至所述回放流量的特定位置处，将添加有所述流量标记的回放流量存储至对应的流量集合。进一步地，所述根据所述流量标记对存储的流量集合进行资源消耗分析，得到对应的运行时实时资源消耗和运行完成后整体资源消耗，包括：根据所述流量的流量标记对存储的流量集合在流量运行时进行实时监测，得到实时时间消耗信息、实时流量信息以及实时内存消耗信息；根据实时监测到的所述实时时间消耗信息、实时流量信息以及实时内存消耗信息，确定流量运行完成后的整体时间消耗信息、整体流量信息以及整体内存消耗信息。第二方面，本申请提供一种服务运行时流量链路监测装置，包括：流量标识存储模块，用于接收外部请求响应的流量，判别所述流量的流量类型，并根据所述流量类型分别对所述流量进行流量标记和流量集合存储；流量资源消耗分析模块，用于根据所述流量标记对存储的流量集合进行资源消耗分析，得到对应的运行时实时资源消耗和运行完成后整体资源消耗并进行持久化存储和可视化展示。进一步地，所述流量标识存储模块包括：流量类型判别单元，用于判断所述流量的访问来源头信息和/或访问来源参数调用信息中是否在特定流量标识，若是，则判定该流量的流量类型为回放流量，否则，判定该流量的流量类型为正常流量。进一步地，所述流量标识存储模块包括：正常流量标识存储单元，用于若所述流量的流量类型为正常流量，则根据访问地址、调用参数以及当前时间戳中的至少一种生成流量标记并与所述流量建立绑定关系，将绑定有所述流量标识的正常流量存储至对应的流量集合；回放流量标识存储单元，用于若所述流量的流量类型为回放流量，则根据访问地址、调用参数以及当前时间戳中的至少一种生成流量标记并添加至所述回放流量的特定位置处，将添加有所述流量标记的回放流量存储至对应的流量集合。进一步地，所述流量资源消耗分析模块包括：实时消耗分析单元，用于根据所述流量的流量标记对存储的流量集合在流量运行时进行实时监测，得到实时时间消耗信息、实时流量信息以及实时内存消耗信息；整体消耗分析单元，用于根据实时监测到的所述实时时间消耗信息、实时流量信息以及实时内存消耗信息，确定流量运行完成后的整体时间消耗信息、整体流量信息以及整体内存消耗信息。第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的服务运行时流量链路监测方法的步骤。第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的服务运行时流量链路监测方法的步骤。由上述技术方案可知，本申请提供一种服务运行时流量链路监测方法及装置，通过结合流量回放技术，将回放流量和正常流量进行区分，将各流量的流量链路进行标记，方便了测试人员流量监测，由此能够准确、便捷得对服务运行时流量链路进行监测。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例中的服务运行时流量链路监测方法的流程示意图之一；图2为本申请实施例中的服务运行时流量链路监测方法的流程示意图之二；图3为本申请实施例中的服务运行时流量链路监测方法的流程示意图之三；图4为本申本文档来自技高网...

【技术保护点】
1.一种服务运行时流量链路监测方法，其特征在于，所述方法包括：/n接收外部请求响应的流量，判别所述流量的流量类型，并根据所述流量类型分别对所述流量进行流量标记和流量集合存储；/n根据所述流量标记对存储的流量集合进行资源消耗分析，得到对应的运行时实时资源消耗和运行完成后整体资源消耗并进行持久化存储和可视化展示。/n

【技术特征摘要】
1.一种服务运行时流量链路监测方法，其特征在于，所述方法包括：
接收外部请求响应的流量，判别所述流量的流量类型，并根据所述流量类型分别对所述流量进行流量标记和流量集合存储；
根据所述流量标记对存储的流量集合进行资源消耗分析，得到对应的运行时实时资源消耗和运行完成后整体资源消耗并进行持久化存储和可视化展示。


2.根据权利要求1所述的服务运行时流量链路监测方法，其特征在于，所述判别所述流量的流量类型，包括：
判断所述流量的访问来源头信息和/或访问来源参数调用信息中是否在特定流量标识，若是，则判定该流量的流量类型为回放流量，否则，判定该流量的流量类型为正常流量。


3.根据权利要求1所述的服务运行时流量链路监测方法，其特征在于，所述根据所述流量类型分别对所述流量进行流量标记和流量集合存储，包括：
若所述流量的流量类型为正常流量，则根据访问地址、调用参数以及当前时间戳中的至少一种生成流量标记并与所述流量建立绑定关系，将绑定有所述流量标识的正常流量存储至对应的流量集合；
若所述流量的流量类型为回放流量，则根据访问地址、调用参数以及当前时间戳中的至少一种生成流量标记并添加至所述回放流量的特定位置处，将添加有所述流量标记的回放流量存储至对应的流量集合。


4.根据权利要求1所述的服务运行时流量链路监测方法，其特征在于，所述根据所述流量标记对存储的流量集合进行资源消耗分析，得到对应的运行时实时资源消耗和运行完成后整体资源消耗，包括：
根据所述流量的流量标记对存储的流量集合在流量运行时进行实时监测，得到实时时间消耗信息、实时流量信息以及实时内存消耗信息；
根据实时监测到的所述实时时间消耗信息、实时流量信息以及实时内存消耗信息，确定流量运行完成后的整体时间消耗信息、整体流量信息以及整体内存消耗信息。


5.一种服务运行时流量链路监测装置，其特征在于，包括：
流量标识存储模块，用于接收外部请求响应的流量，判别所述流量的流量类型，并根据所述流量类型分别对所述流量进行流量标记和流量集合存储；...

【专利技术属性】
技术研发人员：高正宇，杨卓俊，陆斌，黄俊文，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11