报文传输方法、装置、设备及存储介质制造方法及图纸

本申请提供一种报文传输方法、装置、设备及存储介质，用于解决采集报文占用网络带宽的技术问题。本申请在上报的采集报文中根据数据内容变化的频繁程度对报文中的数据内容进行分片，对于变化不频繁的内容，在报文中设置分片标志位和分片唯一标识，当分片标志位指示分片首次传送时，报文内携带分片内容，接收端缓存第一次接收到的不重复分片；反之则报文不携带分片内容，仅携带分片唯一标识。本申请能有效提升采集报文的传输效率降低带宽占用。效提升采集报文的传输效率降低带宽占用。效提升采集报文的传输效率降低带宽占用。

【技术实现步骤摘要】
报文传输方法、装置、设备及存储介质


[0001]本申请涉及通信及云计算
，尤其涉及一种报文传输方法、装置、设备及存储介质。

技术介绍

[0002]随着云计算技术的发展，云数据中心成为趋势，数据中心的运维管理方式也从对传统的物理服务器的管理方式转换为对虚拟机和容器等虚拟化资源的管理方式。随着虚拟化技术的发展，对数据中心进行运维管理通常需要采集分析系统的支持。采集分析系统通过下发流量采集探针或部署采集器到各虚机或容器中，采集探针基于一定的策略规则采集虚机或容器收发的流量，将流量统一收集并初步解码后上传至采集分析系统进行分析，将分析结果作为运维管理的依据。但各流量采集探针向采集分析系统上传解码数据时，会占用大量网络带宽，尤其是在有大量虚机或容器需要分析的情况下，会显著增加网络负载，可能会严重影响客户的业务系统的正常运行。
[0003]为了避免报文采集对正常的业务系统造成严重影响，目前通常的做法是对采集侧上报的数据进行限制，例如对采集探针设置规格，同时监测采集流量，当监测到流量超限时，根据丢包规则或随机地丢弃报文，以减少采集分析系统对业务系统的影响。虽然此种方式可以有效减少采集分析系统对业务系统的影响，能在一定程度上保证业务系统的稳定，但是在流量超出规格较多时，大量丢弃报文可能会造成分析结果偏差甚至错误，严重影响分析结果的准确性。

技术实现思路

[0004]有鉴于此，本申请提供一种报文传输方法、装置、设备和存储介质，用于解决采集探针上传采集数据占用过多网络带宽影响业务系统的技术问题。
[0005]基于本申请实施例的一方面，本申请提供了一种报文传输方法，该方法应用于部署有采集器的发送端设备，该方法包括：
[0006]对采集的报文进行初步解码，对初步解码后的数据进行分片处理，计算分片唯一标识；
[0007]在本地缓存中匹配分片唯一标识；
[0008]若在本地缓存未匹配到分片唯一标识，则在本地缓存分片唯一标识，组装采集报文，将采集报文中分片对应标志位置位为首次传送标志，将分片唯一标识字段填充为该分片的分片唯一标识并在非频变字段中携带分片数据；
[0009]若在本地缓存匹配到分片唯一标识，则将采集报文中分片对应标志位置位为非首次传送标志，将分片唯一标识字段填充为该分片的分片唯一标识，且不携带分片数据；
[0010]发送所述采集报文。
[0011]进一步地，所述对初步解码后的数据进行分片处理具体为：
[0012]根据所采集的报文中的不同字段数据的变化频率以及预设的变化频率阈值将所
述初步解码后的数据划分为频繁变化的数据和非频繁变化的数据；所述非频繁变化的数据包括会话信息，或会话信息和与采集器相关的信息；所述频繁变化的数据包括报文头部频繁变化的字段和报文负载；
[0013]将非频繁变化的数据划分为一个或多个分片，并针对每个分片计算分片唯一标识。
[0014]进一步地，对采集的报文进行初步解码是指对采集的原始报文按照协议进行解析，解析出原始报文的报文头部信息和报文负载，若原始报文有多层协议封装，则所述报文头部信息包括多层协议的报文头部信息。
[0015]进一步地，所述方法还包括缓存淘汰步骤：在执行所述在本地缓存分片唯一标识的步骤之前，判断本地缓存是否已被占满；在判定本地缓存已满时，使用最近最少使用LRU算法淘汰最近最少被命中的分片唯一标识所占用的缓存空间。
[0016]进一步地，所述方法还包括缓存清理步骤：
[0017]接收缓存清理报文，根据所述报文中携带的分片唯一标识删除本地缓存中缓存的分片唯一标识所占缓存空间。
[0018]基于本申请实施例的另一方面，本申请还提供一种报文传输方法，该方法应用于部署有采集分析服务的接收端设备，该方法包括：
[0019]接收并解析采集报文，读取采集报文中的分片标志位；
[0020]判断分片标志位是否为首次传送；
[0021]在分片标志位指示分片为首次传送时，将采集报文中携带的分片数据缓存在本地缓存中；
[0022]在分片标志位指示分片为非首次传送时，根据分片唯一标识从本地缓存中获取分片数据，构造出完整的采集报文；
[0023]将采集报文提供给采集分析服务。
[0024]进一步地，所述方法还包括：在执行将采集报文中携带的分片数据缓存在本地缓存的步骤之前，判断本地缓存空间是否已满；在本地缓存已满的情况下，采用最近最少使用LRU算法释放最近最少使用的分片所占缓存空间并向采集器发送缓存清理报文，缓存清理报文中携带被释放的分片的分片唯一标识。
[0025]进一步地，所述方法还包括：若根据分片唯一标识从本地缓存中未获取分片数据，则丢弃所接收到的采集报文。
[0026]基于本申请实施例的另一方面，本申请还提供一种报文传输装置，该装置应用于部署有采集器的发送端设备，该装置包括：
[0027]采集分片模块，用于对采集的报文进行初步解码，对初步解码后的数据进行分片处理，计算分片唯一标识；
[0028]分片标识缓存模块，用于在本地缓存中匹配分片唯一标识；若在本地缓存未匹配到分片唯一标识，则在本地缓存分片唯一标识；
[0029]报文组装模块，用于组装采集报文；在本地缓存未匹配到分片唯一标识时，将采集报文中分片对应标志位置位为首次传送标志，将分片唯一标识字段填充为该分片的分片唯一标识并在非频变字段中携带分片数据；在本地缓存匹配到分片唯一标识时，将采集报文中分片对应标志位置位为非首次传送标志，将分片唯一标识字段填充为该分片的分片唯一
标识，且不携带分片数据；
[0030]报文发送模块，用于发送所述采集报文。
[0031]进一步地，所述采集分片模块具体根据所采集的报文中的不同字段数据的变化频率以及预设的变化频率阈值将所述初步解码后的数据划分为频繁变化的数据和非频繁变化的数据；将非频繁变化的数据划分为一个或多个分片，并针对每个分片计算分片唯一标识；
[0032]所述非频繁变化的数据包括会话信息，或会话信息和与采集器相关的信息；所述频繁变化的数据包括报文头部频繁变化的字段和报文负载。
[0033]进一步地，所述采集分片模块对采集的报文进行初步解码是指对采集的原始报文按照协议进行解析，解析出原始报文的报文头部信息和报文负载，若原始报文有多层协议封装，则所述报文头部信息包括多层协议的报文头部信息。
[0034]进一步地，所述装置还包括：所述分片标识缓存模块，还用于在本地缓存分片唯一标识之前，判断本地缓存是否已被占满；在判定本地缓存已满时，使用最近最少使用LRU算法淘汰最近最少被命中的分片唯一标识所占用的缓存空间。
[0035]进一步地，所述分片标识缓存模块，还用于接收缓存清理报文，根据所述报文中携带的分片唯一标识删除本地缓存中缓存的分片唯一标识所占缓存空间。
[0036]基于本申请实施例的另一方面，本申请还提供一种报文传输装置，该装置应用于部署有采集分析服务的接收端设备，该装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种报文传输方法，其特征在于，该方法应用于部署有采集器的发送端设备，该方法包括：对采集的报文进行初步解码，对初步解码后的数据进行分片处理，计算分片唯一标识；在本地缓存中匹配分片唯一标识；若在本地缓存未匹配到分片唯一标识，则在本地缓存分片唯一标识，组装采集报文，将采集报文中分片对应标志位置位为首次传送标志，将分片唯一标识字段填充为该分片的分片唯一标识并在非频变字段中携带分片数据；若在本地缓存匹配到分片唯一标识，则将采集报文中分片对应标志位置位为非首次传送标志，将分片唯一标识字段填充为该分片的分片唯一标识，且不携带分片数据；发送所述采集报文。2.根据权利要求1所述的方法，其特征在于，所述对初步解码后的数据进行分片处理具体为：根据所采集的报文中的不同字段数据的变化频率以及预设的变化频率阈值将所述初步解码后的数据划分为频繁变化的数据和非频繁变化的数据；所述非频繁变化的数据包括会话信息，或会话信息和与采集器相关的信息；所述频繁变化的数据包括报文头部频繁变化的字段和报文负载；将非频繁变化的数据划分为一个或多个分片，并针对每个分片计算分片唯一标识。3.根据权利要求1所述的方法，其特征在于，对采集的报文进行初步解码是指对采集的原始报文按照协议进行解析，解析出原始报文的报文头部信息和报文负载，若原始报文有多层协议封装，则所述报文头部信息包括多层协议的报文头部信息。4.根据权利要求1所述的方法，其特征在于，所述方法还包括缓存淘汰步骤：在执行所述在本地缓存分片唯一标识的步骤之前，判断本地缓存是否已被占满；在判定本地缓存已满时，使用最近最少使用LRU算法淘汰最近最少被命中的分片唯一标识所占用的缓存空间。5.根据权利要求1所述的方法，其特征在于，所述方法还包括缓存清理步骤：接收缓存清理报文，根据所述报文中携带的分片唯一标识删除本地缓存中缓存的分片唯一标识所占缓存空间。6.一种报文传输方法，其特征在于，该方法应用于部署有采集分析服务的接收端设备，该方法包括：接收并解析采集报文，读取采集报文中的分片标志位；判断分片标志位是否为首次传送；在分片标志位指示分片为首次传送时，将采集报文中携带的分片数据缓存在本地缓存中；在分片标志位指示分片为非首次传送时，根据分片唯一标识从本地缓存中获取分片数据，构造出完整的采集报文；将采集报文提供给采集分析服务。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：在执行将采集报文中携带的分片数据缓存在本地缓存的步骤之前，判断本地缓存空间
是否已满；在本地缓存已满的情况下，采用最近最少使用LRU算法释放最近最少使用的分片所占缓存空间并向采集器发送缓存清理报文，缓存清理报文中携带被释放的分片的分片唯一标识。8.根据权利要求6所述的方法，其特征在于，所述方法还包括：若根据分片唯一标识从本地缓存中未获取分片数据，则丢弃所接收到的采集报文。9.一种报文传输装置，其特征在于，该装置应用于部署有采集器的发送端设备，该装置包括：采集分片模块，用于对采集的报文进行初步解码，对初步解码后的数据进行分片处理，计算分片唯一标识；分片标识缓存模块，用于在本地缓存中匹配分片唯一标识；若在本地缓存未匹配到分片唯一标识，则在本地缓存分片唯一标识；报文组装模块，用于组装采...

【专利技术属性】
技术研发人员：郝向东，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：