一种协议元数据提取方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种协议元数据提取方法、装置、设备及存储介质。该方法包括：接收数据包，并识别所述数据包对应的目标协议；调用所述目标协议注册的协议处理函数，确定元数据提取方式；如果为特征匹配提取，则调用与目标协议标识对应的提取规则引擎扫描负载，提取元数据；如果为语法解析提取，则调用与目标协议标识对应的语法规则引擎，按照与目标协议标识对应的语法规则协议项的描述解析负载，提取元数据。本发明专利技术实施例的技术方案，通过调用提取规则引擎或者语法规则引擎，仅对部分涉及元数据的流量进行处理，提高了代码质量以及元数据提取的处理效率。处理效率。处理效率。

A protocol metadata extraction method, device, device and storage medium

【技术实现步骤摘要】
一种协议元数据提取方法、装置、设备及存储介质


[0001]本专利技术涉及数据通信
，尤其涉及一种协议元数据提取方法、装置、设备及存储介质。

技术介绍

[0002]元数据又称为中介数据，是一种用于描述数据属性信息的数据，后端的分析业务通常基于上报的元数据进行不同维度的关联处理。
[0003]现有技术中，针对每种协议编写代码实现协议所有的交互实现，通过处理协议下的所有流量，提取每种协议下的元数据。但是，这种元数据提取方式需要编写的代码量较大，开发效率较低，并且需要处理的数据量较大，导致元数据提取效率较低。

技术实现思路

[0004]本专利技术提供了一种协议元数据提取方法、装置、设备及存储介质，通过调用提取规则引擎或者语法规则引擎，仅对部分涉及元数据的流量进行处理，提高了代码质量以及元数据提取的处理效率。
[0005]根据本专利技术的一方面，提供了一种协议元数据提取方法，包括：
[0006]接收数据包，并识别所述数据包对应的目标协议；
[0007]调用所述目标协议注册的协议处理函数，确定元数据提取方式；
[0008]如果为特征匹配提取，则调用与目标协议标识对应的提取规则引擎扫描负载，提取元数据；
[0009]如果为语法解析提取，则调用与目标协议标识对应的语法规则引擎，按照与目标协议标识对应的语法规则协议项的描述解析负载，提取元数据。
[0010]可选的，在所述调用与目标协议标识对应的提取规则引擎扫描负载，提取元数据之前，还包括：
[0011]加载解析各个协议的元数据提取规则文件，创建与各协议标识对应的提取规则引擎，并建立协议标识与提取规则引擎之间的映射关系；
[0012]将所述提取规则引擎以及所述协议标识与提取规则引擎之间的映射关系同步至各个非一致性内存访问(Non
‑
Uniform Memory Access，NUMA)节点。
[0013]采用上述技术方案，基于NUMA架构构建元数据提取规则引擎，充分利用CPU的多核特性，提高了根据特征匹配实现元数据提取的处理效率。
[0014]可选的，在所述调用与目标协议标识对应的语法规则引擎，按照与目标协议标识对应的语法规则协议项的描述解析负载，提取元数据之前，还包括：
[0015]加载解析各个协议的元数据语法规则描述文件，创建与各协议标识对应的语法规则协议项，并建立协议标识与语法规则协议项之间的映射关系；
[0016]将所述语法规则协议项以及所述协议标识与语法规则协议项之间的映射关系同步至各个NUMA节点。
[0017]采用上述技术方案，基于NUMA架构构建基于语法规则协议项的语法规则引擎，充分利用CPU的多核特性，提高了根据语法解析实现元数据提取的处理效率。
[0018]可选的，所述按照与目标协议标识对应的语法规则协议项的描述解析负载，提取元数据，包括：
[0019]遍历所述语法规则协议项中的基础项链表；
[0020]判断负载是否与基础项中的条件项描述信息一致；
[0021]如果一致，则获取所述基础项中的字段项链表对负载进行解析，提取元数据。
[0022]采用上述技术方案，针对协议元数据之间存在依赖的二进制流，定义一种通用的语法规则，根据语法规则中的条件项判断负载是否需要提取元数据，如果是，则按照字段项对负载进行处理，提取元数据，解决无法通过特征规则匹配，从元数据间存在依赖的二进制流中获取元数据的问题。
[0023]可选的，所述判断负载是否与基础项中的条件项描述信息一致，包括：
[0024]根据所述条件项描述信息中的偏移信息和长度信息，从负载中提取条件数据；
[0025]根据所述条件项描述信息中的数值信息和操作信息确定匹配条件，如果所述条件数据满足所述匹配条件，则确定负载与条件项描述信息一致；
[0026]否则，确定负载与条件项描述信息不一致。
[0027]采用上述技术方案，通过将解析偏移逻辑放到语法规则中，使得工作人员不需要具备开发经验，就可以依据元数据语法规则定义对协议的偏移和字段进行描述，大大提高了开发效率。同时，还可以避免由于偏移取值代码不严谨，导致程序挂掉的问题。
[0028]可选的，所述获取所述基础项中的字段项链表对负载进行解析，提取元数据，包括：
[0029]遍历所述基础项中的字段项链表；
[0030]根据字段项描述信息中的字段名称、字段类型和字段长度对负载进行处理，得到字段项对应的二进制信息；
[0031]根据字段描述信息中字段结果描述和字段操作描述对所述二进制信息进行处理，得到字段项对应的元数据。
[0032]采用上述技术方案，根据字段项描述信息中对元数据的描述，从负载中提取元数据的二进制信息，并对提取到的数据进行数据类型转换等处理，得到可以直接使用的协议元数据，避免后续使用时对协议元数据进一步处理。
[0033]可选的，所述调用所述目标协议注册的协议处理函数，确定元数据提取方式，包括：
[0034]执行所述目标协议注册的协议处理函数，判断当前数据流是否进行重组；
[0035]如果是，则按照设置的重组关联信息对接收的数据包重组；
[0036]如果重组结束，则调用所述目标协议注册的重组结束回调函数，确定提取元数据使用的引擎类型。
[0037]采用上述技术方案，通过每种协议根据协议元数据解析处理流程，注册协议处理函数、重组结束回调函数等函数，使得在输出协议所需元数据需要重组时，实现先对报文进行重组再进行元数据提取，保证元数据的正确提取。
[0038]根据本专利技术的另一方面，提供了一种协议元数据提取装置，包括：
[0039]协议识别模块，用于执行接收数据包，并识别所述数据包对应的目标协议；
[0040]协议处理模块，用于执行调用所述目标协议注册的协议处理函数，确定元数据提取方式；
[0041]特征匹配模块，用于执行如果为特征匹配提取，则调用与目标协议标识对应的提取规则引擎扫描负载，提取元数据；
[0042]语法解析模块，用于执行如果为语法解析提取，则调用与目标协议标识对应的语法规则引擎，按照与目标协议标识对应的语法规则协议项的描述解析负载，提取元数据。
[0043]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0044]至少一个处理器；以及
[0045]与所述至少一个处理器通信连接的存储器；其中，
[0046]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的协议元数据提取方法。
[0047]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的协议元数据提取方法。
[0048]本专利技术实施例的技术方案，通过接收数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种协议元数据提取方法，其特征在于，包括：接收数据包，并识别所述数据包对应的目标协议；调用所述目标协议注册的协议处理函数，确定元数据提取方式；如果为特征匹配提取，则调用与目标协议标识对应的提取规则引擎扫描负载，提取元数据；如果为语法解析提取，则调用与目标协议标识对应的语法规则引擎，按照与目标协议标识对应的语法规则协议项的描述解析负载，提取元数据。2.根据权利要求1所述的方法，其特征在于，在所述调用与目标协议标识对应的提取规则引擎扫描负载，提取元数据之前，还包括：加载解析各个协议的元数据提取规则文件，创建与各协议标识对应的提取规则引擎，并建立协议标识与提取规则引擎之间的映射关系；将所述提取规则引擎以及所述协议标识与提取规则引擎之间的映射关系同步至各个非一致性内存访问NUMA节点。3.根据权利要求1所述的方法，其特征在于，在所述调用与目标协议标识对应的语法规则引擎，按照与目标协议标识对应的语法规则协议项的描述解析负载，提取元数据之前，还包括：加载解析各个协议的元数据语法规则描述文件，创建与各协议标识对应的语法规则协议项，并建立协议标识与语法规则协议项之间的映射关系；将所述语法规则协议项以及所述协议标识与语法规则协议项之间的映射关系同步至各个NUMA节点。4.根据权利要求1所述的方法，其特征在于，所述按照与目标协议标识对应的语法规则协议项的描述解析负载，提取元数据，包括：遍历所述语法规则协议项中的基础项链表；判断负载是否与基础项中的条件项描述信息一致；如果一致，则获取所述基础项中的字段项链表对负载进行解析，提取元数据。5.根据权利要求4所述的方法，其特征在于，所述判断负载是否与基础项中的条件项描述信息一致，包括：根据所述条件项描述信息中的偏移信息和长度信息，从负载中提取条件数据；根据所述条件项描述信息中的数值信息和操作信息确定匹配条件，如果所述条件数据满足所述匹配条件，则确定负载与条件项描述信息一致；否则，确定负...

【专利技术属性】
技术研发人员：季超，张葳，邓俊，冯小云，李开科，雷彦章，
申请(专利权)人：曙光网络科技有限公司，
类型：发明
国别省市：