System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及通信,尤其涉及一种通信报文解析方法、装置、设备及存储介质。
技术介绍
1、随着互联网思维迅速发展,各种数据通信协议和标准得到广泛应用。不同的系统和设备使用不同的报文格式进行数据交换,需要采用报文解析技术理解和分析不同格式的报文,以实现数据的交互和集成。报文解析是现代信息化建设中的一个重要环节,特别是在大数据环境下,对于海量复杂的数据进行实时处理和分析,需要高效、精准的报文解析技术。
2、但是,传统的报文解析技术通常采用xml、json等格式进行全量解析,这种方式存在内存和系统io(input/output,简称io)消耗大、解析效率低下等问题。
3、因此,当前亟需要一种方法能有效提升报文解析效率。
技术实现思路
1、本申请提供一种通信报文解析方法、装置、设备及存储介质,用以解决报文解析效率较低的技术问题。
2、第一方面,本申请提供一种通信报文解析方法,包括:
3、接收第一设备发送的报文包,对所述报文包进行切分处理,得到报文集合,所述报文集合用于存储所述报文包切分得到的多个报文;
4、针对所述报文集合中的每个报文,通过预设字符对所述报文进行搜索,得到多个特征字段;其中,所述特征字段包括所述预设字符,所述报文集合中的每个报文的搜索处理并发执行;
5、提取所述特征字段中的关键字段,并根据所述关键字段进行操作匹配,获取所述报文包对应的操作信息,所述操作信息包括消息路由操作、信息日志操作、映射转换操作、目标服务
6、将所述报文包对应的操作信息发送至第二设备,以使第二设备执行相应的操作。
7、在一种可能的设计中,所述对所述报文包进行切分处理,得到报文集合,包括:
8、获取预设报文大小;
9、根据所述报文包的分隔标识和所述预设报文大小,将所述报文包进行切分处理,得到报文集合,所述分隔标识包括:行标识和/或用于分隔字符的标识,所述报文集合中的报文实际大小与所述预设报文大小的差值小于预设值。
10、在一种可能的设计中,所述通过预设字符对所述报文进行搜索,得到多个特征字段,包括:
11、通过预设字符对所述报文进行搜索,提取包含所述预设字符的字段,得到多个特征字段,所述预设字符包括特征用途字符、特殊字符、转义字符或控制序列字符中的至少一种。
12、在一种可能的设计中,所述提取所述特征字段中的关键字段,包括:
13、根据预设关键词库中的关键词,提取所述特征字段中的关键字段;
14、获取所述特征字段中除所述关键字段之外的剩余字段;
15、判断所述剩余字段是否存在于常规字段库中;
16、若否,则将所述剩余字段存储至待分类数据库中,其中,所述待分类数据库中存储的字段等待被划分至关键词库或常规字段库。
17、在一种可能的设计中,所述根据所述关键字段进行操作匹配,获取所述报文包对应的操作信息,包括:
18、获取所述报文集合中多个报文各自对应的多个关键字段;
19、根据所述多个关键字段进行操作匹配,将属于同一操作的关键字段划分至同一关键字段集合;
20、根据多个关键字段集合,得到所述报文包对应的操作信息;
21、其中,每个关键字段集合中的关键字段对应的操作可并发执行。
22、在一种可能的设计中,所述获取预设报文大小,包括:
23、获取空闲的解析引擎的数量;
24、根据所述解析引擎的数量和所述报文包的大小,获取所述预设报文大小;其中,多个所述解析引擎用于并发对所述报文集合中的每个报文进行搜索以及提取关键字段处理。
25、在一种可能的设计中,所述对所述报文包进行切分处理,得到报文集合之前,还包括:
26、对未解码前的报文包进行分析,得到分析信息,所述分析信息包括编码方式和报文包中的字符的频率分布特征;
27、根据所述分析信息,判断所述报文包是否为正常报文,得到所述报文包为正常报文的判断结果,对所述报文包进行解码,得到解码后的报文包;其中,若所述字符的频率分布特征符合所述编码方式,则所述报文为正常报文。
28、第二方面,本申请提供一种通信报文解析装置,包括:
29、切分模块,用于接收第一设备发送的报文包,对所述报文包进行切分处理,得到报文集合,所述报文集合用于存储所述报文包切分得到的多个报文;
30、搜索模块,用于针对所述报文集合中的每个报文,通过预设字符对所述报文进行搜索,得到多个特征字段;其中,所述特征字段包括所述预设字符,所述报文集合中的每个报文的搜索处理并发执行;
31、提取模块,用于提取所述特征字段中的关键字段,并根据所述关键字段进行操作匹配,获取所述报文包对应的操作信息,所述操作信息包括消息路由操作、信息日志操作、映射转换操作、目标服务调用操作中的至少一种;其中,所述报文集合中的每个报文的从特征字段中提取关键字段的处理并发执行;
32、执行模块,用于将所述报文包对应的操作信息发送至第二设备,以使第二设备执行相应的操作。
33、第三方面,本实施例提供一种通信报文解析设备,包括:处理器,以及与所述处理器通信连接的存储器;
34、所述存储器存储计算机执行指令;
35、所述处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的通信报文解析方法。
36、第四方面,本实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的通信报文解析方法。
37、本申请提供的通信报文解析方法、装置、设备及存储介质,通过将报文包进行切分处理得到具有多个报文的报文集合,并将报文集合中的多个报文进行并发搜索处理,得到多个与操作信息匹配的关键字段,使得数据服务集成平台在处理报文时能够提高报文解析的效率,有效降低系统延迟和响应时间。
本文档来自技高网...【技术保护点】
1.一种通信报文解析方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述报文包进行切分处理,得到报文集合,包括:
3.根据权利要求1所述的方法,其特征在于,所述通过预设字符对所述报文进行搜索,得到多个特征字段,包括:
4.根据权利要求1所述的方法,其特征在于,所述提取所述特征字段中的关键字段,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述关键字段进行操作匹配,获取所述报文包对应的操作信息,包括:
6.根据权利要求2所述的方法,其特征在于,所述获取预设报文大小,包括:
7.根据权利要求1所述的方法,其特征在于,所述对所述报文包进行切分处理,得到报文集合之前,所述方法还包括:
8.一种通信报文解析装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如
...【技术特征摘要】
1.一种通信报文解析方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述报文包进行切分处理,得到报文集合,包括:
3.根据权利要求1所述的方法,其特征在于,所述通过预设字符对所述报文进行搜索,得到多个特征字段,包括:
4.根据权利要求1所述的方法,其特征在于,所述提取所述特征字段中的关键字段,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述关键字段进行操作匹配,获取所述报文包对应的操作信息,包括:
6....
【专利技术属性】
技术研发人员:朱立军,冯毅,苏雨然,胡泽妍,赵硕然,
申请(专利权)人:中国联合网络通信集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。