System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请属于网络数据处理,特别的涉及一种基于高性能存算一体架构的数据处理方法及装置。
技术介绍
1、随着舰艇网络一体化发展需求的不断扩大,各装备间信息交换与共享的需求越来越突出,其网络信息量也急剧增大,高性能的存储需求以及数据分析能力变得越来越重要。现有的一些舰艇网络系统,在实现网络数据存储与分析的技术时,由于采用基于cpu的实现方式,在进行数据存储和分析时的性能会受限于cpu的性能,因此,很难满足高速记录实时存储、分析的应用场景。
技术实现思路
1、为了解决上述提到的在进行数据存储和分析时的性能会受限于cpu性能的问题,本申请提供了一种基于高性能存算一体架构的数据处理方法及装置,由第一控制器识别前端用户数据中的网络数据,以使网络数据实时过滤,从而降低了第二控制器解析处理数据的压力,提升了系统架构整体的性能。其技术方案如下:
2、第一方面,本申请提供了一种基于高性能存算一体架构的数据处理方法,方法应用于高性能存算一体架构,高性能存算一体架构包括第一控制器、第二控制器、第一缓存、第二缓存以及第二缓存所配置的解析引擎,方法包括:
3、当第一控制器识别出用户数据中存在网络数据时,基于预设过滤规则对网络数据进行过滤处理,得到第一目标数据,并将第一目标数据发送至第一缓存;
4、由第二缓存接收由第一缓存发送的第一目标数据,得到第二目标数据,并当检测到第二目标数据满足预设条件时,通过解析引擎将第二目标数据发送至第二控制器;
5、由第二控制器对第二目标
6、在第一方面的一种可选方案中,基于预设过滤规则对网络数据进行过滤处理,得到第一目标数据,包括:
7、基于预设过滤规则中的预设网络地址,对网络数据进行过滤处理,以得到包含预设网络地址的第一过滤数据;
8、根据网络数据中所有的端口号确定出第一端口范围,并根据预设过滤规则中的预设公式以及第一端口范围,计算出第二端口范围;
9、基于第二端口范围对第一过滤数据进行过滤处理,得到第二过滤数据,并将第二过滤数据作为第一目标数据。
10、在第一方面的又一种可选方案中,在由第二缓存接收由第一缓存发送的第二目标数据之后,检测到第二目标数据满足预设条件之前,还包括:
11、当第二缓存检测到第二目标数据的数据量达到预设数据量阈值时,确定第二目标数据满足预设条件;
12、当第二缓存检测到第二目标数据对应的时间达到预设时间阈值时,确定第二目标数据满足预设条件;
13、当第二缓存检测到第二目标数据对应的时间未达到预设时间阈值时,判断第二目标数据的数据量是否达到预设数据量阈值;
14、当第二缓存检测到第二目标数据的数据量未达到预设数据量阈值时,获取第三目标数据;其中,第三目标数据包含有第二目标数据;
15、当第二缓存检测到第三目标数据的数据量达到预设数据量阈值时,确定第三目标数据满足预设条件;
16、通过解析引擎将第三目标数据发送至第二控制器。
17、在第一方面的又一种可选方案中,由第二控制器对第二目标数据进行解析处理,包括:
18、在由第二控制器所配置的内存接收到第二目标数据后,发送中断信号至第二控制器,以使第二控制器处于唤醒状态;
19、由第二控制器将与对第二目标数据进行解析处理相应的任务置于任务队列的最顶部,并基于任务队列执行与对第二目标数据进行解析处理相应的任务,以对第二目标数据进行解析处理。
20、在第一方面的又一种可选方案中,高性能存算一体架构还包括第一缓存所配置的存储引擎以及存储阵列,基于预设过滤规则对网络数据进行过滤处理,得到第一目标数据,并将第一目标数据发送至第一缓存之后,方法还包括:
21、当第一缓存检测到第一目标数据满足预设条件时,通过存储引擎将第一目标数据写入存储阵列。
22、在第一方面的又一种可选方案中,通过存储引擎将第一目标数据写入存储阵列,包括:
23、当存储引擎检测到第一缓存中存在第一目标数据时,发送存储指令至第二控制器;
24、由第二控制器根据存储阵列的至少两个可分配空间地址、与每个可分配空间地址对应的存储空间以及第一目标数据的数据量得到目标地址,并将目标地址发送至存储引擎;
25、由存储引擎根据目标地址,将第一目标数据写入存储阵列。
26、在第一方面的又一种可选方案中,高性能存算一体架构还包括网卡,方法还包括:
27、当第一控制器识别出用户数据中存在控制命令数据时,将控制命令数据透传至网卡;
28、由第二控制器对网卡接收的控制命令数据进行解析处理。
29、第二方面,本申请实施例提供了一种基于高性能存算一体架构的数据处理装置,装置应用于高性能存算一体架构,高性能存算一体架构包括第一控制器、第二控制器、第一缓存、第二缓存以及第二缓存所配置的解析引擎,装置包括:
30、数据过滤模块,其用于当第一控制器识别出用户数据中存在网络数据时,基于预设过滤规则对网络数据进行过滤处理,得到第一目标数据,并将第一目标数据发送至第一缓存;
31、数据发送模块,其用于由第二缓存接收由第一缓存发送的第一目标数据,得到第二目标数据,并当检测到第二目标数据满足预设条件时,通过解析引擎将第二目标数据发送至第二控制器;
32、数据解析模块,其用于由第二控制器对第二目标数据进行解析处理,并将经过处理后的第二目标数据存储至目标终端。
33、第三方面,本申请实施例提供了一种基于高性能存算一体架构的数据处理装置,包括处理器以及存储器;
34、处理器与存储器连接;
35、存储器,用于存储可执行程序代码;
36、处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于高性能存算一体架构的数据处理方法。
37、第四方面,本申请实施例提供了一种计算机存储介质,计算机存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,可实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于高性能存算一体架构的数据处理方法。
38、有益效果:
39、本申请在进行基于高性能存算一体架构进行数据处理时,首先当第一控制器识别出用户数据中存在网络数据时,基于预设过滤规则对网络数据进行过滤处理,得到第一目标数据,并将第一目标数据发送至第一缓存;由第二缓存接收由第一缓存发送的第一目标数据,得到第二目标数据,并当检测到第二目标数据满足预设条件时,通过解析引擎将第二目标数据发送至第二控制器;由第二控制器对第二目标数据进行解析处理,并将经过处理后的第二目标数据存储至目标终端。由第一控制器识别前端用户数据中的网络数据,以使网络数据实时过本文档来自技高网...
【技术保护点】
1.一种基于高性能存算一体架构的数据处理方法,其特征在于,所述方法应用于高性能存算一体架构,所述高性能存算一体架构包括第一控制器、第二控制器、第一缓存、第二缓存以及所述第二缓存所配置的解析引擎,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于预设过滤规则对所述网络数据进行过滤处理,得到第一目标数据,包括:
3.根据权利要求1所述的方法,其特征在于,在所述由所述第二缓存接收由所述第一缓存发送的所述第二目标数据之后,所述检测到所述第二目标数据满足预设条件之前,还包括:
4.根据权利要求1所述的方法,其特征在于,所述由所述第二控制器对所述第二目标数据进行解析处理,包括:
5.根据权利要求1所述的方法,其特征在于,所述高性能存算一体架构还包括所述第一缓存所配置的存储引擎以及存储阵列,所述基于预设过滤规则对所述网络数据进行过滤处理,得到第一目标数据,并将所述第一目标数据发送至所述第一缓存之后,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述通过所述存储引擎将所述第一目标数据写入存储阵列,包括:
...【技术特征摘要】
1.一种基于高性能存算一体架构的数据处理方法,其特征在于,所述方法应用于高性能存算一体架构,所述高性能存算一体架构包括第一控制器、第二控制器、第一缓存、第二缓存以及所述第二缓存所配置的解析引擎,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于预设过滤规则对所述网络数据进行过滤处理,得到第一目标数据,包括:
3.根据权利要求1所述的方法,其特征在于,在所述由所述第二缓存接收由所述第一缓存发送的所述第二目标数据之后,所述检测到所述第二目标数据满足预设条件之前,还包括:
4.根据权利要求1所述的方法,其特征在于,所述由所述第二控制器对所述第二目标数据进行解析处理,包括:
5.根据权利要求1所述的方法,其特征在于,所述高性能存算一体架构还包括所述第一缓存所配置的存储引擎以及存储阵列,所述基于预设过滤规则对所述网络数据进行过滤处理,得到第一目标数据...
【专利技术属性】
技术研发人员:龚超,项世珍,石江,郑芳只,董盛鹏,郑晨忆,郑杰,
申请(专利权)人:中国电子科技集团公司第五十二研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。