System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,具体而言,本申请涉及一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
技术介绍
1、现有的数据中心的计算存储架构属于传统的冯·诺伊曼架构,冯·诺伊曼架构一种典型的以计算为中心的计算机架构,计算一般在本地中央处理器(central processingunit,cpu)或者远程主机进行,数据一般存储在固态硬盘(solid state drive,ssd)等存储媒介中。在数据中心,具有数据存储功能的服务器一般部署在单独的机柜中,每组机柜包含单台或多台服务器,每台服务器包括本地cpu、动态随机存储器(dynamic random accessmemory,dram)、ssd、机械硬盘(hard disk drive,hdd)以及网卡等资源。
2、在上述以计算为中心的计算机架构中,各种算数和逻辑运算若选择在本地cpu中执行,整个数据搬运过程为:本地cpu发送目标指令至动态随机存储器dram,dram根据该目标指令中的存储地址,从多个ssd中确定要读取的目标数据所在的目标ssd,dram从目标ssd中获取并存储目标数据,并将存储的目标数据发送给本地cpu,以使得本地cpu对目标数据进行处理,得到处理结果,即整个搬运过程的数据通道为:本地cpu→dram→ssd→dram→本地cpu。若选择在远程主机中执行,整个数据搬运过程为:远程主机发送目标指令至网卡,网卡在确定该目标指令为本机应接收的指令后,将该目标发送至dram,dram根据该目标指令中的存储地址,从多个ssd中确定要读取的目标数
3、计算无论是在本地cpu还是在远程主机中执行,整个数据搬运过程都非常冗长,此外,由于dram或是网卡的负载能力有限以及io瓶颈限制,在进行巨量的数据搬运(datamovement)过程中,随着数据量的增加,将会带来数据与计算性能瓶颈以及数据带宽的瓶颈,同时,也会伴随着巨大的能量消耗。
技术实现思路
1、本申请实施例提供了一种数据处理的方法、装置、电子设备、计算机可读存储介质及计算机程序产品,主要解决由传统冯·诺伊曼架构带来的数据计算瓶颈、数据带宽瓶颈以及巨量数据搬运带来的能量损耗等一系列问题。所述技术方案如下:
2、根据本申请实施例的第一方面,提供了一种数据处理方法,应用于计算型存储处理器,该方法包括:
3、接收并解析目标设备发送的目标指令,确定待处理的目标数据的处理方式以及目标数据所在的目标固态硬盘ssd;目标设备为本地cup或远程主机中的任意一种;
4、建立csp与目标ssd之间的点对点协议连接,通过点对点协议连接从目标ssd中获取目标数据;
5、若确定处理方式为csp具备的处理方式,则对目标数据进行处理,将处理结果发送至目标设备。
6、在一个可能的实现方式中,确定待处理的目标数据的处理方式之后,还包括:
7、若确定处理方式不为csp所具备的处理方式,则将目标数据发送至目标设备,指示目标设备对目标数据进行处理,得到处理结果。
8、在一个可能的实现方式中,csp包括数据处理器和板载ram;
9、通过点对点协议连接从目标ssd中获取目标数据之后,还包括:将目标数据存储至板载ram;
10、对目标数据进行处理,包括:
11、通过dp从板载ram中调用目标数据,并对目标数据进行处理。
12、在一个可能的实现方式中,dp中包括网络引擎、直接存储器存取引擎、工作任务卸载引擎和新数据引擎。
13、在一个可能的实现方式中,网络引擎用于建立与远程主机之间的通信连接;
14、将处理结果发送至目标设备,包括:
15、若目标设备为远程主机,则通过网络引擎与远程主机之间的通信连接将处理结果发送至远程主机。
16、在一个可能的实现方式中,直接存储器存取引擎用于在接收到目标指令后,发送总线请求至本地cpu,总线请求用于请求本地cpu放弃对总线的控制权;
17、直接存储器存取引擎还用于在接收到本地cpu响应总线请求发送的总线响应后,独占总线;
18、通过点对点协议连接从目标ssd中获取目标数据,包括:
19、通过点对点协议连接以及直接存储器存取引擎独占的总线从目标ssd中获取目标数据,并将目标数据存储至板载ram。
20、在一个可能的实现方式中,对目标数据进行处理,包括:
21、若目标数据预先设置由目标设备进行处理,则通过工作任务卸载引擎从板载ram中调用目标数据,对目标数据进行处理,得到处理结果;
22、若目标数据预先设置不由目标设备进行处理,则通过新数据引擎从板载ram中调用目标数据,对目标数据进行处理,得到处理结果。根据本申请实施例的第二方面,提供了一种数据处理装置,应用于计算型存储处理器csp,该装置包括:
23、解析模块,用于接收并解析目标设备发送的目标指令,确定待处理的目标数据的处理方式以及目标数据所在的目标固态硬盘ssd;目标设备为本地cup或远程主机中的任意一种;
24、目标数据获取模块,用于建立csp与ssd之间的点对点协议连接,通过点对点协议连接从目标ssd中获取目标数据;
25、第一处理模块,用于若确定处理方式为csp具备的处理方式,则对目标数据进行处理,将处理结果发送至目标设备。
26、根据本申请实施例的第三方面,提供了一种电子设备,该电子设备包括存储器、处理器及存储在存储器上的计算机程序,处理器执行程序时实现如第一方面所提供的方法的步骤。
27、根据本申请实施例的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
28、根据本申请实施例的第五方面,提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中,当计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行实现如第一方面所提供的方法的步骤。
29、本申请实施例提供的技术方案带来的有益效果是:
30、本申请实施例在进行数据搬运的过程中,建立了csp和ssd之间的点对点协议连接,使得数据搬运的过程中无需经过本地cpu以及dram,缩减了数据搬运的流程,大幅度降低了带宽瓶颈,降低了因数据搬运而引起的能量损耗。另外,在目标数据的处理方式的为csp具备的处理方式时,由csp替代本地cpu或远程主机对目标数据进行处理,增加了运算的并行度,释放了通信带宽,缓解了本地cpu和远程主本文档来自技高网...
【技术保护点】
1.一种数据处理方法,其特征在于,应用于计算型存储处理器CSP,包括:
2.根据权利要求1所述的方法,其特征在于,所述确定待处理的目标数据的处理方式之后,还包括:
3.根据权利要求1所述的方法,其特征在于,所述CSP包括数据处理器DP和板载RAM;
4.根据权利要求3所述的方法,其特征在于,所述DP中包括网络引擎、直接存储器存储引擎以及工作任务卸载引擎以及新数据引擎。
5.根据权利要求4所述的方法,其特征在于,所述网络引擎用于建立与所述远程主机之间的通信连接;
6.根据权利要求4所述的方法,其特征在于,所述直接存储器存取引擎用于在接收到所述目标指令后,发送总线请求至本地CPU,所述总线请求用于请求所述本地CPU放弃对所述总线的控制权;
7.根据权利要求4所述的方法,其特征在于,所述对所述目标数据进行处理,包括:
8.一种数据处理装置,其特征在于,应用于计算型存储处理器CSP,包括:
9.一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
...【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于计算型存储处理器csp,包括:
2.根据权利要求1所述的方法,其特征在于,所述确定待处理的目标数据的处理方式之后,还包括:
3.根据权利要求1所述的方法,其特征在于,所述csp包括数据处理器dp和板载ram;
4.根据权利要求3所述的方法,其特征在于,所述dp中包括网络引擎、直接存储器存储引擎以及工作任务卸载引擎以及新数据引擎。
5.根据权利要求4所述的方法,其特征在于,所述网络引擎用于建立与所述远程主机之间的通信连接;
6.根据权利要求4所述的方法,其特征在于,所述直接存储器存取引擎用...
【专利技术属性】
技术研发人员:戴瑾,张云森,
申请(专利权)人:北京超弦存储器研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。