对象计算存储系统、数据处理方法、客户端及存储介质技术方案

技术编号:34751286 阅读:16 留言:0更新日期:2022-08-31 18:46
本发明专利技术实施例公开了一种对象计算存储系统、数据处理方法、客户端及存储介质,属于电数字数据处理领域,包括存储控制设备,以及与其连接的存储芯片或存储盘,存储控制设备为计算存储管理系统,执行以下处理:接收外部的数据处理请求,解析数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息;确定支持为指定存储对象调用指定函数的情况下,根据输入数据调用指定函数对指定存储对象的数据进行计算;向数据处理请求的发送方返回计算结果。本发明专利技术实施例公开的对象计算存储系统、数据处理方法、客户端及存储介质,把对象存储系统扩展成计算存储管理系统,实现计算和存储一体的架构,有效减少因数据搬运带来的较多的计算能耗。的计算能耗。的计算能耗。

【技术实现步骤摘要】
对象计算存储系统、数据处理方法、客户端及存储介质


[0001]本专利技术涉及但不仅限于存储技术,尤指一种对象计算存储系统、数据处理方法、客户端及存储介质。

技术介绍

[0002]云计算流行计算/存储分离的架构,数据存储服务器和计算服务器通过网络连接。在大数据时代,很多计算能耗用在了数据搬运,这种架构带来了能耗大,计算能力不随数据量增长的问题。

技术实现思路

[0003]第一方面,本申请实施例提供了一种对象计算存储系统,包括存储控制设备,以及与所述存储控制设备连接的存储芯片或存储盘,所述存储控制设备为计算存储管理系统,配置为至少执行以下处理:接收外部的数据处理请求,解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息;确定支持为所述指定存储对象调用所述指定函数的情况下,根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算;向所述数据处理请求的发送方返回计算结果。
[0004]第二方面,本申请实施例提供了一种数据处理方法,应用于具有计算能力的对象计算存储系统,所述方法包括:接收数据处理请求,解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息;确定支持为所述指定存储对象调用所述指定函数的情况下,根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算;向所述数据处理请求的发送方返回计算结果。
[0005]第三方面,本申请实施例提供了一种数据处理方法,应用于客户端,所述方法包括:向具有计算能力的对象计算存储系统发送数据处理请求,携带数据需要计算的指定存储对象的信息、指定函数的信息和输入数据的信息;接收所述对象计算存储系统返回的计算结果,所述计算结果是根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算得到的。
[0006]第四方面,本申请实施例提供了一种对象计算存储系统中的CSP,包括:总线接口,及与所述总线接口耦合的逻辑电路组件;所述逻辑电路组件被配置为计算存储管理系统以执行第二方面任一实施例所述的数据处理方法。
[0007]第五方面,本申请实施例提供了一种SSD的主控芯片,包括:总线接口,及与所述总线接口耦合的逻辑电路组件;所述逻辑电路组件被配置为计算存储管理系统以执行第二方
面任一实施例所述的数据处理方法。
[0008]第六方面,本申请实施例提供了一种客户端,包括:通信接口,及与所述通信接口耦合的逻辑电路组件;所述逻辑电路组件被配置为计算存储管理系统以执行第三方面任一实施例所述的数据处理方法。
[0009]第七方面,本申请实施例提供了一种非易失性存储介质,其上存储有计算机指令,所述指令被处理器执行时实现任一实施例所述的方法的步骤。
[0010]本申请至少一个实施例提供的对象计算存储系统、数据处理方法、客户端及存储介质,与现有技术相比,具有以下有益效果:把对象计算存储系统扩展成计算存储管理系统,使得更多的大数据处理可以在存储端进行,实现计算和存储一体的架构,有效减少因数据搬运带来的较多的计算能耗。
[0011]本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
[0012]附图用来提供对本申请技术方案的理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。
[0013]图1为本专利技术一示例实施例提供的对象计算存储系统的结构框图;图2为本专利技术一示例实施例提供的数据处理方法的流程图;图3为本专利技术另一示例实施例提供的数据处理方法的流程图;图4为本专利技术一示例实施例提供的对象计算存储系统中的CSP的结构框图;图5为本专利技术一示例实施例提供的SSD的主控芯片的结构框图;图6为本专利技术一示例实施例提供的客户端的结构框图。
具体实施方式
[0014]本申请描述了多个实施例,但是该描述是示例性的,而不是限制性的,并且对于本领域的普通技术人员来说显而易见的是,在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合,并在具体实施方式中进行了讨论,但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外,任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用,或可以替代任何其它实施例中的任何其他特征或元件。
[0015]本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合,以形成由权利要求限定的独特的专利技术方案。任何实施例的任何特征或元件也可以与来自其它专利技术方案的特征或元件组合,以形成另一个由权利要求限定的独特的专利技术方案。因此,应当理解,在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此,除了根据所附权利要求及其等同替换所做的限制以外,实施例不受其它限制。此外,可以在所附权利要求的保护范围内进行各种修改和改变。
[0016]此外,在描述具有代表性的实施例时,说明书可能已经将方法和/或过程呈现为特
定的步骤序列。然而,在该方法或过程不依赖于本文所述步骤的特定顺序的程度上,该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的,其它的步骤顺序也是可能的。因此,说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外,针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤,本领域技术人员可以容易地理解,这些顺序可以变化,并且仍然保持在本申请实施例的精神和范围内。
[0017]本申请针对靠近数据的计算场景,特别是把存储管理系统(如键值存储系统或对象存储系统)放在数据服务器一端。对象存储系统是目前数据中心和云计算系统普遍采用的存储管理系统。支持数据的Get(取)、Put(存)以及Delete(删)等操作。然而,作为存储管理系统,并不支持或有效支持数据处理功能。
[0018]图1为本专利技术一示例实施例提供的对象计算存储系统的结构框图,对象计算存储系统是具有计算能力的对象存储系统,如图1所示,对象计算存储系统可以包括存储控制设备,以及与存储控制设备连接的存储芯片或存储盘,存储控制设备为计算存储管理系统,配置为以至少执行以下处理:接收外部的数据处理请求,解析数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息;确定支持为指定存储对象调用指定函数的情况下,根据输入数据调用指定函数对指定存储对象的数据进行计算;向数据处理请求的发送方返回计算结果。
[0019]本实施例提供的架构和接口,计算和存储一体的架构,把对象计算存储系统扩展成计算存储管理系统,使得更多的大数据处理可以在存储端进行。如图1所示,对象计算存储系统可以与外部系统(可称为外部请求方)连接,外部系统可作为请求计算的一端,向存储端的对象计算存储系统发送数据处理请求。其中,外部系统可以包括本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种对象计算存储系统,包括存储控制设备,以及与所述存储控制设备连接的存储芯片或存储盘,其特征在于,所述存储控制设备为计算存储管理系统,配置为至少执行以下处理:接收外部的数据处理请求,解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息;确定支持为所述指定存储对象调用所述指定函数的情况下,根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算;向所述数据处理请求的发送方返回计算结果。2.如权利要求1所述的对象计算存储系统,其特征在于:所述存储芯片为SSD的闪存芯片,所述存储控制设备为SSD的主控芯片。3.如权利要求1所述的对象计算存储系统,其特征在于:所述存储控制设备包括连接在系统PCIe总线上的CSP板卡,所述计算存储管理系统为所述CSP板卡,所述CSP板卡与所述对象计算存储系统内包括闪存芯片的SDD或包括存储盘的HDD协同工作。4.如权利要求1所述的对象计算存储系统,其特征在于:所述计算存储管理系统通过以下方式对所述指定存储对象的数据进行计算:加载所述指定函数,根据所述指定存储对象的信息取出所述指定存储对象的数据;及,将所述指定存储对象的数据和所述输入数据作为所述指定函数的输入,运行所述指定函数得到计算结果数据。5.如权利要求1所述的对象计算存储系统,其特征在于:所述计算存储管理系统包括类型图书馆,所述类型图书馆存储有支持的所有函数,并根据存储对象的类型配置有存储对象能够调用的函数;所述计算存储管理系统通过以下方式确定是否支持为所述指定存储对象调用所述指定函数:根据所述指定存储对象的类型信息查找所述类型图书馆;及,根据查找结果确定所述对象计算存储系统能够调用所述指定函数的情况下,确定支持为所述指定存储对象调用所述指定函数。6. 如权利要求1所述的对象计算存储系统,其特征在于:所述指定存储对象包括指定的数据库,所述指定函数包括查询,所述输入数据包括查询指令;或者所述指定存储对象包括指定的图片或视频,所述指定函数包括图片或视频的处理,所述输入数据包括图片或视频的处理指令。7.如权利要求6所述的对象计算存储系统,其特征在于:所述指定存储对象的信息包括所述指定存储对象的标识,所述计算存储管理系统是根据所述指定存储对象的标识查找所述指定存储对象的元数据以确定所述指定存储对象的类型。8. 如权利要求1所述的对象计算存储系统,其特征在于:所述输入数据的信息包括输入数据本身;或者所述输入数据的信息包括所述输入数据的存放地址;所述计算存储管理系统执行的处理还包括:根据所述输入数据的存放地址,利用直接读取内存的通讯协议从该存放地址取
回所述输入数据。9.如权利要求1所述的对象计算存储系统,其特征在于:所述计算存储管理系统向所述数据处理请求的发送方返回的计算结果为计算结果数据,或者为计算结果数据的存放地址,所述计算存储管理系统利用直接读取内存的通讯协议把计算结果数据存入该存放地址。10.一种数据处理方法,应用于具有计算能力的对象计算存储系统,所述方法包括:接收数据处理请求,解析所述数据处理请求携带的指定存储对象的信息、指定函数的信息和输入数据的信息;确定支持为所述指定存储对象调用所述指定函数的情况下,根据所述输入数据调用所述指定函数对所述指定存储对象的数据进行计算;向所述数据处理请求的发送方返回计算结果。11.如权利要求10所述的方法,其特征在于:所述计算存储管理系统包括类型图书馆,所述类型图书馆存储有支持的所有函数,并根据存储对象的类型配置有存储对象能够调用的函数;所述确定是否支持为所述指定存储对象调用所述指定函数,包括:根据所述指定存储对象的类型信息查找所述类型图书馆;及,根据查找结果确定所述对象计...

【专利技术属性】
技术研发人员:戴瑾张云森
申请(专利权)人:北京超弦存储器研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1