存储器、报文处理方法及分布式存储系统技术方案

本发明专利技术公开了一种存储器、报文处理方法及分布式存储系统，属于数据存储领域。所述存储器包括：计算芯片和存储介质；计算芯片，用于对通过键‑值KV接口接收到的第一KV报文进行解析，获得目标数据的键Key和操作信息，用于根据Key从存储介质读取目标数据，用于根据操作信息对目标数据进行计算处理，得到处理后的目标数据，以处理后的目标数据作为值Value生成第二KV报文，通过KV接口发送第二KV报文；解决了相关技术中传统存储器只具有存储能力，需要将大量数据都汇聚到具有计算能力的应用节点来完成对目标数据的计算处理而导致的网络开销大的问题，达到了通过存储器对目标数据进行计算处理，直接向应用节点返回处理后的目标数据，降低了网络开销的效果。

Memory, message processing method and distributed storage system

The invention discloses a memory, a message processing method and a distributed storage system, which belongs to the field of data storage. The memory includes a computer chip and a storage medium; computing chip, is used for analyzing the first KV message received by the KV interface through the key value, obtain the target data and operation information for key Key, Key read from the storage medium according to the target data, used to calculate the treatment according to the operation information of the target data were obtained. The target after data processing, the target data processing as the value of Value to generate second KV packets, sent through the KV interface second KV message; to solve the traditional memory with only the storage capacity in the relevant technology, will need large quantities of data are gathered to the application nodes with computing capabilities to complete the calculation process of the target data result the network overhead problem, achieved through the target data memory processing, direct return processing to the application node after the target number According to this, the effect of network overhead is reduced.

【技术实现步骤摘要】
存储器、报文处理方法及分布式存储系统
本专利技术实施例涉及数据存储领域，特别涉及一种存储器、报文处理方法及分布式存储系统。
技术介绍
分布式存储系统采用非关系型数据库(NotOnlySQL，NoSQL)时，通常采用键-值(Key-Value，KV)存储作为数据存储机制。参考图1，目前的分布式存储系统通常包括两层：应用层10和存储层20。其中，应用层10包括多个分布式部署的应用节点12，每个应用节点12中设置有用于对数据进行处理的计算模块；存储层20包括多个分布式部署的存储器22，每个存储器22用于存储数据。各个应用节点12和各个存储器22通过有线网络或光纤相连。存储器22向应用节点12提供有KV接口，KV接口是一种软件接口。应用节点12可以通过KV接口向存储器22发送KV报文，KV报文中主要包括Key字段和Value字段，Key字段用于指示数据在存储器中的位置信息，Value字段用于指示数据的取值或属性，通过KV接口和KV报文可以实现应用节点12与存储器22之间的交互。目前的KV报文主要支持读取数据和写入数据，实现对数据的增删查改。当需要对存储器22中的数据进行计算操作时，应用节点12先通过KV接口向存储器22发送用于读取目标数据的KV报文，存储器22将读取到的目标数据携带在另一KV报文中通过KV接口传输给应用节点12，应用节点12对目标数据进行计算处理。由于一些计算处理所对应的目标数据是大量的，比如，要对十万条目标数据进行排序，得出排名最前的10个数据，此时需要存储器22将十万条目标数据全部传输给应用节点12，由应用节点12对这十万条目标数据进行排序计算。显然，将存储器22中的数据汇聚至应用节点时的网络开销很大，特别是目标数据分散存储在多个存储器22时，所需要的网络开销更大。
技术实现思路
为了解决存储器需要将目标数据汇聚到有计算能力的应用节点进行计算处理所导致的网络开销较大的问题，本专利技术实施例提供了一种存储器、报文处理方法及分布式存储系统。所述技术方案如下：第一方面，提供了存储器，该存储器包括计算芯片和存储介质；计算芯片，用于通过键-值(Key-Value，KV)接口接收第一KV报文，对第一KV报文进行解析，获得目标数据的Key和操作信息；计算芯片，用于根据Key从存储介质读取目标数据；计算芯片，用于根据操作信息对目标数据进行计算处理，得到处理后的目标数据；计算芯片，用于以处理后的目标数据作为Value生成第二KV报文，通过KV接口发送第二KV报文。在该存储器中，计算芯片可以根据操作信息对目标数据进行计算处理，并反馈处理后的目标数据，解决了相关技术中传统存储器只具有存储能力，当需要对目标数据进行计算处理时，需要将大量数据都汇聚到具有计算能力的应用节点来完成计算处理而导致的网络开销大的问题，达到了通过存储器对目标数据进行计算处理，直接向应用节点返回处理后的目标数据，降低了网络开销的效果。结合第一方面，在第一方面的第一种可能的实施方式中，计算芯片，用于对第一KV报文进行解析，获得Key字段和Context字段，从Key字段获得目标数据的Key，从Context字段获取操作信息。结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，操作信息包括：操作类型，或，操作类型和操作参数；操作类型包括：格式转换、加密、解密、压缩、比较、排序和哈希计算中的至少一种；操作类型和操作参数包括如下信息中的至少一种：格式转换和格式转换规则、加密和加密密钥、加密和加密算法类型、解密和解密密钥、解密和解密算法类型、压缩和压缩比、压缩和压缩算法类型、比较和比较规则、排序和排序规则、哈希计算和哈希算法类型。第二方面，提供一种存储器，存储器包括：计算芯片和存储介质；计算芯片，用于通过KV接口接收KV报文，对KV报文进行解析，获得目标数据的Key、目标数据和操作信息；计算芯片，用于按照操作信息对目标数据进行计算处理，得到处理后的目标数据；计算芯片，用于根据Key将处理后的目标数据写入存储介质。在该存储器中，计算芯片可以根据操作信息对目标数据进行计算处理，并反馈处理后的目标数据，解决了相关技术中传统存储器只具有存储能力，当需要对目标数据进行计算处理时，应用节点需要先将大量数据都汇聚到其他具有计算能力的应用节点来完成计算处理，再将处理后的数据发送至存储器进行存储，即需要将大量数据在多个应用节点间进行传输而导致的网络开销大的问题，达到了应用节点可以直接将目标数据发送给存储器，通过存储器对目标数据进行计算处理并存储至存储介质中，降低了网络开销的效果。结合第二方面，在第二方面的第一种可能的实施方式中，计算芯片，用于对KV报文进行解析得到Key字段、Value字段和Context字段，从Key字段获得目标数据的Key，从Value字段获得目标数据，从Context字段获取操作信息。结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，操作信息包括：操作类型，或，操作类型和操作参数；操作类型包括：格式转换、加密、解密、压缩、比较、排序和哈希计算中的至少一种；操作类型和操作参数包括如下信息中的至少一种：格式转换和格式转换规则、加密和加密密钥、加密和加密算法类型、解密和解密密钥、解密和解密算法类型、压缩和压缩比、压缩和压缩算法类型、比较和比较规则、排序和排序规则、哈希计算和哈希算法类型。第三方面，提供一种报文处理方法，该报文处理方法应用于具有计算芯片和存储介质的存储器中，该方法包括：通过KV接口接收第一KV报文；对第一KV报文进行解析，获得目标数据的Key和操作信息；根据Key从存储介质读取目标数据；根据操作信息对目标数据进行计算处理，得到处理后的目标数据；以处理后的目标数据作为Value生成第二KV报文，通过KV接口发送第二KV报文。在报文处理方法中，存储器的计算芯片可以根据操作信息对目标数据进行计算处理，并反馈处理后的目标数据，解决了相关技术中传统存储器只具有存储能力，当需要对目标数据进行计算处理时，需要将大量数据都汇聚到具有计算能力的应用节点来完成计算处理而导致的网络开销大的问题，达到了通过存储器对目标数据进行计算处理，直接向应用节点返回处理后的目标数据，降低了网络开销的效果。结合第三方面，在第三方面的第一种可能的实施方式中，对第一KV报文进行解析，获得目标数据的键Key和操作信息，包括：对第一KV报文进行解析得到Key字段和Context字段；从Key字段获得目标数据的Key；从Context字段获取操作信息。结合第三方面的第一种可能的实施方式，在第三方面的第二种可能的实施方式中，操作信息包括：操作类型，或，操作类型和操作参数；操作类型包括：格式转换、加密、解密、压缩、比较、排序和哈希计算中的至少一种；操作类型和操作参数包括如下信息中的至少一种：格式转换和格式转换规则、加密和加密密钥、加密和加密算法类型、解密和解密密钥、解密和解密算法类型、压缩和压缩比、压缩和压缩算法类型、比较和比较规则、排序和排序规则、哈希计算和哈希算法类型。第四方面，提供一种报文处理方法，该报文处理方法应用于具有计算芯片和存储介质的存储器中，该方法包括：通过KV接口接收KV报文；对KV报文进行解析，获得目标数据的Ke本文档来自技高网...

【技术保护点】
一种存储器，其特征在于，所述存储器包括：计算芯片和存储介质；所述计算芯片，用于通过键‑值KV接口接收第一KV报文，对所述第一KV报文进行解析，获得目标数据的键Key和操作信息；所述计算芯片，用于根据所述Key从所述存储介质读取所述目标数据；所述计算芯片，用于根据所述操作信息对所述目标数据进行计算处理，得到处理后的所述目标数据；所述计算芯片，用于以处理后的目标数据作为值Value生成第二KV报文，通过所述KV接口发送所述第二KV报文。

【技术特征摘要】
1.一种存储器，其特征在于，所述存储器包括：计算芯片和存储介质；所述计算芯片，用于通过键-值KV接口接收第一KV报文，对所述第一KV报文进行解析，获得目标数据的键Key和操作信息；所述计算芯片，用于根据所述Key从所述存储介质读取所述目标数据；所述计算芯片，用于根据所述操作信息对所述目标数据进行计算处理，得到处理后的所述目标数据；所述计算芯片，用于以处理后的目标数据作为值Value生成第二KV报文，通过所述KV接口发送所述第二KV报文。2.根据权利要求1所述的存储器，其特征在于，所述计算芯片，用于对所述第一KV报文进行解析，获得Key字段和Context字段，从所述Key字段获得所述目标数据的所述Key，从所述Context字段获取所述操作信息。3.根据权利要求2所述的存储器，其特征在于，所述操作信息包括：操作类型，或，操作类型和操作参数；所述操作类型包括：格式转换、加密、解密、压缩、比较、排序和哈希计算中的至少一种；所述操作类型和操作参数包括如下信息中的至少一种：格式转换和格式转换规则、加密和加密密钥、加密和加密算法类型、解密和解密密钥、解密和解密算法类型、压缩和压缩比、压缩和压缩算法类型、比较和比较规则、排序和排序规则、哈希计算和哈希算法类型。4.一种存储器，其特征在于，所述存储器包括：计算芯片和存储介质；所述计算芯片，用于通过键-值KV接口接收KV报文，对所述KV报文进行解析，获得目标数据的键Key、所述目标数据和操作信息；所述计算芯片，用于按照所述操作信息对所述目标数据进行计算处理，得到处理后的所述目标数据；所述计算芯片，用于根据所述Key将处理后的所述目标数据写入所述存储介质。5.根据权利要求4所述的存储器，其特征在于，所述计算芯片，用于对所述KV报文进行解析得到Key字段、Value字段和Context字段，从所述Key字段获得所述目标数据的所述Key，从所述Value字段获得所述目标数据，从所述Context字段获取所述操作信息。6.根据权利要求5所述的存储器，其特征在于，所述操作信息包括：操作类型，或，操作类型和操作参数；所述操作类型包括：格式转换、加密、解密、压缩、比较、排序和哈希计算中的至少一种；所述操作类型和操作参数包括如下信息中的至少一种：格式转换和格式转换规则、加密和加密密钥、加密和加密算法类型、解密和解密密钥、解密和解密算法类型、压缩和压缩比、压缩和压缩算法类型、比较和比较规则、排序和排序规则、哈希计算和哈希算法类型。7.一种报文处理方法，其特征在于，应用于具有计算芯片和存储介质的存储器中，所述方法包括：通过键-值KV接口接收第一KV报文；对所述第一KV报文进行解析，获得目标数据的键Key和操作信息；根据所述Ke...

【专利技术属性】
技术研发人员：陈昊，郭海涛，张羽，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44