一种数据处理方法、装置及系统制造方法及图纸

本发明专利技术实施例提供一种数据处理方法、装置及系统，解决现有技术中存储key‑value对的存储系统数据处理效率低，响应速度慢的技术问题。本发明专利技术实施例中的存储节点包括至少两个分区，每个分区存储有至少一个键‑值key‑value对，同一分区中的key‑value对的设定属性相同；所述方法包括：所述存储节点接收数据操作请求，所述数据操作请求包括数据操作类型以及至少一个key；所述存储节点在所述至少两个分区中查找所述至少一个key，并根据所述数据操作类型对所述至少一个key所对应的value执行数据操作。

A data processing method, device and system

The embodiment of the invention provides a data processing method, device and system, solve the existing technology storage key value on the data processing and storage system of low efficiency, slow response of technical problems. The embodiment of the invention of the storage node includes at least two partitions, each partition is stored in at least one key value key value on the same partition, the key value on setting the same properties; the method includes: the storage node receives the data operation request, the data including the operation request the data type of operation and at least one key; the storage node in the at least to find the two partition of at least one key, and the data type of operation of the at least one key corresponding to the value according to the implementation of data manipulation.

【技术实现步骤摘要】
一种数据处理方法、装置及系统
本专利技术涉及计算机
，特别涉及一种数据处理方法、装置及系统。
技术介绍
在以键-值(key-value)对方式存储数据的存储系统中，用户可以通过key来查询存储节点上的key-value，进而对value执行操作。在通常情况下，用户发起一次具体的业务请求，一般会同时作用于多个目标key，但系统在存储节点中查询每个目标key时，都是以存储节点上的全部key为查找范围，因此查找每个目标key都需要遍历大量数据，进而导致数据处理效率低、响应速度慢。
技术实现思路
本专利技术提供一种数据处理方法、装置及系统，用于解决现有技术中存储key-value对的存储系统数据处理效率低，响应速度慢的技术问题。本专利技术实施例第一方面提供一种数据处理方法，存储节点包括至少两个分区，每个分区存储有至少一个键-值key-value对，同一分区中的key-value对的设定属性相同；所述方法包括：所述存储节点接收数据操作请求，所述数据操作请求包括数据操作类型以及至少一个key；所述存储节点在所述至少两个分区中查找所述至少一个key，并根据所述数据操作类型对所述至少一个key所对应的value执行数据操作；其中，在所述至少一个key的数量大于1时，所述存储节点在所述至少两个分区中的第一分区中查找到所述至少一个key中第一key之后，在所述第一分区中查找所述至少一个key中所在分区尚未确定的key，所述第一分区为所述至少两个分区中的任一分区，所述第一key为所述至少一个key中的任一key。在上述方案中，存储节点的存储空间按照key-value对的设定属性被划分为至少两个分区，每个分区中存储的key-value对的设定属性相同，存储节点在查询多个key时，如果找到其中任意一个key，就会在找到的key所在的分区中查询所在分区尚未确定的其他key。而在实际应用中，用户发起一次数据操作请求一般需要同时作用于多个具有相同设定属性的key-value对，因此采用本方案能够减少查询所需要遍历的数据量，提高数据处理效率，使得存储节点快速准确地响应数据操作请求。可选的，所述key-value对中的key包括用于承载所述key-value对的设定属性的特征字段，所述存储节点存储有特征字段与分区的映射；所述存储节点在所述至少两个分区中查找所述至少一个key，包括：所述存储节点根据所述至少一个key中每个key的特征字段以及所述映射确定所述key所在的分区，在确定出的分区中查找所述key。通过本方式，可以使得存储节点在收到数据操作请求时快速定位出需要查询的key所在的分区，然后在确定出的分区中进一步查询key，能够进一步减少查询所需要遍历的数据量，提高数据处理效率、加快响应速度。可选的，所述至少一个key中所有key的特征字段相同。通过本方式，可以使得存储节点在收到数据操作请求时快速定位出需要查询的key所在的同一个分区，然后在确定出的分区中进一步查询key，能够进一步减少查询所需要遍历的数据量，提高数据处理效率、加快响应速度。可选的，所述存储节点存储有设定属性与分区的映射，所述数据操作请求还包括辅助参数，所述辅助参数用于表征所述至少一个key所对应的key-value对所共有的设定属性；所述存储节点在所述至少两个分区中查找所述至少一个key，包括：所述存储节点根据所述辅助参数确定所述至少一个key所对应的key-value对所共有的设定属性，根据所述共有的设定属性以及所述映射确定所述至少一个key所在的分区，并在确定出的分区中查找所述至少一个key。通过本方式，可以使得存储节点在收到数据操作请求时快速定位出需要查询的key所在的同一个分区，然后在确定出的分区中进一步查询key，能够进一步减少查询所需要遍历的数据量，提高数据处理效率、加快响应速度。可选的，所述至少一个key所对应的key-value对的设定属性相同，所述数据操作请求还包括分区标识；所述存储节点在所述至少两个分区中查找所述至少一个key，包括：所述存储节点根据所述分区标识确定所述至少一个key所在的分区，在确定出的分区中查找所述至少一个key。通过本方式，可以使得存储节点在收到数据操作请求时快速定位出需要查询的key所在的同一个分区，然后在确定出的分区中进一步查询key，能够进一步减少查询所需要遍历的数据量，提高数据处理效率、加快响应速度。可选的，所述设定属性包括所述key对应的value所表征的物理意义的一个方面和/或所述key对应的key-value对的时间参数；所述时间参数包括所述key-value对的插入时间。通过本方式，可以使得存储节点在收到数据操作请求时快速定位出需要查询的key所在的分区，然后在确定出的分区中进一步查询key，能够进一步减少查询所需要遍历的数据量，提高数据处理效率、加快响应速度。可选的，在所述存储节点接收数据操作请求之前，所述方法还包括：所述存储节点接收服务节点发送的数据导入信息，所述数据导入信息包括至少两个key-value对以及所述至少两个key-value的分区信息；所述存储节点根据所述分区信息将所述至少两个key-value对存储在所述至少两个分区中。通过本方式，可以使得存储节点在初始导入数据时就将key-value对以分区的形式储存，进而减少后续查询所需要遍历的数据量，提高数据处理效率，使得存储节点快速准确地响应数据操作请求。可选的，所述数据操作类型为读取、增加、删除以及更改中的任意一项。通过本方式，可以使得存储节点在收到数据操作请求时快速定位出需要查询的key所在的同一个分区，然后在确定出的分区中进一步查询key，并对key对应的value执行读取、增加、删除以及更改等数据操作，提高数据处理效率、加快响应速度。本专利技术实施例第二方面还提供一种数据处理方法，包括：服务节点接收客户端发送的原始请求，所述原始请求包含N个key以及数据操作类型，N为正整数；所述服务节点计算所述N个key中每个key的哈希值；所述服务节点根据所述N个key中所有key的哈希值为存储在同一存储节点上的至少一个key生成数据操作请求；所述数据操作请求包括所述数据操作类型以及所述至少一个key，所述存储节点包括至少两个分区，每个分区存储有至少一个key-value对，同一分区中的key-value对的设定属性相同；所述服务节点向存储所述至少一个key的存储节点发送所述数据操作请求，以使所述存储节点在所述至少两个分区中查找所述至少一个key，并根据所述数据操作类型对所述至少一个key所对应的value执行数据操作；其中，在所述至少一个key的数量大于1时，所述存储节点在所述至少两个分区中的第一分区中查找到所述至少一个key中第一key之后，在所述第一分区中查找所述至少一个key中所在分区尚未确定的key，所述第一分区为所述至少两个分区中的任一分区，所述第一key为所述至少一个key中的任一key。可选的，所述key-value对中的key包括用于承载所述key-value对的设定属性的特征字段，所述服务节点存储有特征字段与分区的映射，所述至少一个key中所有key的特征字段相同；所述服务节点根据所述N个key中所有key的哈希值为存储在同一存储节本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，存储节点包括至少两个分区，每个分区存储有至少一个键key与值value关联的key‑value对，同一分区中的key‑value对的设定属性相同；所述方法包括：所述存储节点接收数据操作请求，所述数据操作请求包括数据操作类型以及至少一个key；所述存储节点在所述至少两个分区中查找所述至少一个key，并根据所述数据操作类型对所述至少两个key所对应的value执行数据操作；其中，在所述至少一个key的数量大于1时，所述存储节点在所述至少两个分区中的第一分区中查找到所述至少一个key中第一key之后，在所述第一分区中查找所述至少一个key中所在分区尚未确定的key，所述第一分区为所述至少两个分区中的任一分区，所述第一key为所述至少一个key中的任一key。

【技术特征摘要】
1.一种数据处理方法，其特征在于，存储节点包括至少两个分区，每个分区存储有至少一个键key与值value关联的key-value对，同一分区中的key-value对的设定属性相同；所述方法包括：所述存储节点接收数据操作请求，所述数据操作请求包括数据操作类型以及至少一个key；所述存储节点在所述至少两个分区中查找所述至少一个key，并根据所述数据操作类型对所述至少两个key所对应的value执行数据操作；其中，在所述至少一个key的数量大于1时，所述存储节点在所述至少两个分区中的第一分区中查找到所述至少一个key中第一key之后，在所述第一分区中查找所述至少一个key中所在分区尚未确定的key，所述第一分区为所述至少两个分区中的任一分区，所述第一key为所述至少一个key中的任一key。2.如权利要求1所述的方法，其特征在于，所述key-value对中的key包括用于承载所述key-value对的设定属性的特征字段，所述存储节点存储有特征字段与分区的映射；所述存储节点在所述至少两个分区中查找所述至少一个key，包括：所述存储节点根据所述至少一个key中每个key的特征字段以及所述映射确定所述key所在的分区，在确定出的分区中查找所述key。3.如权利要求2所述的方法，其特征在于，所述至少一个key中所有key的特征字段相同。4.如权利要求1所述的方法，其特征在于，所述存储节点存储有设定属性与分区的映射，所述数据操作请求还包括辅助参数，所述辅助参数用于表征所述至少一个key所对应的key-value对所共有的设定属性；所述存储节点在所述至少两个分区中查找所述至少一个key，包括：所述存储节点根据所述辅助参数确定所述至少一个key所对应的key-value对所共有的设定属性，根据所述共有的设定属性以及所述映射确定所述至少一个key所在的分区，并在确定出的分区中查找所述至少一个key。5.如权利要求1所述的方法，其特征在于，所述至少一个key所对应的key-value对的设定属性相同，所述数据操作请求还包括分区标识；所述存储节点在所述至少两个分区中查找所述至少一个key，包括：所述存储节点根据所述分区标识确定所述至少一个key所在的分区，在确定出的分区中查找所述至少一个key。6.如权利要求1-5任一项所述的方法，其特征在于，所述设定属性包括所述key对应的value所表征的物理意义的一个方面和/或所述key对应的key-value对的时间参数；所述时间参数包括所述key-value对的插入时间。7.如权利要求1-5任一项所述的方法，其特征在于，在所述存储节点接收数据操作请求之前，所述方法还包括：所述存储节点接收服务节点发送的数据导入信息，所述数据导入信息包括至少两个key-value对以及所述至少两个key-value的分区信息；所述存储节点根据所述分区信息将所述至少两个key-value对存储在所述至少两个分区中。8.如权利要求1-5任一项所述的方法，其特征在于，所述数据操作类型为读取、增加、删除以及更改中的任意一项。9.一种数据处理方法，其特征在于，包括：服务节点接收客户端发送的原始请求，所述原始请求包含N个key以及数据操作类型，N为正整数；所述服务节点计算所述N个key中每个key的哈希值；所述服务节点根据所述N个key中所有key的哈希值为存储在同一存储节点上的至少一个key生成数据操作请求；所述数据操作请求包括所述数据操作类型以及所述至少一个key，所述存储节点包括至少两个分区，每个分区存储有至少一个key-value对，同一分区中的key-value对的设定属性相同；所述服务节点向存储所述至少一个key的存储节点发送所述数据操作请求，以使所述存储节点在所述至少两个分区中查找所述至少一个key，并根据所述数据操作类型对所述至少一个key所对应的value执行数据操作；其中，在所述至少一个key的数量大于1时，所述存储节点在所述至少两个分区中的第一分区中查找到所述至少一个key中第一key之后，在所述第一分区中查找所述至少一个key中所在分区尚未确定的key，所述第一分区为所述至少两个分区中的任一分区，所述第一key为所述至少一个key中的任一key。10.如权利要求9所述的方法，其特征在于，所述key-value对中的key包括用于承载所述key-value对的设定属性的特征字段，所述服务节点存储有特征字段与分区的映射，所述至少一个key中所有key的特征字段相同；所述服务节点根据所述N个key中所有key的哈希值为存储在同一存储节点上的至少一个key生成数据操作请求，包括：所述服务节点根据所述至少一个key中所有key的特征字段的特征字段确定所述至少一个key所对应的key-value对所共有的设定属性；所述服务节点根据所述共有的设定属性以及所述映射确定所述至少一个key所在的分区；所述服务节点根据确定出的分区、所述至少一个key以及所述数据操作类型生成所述数据操作请求，所述数据操作请求包括用于表征所述至少一个key所在的分区的分区标识。11.如权利要求9所述的方法，其特征在于，所述服务节点存储有设定属性与分区的映射，所述原始请求还包括辅助参数，所述辅助参数用于表征所述至少一个key所对应的key-value对所共有的设定属性；所述服务节点根据所述N个key中所有key的哈希值为存储在同一存储节点上的至少一个key生成数据操作请求，包括：所述服务节点根据所述辅助参数确定所述至少一个key所对应的key-value对所共有的设定属性；所述服务节点根据所述共有的设定属性以及所述映射确定所述至少一个key所在的分区；所述服务节点根据确定出的分区、所述至少一个key以及所述数据操作类型生成所述数据操作请求，所述数据操作请求包括用于表征所述至少一个key所在的分区的分区标识。12.如权利要求9所述的方法，其特征在于，不同存储节点上的key的哈希值以存储节点总数为除数得到的余数不同，同一存储节点上的key的哈希值以存储节点总数为除数得到的余数相同；所述服务节点根据所述N个key中所有key的哈希值为存储在同一存储节点上的至少一个key生成数据操作请求，包括：所述服务节点计算所述N个key中所有key的哈希值，并对所述N个key中每一个key的哈希值以存储节点总数为除数进行求余运算，获得所述N个key中每一个key的哈希值的余数；所述服务节点根据所述N个key中每一个key的哈希值的余数，分别确定每一个key所在的存储...

【专利技术属性】
技术研发人员：郑钧元，孙洪亮，
申请(专利权)人：北京神州绿盟信息安全科技股份有限公司，北京神州绿盟科技有限公司，
类型：发明
国别省市：北京,11