【技术实现步骤摘要】
数据删除方法、装置、存储介质及电子装置
[0001]本专利技术实施例涉及大数据
，具体而言，涉及一种数据删除方法、装置、存储介质及电子装置。
技术介绍
[0002]Elasticsearch(或简称为ES)是一个基于Lucene库的搜索引擎。它提供了一个分布式、支持多用户的全文搜索引擎，具有HTTP Web接口和无模式JSON文档。Elasticsearch是用Java开发的，并在Apache许可证下作为开源软件发布。Lucene是一套用于全文检索和搜索的开放源码程序库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程序接口，能够做全文索引和搜索。Lucene被广泛应用作搜索应用的标准基础库。
[0003]作为搜索引擎，Elasticsearch需要存储大量数据，在不断存储新数据的同时，也存在删除过期数据的需求。提高Elasticsearch删除数据的性能和稳定性，是针对Elasticsearch进行优化的长期目标之一。相关技术中有通过DeleteByQuery方式删除一个索引对应的...
【技术保护点】
【技术特征摘要】
1.一种数据删除方法，其特征在于，包括：将目标数据集合存储至目标分片集合中的各个分片中，其中，所述目标数据集合中的各个数据中的指定字段的取值是按照第一存储方式进行存储的，所述目标数据集合中的各个数据中的指定字段的取值允许采用的存储方式包括所述第一存储方式和与所述第一存储方式不同的第二存储方式，采用所述第一存储方式存储的所述指定字段的取值的第一删除速度大于采用所述第二存储方式存储的指定字段的取值的第二删除速度；响应于目标删除指令，在所述目标分片集合中获取目标索引对应的目标分片子集，其中，所述目标删除指令用于请求删除所述目标数据集合中与所述目标索引对应的目标数据子集，所述目标分片子集中存储了所述目标索引对应的待删除的所述目标数据子集，所述目标分片子集中的各个分片中存储了所述目标数据子集中的部分数据；确定与所述目标分片子集对应的处理节点集合，其中，所述处理节点集合用于并行删除所述目标分片子集中存储的所述目标数据子集；通过所述处理节点集合并行删除所述目标分片子集中存储的所述目标数据子集，其中，所述目标数据子集中的每个数据的指定字段的取值是按照所述第一删除速度进行删除的。2.根据权利要求1所述的方法，其特征在于，在所述响应于目标删除指令，在所述目标分片集合中获取目标索引对应的目标分片子集之前，所述方法还包括：在所述目标数据子集中的各个数据存储在所述目标分片子集中对应的分片中的情况下，在所述目标分片子集和所述处理节点集合之间建立对应关系，其中，所述处理节点集合中的各个处理节点与所述目标分片子集中的至少一个分片具有对应关系，所述各个处理节点对应的分片的数量均在预设的数量区间内，或者，所述各个处理节点对应的分片的数量之间的差值小于或等于预设阈值。3.根据权利要求2所述的方法，其特征在于，所述确定与所述目标分片子集对应的处理节点集合，包括：在所述目标删除指令指示了允许执行并行删除的分片的数量为所述目标分片子集中分片的数量的情况下，确定与所述目标分片子集中的各个分片具有对应关系的处理节点，得到所述处理节点集合。4.根据权利要求1所述的方法，其特征在于，所述通过所述处理节点集合并行删除所述目标分片子集中存储的所述目标数据子集，包括：在所述目标删除指令指示了每批删除的目标数据量的情况下，通过所述处理节点集合中的各个处理节点并行地、分批地删除所述目标数据子集，其中，所述各个处理节点每批删除的所述目标数据子集中的数据的数据量是所述目标数据量。5.根据权利要求4所述的方法，其特征在于，在所述响应于目标删除指令，在所述目标分片集合中获取目标索引对应的目标分片子集之前，所述方法还包括：根据所述处理节点集合中的处理节点的处理速度，确定所述目标数据量，并在所述目标删除指令中设置用于指示所述目标数据量的参数，其中，所述处理节点的处理速度用于表示所述处理节点自身的运算速度，和/或，所述处理节点删除对应的分片中存储的数据的速度。6.根据权利要求4所述的方法，其特征在于，所述通过所述处理节点集合中的各个处理
节点并行地、分批地删除所述目标数据子集，包括：在所述处理节点集合中的处理节点的数量为N、所述处理节点集合中的第i个处理节点被设置为并行地、分批地删除第i组分片中存储的属于所述目标数据子集中的数据的情况下，通过以下步骤并行地删除所述第i组分片中的各个分片中存储的属于所述目标数据子集中的一批数据，其中，i为大于或等于1、且小于或等于N的正整数，N为大于或等于1的正整数，...
【专利技术属性】
技术研发人员：林坚，王婷婷，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。