一种数据清理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种数据清理方法、装置、电子设备及存储介质，属于数据库技术领域，能够解决现有技术中Elasticsearch中存储的数据量剧增，导致系统资源不断减少，进而使得查询效率变低的问题。该方法包括：获取清理参数，清理参数包括清理索引和清理规则；基于清理规则，将Elasticsearch中与清理索引对应的数据中的待清理数据进行清理处理；本方案通过对待清理数据进行清理处理，减少了Elasticsearch中存储的数据量，降低了Elasticsearch的存储压力，节省了系统资源，提升了Elasticsearch存储和查询的执行效率。储和查询的执行效率。储和查询的执行效率。

【技术实现步骤摘要】
一种数据清理方法、装置、电子设备及存储介质


[0001]本申请涉及数据库
，尤其涉及一种数据清理方法、装置、电子设备及存储介质。

技术介绍

[0002]分布式实时搜索引擎(Elasticsearch)是一个基于全文搜索引擎(Apache Lucene)的开源搜索引擎，它不仅包括了全文搜索功能，还可以进行以下工作：分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎；可以扩展到上百台服务器，处理结构化或非结构化数据。
[0003]但随着线上项目业务的持续运行，Elasticsearch中存储的数据越来越多，各类索引内存储的数据暴涨，导致系统资源不断减少，进而使得查询效率变低。
[0004]因此，亟需一种可以减轻Elasticsearch压力，提升查询效率的数据处理方法。

技术实现思路

[0005]本申请实施例提供了一种数据清理方法、装置、电子设备及存储介质，以解决现有技术中Elasticsearch中存储的数据量剧增，导致系统资源不断减少，进而使得查询效率变低的问题。
...

【技术保护点】

【技术特征摘要】
1.一种数据清理方法，其特征在于，所述方法包括：获取清理参数，所述清理参数包括清理索引和清理规则；基于所述清理规则，将Elasticsearch中与所述清理索引对应的数据中的待清理数据进行清理处理。2.根据权利要求1所述的方法，其特征在于，所述清理规则包括：清理日期规则；所述基于所述清理规则，将Elasticsearch中与所述清理索引对应的数据中的待清理数据进行清理处理，包括：将Elasticsearch中与所述清理索引对应的数据中，上报时间满足所述清理日期规则的数据，确定为所述待清理数据；对所述待清理数据进行清理处理。3.根据权利要求2所述的方法，其特征在于，所述清理规则还包括：清理手段，所述清理手段包括删除处理或先转存再删除处理；所述对所述待清理数据进行清理处理，包括：在所述清理手段为删除处理的情况下，删除所述待清理数据；在所述清理手段为先转存再删除处理的情况下，将所述待清理数据转存至目标区域之后，删除所述待清理数据。4.根据权利要求1所述的方法，其特征在于，所述获取清理参数，包括：从清理规则表中获取所述清理参数，所述清理规则表中包括至少一条清理参数；所述获取清理参数之前，所述方法还包括：显示所述清理规则表；接收对所述清理规则表的更改操作；响应于所述更改操作，更新所述清理规则表。5.根据权利要求1至4任一所述的方法，其特征在于，所述基于所述清理规则，将Elasticsearch中与所述清理索引对应的数据中的待清理数据进...

【专利技术属性】
技术研发人员：林皓，王哲，杨泳，熊明强，贾春燕，
申请(专利权)人：北京北信源软件股份有限公司，
类型：发明
国别省市：