本申请公开了一种数据管理方法，该方法包括：确定原始数据以及原始数据对应的第一索引；对原始数据进行过滤以得到采样数据，并确定采样数据对应的第二索引；响应于第一索引以及原始数据被删除，基于第一索引确定与第二索引关联的第三索引，第三索引与第一索引相匹配，以在基于第一索引进行数据查询时，输出第三索引对应的采样数据。本申请还公开了一种数据管理装置、电子设备及计算机可读存储介质。通过上述方式，本申请以采样数据填补已删除原始数据的数据空缺，操作简单，方便快捷，在不影响数据的正常查询使用的情况下扩大保留的监控数据的时间范围。控数据的时间范围。控数据的时间范围。
【技术实现步骤摘要】
数据管理方法、装置、电子设备及计算机可读存储介质
[0001]本申请涉及数据存储领域，特别是涉及一种数据管理方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着大数据时代的到来，对相关节点进行数据监控，对监控数据进行分析是一种对出现的问题进行判断解决的重要手段。然而监控数据一般是实时的，不间断的采集数据，其保留的数据量是非常巨大的。因此在监控数据存储了一段时间后未进行相关操作的情况下会对数据继续删除处理以为后续新的监控数据保留存储空间。
[0003]但是如果删除了一部分监控数据之后，后续便无法查看这部分监控数据，不利于数据查询。因此，如何对监控数据进行存储和查询管理成为当今研究的热点问题之一。
技术实现思路
[0004]本申请主要目的是提供一种数据管理方法、装置、电子设备及计算机可读存储介质，能够解决在不影响数据的正常查询使用的情况下扩大保留的监控数据的时间范围的技术问题。
[0005]本申请提供一种数据管理方法，该方法包括：确定原始数据以及原始数据对应的第一索引；对原始数据进行过滤以得到采样数据，并确定采样数据对应的第二索引；响应于第一索引以及原始数据被删除，基于第一索引确定与第二索引关联的第三索引，第三索引与第一索引相匹配，以在基于第一索引进行数据查询时，输出第三索引对应的采样数据。
[0006]本申请提供一种数据管理装置，该装置包括：获取单元，用于确定原始数据以及原始数据对应的第一索引；数据处理单元，用于对原始数据进行过滤以得到采样数据，并确定采样数据对应的第二索引，响应于第一索引以及原始数据被删除，基于第一索引确定与第二索引关联的第三索引，第三索引与第一索引相匹配，以在基于第一索引进行数据查询时，输出第三索引对应的采样数据。
[0007]本申请提供一种电子设备，该电子设备包括处理器以及与处理器耦接的计算机存储介质，计算机存储介质中存储有计算机程序，处理器用于执行计算机程序以实现如第一个技术方案中所述的方法。
[0008]本申请提供一种计算机可读存储介质。该计算机可读存储介质存储有计算机程序，能够被处理器执行，以实现上述的数据管理方法。
[0009]本申请的有益效果是：区别于现有技术的情况，先确定原始数据，而后对原始数据进行过滤采样，得到相应的采样数据，原始数据对应第一索引，采样数据对应第二索引。在对应的原始数据和第一索引删除后，再将第二索引添加关联的第三索引作为别名。第三索引与第一索引相匹配，以使得第一索引和第三索引能够基于相同的查询操作得到，从而获取到对应的数据。在对原始数据进行删除时，仅需要对采样数据进行别名添加，即可实现数据查询时的原始数据的替换，以采样数据填补已删除原始数据的数据空缺，操作简单，方便
快捷，不会占用过多的计算资源，在扩大保留的监控数据的时间范围的同时，不影响数据的正常查询使用。
附图说明
[0010]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1是一种数据管理方案的示意图；
[0012]图2是另一种数据管理方案的示意图；
[0013]图3是本申请提供的又一种数据管理方法技术方案的示意图；
[0014]图4是本申请数据管理方法第一实施例的流程示意图；
[0015]图5是本申请数据管理方法第二实施例的流程示意图；
[0016]图6是本申请数据管理方法第三实施例的流程示意图；
[0017]图7是本申请数据管理装置一实施例的结构示意图；
[0018]图8是本申请电子设备一实施例的结构示意图。
具体实施方式
[0019]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0022]在介绍本申请之前，对相关技术进行简单介绍。
[0023]ES，Elasticsearch是一个基于Lucene的搜索服务器。它是一个分布式、高扩展、高实时的搜索与数据分析引擎。其能够胜任上百个服务节点的扩展，并支持PB级别的结构化或者非结构化的数据。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。ES通过数据索引对数据进行确定。_reindex是ES的一个命令，用于把一个索引中的文档复制到另一个索引中，常用于数据的迁移。_aliases也是ES的一个命令，是为一个索引设置别名，ES在搜索时会自动将别名转换为该索引名称，从而得到对应的数据。
[0024]目前考虑到存储空间有限，为了尽可能的扩大监控数据的监控时间范围，也就是尽可能存储时间更久的监控数据，通常采用如下两种技术方案：一种是对当监控数据存储时，就对监控数据进行采样，将采样数据单独进行保留；另一种是对存储的监控数据按照周期建立索引，即将删除的监控数据进行处理，保留采样部分，删除非采样部分以减少存储数据量。
[0025]如图1所示，第一种技术方案下，在获取监控数据的时候就需要对监控的数据进行分析，判断是否需要对其进行采样保留。这就需要对存储机制的系统结构进行变动，增加了技术架构的复杂性。数据写入时，原始数据会对应原始数据的索引，而采样数据会对应采样索引单独进行数据存储，从而与原始数据区分开来，在原始数据进行删除的时候就不会影响到采样数据。而数据写入后，在原始数据未删除的情况下，原始数据的部分和采样数据是相同的，这就会增加存储装置的存储负担，造成了存储空间的浪费。
[0026]如图2所示，第二种技术方案下，在将数据写入存储装置时为其对应创建原始数据的索引，然后根据时间对索引进行判断以确定需要删除的原始数据。在确定需要进行删除的原始数据后，对该原始数据进行采样，将其中不需要的数据进行删除，将保留的采样数据对应该原始数据的索引。这种本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据管理方法，其特征在于，所述方法包括：确定原始数据以及所述原始数据对应的第一索引；对所述原始数据进行过滤以得到采样数据，并确定所述采样数据对应的第二索引；响应于所述第一索引以及所述原始数据被删除，基于所述第一索引确定与所述第二索引关联的第三索引，所述第三索引与所述第一索引相匹配，以在基于所述第一索引进行数据查询时，输出所述第三索引对应的所述采样数据。2.根据权利要求1所述的方法，其特征在于，所述对所述原始数据进行过滤以得到采样数据，包括：判断所述原始数据是否满足待删除条件；所述待删除条件包括下述情况任意一种或多种：所述原始数据的存储时间长度超过预设第一时间长度；或接收到对所述原始数据的删除命令；若是所述原始数据满足所述待删除条件，则执行所述对所述原始数据进行过滤以得到所述采样数据的步骤。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：判断所述原始数据是否为需要进行采样处理的数据；若是，则对所述原始数据进行过滤以得到所述采样数据；若否，则删除所述原始数据以及所述原始数据对应的第一索引。4.根据权利要求1所述的方法，其特征在于，所述第一索引包括目标类索引标记，所述第二索引和所述第三索引均包括所述目标类索引标记和所述特定标识；其中，包括所述特定标识的索引所对应的数据为采样数据。5.根据权利要求4所述的方法，其特征在于，在所述基于所述第一索引确定与所述第二索引关联的第三索引之前，所述方法还包括：删除所述第一索引以及所述第一索引对应的所述原始数据；所述删除所述第一索引以及所述第一索引对应的所述原始数据，包括：获取包括所述目标类索引标记的多个索引，并依次遍历获取到的所述多个索引；若当前遍历的索引包括所述特定标识，则确定当前遍历的索引为所述第二索引，不执行删除操...
【专利技术属性】
技术研发人员：蒋力，唐蠡，曾琳铖曦，吴海英，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。