数据处理方法、装置、电子设备、存储介质及程序产品制造方法及图纸

本公开实施例公开了一种数据处理方法、装置、电子设备、存储介质及程序产品，所述方法包括：响应于周期性触发事件，从一个或多个数据存储节点中获取当前时间周期内新增数据的信息；所述一个或多个数据存储节点存储有对应于当前应用场景的海量数据；根据所述新增数据的信息创建对应于所述当前时间周期的新索引表；将所述新索引表以及已有索引表关联存储，以便通过关联存储的所述新索引表以及所述已有索引表对外提供数据查询服务。该技术方案在对索引表进行更新的过程中，只需进行局部更新，而无需针对所有索引数据进行更新，能够节省资源，保证在联机生产环境下保持ES的读取性能不下降。

【技术实现步骤摘要】
数据处理方法、装置、电子设备、存储介质及程序产品
本公开实施例涉及计算机
，具体涉及一种数据处理方法、装置、电子设备、存储介质及程序产品。
技术介绍
在联机生产环境中，很多海量数据的多维查询功能是基于ES(ElasticSearch)解决方案实现的。ES是一种基于RESTfulweb接口并且构建在ApacheLucene之上的开源分布式搜索引擎。同时ES还是一种分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，能够横向扩展至数以百计的服务器存储以及处理PB级的数据。已有技术中，针对应用场景在ES建立对应的一张索引表，每天根据数据库中数据的更新而更新该索引表，之后再通过ES为前端生产提供查询接口。但是，该方案中存在一个问题，即由于是海量数据，因此在更新索引表时，会产生大量的I/O操作,进而会导致ES的生产读取性能下降，甚至会造成生产服务不可用。因此，如何在更新索引表过程中保持ES的生产读取性能稳定是当前需要解决的技术问题之一。
技术实现思路
本公开实施例提供一种数据处理方法、装置、电子设备、本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n响应于周期性触发事件，从一个或多个数据存储节点中获取当前时间周期内新增数据的信息；所述一个或多个数据存储节点存储有对应于当前应用场景的海量数据；/n根据所述新增数据的信息创建对应于所述当前时间周期的新索引表；/n将所述新索引表以及已有索引表关联存储，以便通过关联存储的所述新索引表以及所述已有索引表对外提供数据查询服务。/n

【技术特征摘要】
1.一种数据处理方法，包括：
响应于周期性触发事件，从一个或多个数据存储节点中获取当前时间周期内新增数据的信息；所述一个或多个数据存储节点存储有对应于当前应用场景的海量数据；
根据所述新增数据的信息创建对应于所述当前时间周期的新索引表；
将所述新索引表以及已有索引表关联存储，以便通过关联存储的所述新索引表以及所述已有索引表对外提供数据查询服务。


2.根据权利要求1所述的方法，其中，每个索引表对应一别名，且不同的所述索引表对应于不同的别名。


3.根据权利要求2所述的方法，所述方法还包括：
接收数据查询请求；
根据所述数据查询请求确定待查询数据对应的索引表的别名；
基于具有所述别名的所述索引表从所述数据存储节点中查询得到所述待查询数据；
返回所述待查询数据。


4.根据权利要求1-3任一项所述的方法，所述方法还包括：
接收数据更新完成操作；
根据所述数据更新完成操作确定更新数据对应的索引表的别名；
从具有所述别名的所述索引表中删除所述更新数据的信息。


5.一种数据处理方法，包括：
生产系统将新增数据发送至一个或多个数据存储节点；所述一个或多个数据存储节点存储有对应于当前应用场景的海量数据；
一个或多个所述数据存储节点存储所述新增数据；
查询引擎响应于当前时间周期的周期性触发事件，从所述数据存储节点获取当前时间周期内新增数据的信息，并根据所述新增数据的信息创建对应于所述当前时间周期的新索引表，以及将所述新索引表以及已有索引表关联存储，以便通过关联存储的所述新索引表以及所述已有索引表对外提供数据查询服务。

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：拉卡拉支付股份有限公司，
类型：发明
国别省市：北京;11