【技术实现步骤摘要】
本公开属于数据查询，尤其涉及一种基于es搜索引擎的复杂结构数据管理方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、在大数据时代，由于数据量庞大、结构复杂，传统的数据库查询技术已经无法满足快速、高效地查询和分析数据的需求。随着互联网、物联网、移动互联网的快速发展，越来越多的数据被生成和存储，如社交媒体数据、传感器数据、日志数据等，这些数据通常以非结构化或半结构化的形式存在，无法用传统的关系型数据库进行存储和查询。
3、其中,存在的关键挑战包括：
4、数据量庞大：大数据时代的数据量呈指数级增长，传统的查询技术无法处理如此庞大的数据集。
5、数据结构复杂：大数据通常以非结构化或半结构化的形式存在，如文本、图像、视频等，传统的关系型数据库无法有效地存储和查询这些数据
6、实时性要求高：在大数据时代，对数据的实时性要求越来越高，需要能够快速地查询和分析实时生成的数据。
7、分布式环境：大数据通常分布在多个节点上，需要能够在分布式环境下进行查询和分析。
8、同时，在处理大数据量和复杂数据结构时，常规关系型数据库存在以下不足之处：
9、性能问题：在处理大数据量时性能有限，由于关系型数据库使用的是表结构，对于大规模数据的查询和分析会导致性能瓶颈。随着数据量的增加，查询和分析的速度会变慢，无法满足实时性要求。
10、扩展性问题：关系型数据库通常是单机数据库，难以扩展到多个节点处理大规
11、数据结构复杂性：对于非结构化和半结构化数据的支持有限。当面对复杂的数据结构，如嵌套的json对象、数组等，mysql等数据库需要进行繁琐的数据转换和查询操作，不够灵活和高效。
12、数据更新缓慢：对于常规关系型数据库，在面对复杂且大量数据的情况下，更新效率低下，影响用户使用，通过web端更新交互体验性较差。
13、因此，常规关系型数据库在处理大数据量和复杂数据结构时存在性能、扩展性、数据模型和实时性等方面的不足，无法满足大数据查询的需求。
技术实现思路
1、为克服上述现有技术的不足，本公开提供了一种基于es搜索引擎的复杂结构数据管理方法及系统，所述方案基于elasticsearch进行数据存储，保证了检索效率、可扩展性和多种查询要求；同时，当用户操作更新数据(即新增、修改或删除)时，通过缓存消息队列数据方式依次更新，有效解决了elasticsearch更新效率较低的问题。
2、根据本公开实施例的第一个方面，提供了一种基于es搜索引擎的复杂结构数据管理方法，包括：
3、接收用户操作参数；其中，所述用户操作参数类型包括查询、新增、修改、删除以及统计；
4、基于所述用户操作参数，通过web服务调用预设接口从es搜索引擎中进行数据操作；
5、其中，所述es搜索引擎作为数据库，对外提供数据的查询、新增、修改、删除以及统计功能；以及，当接收到用户的新增、修改或删除操作指令时，将操作指令对应的更新信息预先存储至缓存数据队列，然后从所述缓存数据队列中获取更新信息，并更新至es搜索引擎。
6、进一步的，当所述用户操作参数类型为查询或统计时，web服务接收到用户操作参数后，基于获得的用户操作参数按照预设规则进行组装，获得查询或统计语句，并基于所述查询语句从es搜索引擎中进行数据查询，经web服务将查询结果转发至用户端。
7、进一步的，所述预设接口提供分页查询和统计查询。
8、进一步的，对于需要管理的复杂结构数据，根据预设数据结构在es搜索引擎中创建索引，并基于所述索引将数据写入es搜索引擎。
9、进一步的，所述复杂结构数据，满足如下约束：对于待管理的数据，其包括若干标签，且存在标签的嵌套关系，所述嵌套关系包括主从关系或交叉关系。
10、进一步的，所述用户操作参数采用json或xml格式存储，并通过http方式传输至web服务接口。
11、进一步的，所述es搜索引擎对外提供数据分组、统计、排序以及过滤操作，并提供平均值、总和、最大值以及最小值的聚合函数以及聚合操作。
12、根据本公开实施例的第二个方面，提供了一种基于es搜索引擎的复杂结构数据管理系统，包括：
13、操作参数获取单元，其用于接收用户操作参数；其中，所述用户操作参数类型包括查询、新增、修改、删除以及统计；
14、数据操作单元，其用于基于所述用户操作参数，通过web服务调用预设的查询接口从es搜索引擎中进行数据操作；
15、其中，所述es搜索引擎作为数据库，对外提供数据的查询、新增、修改、删除以及统计功能；以及，当接收到用户的新增、修改或删除操作指令时，将操作指令对应的更新信息预先存储至缓存数据队列，然后从所述缓存数据队列中获取更新信息，并更新至es搜索引擎。
16、根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种基于es搜索引擎的复杂结构数据管理方法。
17、根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种基于es搜索引擎的复杂结构数据管理方法。
18、以上一个或多个技术方案存在以下有益效果：
19、(1)本公开提供了一种基于es搜索引擎的复杂结构数据管理方法及系统，所述方案基于elasticsearch进行数据存储，保证了检索效率、可扩展性和多种查询要求；同时，当用户操作更新数据(即新增、修改或删除)时，通过缓存消息队列数据方式依次更新，有效解决了elasticsearch更新效率较低的问题。
20、(2)所述方案通过预先构建查询接口，并组装指定格式查询参数进行elasticsearch的查询，且提供分页查询和统计查询。
21、本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
本文档来自技高网...【技术保护点】
1.基于ES搜索引擎的复杂结构数据管理方法，其特征在于，包括：
2.如权利要求1所述的基于ES搜索引擎的复杂结构数据管理方法，其特征在于，当所述用户操作参数类型为查询或统计时，Web服务接收到用户操作参数后，基于获得的用户操作参数按照预设规则进行组装，获得查询或统计语句，并基于所述查询语句从ES搜索引擎中进行数据查询，经Web服务将查询结果转发至用户端。
3.如权利要求1所述的基于ES搜索引擎的复杂结构数据管理方法，其特征在于，所述预设接口提供分页查询和统计查询。
4.如权利要求1所述的基于ES搜索引擎的复杂结构数据管理方法，其特征在于，对于需要管理的复杂结构数据，根据预设数据结构在ES搜索引擎中创建索引，并基于所述索引将数据写入ES搜索引擎。
5.如权利要求1所述的基于ES搜索引擎的复杂结构数据管理方法，其特征在于所述复杂结构数据，满足如下约束：对于待管理的数据，其包括若干标签，且存在标签的嵌套关系，所述嵌套关系包括主从关系或交叉关系。
6.如权利要求1所述的基于ES搜索引擎的复杂结构数据管理方法，其特征在于，所述用户
7.如权利要求1所述的基于ES搜索引擎的复杂结构数据管理方法，其特征在于，所述ES搜索引擎对外提供数据分组、统计、排序以及过滤操作，并提供平均值、总和、最大值以及最小值的聚合函数以及聚合操作。
8.基于ES搜索引擎的复杂结构数据管理系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于ES搜索引擎的复杂结构数据管理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于ES搜索引擎的复杂结构数据管理方法。
...【技术特征摘要】
1.基于es搜索引擎的复杂结构数据管理方法，其特征在于，包括：
2.如权利要求1所述的基于es搜索引擎的复杂结构数据管理方法，其特征在于，当所述用户操作参数类型为查询或统计时，web服务接收到用户操作参数后，基于获得的用户操作参数按照预设规则进行组装，获得查询或统计语句，并基于所述查询语句从es搜索引擎中进行数据查询，经web服务将查询结果转发至用户端。
3.如权利要求1所述的基于es搜索引擎的复杂结构数据管理方法，其特征在于，所述预设接口提供分页查询和统计查询。
4.如权利要求1所述的基于es搜索引擎的复杂结构数据管理方法，其特征在于，对于需要管理的复杂结构数据，根据预设数据结构在es搜索引擎中创建索引，并基于所述索引将数据写入es搜索引擎。
5.如权利要求1所述的基于es搜索引擎的复杂结构数据管理方法，其特征在于所述复杂结构数据，满足如下约束：对于待管理的数据，其包括若干标签，且存在标签的嵌套关系，...
【专利技术属性】
技术研发人员：黄修坤，李凡平，王堃，
申请(专利权)人：以萨技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。