一种数据存储及查询方法、装置、设备及可读存储介质制造方法及图纸

技术编号:32538278 阅读:49 留言:0更新日期:2022-03-05 11:34
本申请公开了一种数据存储及查询方法、装置、设备及可读存储介质,将待存储原始数据存入预设的非关系型数据库,并将待存储原始数据的关键信息连同待存储原始数据在非关系型数据库中的存储标识存入Elasticsearch服务器,利用非关系型数据库便于存储以及集群扩展的优势,有效减少Elasticsearch服务器中的数据存储量,从而可以适应大规模数据的存储扩展趋势;而在需要查询数据时,先根据查询条件在Elasticsearch服务器中查询得到目标关键信息及其对应的目标存储标识,再利用目标存储标识在非关系型数据库中查询得到目标原始数据,利用精简化存储的Elasticsearch服务器提供更高性能的查询能力。性能的查询能力。性能的查询能力。

【技术实现步骤摘要】
一种数据存储及查询方法、装置、设备及可读存储介质


[0001]本申请涉及存储
,特别是涉及一种数据存储及查询方法、装置、设备及可读存储介质。

技术介绍

[0002]现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。大数据的价值体现在以下几个方面:对大量消费者提供产品或服务的企业可以利用大数据进行精准营、做小而美模式的中小微企业可以利用大数据做服务转型、面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。对大数据使用的前提,便是存储以及检索,实现大量数据的快速存储和按照检索要求在所收集的数据中快速查询到想要的数据。故查询速度以及存储容量的上限是决定大数据平台的关键因素。
[0003]Elasticsearch是一个基于全文搜索引擎Lucene全文搜索引擎的搜索服务器,它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口,故现今常被用于实现大数据的存储和查询,即本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储及查询方法,其特征在于,包括:当接收到待存储原始数据时,提取所述待存储原始数据的关键信息;将所述待存储原始数据存入预设的非关系型数据库,得到所述待存储原始数据在所述非关系型数据库中的存储标识;将所述关键信息和所述存储标识存入Elasticsearch服务器;当接收到数据查询请求时,获取所述数据查询请求的查询条件;根据所述查询条件在所述Elasticsearch服务器中查询得到目标关键信息以及与所述目标关键信息对应的目标存储标识;利用所述目标存储标识在所述非关系型数据库中查询得到目标原始数据。2.根据权利要求1所述的数据存储及查询方法,其特征在于,所述提取所述待存储原始数据的关键信息,具体包括:将所述待存储原始数据进行分词,得到分词结果;将所述分词结果按照逗号分割,得到字符串;以所述字符串为所述关键信息。3.根据权利要求1所述的数据存储及查询方法,其特征在于,根据所述查询条件在所述Elasticsearch服务器中查询得到目标关键信息以及与所述目标关键信息对应的目标存储标识,具体包括:根据所述查询条件生成Elasticsearch DSL查询语句;利用所述Elasticsearch DSL查询语句在所述Elasticsearch服务器中查询得到所述目标关键信息以及与所述目标关键信息对应的所述目标存储标识。4.根据权利要求1所述的数据存储及查询方法,其特征在于,所述非关系型数据库具体为MongoDB;相应的,所述存储标识具体为所述待存储原始数据在所述MongoDB中对应的唯一标识。5.根据权利要求1所述的数据存储及查询方法,其特征在于,所述利用所述目标存储标识在所述非关系型数据库中查询得到目标原始数据,具体包括:根据...

【专利技术属性】
技术研发人员:钱仕鹏范渊吴卓群王欣
申请(专利权)人:杭州安恒信息技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1