一种数据高效检索方法技术

本发明专利技术涉及数据架构技术领域，具体提供了一种数据高效检索方法，具有以下步骤：S1、商品列表数据同步至搜索引擎；S2、商品明细数据同步至NOSQL数据库。与现有技术相比，本发明专利技术通过实践和反复验证确定了Presto+Bulk API同步标准商品列表数据至搜索引擎，提供海量的数据。根据关键字快速检索的功能，提供了稳定的速度和异常数据的捕获，可以很方便的完成数据的同步。通过Hfile文件加载至NOSQL数据库提供商品明细数据的查询和趋势的横向对比功能。明细数据的查询和趋势的横向对比功能。明细数据的查询和趋势的横向对比功能。

【技术实现步骤摘要】
一种数据高效检索方法


[0001]本专利技术涉及数据架构
，具体提供一种数据高效检索方法。

技术介绍

[0002]当前大量的标准化数据主要存储在以Hive构建的数据仓库平台，要实现标准数据迁移到搜索引擎及NOSQL数据库,需要基于数据量、数据结构等方面进行全面评估和实践找到合适解决方案，搜索引擎数据收集和迁移主要有以下三种形式，一是数据收集和同步组件Logstach，组件提供JDBC接口可以方便接入多种数据库数据；二是利用Hive提供了与搜索引擎整合的文件存储形式，可以通过外部表的形式实现数据仓的统一整合；三是利用Bulk API,实现数据的快速写入。
[0003]通过实践比较，因Logstach目前不支持通过JDBC读取hive数据，所以尝试将大量数据通过迁移工具同步到关系型数据库然后再通过Logstach进行数据同步，但是百亿数据在进行数据迁移的过程中容易出现数据丢失的情况，并且需要大量的人员手动干预工作，因此该方案缺乏稳定性。

技术实现思路

[0004]本专利技术是针对上述现有技术的不足，提供一种实用性强的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据高效检索方法，其特征在于，具有以下步骤：S1、商品列表数据同步至搜索引擎；S2、商品明细数据同步至NOSQL数据库。2.根据权利要求1所述的一种数据高效检索方法，其特征在于，在步骤S1中,进行商品检索时，可以通过商品名称、商品ID、品牌名称、销售额和地理区域进行商品条目检索。3.根据权利要求2所述的一种数据高效检索方法，其特征在于，在步骤S1中，数据读取完后封装成键值数据提交给ES Bulk，同时采用Bulk API进行数据的写入。4.根据权利要求3所述的一种数据高效检索方法，其特征在于，在步骤S1中，数据出现异常会触发重试机制，数据重新提交并通过重写的方法实现对异常数据的捕获，对于异常数据会存储数据的key值字段用于异常数据写入数量一致性的校验。5.根据权利要求1所述的一种数据高效检索方法，其特征在于，在步骤S2中，商品数据列表同步到搜索引擎提供按照关键字进行数据的检索，商品的明细数据同步到Hbase...

【专利技术属性】
技术研发人员：刘方文，杨胜华，宋设，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：