适用于大数据量的数据检索方法、装置、设备及存储介质制造方法及图纸

本申请涉及大数据技术领域，揭示了一种适用于大数据量的数据检索方法、装置、设备及存储介质，其中方法包括：根据数据检索请求携带的检索配置数据确定目标检索方式；当目标检索方式为引擎检索时根据检索配置数据向目标搜索引擎发送引擎检索请求，获取目标搜索引擎发送的引擎检索结果；当引擎检索结果为失败或者目标检索方式为主库检索时根据检索配置数据确定目标业务服务数据库，根据检索配置数据向目标业务服务数据库发送主库搜索请求，获取目标业务服务数据库根据预设的主库索引库和主库搜索请求发送的主库检索结果，根据主库检索结果更新目标搜索引擎。从而提高了响应效率，降低了维度难度，提高了针对聚合查询或数据统计的检索结果的准确性。计的检索结果的准确性。计的检索结果的准确性。

【技术实现步骤摘要】
适用于大数据量的数据检索方法、装置、设备及存储介质


[0001]本申请涉及到大数据
，特别是涉及到一种适用于大数据量的数据检索方法、装置、设备及存储介质。

技术介绍

[0002]在大数据的应用场景中，数据库如果单数据表的数据较多并且索引字段过多的时候，条件查询对CPU(中央处理器)和IO(输入/输出)接口的消耗都会随着数据量增加剧增，导致数据检索速度比较慢。业界常用的做法是重建单字段索引或分库分表，但是在针对需要聚合查询或数据统计的业务场景的数据检索时，需要针对不同业务场景开发代码，增加了维护难度，而且分库分表将导致聚合查询或数据统计容易出现数据不准确。

技术实现思路

[0003]本申请的主要目的为提供一种适用于大数据量的数据检索方法、装置、设备及存储介质，旨在解决现有技术在大数据量的检索中采用重建单字段索引或分库分表的方法以减少条件查询对CPU和IO接口的消耗，但是在针对需要聚合查询或数据统计的业务场景的数据检索时，需要针对不同业务场景开发代码，增加了维护难度，而且分库分表将导致聚合查询或数据统计容易出现数据不准确的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于大数据量的数据检索方法，其特征在于，所述方法包括：获取数据检索请求，其中，所述数据检索请求携带有检索配置数据；根据所述检索配置数据确定目标检索方式；当所述目标检索方式为引擎检索时，根据所述检索配置数据向目标搜索引擎发送引擎检索请求，获取所述目标搜索引擎根据所述引擎检索请求发送的引擎检索结果；当所述引擎检索结果为失败，或者，所述目标检索方式为主库检索时，根据所述检索配置数据确定目标业务服务数据库，根据所述检索配置数据向所述目标业务服务数据库发送主库搜索请求，获取所述目标业务服务数据库根据预设的主库索引库和所述主库搜索请求发送的主库检索结果，当所述引擎检索结果为失败时根据所述主库检索结果更新所述目标搜索引擎，其中，所述主库索引库包括：前缀索引和组合索引。2.根据权利要求1所述的适用于大数据量的数据检索方法，其特征在于，所述根据所述检索配置数据确定目标检索方式的步骤，包括：判断所述检索配置数据是否携带有检索方式；若是，则将所述检索配置数据携带的所述检索方式作为所述目标检索方式；若否，采用预设的检索方式判断规则，将所述检索配置数据进行所述检索方式的匹配，作为所述目标检索方式。3.根据权利要求1所述的适用于大数据量的数据检索方法，其特征在于，所述根据所述检索配置数据向所述目标业务服务数据库发送主库搜索请求，获取所述目标业务服务数据库根据预设的主库索引库和所述主库搜索请求发送的主库检索结果的步骤，包括：根据所述检索配置数据的检索条件数据生成所述主库搜索请求；将所述主库搜索请求发送给所述目标业务服务数据库中的搜索脚本，其中，所述搜索脚本用于根据所述主库搜索请求携带的参数，从所述目标业务服务数据库的所述主库索引库中进行索引检索，得到索引检索结果，根据所述索引检索结果在所述目标业务服务数据库的业务数据库中进行数据检索，得到所述主库检索结果；获取所述搜索脚本发送的所述主库检索结果。4.根据权利要求1所述的适用于大数据量的数据检索方法，其特征在于，所述根据所述检索配置数据向所述目标业务服务数据库发送主库搜索请求的步骤之前，包括：获取数据更新请求；根据所述数据更新请求携带的参数确定业务服务数据库，作为待更新的业务服务数据库；基于Spring事务扩展机制，将所述数据更新请求携带的待更新的数据双写入所述目标搜索引擎和所述待更新的业务服务数据库。5.根据权利要求4所述的适用于大数据量的数据检索方法，其特征在于，所述基于Spring事务扩展机制，将所述数据更新请求携带的待更新的数据双写入所述目标搜索引擎和所述待更新的业务服务数据库的步骤，包括：根据所述数据更新请求生成Spring事务；基于所述Spring事务，将所述待更新的数据双写入所述目标搜索引擎和所述待更新的业务服务数据库，当写入所述目标搜索引擎和写入所述待更新的业务服务数据库均为成功时，确定第一双写结果为成功，否则，确定所述第一双写结果为失败；
若所...

【专利技术属性】
技术研发人员：李勇，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：