一种数据提取方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种数据提取方法、装置、设备和存储介质。该方法包括：定时获取预先创建的数据汇总表中目标数据状态的目标数据；根据目标数据的操作类型进行分组组装，得到对应的待提取数据；将待提取数据提取至对应的目标搜索引擎中。本实施例通过定时获取数据汇总表中目标数据状态的目标数据，并按照目标数据的操作类型进行分组组装，即分批地将目标数据提取出来，并导入至对应的目标搜索引擎中，避免一次性提取的数据过多，导致服务器压力过大的现象，从而保证了服务器提取数据的稳定性。从而保证了服务器提取数据的稳定性。从而保证了服务器提取数据的稳定性。

【技术实现步骤摘要】
一种数据提取方法、装置、设备和存储介质


[0001]本专利技术实施例涉及数据处理领域，尤其涉及一种数据提取方法、装置、设备和存储介质。

技术介绍

[0002]随着社会信息化的高速发展，传统行业信息化建设迫在眉睫，以及各个行业电商的建设。而在这些系统建设中有一个至关重要的模块那就是搜索模块，传统的搜索是使用传统的关系型数据库提供常规的服务，然而随着数据量的增加，及用户搜索行为的多样化及系统对搜索的统计监控管理等，传统数据库对于这些功能已经应接不暇了。随之产生了Elasticsearch对搜索服务的非关系型数据库，然而Elasticsearch不能提供持久化数据库的所有功能，所以里面的数据也需要从持久化数据库导入，在此过程中，数据的处理，自动化，安全性以及对系统造成的压力也越来越受到重视。
[0003]常规的搜索引擎Elasticsearch数据导入实现：一般的数据同步需要人工触发，具体为先从其它系统请求数据，在得到要更新的数据之后导入得到的数据，具体为删除之前搜索引擎库里面的所有数据，再一次性导入其它系统里面传入搜索引擎的全部数据，在处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据提取方法，其特征在于，包括：定时获取预先创建的数据汇总表中目标数据状态的目标数据；根据所述目标数据的操作类型进行分组组装，得到对应的待提取数据；将所述待提取数据提取至对应的目标搜索引擎中。2.根据权利要求1所述的方法，其特征在于，在所述定时获取预先创建的数据汇总表中目标数据状态的目标数据之前，还包括：通过本系统接口接收MQ中间件发送的原始数据；对所述原始数据进行数据处理和汇总，得到对应的数据汇总表。3.根据权利要求2所述的方法，其特征在于，所述对所述原始数据进行数据处理和汇总，得到对应的数据汇总表，包括：按照所述原始数据的业务类型将所述原始数据存储至对应的数据临时表中；根据每个所述数据临时表对应的数据处理触发器，将所述数据临时表中的原始数据存储至对应的数据正式表中；将所述数据临时表、所述数据临时表对应的数据正式表和所述原始数据的操作类型进行关联，生成对应的数据汇总表。4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：确定预先创建的数据汇总表中与原始数据同一业务编号的目标数据的消费失败重试次数；在所述消费失败重试次数达到预设重试次数阈值时，将所述目标数据存储至预先配置的消费失败数据表中；在所述消费失败重试次数未达到预设重试次数阈值时，将所述目标数据存储至预先配置的消息发送表中，作为原始数据再次发送至MQ中间件以进行消费。5.根据权利要求1所述的方法，其特征在于，在将消息发送表...

【专利技术属性】
技术研发人员：刘华荣，孙龙，龙正鹏，王骏，游锦颖，刘思思，黄政延，叶广，
申请(专利权)人：软通动力信息技术集团股份有限公司，
类型：发明
国别省市：