一种基于搜索引擎的数据同步方法及系统技术方案

本发明专利技术涉及一种基于搜索引擎的数据同步方法，包括：根据业务创建索引仓库，在索引仓库内创建索引字段；解析索引字段对应的数据源，并以第一表的形式配置数据源对应的全量同步数据信息；调用全量同步数据信息对应的同步接口，将数据源导入索引仓库，完成全量数据的同步。本发明专利技术用于解决数据同步过程效率低下的问题，实现了实时自动同步数据，保证了数据的完整性和准确性。

【技术实现步骤摘要】
一种基于搜索引擎的数据同步方法及系统
本专利技术涉及通信
，特别是一种基于搜索引擎的数据同步方法及系统。
技术介绍
在这个信息化的时代，搜索引擎在各行各业发挥着极其重要的作用，例如，网店的店主需要向搜索引擎提供关于其商品的简介，用于买家搜索和阅读。而传统的搜索引擎，其后台管理是通过代表数据信息的字符串来实现数据的传递，然而字符串不能直接一目了然的被开发者获知，在同步数据的过程中数据可能会被丢失或篡改，导致数据信息不准确，而管理者又很难在短时间内获知。另外，商家等用户提供的数据源的格式种类繁多，而后台管理中解析数据源的插件不能百分百满足各类格式的数据源的解析，导致数据源的解析失败，这极大的影响了搜索引擎对于数据信息传递的效率和准确性。
技术实现思路
本专利技术提供一种基于搜索引擎的数据同步方法及系统，用于解决数据同步过程效率低下的问题，实现了实时自动同步数据，保证了数据的完整性和准确性。本专利技术解决上述技术问题的技术方案如下：一种基于搜索引擎的数据同步方法，包括：步骤1、根据业务创建索引仓库，在所述索引仓库内创建索引字段；步骤2、解析所述索引字段对应的数据源，并以第一表的形式配置所述数据源对应的全量同步数据信息；步骤3、调用所述全量同步数据信息对应的同步接口，将所述数据源导入所述索引仓库，完成全量数据的同步。本专利技术的有益效果是：本专利技术通过配置索引字段以及以表的形式配置全量同步数据信息，避免了传统的利用字符串等作为信息载体的问题，实现了数据信息的可视化；另外，在通过同步接口将全量数据导入索引仓库后，管理人员进入后台管理页面可查看全量数据是否已存在于索引仓库中。本方法极大地提高了将全量数据导入索引仓库的成功率和准确率，实现了实时自动同步数据，保证了数据的完整性和准确性。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述同步方法还包括：步骤4、当所述数据源对应有增量数据时，以第二表的形式配置每同步一次所述增量数据的时间间隔；步骤5、调用所述同步接口，将所述增量数据和所述时间间隔导入所述索引仓库；步骤6、在所述第二表中记录所述增量数据导入所述索引仓库的时间；步骤7、以所述时刻为起点，等待所述时间间隔后，同步所述增量数据，完成增量数据的同步。本专利技术进一步的有益效果是：在一项业务对应的全量数据经同步后，若该全量数据有对应的增量数据时，还可以对该增量数据进行同步，增大了数据同步的灵活性。进一步，所述步骤1包括：步骤1.1、根据业务创建索引仓库；步骤1.2、向所述索引仓库内导入配置文件；步骤1.3、在所述配置文件中配置查询信息，所述查询信息包括数据源表和数据源唯一编码；步骤1.4、根据所述数据源表，创建索引字段，所述索引字段包括索引字段名和所述字段名对应的字段类型。进一步，当所述第一表配置有多个所述数据源对应的所述全量同步数据信息时，所述步骤3包括：按照所述数据源唯一编码的顺序，依次调用所述全量同步数据信息对应的同步接口，将多个所述数据源导入所述索引仓库；或者，当所述第一表配置有多个所述数据源对应的所述全量同步数据信息，且接收到仅同步一个所述数据源的指令时，所述步骤3包括：根据该数据源对应的数据源唯一编码，调用所述全量同步数据信息对应的同步接口，并将该数据源导入所述索引仓库。进一步，需要重新同步一个数据源或多个数据源时，所述步骤3还包括：根据需要重新同步的数据源对应的所述数据源唯一编码，调用所述全量同步数据信息对应的同步接口，将需要重新同步的数据源导入所述索引仓库。本专利技术还提供了一种基于搜索引擎的数据同步系统，包括：索引字段创建模块，用于根据业务创建索引仓库，并在所述索引仓库内创建索引字段；同步数据信息配置模块，用于根据所述索引字段创建模块创建的所述索引字段，解析所述索引字段对应的数据源，并以第一表的形式配置所述数据源对应的全量同步数据信息；同步数据导入模块，用于根据所述同步数据信息配置模块配置的所述全量同步数据信息，调用所述全量同步数据信息对应的同步接口，并将所述数据源导入所述索引仓库。本专利技术的有益效果是：本系统通过索引字段创建模块配置索引字段以及通过同步数据信息配置模块以表的形式配置全量同步数据信息，避免了传统的利用字符串等作为信息载体的问题，实现了数据信息的可视化；另外，在通过同步数据导入模块将全量数据导入索引仓库后，管理人员进入后台管理页面可查看全量数据是否已存在于索引仓库中。本系统极大地提高了将全量数据导入索引仓库的成功率和准确率，实现了实时自动同步数据，保证了数据的完整性和准确性。进一步，所述同步数据信息配置模块还用于：当所述数据源对应有增量数据时，以第二表的形式配置每同步一次所述增量数据的时间间隔；所述同步数据导入模块还用于：调用所述同步接口，将所述增量数据和所述时间间隔导入所述索引仓库；所述同步数据信息配置模块还用于：在所述第二表中记录所述增量数据导入所述索引仓库的时间；所述同步数据导入模块还用于：以所述时刻为起点，等待所述时间间隔后，同步所述增量数据。进一步，所述索引字段创建模块具体用于：根据业务创建索引仓库，向所述索引仓库内导入配置文件，在所述配置文件中配置查询信息，所述查询信息包括数据源表和数据源唯一编码，根据所述数据源表，创建索引字段，所述索引字段包括索引字段名和所述字段名对应的字段类型。进一步，当所述第一表配置有多个所述数据源对应的所述全量同步数据信息时，所述同步数据导入模块用于：按照所述数据源唯一编码的顺序，依次调用所述全量同步数据信息对应的同步接口，将多个所述数据源导入所述索引仓库；或者，当所述第一表配置有多个所述数据源对应的所述全量同步数据信息，且接收到仅同步一个所述数据源的指令时，所述同步数据导入模块用于：根据该数据源对应的数据源唯一编码，调用所述全量同步数据信息对应的同步接口，并将该数据源导入所述索引仓库。进一步，需要重新同步一个数据源或多个数据源时，所述同步数据导入模块还用于：在根据需要重新同步的数据源对应的所述数据源唯一编码，调用所述全量同步数据信息对应的同步接口，将需要重新同步的数据源导入所述索引仓库。附图说明图1为本专利技术实施例一提供的一种基于搜索引擎的数据同步方法的流程示意图；图2为本专利技术实施例二提供的一种基于搜索引擎的数据同步方法的流程示意图；图3为图1和/或图2中的步骤110的流程示意图；图4为本专利技术实施例三提供的一种基于搜索引擎的数据同步系统的示意性结构图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。实施例一：一种基于搜索引擎的数据同步方法100，如图1所示，包括：步骤110、根据业务创建索引仓库，在索引仓库内创建索引字段；步骤120、解析索引字段对应的数据源，并以第一表的形式配置数据源对应的全量同步数据信息；步骤130、调用全量同步数据信息对应的同步接口，将数据源导入索引仓库，完成全量数据的同步。实施例二：可选的，作为本专利技术的另一个实施例，如图2所示，所述方法100包括：步骤110、根据业务创建索引仓库，在索引仓库内创建索引字段；步骤120、解析索引字段对应的数据源，并以第一表的形式配置数据源对应的全量同步数据信息；步骤130、调用全量同步数据信息对应的同步接口，将数据源导入索引仓库，完成全本文档来自技高网...

【技术保护点】
一种基于搜索引擎的数据同步方法，其特征在于，包括：步骤1、根据业务创建索引仓库，在所述索引仓库内创建索引字段；步骤2、解析所述索引字段对应的数据源，并以第一表的形式配置所述数据源对应的全量同步数据信息；步骤3、调用所述全量同步数据信息对应的同步接口，将所述数据源导入所述索引仓库，完成全量数据的同步。

【技术特征摘要】
1.一种基于搜索引擎的数据同步方法，其特征在于，包括：步骤1、根据业务创建索引仓库，在所述索引仓库内创建索引字段；步骤2、解析所述索引字段对应的数据源，并以第一表的形式配置所述数据源对应的全量同步数据信息；步骤3、调用所述全量同步数据信息对应的同步接口，将所述数据源导入所述索引仓库，完成全量数据的同步。2.根据权利要求1所述的一种基于搜索引擎的数据同步方法，其特征在于，所述同步方法还包括：步骤4、当所述数据源对应有增量数据时，以第二表的形式配置每同步一次所述增量数据的时间间隔；步骤5、调用所述同步接口，将所述增量数据和所述时间间隔导入所述索引仓库；步骤6、在所述第二表中记录所述增量数据导入所述索引仓库的时刻；步骤7、以所述时刻为起点，等待所述时间间隔后，同步所述增量数据，完成增量数据的同步。3.根据权利要求1或2所述的一种基于搜索引擎的数据同步方法，其特征在于，所述步骤1包括：步骤1.1、根据业务创建索引仓库；步骤1.2、向所述索引仓库内导入配置文件；步骤1.3、在所述配置文件中配置查询信息，所述查询信息包括数据源表和数据源唯一编码；步骤1.4、根据所述数据源表，创建索引字段，所述索引字段包括索引字段名和所述字段名对应的字段类型。4.根据权利要求3所述的一种基于搜索引擎的数据同步方法，其特征在于，当所述第一表配置有多个所述数据源对应的所述全量同步数据信息时，所述步骤3包括：按照所述数据源唯一编码的顺序，依次调用所述全量同步数据信息对应的同步接口，将多个所述数据源导入所述索引仓库；或者，当所述第一表配置有多个所述数据源对应的所述全量同步数据信息，且接收到仅同步一个所述数据源的指令时，所述步骤3包括：根据该数据源对应的数据源唯一编码，调用所述全量同步数据信息对应的同步接口，并将该数据源导入所述索引仓库。5.根据权利要求3所述的一种基于搜索引擎的数据同步方法，其特征在于，需要重新同步一个数据源或多个数据源时，所述步骤3包括：根据需要重新同步的数据源对应的所述数据源唯一编码，调用所述全量同步数据信息对应的同步接口，将需要重新同步的数据源导入所述索引仓库。6.一种基于搜索引擎的数据同步系统，其特征在于，包括：索引字段创建模块，用于根据业务创...

【专利技术属性】
技术研发人员：赵艳飞，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京,11