一种框架结构的数据同步系统及方法技术方案

本发明专利技术公开了一种框架结构的数据同步系统及方法，其中，包括：第一储存单元，用以保存需要同步的数据；同步单元，与第一储存单元连接；第二储存单元，与同步单元连接；同步单元包括：一数据接口，用以接收一外部输入的同步指令；一指令转换模块，与数据接口连接，用以将同步指令转换为关联于一第一语言的操作指令；一数据处理模块，与指令转换模块连接，用以于第一储存单元中执行操作指令，并获取对应的操作结果；以及数据处理模块将操作结果同步至第二储存单元。其技术方案的有益效果在于，操作过程简单方便，且整个同步数据同步过程中使用者无需掌握Python编程语言，通过同步单元即可实现同步操作。

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种框架结构的数据同步系统。
技术介绍
随着互联网技术的不断发展，大数据处理已成为当下一种热门技术，其中大数据（big data），具体是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。由于数据库对大数据的处理日趋频繁，使得数据库被用户正常访问例如查询以及下载操作受到影响，基于上述问题可通过将数据库中的数据搬迁至搜索引擎服务器的存储系统中则可以很好的解决上述的问题，在数据搬迁处理中通常采用的Python编程语言实现，因为python语言操作便捷，以命令的方式执行代码，正因为如此对于执行同步操作的使用者需要具备一定的Python编程语言的能力，因此使得系统的维护成本上升。
技术实现思路
针对现有技术中同步数据至搜索引擎服务器中存在的上述问题，现提供一种旨在不要熟悉Python语言，通过模块快可实现将数据进行处理同步至第二数据库中的框架结构的数据同步系统及方法。具体技术方案如下：一种框架结构的数据同步系统，其中，包括：第一储存单元，用以保存需要同步的数据；同步单元，与所述第一储存单元连接；第二储存单元，与所述同步单元连接；所述同步单元包括：一数据接口，用以接收一外部输入的同步指令；一指令转换模块，与所述数据接口连接，用以将所述同步指令转换为关联于一第一语言的操作指令；一数据处理模块，与所述指令转换模块连接，用以于所述第一储存单元中执行所述操作指令，并获取对应的操作结果； 以及所述数据处理模块将所述操作结果同步至所述第二储存单元。优选的，所述第一语言为Python语言。优选的，提供一操作界面，所述操作界面与所述数据接口连接，用以将所述操作界面编辑形成所述同步指令并输出至所述数据接口。优选的，所述第一储存单元为一第一数据库。优选的，所述指令转换模块包括一第一数据库接口，所述第一数据库接口用以供所述指令转换模块连接所述第一数据库。优选的，所述第二储存单元为一第二数据库。优选的，所述指令转换模块包括一第二数据库接口，所述第二数据库接口用以供所述指令转换模块连接所述第二数据库。优选的，所述数据处理模块包括一第一执行模块，所述第一执行模块用以于所述第一储存单元中执行所述操作指令。优选的，所述数据处理模块包括一结果获取模块，所述结果获取模块用以于所述第一储存单元执行所述操作指令后获取所述操作结果。优选的，所述数据处理模块包括一第二执行模块，所述第二执行模块用以将所述操作结果同步至所述第二储存单元。优选的，所述第二储存单元为基于Lucene的搜索服务器的数据库。优选的，所述数据处理模块将所述操作结果同步至所述第二储存单元之前先将所述操作结果转换为配合所述第二储存单元的格式。优选的，所述格式为基于Lucene的搜索服务器的数据库的文件格式。优选的，所述同步单元包括日志管理模块，所述日志管理模块与所述数据处理模块连接，用以将处理所述数据的记录形成日志。一种框架结构的数据同步方法，其特征在于，提供一第一储存单元，用以保存需要同步的数据；提供一第二储存单元；提供一同步单元，分别与所述第一储存单元以及所述第二储存单元连接；包括以下步骤：步骤S1、所述同步单元接收一同步指令；步骤S2、所述同步单元根据将同步指令转换为关联于第一语言的操作指令；步骤S3、所述同步单元于所述第一储存单元中执行所述操作指令，以获取对应的操作结果；步骤S4、所述同步单元将所述操作结果同步至第二储存单元。上述技术方案具有如下优点或有益效果： 使用者可通过同步单元将外部输入的同步指令转换为关联于第一语言的操作指令，进而于第一储存单元中执行操作指令获取对应操的操作结果，最终将操作结果同步至第二储存单元中，操作过程简单方便，且整个同步数据同步过程中使用者无需掌握Python编程语言，通过同步单元即可实现同步操作。附图说明参考所附附图，以更加充分的描述本专利技术的实施例。然而，所附附图仅用于说明和阐述，并不构成对本专利技术范围的限制。图1为本专利技术一种框架结构的数据同步系统的结构示意图；图2为本专利技术一种框架结构的数据同步系统实施例中，关于指令转换模块的结构示意图；图3为本专利技术一种框架结构的数据同步系统实施例中，关于数据处理模块的结构示意图；图4为本专利技术一种框架结构的数据同步系统方法实施例的流程图。上述说明书中各附图标记表示：（1）、同步单元；（2）、第一储存单元；（3）、第二储存单元；（11）数据接口；（12）、指令转换模块；（13）、数据处理模块；（14）、日志管理模块；（121）、第一数据库接口；（122）、第二数据库接口；（131）、第一执行模块；（132）、结果获取模块；（133）、第二执行模块。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。本专利技术包括一种框架结构的数据同步系统如图1所示，一种框架结构的数据同步系统的实施例，其中，包括：：第一储存单元2，用以保存需要同步的数据；同步单元1，与第一储存单元2连接；第二储存单元3，与同步单元1连接；同步单元1包括：一数据接口11，用以接收一外部输入的同步指令；一指令转换模块12，与数据接口11连接，用以将同步指令转换为关联于一第一语言的操作指令；一数据处理模块13，与指令转换模块12连接，用以于第一储存单元2中执行操作指令，并获取对应的操作结果； 以及数据处理模块13将操作结果同步至第二储存单元3。上述技术方案中，为了方便使用者将第一储存单元2中的数据同步至第二储存单元3，可通过数据接口11接收外部输入的同步指令，其中同步指令用以表示需要执行数据同步的指令，在同步单元1接收到外部的同步指令后，可通过指令转换模块12将同步指令转换为关联于第一语言的操作指令，应当指出的是，同步单元1可同时接收多个不同的同步指令，进而通过指令转换单元对接收的多个同步指令分别转换为关联于第一语言的操作指令；在操作指令形成后，通过数据处理模块13与第一储存储存单元2中执行操作指令，并形成对应的操作结果，并通过数据处理模块13将对应操作指令的操作结果同步至第二储存单元3。在一种较优的实施方式中，第一语言为Python语言，Python具有丰富和强大的库，它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写。在一种较优的实施方式中，提供一操作界面，操作界面与数据接口11连接，用以将操作界面编辑形成同步指令并输出至数据接口11。上述技术方案中，外部输入的同步指令可通过上述提供的操作界面编辑输入，其中同步指令的输入可通过使用者录入或者操作界面中会设置有供使用本文档来自技高网...

【技术保护点】
一种框架结构的数据同步系统，其特征在于，包括：第一储存单元，用以保存需要同步的数据；同步单元，与所述第一储存单元连接；第二储存单元，与所述同步单元连接；所述同步单元包括：一数据接口，用以接收一外部输入的同步指令；一指令转换模块，与所述数据接口连接，用以将所述同步指令转换为关联于一第一语言的操作指令；一数据处理模块，与所述指令转换模块连接，用以于所述第一储存单元中执行所述操作指令，并获取对应的操作结果； 以及所述数据处理模块将所述操作结果同步至所述第二储存单元。

【技术特征摘要】
1.一种框架结构的数据同步系统，其特征在于，包括：第一储存单元，用以保存需要同步的数据；同步单元，与所述第一储存单元连接；第二储存单元，与所述同步单元连接；所述同步单元包括：一数据接口，用以接收一外部输入的同步指令；一指令转换模块，与所述数据接口连接，用以将所述同步指令转换为关联于一第一语言的操作指令；一数据处理模块，与所述指令转换模块连接，用以于所述第一储存单元中执行所述操作指令，并获取对应的操作结果； 以及所述数据处理模块将所述操作结果同步至所述第二储存单元。2.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述第一语言为Python语言。3.根据权利要求1所述的框架结构的数据同步系统，其特征在于，提供一操作界面，所述操作界面与所述数据接口连接，用以将所述操作界面编辑形成所述同步指令并输出至所述数据接口。4.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述第一储存单元为一第一数据库。5.根据权利要求4所述的框架结构的数据同步系统，其特征在于，所述指令转换模块包括一第一数据库接口，所述第一数据库接口用以供所述指令转换模块连接所述第一数据库。6.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述第二储存单元为一第二数据库。7.根据权利要求6所述的框架结构的数据同步系统，其特征在于，所述指令转换模块包括一第二数据库接口，所述第二数据库接口用以供所述指令转换模块连接所述第二数据库。8.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述数据处理模块包括一第一执行模块，所述第一执行模块用以于所述第一储存单...

【专利技术属性】
技术研发人员：李计，
申请(专利权)人：上海瀚银信息技术有限公司，
类型：发明
国别省市：上海;31