一种json数据快速同步及记录的方法及系统装置制造方法及图纸

本发明专利技术公开了一种json数据快速同步及记录的方法及系统装置，其所述方法为配置文件编辑模块获取同步数据的同步需求文件，创建配置文件；配置文件解析模块读取所述配置文件，解析识别每个同步数据的json数据源与唯一的目标数据库，并建立数据库连接；json数据读取模块获取解析的所述json数据源读取json数据，按照配置中的数据字段映射关系生成批量同步的SQL语句；关系型数据库写入模块根据所述数据库连接，批量写入json数据至目标数据库。本发明专利技术能够灵活快速地编辑、修改配置文件，并根据配置文件，自动进行数据同步，控制同步过程，记录同步日志、监控同步进度与统计同步结果。本发明专利技术方便灵活、快速高效的将json数据同步到关系型数据库中，大大提高开发效率。

A method and system device for fast synchronization and recording of JSON data

The present invention discloses a method and system device for fast synchronization and recording of JSON data. The method is to configure file editing module to obtain synchronization requirements files of synchronous data, create configuration files, configure file parsing module to read the configuration file, and analyze the JSON data source and unique item for identifying each synchronous data. The database connection is set up and the database connection is set up; the JSON data reading module gets the parsed JSON data source to read the JSON data, and generates the batch SQL statement according to the data field mapping relation in the configuration; the relational database write module is connected to the database according to the database, and the batch writes to the JSON data to the target database. The invention can edit and modify the configuration files flexibly and quickly. According to the configuration file, it can synchronize data automatically, control synchronization process, record synchronization log, monitor synchronization progress and statistical synchronization results. The invention is convenient, flexible, fast and efficient for synchronizing JSON data into relational databases, greatly improving the development efficiency.

【技术实现步骤摘要】
一种json数据快速同步及记录的方法及系统装置
本专利技术涉及计算机程序开发领域，特别涉及一种json格式的数据同步到关系型数据库的数据同步方法及系统。
技术介绍
json是一种轻量级的数据格式，它基于ECMAScript的一个子集，其灵活的数据组织方式备受开发人员青睐，因此在程序开发中被广泛使用。关系型数据库存储数据的特点通常是一个数据库包含若干个数据表，每个数据表包含若干个数据字段，每个字段表示当前数据实体的一个属性。开发过程中，经常会遇到需要将json数据同步到关系型数据库当中的时候。每次做这种开发，都需要针对实际的json数据形式单独编写同步过程的代码，而如果有多个类似的数据同步，就需要分别编写，这极大的增加了代码冗余，并降低了开发效率。因此，有必要针对这一常见开发场景提出一种通用快捷高效的方案，以提高开发效率。
技术实现思路
为解决
技术介绍
中所述的重复编码、不通用及低效率的问题，本专利技术提供了一种json数据快速同步及记录的方法，能够快速高效的将json数据同步到关系型数据库中。其具体技术方案如下：第一方面：一种json数据快速同步及记录的方法，所述方法包括：配置文件编辑模块获取同步数据的同步需求文件，创建配置文件；配置文件解析模块读取所述配置文件，解析识别每个同步数据的json数据源与唯一的目标数据库，并建立数据库连接；json数据读取模块获取解析的所述json数据源读取json数据，按照配置中的数据字段映射关系生成批量同步的SQL语句；关系型数据库写入模块根据所述数据库连接，批量写入json数据至目标数据库；日志记录与统计模块实时记录上述数据同步方法过程中的参数、指标。结合第一方面，在第一方面可能的实现方式中的第一种情况为，所述json数据为字符型的数据，所述json数据源包含并不限于.txt文件、.json文件、.js文件。结合第一方面的第一种情况，在第一方面可能的实现方式中的第二种情况为，所述配置文件包含json数据源文件信息、目标数据库信息和字段映射关系。结合第一方面的第二种情况，在第一方面可能的实现方式中的第三种情况为，所述json数据源文件包含的json数据格式为数组形式，并且数组的每个元素为一个json对象，每个json对象包含相同的数据属性。结合第一方面的第三种情况，在第一方面可能的实现方式中的第四种情况为，所述目标数据库为关系型数据库，数据存储在每个数据表中，数据表依托于数据库，数据表包含数据行与列，数据列即字段，关系型数据包含但不限于Oracle、MySql、SQLServer、MariaDB。结合第一方面的第四种情况，在第一方面可能的实现方式中的第五种情况为，还包括数据同步过程控制模块对同步过程进行控制。第二方面，一种json数据快速同步及记录的系统，所述系统包括：配置文件编辑模块，用于对配置文件进行编辑、修改，修改后，重新启动同步系统即生效；配置文件解析模块，用于自动读取配置文件，并进行准确解析，识别每个同步数据的源数据与目标数据库，并建立连接；json数据读取模块，用于自动读取json数据源，按照配置文件的数据字段映射关系生成批量同步的SQL语句；关系型数据库写入模块，用于根据所述数据库连接，批量写入json数据至目标数据库；数据同步过程控制模块，用于启动同步程序后，对同步过程进行控制；日志记录与统计模块，用于实时记录同步过程中的参数、指标。第三方面，一种json数据快速同步及记录的系统装置，所述系统装置包括：配置文件编辑模块，用于对配置文件进行编辑、修改，修改后，重新启动同步系统即生效；配置文件解析模块，用于自动读取配置文件，并进行准确解析，识别每个同步数据的源数据与目标数据库，并建立连接；json数据读取模块，用于自动读取json数据源，按照配置文件的数据字段映射关系生成批量同步的SQL语句；关系型数据库写入模块，用于根据所述数据库连接，批量写入json数据至目标数据库；数据同步过程控制模块，用于启动同步程序后，对同步过程进行控制；日志记录与统计模块，用于实时记录同步过程中的参数、指标；所述系统装置还包括存储器、处理器、总线，所述存储器同所述处理器通过总线进行数据连接，所述存储器存储有多条操作指令，所述处理器加载所述操作指令并执行，实现第一方面及其第一种至第五种情况所述的方法。有益效果：本专利技术能够灵活快速地编辑、修改配置文件，并根据配置文件，自动进行数据同步，控制同步过程，记录同步日志、监控同步进度与统计同步结果。本专利技术方便灵活、快速高效的将json数据同步到关系型数据库中，大大提高开发效率。附图说明图1为实施例一的总体流程示意图;图2为实施例二的配置文件主要包含内容；图3为实施例三的系统模块图；图4为实施例四的系统工作架构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术的部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一：如图1所示，一种json数据快速同步及记录的方法，所述方法包括：步骤101，配置文件编辑模块获取同步数据的同步需求文件，包含json数据源文件信息、目标数据库信息和字段关系映射的配置文件；步骤102，配置文件解析模块读取所述配置文件，据解析到的配置文件解析识别每个同步数据的json数据源与唯一的目标数据库，并建立数据库连接；步骤103，json数据读取模块获取解析的所述json数据源读取json数据，按照配置中的数据字段映射关系生成批量同步的SQL语句；步骤104，关系型数据库写入模块根据所述数据库连接，批量写入json数据至目标数据库。系统启动后，根据配置文件解析到的信息，快速读取json源数据信息，与目标数据库建立连接，形成相应的同步SQL语句并执行，即可完成数据从文件到目标数据库的落地同步。日志记录与统计模块实时记录上述数据同步方法过程中的参数、指标，并且同步过程可以随时控制启停、继续等。实施例二：如图2所示，所述配置文件包含内容如下：1.原始json数据源文件信息，如文件类型（filetype）、文件路径（path）、文件编码格式（charset）等；2.同步的目标数据库信息，主要包含数据库类型标识dbtype（主要有Oracle、MicrosoftSQLServer、MySql等）和建立同步到的目标数据库的主机（host）、端口号（port）、用户名（username）、密码（password）、编码格式（charset）、数据库（database）等连接信息和写入数据表（datatable）。3.数据映射关系，主要包含json数据对象的各个子属性（property）与关系型数据库中所对应的数据表字段（field）建立的一一对应的映射。本方法与系统可以同时进行多个数据同步工作。json数据源文件、目标数据库信息和字段关系映射是构成一个完整数据同步过程配置的必须信息，因此如果要同时进行多个数据同步工作，只需要多个这样的配置信息即可，如图2所示的“数据A同步配置”和“数据B同步配置”。实施例三如图3所示，本本文档来自技高网...

【技术保护点】
一种json数据快速同步及记录的方法，其特征在于，所述方法包括：配置文件编辑模块获取同步数据的同步需求文件，创建配置文件；配置文件解析模块读取所述配置文件，解析识别每个同步数据的json数据源与唯一的目标数据库，并建立数据库连接；json数据读取模块获取解析的所述json数据源读取json数据，按照配置中的数据字段映射关系生成批量同步的SQL语句；关系型数据库写入模块根据所述数据库连接，批量写入json数据至目标数据库；日志记录与统计模块实时记录上述数据同步方法过程中的参数、指标。

【技术特征摘要】
1.一种json数据快速同步及记录的方法，其特征在于，所述方法包括：配置文件编辑模块获取同步数据的同步需求文件，创建配置文件；配置文件解析模块读取所述配置文件，解析识别每个同步数据的json数据源与唯一的目标数据库，并建立数据库连接；json数据读取模块获取解析的所述json数据源读取json数据，按照配置中的数据字段映射关系生成批量同步的SQL语句；关系型数据库写入模块根据所述数据库连接，批量写入json数据至目标数据库；日志记录与统计模块实时记录上述数据同步方法过程中的参数、指标。2.根据权利要求1所述的一种json数据快速同步及记录的方法，其特征在于，所述json数据为字符型的数据，所述json数据源包含并不限于.txt文件、.json文件、.js文件。3.根据权利要求2所述的一种json数据快速同步及记录的方法，其特征在于，所述配置文件包含json数据源文件信息、目标数据库信息和字段映射关系。4.根据权利要求3所述的一种json数据快速同步及记录的方法，其特征在于，所述json数据源文件包含的json数据格式为数组形式，并且数组的每个元素为一个json对象，每个json对象包含相同的数据属性。5.根据权利要求4所述的一种json数据快速同步及记录的方法，其特征在于，所述目标数据库为关系型数据库，数据存储在每个数据表中，数据表依托于数据库，数据表包含数据行与列，数据列即字段，关系型数据包含但不限于Oracle、MySql、SQLServer、MariaDB。6.根据权利要求5所述的一种json数据快速同步及记录的方法，其特征...

【专利技术属性】
技术研发人员：卢鼎，
申请(专利权)人：武汉楚鼎信息技术有限公司，
类型：发明
国别省市：湖北,42