本申请公开了一种数据同步方法、装置、设备及存储介质。该方法包括：从目标业务系统的关系型数据库中读取关系型数据；根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，并将所述绝对路径添加至所述关系型数据中；根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据；将所述二进制数据转换为Base64字符串添加至所述关系型数据，以得到包含所述Base64字符串的目标关系型数据，并将所述目标关系型数据存储至数据中心。实现一次性同时同步业务的关系型数据和图片文件数据，提高了数据同步的能力，并通过建立关系型数据与图片文件的强关联，提高了数据查询的便捷性。捷性。捷性。
【技术实现步骤摘要】
一种数据同步方法、装置及电子设备
[0001]本专利技术涉及数据存储领域，特别涉及一种数据同步方法、装置、设备及存储介质。
技术介绍
[0002]当前，数据治理作为技术与管理相结合的一套持续改善管理机制，贯穿在数据管理的整个过程中，通常包括了组织架构、政策制度、技术工具、数据标准、流程规范、监督及考核等方方面面，将其他几个数据管理职能贯穿、协同在一起。数据治理涉及元数据管理、主数据管理、数据质量、数据集成、数据共享、监控与报告等多方面，而如何进行数据治理形成有效的数据资产，提供高质量的数据服务是目前广泛关注的问题。现有技术中，通过Kettle工具进行文件同步，但Kettle不能同时同步两种类型的数据，单次任务只能对一种类型的数据进行同步，并且缺乏文件格式转换机制。现有技术中，还存在一些数据集成工具面对多种类型数据也只能单独同步某种类型数据，降低了数据同步能力，进一步降低了数据服务的质量。
技术实现思路
[0003]有鉴于此，本专利技术的目的在于提供一种数据同步方法、装置、设备及介质，能够同时同步关系型数据和图片文件。其具体方案如下：
[0004]第一方面，本申请公开了一种数据同步方法，包括：
[0005]从目标业务系统的关系型数据库中读取关系型数据；
[0006]根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，并将所述绝对路径添加至所述关系型数据中；
[0007]根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据；
[0008]将所述二进制数据转换为Base64字符串添加至所述关系型数据，以得到包含所述Base64字符串的目标关系型数据，并将所述目标关系型数据存储至数据中心。
[0009]可选的，所述根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，包括：
[0010]读取所述目标关系型数据中的绝对路径字段，作为所述关系型数据对应的图片文件的绝对路径；
[0011]或，读取所述目标关系型数据中的相对路径字段，并通过向所述相对路径字段添加相应的字段前缀以得到所述图片文件的绝对路径；
[0012]或，读取所述目标关系型数据中的目标参数字段，根据所述目标参数字段确定出所述图片文件的绝对路径；其中，所述目标参数字段为与所述图片文件存在映射连接的字段。
[0013]可选的，所述根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据之前，还包括：
[0014]根据本地服务器与所述图片文件所在目标服务器的关系，确定出对应的图片文件读取组件；
[0015]根据所述图片文件读取组件的类型以及预先配置的服务器参数与所述目标服务器的建立连接，并获取预先配置的绝对路径名称字段；其中，所述服务器参数包括IP、端口、账号和密码；
[0016]根据预先配置的线程数创建对应数量的所述图片文件读取组件。
[0017]可选的，所述根据本地服务器与所述图片文件所在目标服务器的关系，确定出对应的图片文件读取组件，包括：
[0018]若所述本地服务器与所述图片文件所在的目标服务器相同，则选择读取本地图片组件为所述图片文件读取组件；
[0019]若所述本地服务器与所述图片文件所在的目标服务器不同，且所述目标服务器为Linux系统，则选择SCP读取图片组件作为所述图片文件读取组件；
[0020]若所述本地服务器与所述图片文件所在的目标服务器不同，且所述目标服务器为Windows系统，则选择SFTP读取图片组件作为所述图片文件读取组件。
[0021]可选的，所述根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，并将所述绝对路径添加至所述关系型数据中之后，还包括：
[0022]根据所述目标业务系统和所述关系型数据确定出所述关系型数据对应的图片文件的文件原名，并将所述文件原名添加至所述关系型数据中。
[0023]可选的，所述将所述二进制数据转换为Base64字符串添加至所述关系型数据，以得到包含所述Base64字符串的目标关系型数据，包括：
[0024]将所述二进制数据写入内存数组得到二进制数组，并根据所述二进制数组确定所述图片文件的图片格式；
[0025]将所述二进制数组转换为Base64字符串，并根据所述图片格式在所述Base64字符串的头部添加相应的图片头信息；
[0026]将含有所述图片头信息的Base64字符串添加至所述关系型数据，以得到包含所述Base64字符串的目标关系型数据。
[0027]可选的，所述根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据过程中，还包括：
[0028]当出现异常情况时，查看是否存在预先创建的异常处理配置；
[0029]若不存在异常处理配置，则停止所述ETL过程并输出异常日志；
[0030]若存在所述异常处理配置，则根据所述异常处理配置基于当前错误信息和错误编码生成错误日志，并继续执行下一条数据。
[0031]可选的，所述将所述目标关系型数据存储至数据中心之后，还包括：
[0032]当所述数据中心接收到客户端发送的数据获取请求后，根据所述数据获取请求从目标数据库中筛选出相应的目标关系型数据，并将所述目标关系型数据发送给所述客户端，以便所述客户端基于所述目标关系型数据直接实现相应图片文件的浏览和下载。
[0033]第二方面，本申请公开了一种数据同步装置，包括：
[0034]数据获取模块，用于从目标业务系统的关系型数据库中读取关系型数据；
[0035]绝对路径添加模块，用于根据所述关系型数据确定出所述关系型数据对应的图片
文件的绝对路径，并将所述绝对路径添加至所述关系型数据中；
[0036]图片文件数据读取模块，用于根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据；
[0037]数据转换及存储模块，用于将所述二进制数据转换为Base64字符串添加至所述关系型数据，以得到包含所述Base64字符串的目标关系型数据，并将所述目标关系型数据存储至数据中心。
[0038]第三方面，本申请公开了一种电子设备，包括：
[0039]存储器，用于保存计算机程序；
[0040]处理器，用于执行所述计算机程序，以实现前述的数据同步方法。
[0041]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的数据同步方法。
[0042]本申请中，从目标业务系统的关系型数据库中读取关系型数据；根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，并将所述绝对路径添加至所述关系型数据中；根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据；将所述二进制数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：从目标业务系统的关系型数据库中读取关系型数据；根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，并将所述绝对路径添加至所述关系型数据中；根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据；将所述二进制数据转换为Base64字符串添加至所述关系型数据，以得到包含所述Base64字符串的目标关系型数据，并将所述目标关系型数据存储至数据中心。2.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，包括：读取所述目标关系型数据中的绝对路径字段，作为所述关系型数据对应的图片文件的绝对路径；或，读取所述目标关系型数据中的相对路径字段，并通过向所述相对路径字段添加相应的字段前缀以得到所述图片文件的绝对路径；或，读取所述目标关系型数据中的目标参数字段，根据所述目标参数字段确定出所述图片文件的绝对路径；其中，所述目标参数字段为与所述图片文件存在映射连接的字段。3.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述关系型数据中的绝对路径利用相应的预先创建的图片文件读取组件读取所述图片文件的二进制数据之前，还包括：根据本地服务器与所述图片文件所在目标服务器的关系，确定出对应的图片文件读取组件；根据所述图片文件读取组件的类型以及预先配置的服务器参数与所述目标服务器的建立连接，并获取预先配置的绝对路径名称字段；其中，所述服务器参数包括IP、端口、账号和密码；根据预先配置的线程数创建对应数量的所述图片文件读取组件。4.根据权利要求3所述的数据同步方法，其特征在于，所述根据本地服务器与所述图片文件所在目标服务器的关系，确定出对应的图片文件读取组件，包括：若所述本地服务器与所述图片文件所在的目标服务器相同，则选择读取本地图片组件为所述图片文件读取组件；若所述本地服务器与所述图片文件所在的目标服务器不同，且所述目标服务器为Linux系统，则选择SCP读取图片组件作为所述图片文件读取组件；若所述本地服务器与所述图片文件所在的目标服务器不同，且所述目标服务器为Windows系统，则选择SFTP读取图片组件作为所述图片文件读取组件。5.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述关系型数据确定出所述关系型数据对应的图片文件的绝对路径，并将所述绝对路径添加至所述关系型数据中之...
【专利技术属性】
技术研发人员：苏鑫，蔡斌，
申请(专利权)人：四川省明厚天信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。