基于智能制造数字底座平台的数据实时同步方法及装置制造方法及图纸

本申请提供一种基于智能制造数字底座平台的数据实时同步方法及装置，所述方法包括：接收客户端发送的同步任务配置信息，所述同步任务配置信息由所述客户端根据用户在所述客户端上输入的配置数据生成；根据所述同步任务配置信息，生成目标同步任务；将所述目标同步任务添加至所述智能制造数字底座平台的任务列表中，并启动执行所述目标同步任务；当所述目标同步任务执行时，由所述目标同步任务获取所述来源数据表的原始数据，将所述来源数据表中的数据转换为预设格式，得到待同步数据，并根据所述数据映射信息将所述待同步数据同步至所述目标数据表中

【技术实现步骤摘要】
基于智能制造数字底座平台的数据实时同步方法及装置


[0001]本申请涉及数据同步
，具体而言，涉及一种基于智能制造数字底座平台的数据实时同步方法及装置
。

技术介绍

[0002]数据实时同步在数据中台和数据仓库中发挥着关键的作用，有助于实现数据的集成
、
一致性和实时性，提供数据驱动的洞察和决策支持，数据中台和数据仓库为数据分析和报告提供基础
。
数据实时同步可以将实时生成的数据或实时更新的数据传输至数据中台中或者数据仓库中，以支持实时数据分析
、
实时报表和仪表盘等需求，这样，业务用户和决策者可以获得最新的数据
。
[0003]现有技术中，数据仓库和数据中台之间的数据同步是通过批处理作业进行的，可能产生一定的延迟
。

技术实现思路

[0004]本申请的目的在于，针对上述现有技术中的不足，提供一种基于智能制造数字底座平台的数据实时同步方法及装置，减少任务同步的延迟
。
[0005]为实现上述目的，本申请实施例采用的技术方案如下：
[0006]第一方面，本申请实施例提供了一种基于智能制造数字底座平台的数据实时同步方法，应用于智能制造数字底座平台的服务器，所述方法包括：
[0007]接收客户端发送的同步任务配置信息，所述同步任务配置信息由所述客户端根据用户在所述客户端上输入的配置数据生成，所述同步任务配置信息中包括：来源数据表的标识
、
目标数据表的标识以及数据映射信息；<br/>[0008]根据所述同步任务配置信息，生成目标同步任务；
[0009]将所述目标同步任务添加至所述智能制造数字底座平台的任务列表中，并启动执行所述目标同步任务；
[0010]当所述目标同步任务执行时，由所述目标同步任务获取所述来源数据表的原始数据，将所述来源数据表中的数据转换为预设格式，得到待同步数据，并根据所述数据映射信息将所述待同步数据同步至所述目标数据表中
。
[0011]可选的，所述将所述来源数据表中的数据转换为预设格式，得到待同步数据，包括：
[0012]根据所述来源数据表中的数据类型，确定目标格式转换策略；
[0013]将所述来源数据表中的数据使用所述目标格式转换策略进行数据的格式转换，得到所述待同步数据
。
[0014]可选的，所述根据所述来源数据表中的数据类型，确定目标格式转换策略，包括：
[0015]若所述数据类型为复杂卡夫卡类型，则确定所述目标格式转换策略为
JS
解析策略；
[0016]若所述数据类型为简单卡夫卡类型，则确定所述目标格式转换策略为信息抽取类解析策略；
[0017]若所述数据类型为复杂实时数据类型，则确定所述目标格式转换策略为模板引擎解析策略
。
[0018]可选的，所述根据所述来源数据表中的数据类型，确定目标格式转换策略之前，还包括：
[0019]根据所述来源数据表的标识，获取所述来源数据表的数据；
[0020]对所述来源数据表中的数据进行解析，得到所述来源数据表中的数据类型
。
[0021]可选的，所述根据所述数据映射信息将所述待同步数据同步至所述目标数据表中，包括：
[0022]根据所述数据映射信息，确定所述待同步数据中各字段在所述目标数据表中的对应字段；
[0023]将所述待同步数据中各字段的值同步至所述目标数据表中的各对应字段中
。
[0024]可选的，还包括：
[0025]在所述目标同步任务执行时，监测所述目标数据表中各字段的值；
[0026]若监测到所述目标数据表中存在异常的字段的值，则输出报警信息，所述报警信息用于指示存在异常的字段的标识以及字段的值
。
[0027]可选的，所述根据所述同步任务配置信息，生成目标同步任务，包括：
[0028]根据所述同步任务配置信息以及基于用户在客户端输入的任务类型，生成所述目标同步任务
。
[0029]第二方面，本申请实施例还提供了一种基于智能制造数字底座平台的数据实时同步装置，所述装置包括：
[0030]接收模块，用于接收客户端发送的同步任务配置信息，所述同步任务配置信息由所述客户端根据用户在所述客户端上输入的配置数据生成，所述同步任务配置信息中包括：来源数据表的标识
、
目标数据表的标识以及数据映射信息；
[0031]生成模块，用于根据所述同步任务配置信息，生成目标同步任务；
[0032]启动模块，用于将所述目标同步任务添加至所述智能制造数字底座平台的任务列表中，并启动执行所述目标同步任务；
[0033]转换模块，用于当所述目标同步任务执行时，由所述目标同步任务获取所述来源数据表的原始数据，将所述来源数据表中的数据转换为预设格式，得到待同步数据，并根据所述数据映射信息将所述待同步数据同步至所述目标数据表中
。
[0034]可选的，所述转换模块具体用于：
[0035]根据所述来源数据表中的数据类型，确定目标格式转换策略；
[0036]将所述来源数据表中的数据使用所述目标格式转换策略进行数据的格式转换，得到所述待同步数据
。
[0037]可选的，所述转换模块具体用于：
[0038]若所述数据类型为复杂卡夫卡类型，则确定所述目标格式转换策略为
JS
解析策略；
[0039]若所述数据类型为简单卡夫卡类型，则确定所述目标格式转换策略为信息抽取类
解析策略；
[0040]若所述数据类型为复杂实时数据类型，则确定所述目标格式转换策略为模板引擎解析策略
。
[0041]可选的，所述转换模块具体用于：
[0042]根据所述来源数据表的标识，获取所述来源数据表的数据；
[0043]对所述来源数据表中的数据进行解析，得到所述来源数据表中的数据类型
。
[0044]可选的，所述转换模块，具体用于：
[0045]根据所述数据映射信息，确定所述待同步数据中各字段在所述目标数据表中的对应字段；
[0046]将所述待同步数据中各字段的值同步至所述目标数据表中的各对应字段中
。
[0047]可选的，所述装置还包括：
[0048]监测模块，具体用于在所述目标同步任务执行时，监测所述目标数据表中各字段的值；若监测到所述目标数据表中存在异常的字段的值，则输出报警信息，所述报警信息用于指示存在异常的字段的标识以及字段的值
。
[0049]可选的，所述生成模块具体用于：
[0050]根据所述同步任务配置信息以及基于用户在客户端输入的任务类型，生成所述目标同步任务
。
[0051]第三方面，本申请实施例还提供了一种电子设备，包括：处理器
、
存储介质和总线，所述存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于智能制造数字底座平台的数据实时同步方法，其特征在于，应用于智能制造数字底座平台的服务器，所述方法包括：接收客户端发送的同步任务配置信息，所述同步任务配置信息由所述客户端根据用户在所述客户端上输入的配置数据生成，所述同步任务配置信息中包括：来源数据表的标识
、
目标数据表的标识以及数据映射信息；根据所述同步任务配置信息，生成目标同步任务；将所述目标同步任务添加至所述智能制造数字底座平台的任务列表中，并启动执行所述目标同步任务；当所述目标同步任务执行时，由所述目标同步任务获取所述来源数据表的原始数据，将所述来源数据表中的数据转换为预设格式，得到待同步数据，并根据所述数据映射信息将所述待同步数据同步至所述目标数据表中
。2.
根据权利要求1所述的基于智能制造数字底座平台的数据实时同步方法，其特征在于，所述将所述来源数据表中的数据转换为预设格式，得到待同步数据，包括：根据所述来源数据表中的数据类型，确定目标格式转换策略；将所述来源数据表中的数据使用所述目标格式转换策略进行数据的格式转换，得到所述待同步数据
。3.
根据权利要求2所述的基于智能制造数字底座平台的数据实时同步方法，其特征在于，所述根据所述来源数据表中的数据类型，确定目标格式转换策略，包括：若所述数据类型为复杂卡夫卡类型，则确定所述目标格式转换策略为
JS
解析策略；若所述数据类型为简单卡夫卡类型，则确定所述目标格式转换策略为信息抽取类解析策略；若所述数据类型为复杂实时数据类型，则确定所述目标格式转换策略为模板引擎解析策略
。4.
根据权利要求3所述的基于智能制造数字底座平台的数据实时同步方法，其特征在于，所述根据所述来源数据表中的数据类型，确定目标格式转换策略之前，还包括：根据所述来源数据表的标识，获取所述来源数据表的数据；对所述来源数据表中的数据进行解析，得到所述来源数据表中的数据类型
。5.
根据权利要求1所述的基于智能制造数字底座平台的数据实时同步方法，其特征在于，所述根据所述数据映射信息将所述待同步数据同步至所述目标数据...

【专利技术属性】
技术研发人员：王峰，熊亮，陈德威，方宾，
申请(专利权)人：无锡雪浪数制科技有限公司，
类型：发明
国别省市：