一种多目标表数据写入方法、装置、电子设备及存储介质制造方法及图纸

技术编号:43343312 阅读:19 留言:0更新日期:2024-11-15 20:39
本发明专利技术公开了一种多目标表数据写入方法、装置、电子设备及存储介质,方法包括:获取待写入数据;根据待写入数据的元素特征调用第一函数类生成待写入数据的目标资源分配标识;基于目标资源分配标识在预设的资源分配映射表中进行遍历匹配,得到匹配结果;当匹配结果为空,根据目标表名获取目标表的结构元数据;基于结构元数据,响应于创建指令生成目标表的目标写入对象;将目标写入对象存放到预设的写入对象映射表;根据目标写入对象调用第二函数类生成目标资源分配对象;将目标资源分配对象存放到资源分配映射表;基于目标资源分配对象调用目标写入对象将待写入数据写入目标表。本发明专利技术能够实现多目标表数据写入,可广泛应用于数据处理技术领域。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种多目标表数据写入方法、装置、电子设备及存储介质


技术介绍

1、在实时数据采集、转换和持久化领域,flink计算引擎是一种常见和高效的实现工具和开源框架,基于flink可以分布式、低延迟、exactly-once语义、高可靠的处理实时和离线数据;例如通过配置数据源、目标表信息和处理逻辑启动一个flink任务即可实现从数据源到目标表的数据实时写入。但是在一些复杂应用场景例如对整库进行数据同步并写入到多张目标表时,原生的组件和工具类难以满足需求,因此基于flink引擎强大性能的基础上如何实现整库多表的同步写入是一种亟需解决的问题。


技术实现思路

1、本专利技术提出一种多目标表数据写入方法、装置、电子设备及存储介质,旨在至少在一定程度上解决相关技术中的技术问题之一。

2、一方面,本专利技术实施例提供了一种多目标表数据写入方法,包括:

3、获取待写入数据;

4、根据待写入数据的元素特征调用第一函数类生成待写入数据的目标资源分配标识;目标资源分配标本文档来自技高网...

【技术保护点】

1.一种多目标表数据写入方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述资源分配映射表用于存放第一键值对,所述第一键值对的键元素和值元素依次对应关联的资源分配标识和资源分配对象;所述基于所述目标资源分配标识在预设的资源分配映射表中进行遍历匹配,得到匹配结果,包括以下步骤:

3.根据权利要求1所述的多目标表数据写入方法,其特征在于,当所述匹配结果不为空,所述匹配结果中带有资源分配对象;所述方法还包括以下步骤:

4.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述根据所述目标表名获取所述目标表的结构...

【技术特征摘要】

1.一种多目标表数据写入方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述资源分配映射表用于存放第一键值对,所述第一键值对的键元素和值元素依次对应关联的资源分配标识和资源分配对象;所述基于所述目标资源分配标识在预设的资源分配映射表中进行遍历匹配,得到匹配结果,包括以下步骤:

3.根据权利要求1所述的多目标表数据写入方法,其特征在于,当所述匹配结果不为空,所述匹配结果中带有资源分配对象;所述方法还包括以下步骤:

4.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述根据所述目标表名获取所述目标表的结构元数据,包括以下步骤:

5.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述...

【专利技术属性】
技术研发人员:王超逸张云龙阮宜龙
申请(专利权)人:中电信人工智能科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1