【技术实现步骤摘要】
本专利技术涉及数据处理,尤其涉及一种多目标表数据写入方法、装置、电子设备及存储介质。
技术介绍
1、在实时数据采集、转换和持久化领域,flink计算引擎是一种常见和高效的实现工具和开源框架,基于flink可以分布式、低延迟、exactly-once语义、高可靠的处理实时和离线数据;例如通过配置数据源、目标表信息和处理逻辑启动一个flink任务即可实现从数据源到目标表的数据实时写入。但是在一些复杂应用场景例如对整库进行数据同步并写入到多张目标表时,原生的组件和工具类难以满足需求,因此基于flink引擎强大性能的基础上如何实现整库多表的同步写入是一种亟需解决的问题。
技术实现思路
1、本专利技术提出一种多目标表数据写入方法、装置、电子设备及存储介质,旨在至少在一定程度上解决相关技术中的技术问题之一。
2、一方面,本专利技术实施例提供了一种多目标表数据写入方法,包括:
3、获取待写入数据;
4、根据待写入数据的元素特征调用第一函数类生成待写入数据的目标资源分配
...【技术保护点】
1.一种多目标表数据写入方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述资源分配映射表用于存放第一键值对,所述第一键值对的键元素和值元素依次对应关联的资源分配标识和资源分配对象;所述基于所述目标资源分配标识在预设的资源分配映射表中进行遍历匹配,得到匹配结果,包括以下步骤:
3.根据权利要求1所述的多目标表数据写入方法,其特征在于,当所述匹配结果不为空,所述匹配结果中带有资源分配对象;所述方法还包括以下步骤:
4.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述根据所述目标表名
...【技术特征摘要】
1.一种多目标表数据写入方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述资源分配映射表用于存放第一键值对,所述第一键值对的键元素和值元素依次对应关联的资源分配标识和资源分配对象;所述基于所述目标资源分配标识在预设的资源分配映射表中进行遍历匹配,得到匹配结果,包括以下步骤:
3.根据权利要求1所述的多目标表数据写入方法,其特征在于,当所述匹配结果不为空,所述匹配结果中带有资源分配对象;所述方法还包括以下步骤:
4.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述根据所述目标表名获取所述目标表的结构元数据,包括以下步骤:
5.根据权利要求1所述的多目标表数据写入方法,其特征在于,所述...
【专利技术属性】
技术研发人员:王超逸,张云龙,阮宜龙,
申请(专利权)人:中电信人工智能科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。