【技术实现步骤摘要】
本专利技术涉及数据存储领域，具体涉及一种数据实时写入数据表的方法、装置和系统。
技术介绍
1、如图3所示，为现有技术中的数据写入iceberg的数据表的流程图，写入的流程基于单表设计。每有一张表同步写入至iceberg中，则同时需要挂起一个flink实时任务流，即同步多个表的时候需要依次启动多个flink任务流，运维管理成本高；cpu内存资源利用也会存在不充分的情况。而实际场景中不乏多表、整库的同步，因为实际业务中表的数量非常多，则需开启同等数量的实时流任务，那么就需要对这些实时流任务进行监控，还需要为每个实时流任务估算并分配其合理的资源，否则难以达到资源的充分利用，所以运维管理成本大大增加。
技术实现思路
1、本专利技术实施例提供一种数据实时写入数据表的方法、装置和系统，能够解决现有技术中同步多个表时实时流任务多、监控实时流任务成本高以及运维管理成本大大增加的技术问题。
2、为达上述目的，第一方面，本专利技术实施例提供一种数据实时写入数据表的方法，包括：
3、根据所捕捉的待写入数据对应的数据内容，结合待写入数据对应的存入类型，为每条待写入数据分别标记对应的表标识，以及标记数据表所在数据库的库标识，将每条待写入数据分别封装成预设数据格式的封装数据；
4、采用统一数据接口实时将每条封装数据下发至分配单元；
5、通过分配单元查找与每条封装数据对应的表标识匹配的任务编写器；
6、通过各任务编写器并行将匹配的封装数据对应的数据写入
7、第二方面，本专利技术实施例提供一种数据实时写入数据表的装置，包括：
8、数据转化单元，用于根据所捕捉的待写入数据对应的数据内容，结合待写入数据对应的存入类型，为每条待写入数据分别标记对应的表标识，以及标记数据表所在数据库的库标识，将每条待写入数据分别封装成预设数据格式的封装数据；
9、过渡单元，用于采用统一数据接口实时将每条封装数据下发至分配单元；
10、分配单元，用于通过分配单元查找与每条封装数据对应的表标识匹配的任务编写器；
11、任务编写器，用于通过各任务编写器并行将匹配的封装数据对应的数据写入表标识对应的数据表，针对任一任务编写器，通过任务编写器，按下发时间顺序将匹配的封装数据对应的数据串行写入到表标识对应的数据表。
12、第三方面，本专利技术实施例提供一种数据实时写入数据表的系统，包括前述的数据实时写入数据表的装置，以及数据库，其中：
13、数据库，用于存储封装数据所写入的数据表。
14、上述技术方案具有如下有益效果：只需将捕捉到的数据源的待写入数据，分别标记对应的数据表标识和数据库标识，并对数据类型(即数据格式)进行改变，封装成预设数据格式的封装数据，那么用户可以自动将多个封装数据可以同时下发到过渡单元内，过渡单元通过统一数据接口实时将每条封装数据下发至分配单元，通过分配单元查找与每条封装数据对应的数据表标识匹配的任务编写器；分工协作，则不需要针对交替出现的写入到不同数据表内的数据在出现时分别设置各自对应的flink任务流，减少了flink任务流的数量。通过各任务编写器并行将每条封装数据对应的数据写入数据表标识对应的数据表，实现写入多张数据的数据可以同时并行写入；针对任一任务编写器，通过所述任务编写器，按下发时间顺序将匹配的所述封装数据对应的数据串行写入到表标识对应的数据表，实现写入单张数据表内的数据串行写入，提高写入速度；总体上降低了流任务的数量，降低了监控流任务的成本，降低了运维管理成本，实现资源的合理利用。
本文档来自技高网...【技术保护点】
1.一种数据实时写入数据表的方法，其特征在于，包括：
2.根据权利要求1所述的数据实时写入数据表的方法，其特征在于，还包括：
3.根据权利要求2所述的数据实时写入数据表的方法，其特征在于，针对存入类型为新增数据类型的待写入数据，所述待写入数据内携带新增数据；
4.根据权利要求3所述的数据实时写入数据表的方法，其特征在于，所述任务编写器是指删除类任务编写器或新增类任务编写器；
5.根据权利要求4所述的数据实时写入数据表的方法，其特征在于，所述通过各任务编写器并行将匹配的所述封装数据对应的数据写入表标识对应的数据表，针对任一任务编写器，通过所述任务编写器，按下发时间顺序将匹配的所述封装数据对应的数据串行写入到表标识对应的数据表，包括：
6.根据权利要求4所述的数据实时写入数据表的方法，所述针对同一表标识对应的所述第一删除类封装数据和所述第二删除类封装数据，通过匹配的所述删除类任务编写器，按下发时间顺序将所述第一已存数据和第二已存数据串行写入到表标识对应的数据表内的删除数据区域内，包括：
7.根据权利要求1所述的数
8.根据权利要求7所述的数据实时写入数据表的方法，其特征在于，还包括：
9.一种数据实时写入数据表的装置，其特征在于，包括：
10.一种数据实时写入数据表的系统，其特征在于，包括权利要求9所述的数据实时写入数据表的装置，以及数据库，其中：
...【技术特征摘要】
1.一种数据实时写入数据表的方法，其特征在于，包括：
2.根据权利要求1所述的数据实时写入数据表的方法，其特征在于，还包括：
3.根据权利要求2所述的数据实时写入数据表的方法，其特征在于，针对存入类型为新增数据类型的待写入数据，所述待写入数据内携带新增数据；
4.根据权利要求3所述的数据实时写入数据表的方法，其特征在于，所述任务编写器是指删除类任务编写器或新增类任务编写器；
5.根据权利要求4所述的数据实时写入数据表的方法，其特征在于，所述通过各任务编写器并行将匹配的所述封装数据对应的数据写入表标识对应的数据表，针对任一任务编写器，通过所述任务编写器，按下发时间顺序将匹配的所述封装数据对应的数据串行写入...
【专利技术属性】
技术研发人员：余韬，王伟，王晓伟，
申请(专利权)人：中国电子投资控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。