【技术实现步骤摘要】
本专利技术涉及数据同步，具体的说是一种postgresql数据库与starrocks数据库同步的方法。
技术介绍
1、传统的数据同步技术，包含使用etl工具如kettle和datax等，传统同步的方式的主要缺点有：
2、1)需要大量的作业配置，不可重复使用，一张表配置一个作业；
3、2)同步效率较低，根据现场环境实测使用kettle和datax的效率在1m/s左右。
技术实现思路
1、本专利技术针对目前技术发展的需求和不足之处，提供一种postgresql数据库与starrocks数据库同步的方法，目的为解决在postgresql数据库导入到starrocks的内存消耗高、效率处理慢、不支持调度、无通用支撑能力、不可配置的问题，提高数据同步的效率和准确性。
2、本专利技术的一种postgresql数据库与starrocks数据库同步的方法，解决上述技术问题采用的技术方案如下：
3、一种postgresql数据库与starrocks数据库同步的...
【技术保护点】
1.一种Postgresql数据库与StarRocks数据库同步的方法，其特征在于，首先引入Xxljob工具，编写shell脚本，随后基于脚本信息，利用PostgreSQL的COPY命令导出数据到CSV文件，利用StarRocks的StreamLoad命令将CSV文件的数据导入到StarRocks数据库，实现PostgreSQL数据到StarRocks的快速导入。
2.根据权利要求1所述的一种Postgresql数据库与StarRocks数据库同步的方法，其特征在于，Xxljob工具包括Xxljob调度中心和Xxljob执行器，Xxljob执行器负责具体执...
【技术特征摘要】
1.一种postgresql数据库与starrocks数据库同步的方法，其特征在于，首先引入xxljob工具，编写shell脚本，随后基于脚本信息，利用postgresql的copy命令导出数据到csv文件，利用starrocks的streamload命令将csv文件的数据导入到starrocks数据库，实现postgresql数据到starrocks的快速导入。
2.根据权利要求1所述的一种postgresql数据库与starrocks数据库同步的方法，其特征在于，xxljob工具包括xxljob调度中心和xxljob执行器，xxljob执行器负责具体执行由xxljob调度中心分配的任务。
3.根据权利要求2所述的一种postgresql数据库与starrocks数据库同步的方法，其特征在于，使用springboot开发xxljob执行器，并将xxljob执行器分布式部署并注册到xxljob服务端，xxljob服务端安装有psql客户端工具；
4.根据权利要求3所述的一种postgresql数据库与starrocks数据库同步的方法，其特征在于，通过glue(shell)在线的方式编写shell脚本，实现postgresql数据导...
【专利技术属性】
技术研发人员：韩明涛，赵海龙，柴宗弘，
申请(专利权)人：浪潮通信信息系统天津有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。