【技术实现步骤摘要】
一种Hive的同步方法、系统、设备以及介质
本专利技术涉及灾备同步领域,具体涉及一种Hive的同步方法、系统、设备以及存储介质。
技术介绍
目前常用的灾备同步方案主要是通过懒加载,主从模式将数据和元数据直接同步到另外的仓库,准实时同步方式对Hive元数据和数据进行全量的export,然后替换从仓库的数据,没有审核机制,不能很好的保护数据。
技术实现思路
有鉴于此,为了克服上述问题的至少一个方面,本专利技术实施例提出一种Hive的同步方法,包括以下步骤:获取满足预设条件的SQL命令;利用所述SQL命令生成消息;提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息;判断所述审核信息对应的审核状态;响应于所述审核状态为审核通过,利用审核通过的消息进行同步。在一些实施例中,提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息,进一步包括:判断所述审核信息是否存在;响应于所述审核信息存在,获取所述审核单位对应的审核信息。在一些实
【技术保护点】
1.一种Hive的同步方法,其特征在于,包括以下步骤:/n获取满足预设条件的SQL命令;/n利用所述SQL命令生成消息;/n提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息;/n判断所述审核信息对应的审核状态;/n响应于所述审核状态为审核通过,利用审核通过的消息进行同步。/n
【技术特征摘要】
1.一种Hive的同步方法,其特征在于,包括以下步骤:
获取满足预设条件的SQL命令;
利用所述SQL命令生成消息;
提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息;
判断所述审核信息对应的审核状态;
响应于所述审核状态为审核通过,利用审核通过的消息进行同步。
2.如权利要求1所述的方法,其特征在于,提取所述消息中的审核单位并根据所述审核单位获取对应的审核信息,进一步包括:
判断所述审核信息是否存在;
响应于所述审核信息存在,获取所述审核单位对应的审核信息。
3.如权利要求2所述的方法,其特征在于,还包括:
响应于所述审核信息不存在,新建所述审核单位对应的审核信息。
4.如权利要求1所述的方法,其特征在于,还包括:
响应于所述审核状态为新建,将所述消息转移到延时处理队列;
对所述延时处理队列中的消息进行审核并更新对应的审核状态;
响应于所述审核状态为审核通过,利用审核通过的消息进行同步。
5.如权利要求4所述的方法,其特征在于,对所述延时处理队列中的消息进行审核并更新对应的审核状态,进一步包括:
获取所述延时处理队列中预设数量的消息;
对所述预设数量的消息中具有相同审核单位的消息进行合并;
对合...
【专利技术属性】
技术研发人员:李勇,
申请(专利权)人:苏州浪潮智能科技有限公司,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。