一种Clickhouse丢失数据的回写方法、装置、设备及介质制造方法及图纸

本申请公开了一种Clickhouse丢失数据的回写方法、装置、设备及介质，涉及计算机技术领域，包括：当数据写入Clickhouse失败，则从开源流处理平台中，获取写入失败的数据得到目标丢失数据；当接收到通过开源流处理平台发送的分布式应用程序协调服务监听消息，则检测Clickhouse的服务状态是否正常；如果正常，则检测目标数据库接口的连接状态是否正常，如果正常，则将目标丢失数据写入至Clickhouse。可见，本申请在Clickhouse服务状态正常以及目标数据库接口连接状态正常时将丢失数据回写至Clickhouse，解决了由于数据写入Clickhouse失败而造成的数据丢失问题。败而造成的数据丢失问题。败而造成的数据丢失问题。

【技术实现步骤摘要】
一种Clickhouse丢失数据的回写方法、装置、设备及介质


[0001]本专利技术涉及计算机
，特别涉及一种Clickhouse丢失数据的回写方法、装置、设备及介质。

技术介绍

[0002]在大数据时代下，数据量日益增长，企业用户行为日志可达每天千万乃至亿级别，传统数据库的查询性能已满足不了业务需求。为此迫切需要OLAP(Online Analytical Processing，在线分析处理查询)引擎来支持快速查询，于是引进了Clickhouse(用于进行数据分析的列式存储数据库)，能够使用SQL查询实时生成分析数据报告。但是由于存在数据异常或Clickhouse连接异常等原因，导致部分数据未能写入Clickhouse数据库。
[0003]为此，如何解决由于数据写入Clickhouse数据库失败而造成的数据丢失问题，仍需本领域技术人员研究探索。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种Clickhouse丢失数据的回写方法、装置、设备及介质，能够解决由于数据写入Clickhouse数据库失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Clickhouse丢失数据的回写方法，其特征在于，包括：当数据写入Clickhouse失败时，则从开源流处理平台预先创建的主题中，获取写入失败的数据，得到目标丢失数据；当接收到通过所述开源流处理平台发送的分布式应用程序协调服务监听消息，则检测所述Clickhouse的服务状态是否正常；如果所述Clickhouse的服务状态正常，则检测目标数据库接口的连接状态是否正常，如果所述目标数据库接口的连接状态正常，则将所述目标丢失数据写入至所述Clickhouse。2.根据权利要求1所述的Clickhouse丢失数据的回写方法，其特征在于，所述检测所述Clickhouse的服务状态是否正常之后，还包括：如果所述Clickhouse的服务状态异常，则通过日志打印所述Clickhouse的指标信息，以便进行相应排查。3.根据权利要求1所述的Clickhouse丢失数据的回写方法，其特征在于，所述检测目标数据库接口的连接状态是否正常之后，还包括：如果所述检测目标数据库接口的连接状态异常，则通过日志打印所述目标数据库接口的指标信息，并循环检测所述目标数据库接口的连接状态直至所述目标数据库接口的连接状态正常。4.根据权利要求1所述的Clickhouse丢失数据的回写方法，其特征在于，所述将所述目标丢失数据写入至所述Clickhouse的过程中，还包括：如果所述目标丢失数据写入所述Clickhouse失败，则通过日志打印写入失败原因，并基于所述失败原因进行相应处理。5.根据权利要求4所述的Clickhouse丢失数据的回写方法，其特征在于，所述基于所述失败原因进行相应处理，包括：如果所述失败原因为数据异常，则记录异常数据的数据ID；如果所述失败原因为网络异常，则按照预设的时间间隔以及预设写入次数将所述目标丢失数据写入至所述Clickhouse。6.根据权利要求1所述的Clickhouse丢失数据的回写方法，其特征在于，所述当数据写入Clickho...

【专利技术属性】
技术研发人员：赵梦瑶，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：