【技术实现步骤摘要】
本专利技术涉及大数据，尤其涉及一种数据处理方法和装置。
技术介绍
1、clickhouse作为一种用于在线分析、处理、查询数据的开源的列式存储数据库，深得分析人员喜爱和推崇。但是，由于目前clickhouse对数据的更新不会区分更新的数据到底是插入新增数据，还是更新数据，即clickhouse对插入新增数据和更新数据混合处理，使数据的不同数据处理类型之间存在处理过程耦合，导致数据管理比较混乱。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种数据处理方法和装置，通过不同数据处理类型的数据处理程序对数据进行不同类型的处理，并通过缓存信号控制不同数据处理类型的数据处理程序不同时运行，使不同数据处理类型之间完全解耦，能够合理管理不同数据处理类型的数据以及数据处理过程。
2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：
3、确定待处理数据以及所述待处理数据的目标数据处理类型；
4、获取缓存信号，其中，所述缓存信号指示多种数据...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述确定待处理数据以及所述待处理数据的目标数据处理类型，包括：
3.根据权利要求1或2所述的数据处理方法，其特征在于，所述调用所述目标数据处理类型的数据处理程序对所述待处理数据进行处理，并同步更新所述缓存信号，包括：
4.根据权利要求1或2所述的数据处理方法，其特征在于，在所述获取用于指示是否处理所述待处理数据的缓存信号之前，还包括：
5.根据权利要求4所述的数据处理方法，其特征在于，所述通过所述第二数据处理程序将所述物化视图更新...
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述确定待处理数据以及所述待处理数据的目标数据处理类型，包括：
3.根据权利要求1或2所述的数据处理方法，其特征在于，所述调用所述目标数据处理类型的数据处理程序对所述待处理数据进行处理，并同步更新所述缓存信号，包括：
4.根据权利要求1或2所述的数据处理方法，其特征在于，在所述获取用于指示是否处理所述待处理数据的缓存信号之前，还包括：
5.根据权利要求4所述的数据处理方法，其特征在于，所述通过所述第二数据处理程序将所述物化视图更新到数据库中，包括：
6.根据权利要求5所述的数据处理方法，其特征在于，所述确定待处理数据以及所述待处理数据的目标数据...
【专利技术属性】
技术研发人员：孟晨，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。