数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及数据处理方法、装置、电子设备及存储介质，上述方法包括：接收数据查询请求，上述数据查询请求携带数据查询条件；基于上述数据查询条件获得在聚合数据库中的数据查询结果；上述聚合数据库用于存储聚合数据；基于上述数据查询结果，确定是否基于上述数据查询条件通过明细数据库进行数据查询；上述明细数据库用于存储明细数据，通过对上述明细数据聚合得到上述聚合数据。这样可以通过预先将数据进行聚合，并将聚合数据存储到聚合数据库中，在数据查询时先在聚合数据库中进行数据查询，一旦在聚合数据库中查询到相关数据，就可以不用在明细数据库中进行数据查询，避免直接在明细数据库中进行查询带来的查询带来查询效率的问题。的问题。的问题。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及大数据
，尤其涉及数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着移动互联网的飞速发展，以手机为代表的移动终端得到很大程度的普及，移动终端上的应用程序也呈现多样化，并在用户的日常工作和生活中起到不可或缺的作用。为了让应用程序更好的服务用户，需要对大量数据进行处理以便解决用户的问题。
[0003]相关技术通常会将全量数据存储至ClickHouse库，由于集群负载高，在通过ClickHouse库中存储的明细数据中进行数据查询时，一般查询效率较低。

技术实现思路

[0004]本公开提供了一种数据处理方法、装置、电子设备及存储介质。
[0005]根据本公开的一方面，提供了一种数据处理方法，所述方法包括：
[0006]接收数据查询请求，所述数据查询请求携带数据查询条件；
[0007]基于所述数据查询条件获得在聚合数据库中的数据查询结果；所述聚合数据库用于存储聚合数据；
[0008]基于所述数据查询结果，确定是否基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收数据查询请求，所述数据查询请求携带数据查询条件；基于所述数据查询条件获得在聚合数据库中的数据查询结果；所述聚合数据库用于存储聚合数据；基于所述数据查询结果，确定是否基于所述数据查询条件通过明细数据库进行数据查询；所述明细数据库用于存储明细数据，通过对所述明细数据聚合得到所述聚合数据。2.根据权利要求1所述的方法，其特征在于，所述确定是否基于所述数据查询条件通过明细数据库进行数据查询，包括：在所述查询结果为获得查询数据的情况下，停止向所述明细数据库进行数据查询；在所述查询结果为未获得查询数据的情况下，基于所述数据查询条件通过明细数据库进行数据查询。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取明细数据，并将所述明细数据存储到所述明细数据库；所述明细数据为对从多个客户端采集到的网络数据进行预设处理得到的数据；将所述明细数据按照预设维度进行聚合，并将得到的聚合数据存储到所述聚合数据库。4.根据权利要求1～3任一所述的方法，其特征在于，所述方法还包括：将基于所述数据查询条件获得的查询结果存储到缓存中；其中，所述缓存中所述查询条件和所述查询结果以键值对的形式存储，所述查询条件为键名，所述查询结果为键值。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述键值大于预设数值时，将所述键值拆分为多个子键值存储到所述缓存中；其中，每个所述子键值小于所述预设数值；在所述缓存中获取所述键值作为查询结果的情况下，将所述多个子键值进行拼接，得到所述键值。6.根据权利要求1所述的方法，其特征在于，所述数据查询条件包括数据查询维度和数据查询粒度；所述基于...

【专利技术属性】
技术研发人员：罗诗菡，董平安，刘洋，胡薰尹，田华，王剑，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：