数据汇总方法、查询方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据汇总方法、查询方法、装置、设备及存储介质。该方法包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。本发明专利技术实施例提供的数据汇总方法，在检测到产生数据日志时，就将数据日志对应的数据写入消息队列中，可以提高数据汇总的及时性，对设定数量的数据分布式的汇总至明文库和密文库，可以避免由于单机汇总而造成的效率低下，从而提高数据汇总的效率。

【技术实现步骤摘要】
数据汇总方法、查询方法、装置、设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种数据汇总方法、查询方法、装置、设备及存储介质。
技术介绍
随着互联网的快速发展，互联网中时时刻刻都在产生大量的数据，为了对产生的大量数据进行有效的管理，对于这些数据进行分库分表。运营人员为了进行大数据分析，如需要统计各种各样的指标、趋势等，需要将分库分表中的数据汇总到单库单表中，以方便对数据进行分析，从而解决运营分析问题。现有技术中，采用脚本的方式将分库分表的数据汇总至单库单表中，这种方式不能及时的将线上产生的数据进行汇总，延时高，而且采用脚本的方式调用数据，容错性差，从而影响汇总数据的效率。
技术实现思路
本专利技术实施例提供一种数据汇总方法、查询方法、装置、设备及存储介质，以实现对分库分表数据的汇总，提高数据汇总的及时性以及效率。第一方面，本专利技术实施例提供了一种数据汇总方法，该方法包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照本文档来自技高网...

【技术保护点】
1.一种数据汇总方法，其特征在于，包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。

【技术特征摘要】
1.一种数据汇总方法，其特征在于，包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。2.根据权利要求1所述的方法，其特征在于，将所述数据写入与数据主题对应的消息队列中，包括：获取所述数据对应的分库分表的主题信息；根据所述主题信息，将所述数据写入对应的消息队列中。3.根据权利要求1所述的方法，其特征在于，从所述消息队列中读取设定数量的数据，包括：若读取设定数量的数据失败，则重新从所述消息队列中读取所述设定数量的数据。4.根据权利要求1所述的方法，其特征在于，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中，包括：获取设定规则中规定的所需加密处理的字段；对包括所述字段的数据进行加密；对加密处理后的所述设定数量的数据分布式的汇总至密文数据库。5.根据权利要求1所述的方法，其特征在于，所述消息队列为Kafka消息队列，所述明文数据库和密文数据库均为hive数据库。6.一种数据查询方法，其特征在于，包括：获取待查询数据对应的查询语...

【专利技术属性】
技术研发人员：林伟平，王雨春，熊志坤，张路，
申请(专利权)人：深圳乐信软件技术有限公司，
类型：发明
国别省市：广东,44