数据汇总方法、查询方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据汇总方法、查询方法、装置、设备及存储介质。该方法包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。本发明专利技术实施例提供的数据汇总方法，在检测到产生数据日志时，就将数据日志对应的数据写入消息队列中，可以提高数据汇总的及时性，对设定数量的数据分布式的汇总至明文库和密文库，可以避免由于单机汇总而造成的效率低下，从而提高数据汇总的效率。

【技术实现步骤摘要】
数据汇总方法、查询方法、装置、设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种数据汇总方法、查询方法、装置、设备及存储介质。
技术介绍
随着互联网的快速发展，互联网中时时刻刻都在产生大量的数据，为了对产生的大量数据进行有效的管理，对于这些数据进行分库分表。运营人员为了进行大数据分析，如需要统计各种各样的指标、趋势等，需要将分库分表中的数据汇总到单库单表中，以方便对数据进行分析，从而解决运营分析问题。现有技术中，采用脚本的方式将分库分表的数据汇总至单库单表中，这种方式不能及时的将线上产生的数据进行汇总，延时高，而且采用脚本的方式调用数据，容错性差，从而影响汇总数据的效率。
技术实现思路
本专利技术实施例提供一种数据汇总方法、查询方法、装置、设备及存储介质，以实现对分库分表数据的汇总，提高数据汇总的及时性以及效率。第一方面，本专利技术实施例提供了一种数据汇总方法，该方法包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。进一步地，将所述数据写入与数据主题对应的消息队列中，包括：获取所述数据对应的分库分表的主题信息；根据所述主题信息，将所述数据写入对应的消息队列中。进一步地，从所述消息队列中读取设定数量的数据，包括：若读取设定数量的数据失败，则重新从所述消息队列中读取所述设定数量的数据。进一步地，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中，包括：获取设定规则中规定的所需加密处理的字段；对包括所述字段的数据进行加密；对加密处理后的所述设定数量的数据分布式的汇总至密文数据库。进一步对，所述消息队列为Kafka消息队列，所述明文数据库和密文数据库均为hive数据库。第二方面，本专利技术实施例还提供了一种数据查询方法，该方法包括：获取待查询数据对应的查询语句；根据所述查询语句向分布式密文库中获取多个子数据；将所述多个子数据组合去重后获得目标查询数据。：第三方面，本专利技术实施例还提供了一种数据汇总装置，该装置包括：数据采集模块，用于当检测到线上产生数据日志时，采集所述数据日志对应的数据；消息队列写入模块，用于将所述数据写入与数据主题对应的消息队列中；数据读取模块，用于从所述消息队列中读取设定数量的数据；数据汇总模块，用于将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。第四方面，本专利技术实施例还公开了一种数据查询装置，该装置包括：查询语句获取模块，用于获取待查询数据对应的查询语句；子数据获取模块，用于根据所述查询语句向分布式密文库中获取多个子数据；目标查询数据获取模块，用于将所述多个子数据组合去重后获得目标查询数据。第五方面，本专利技术实施例还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实实施例所述的数据汇总方法或本专利技术实施例所述的数据查询方法。第六方面，本专利技术实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例所述的数据汇总方法或本专利技术实施例所述的数据查询方法。本专利技术实施例，当检测到线上产生数据日志时，首先采集数据日志对应的数据，然后将数据写入与数据主题对应的消息队列中，在然后从消息队列中读取设定数量的数据，最后将设定数量的数据分布式的汇总至明文库中，将设定数量的数据按照设定规则加密后分布式的汇总至密文库中。本专利技术实施例提供的数据汇总方法，在检测到产生数据日志时，就将数据日志对应的数据写入消息队列中，可以提高数据汇总的及时性，对设定数量的数据分布式的汇总至明文库和密文库，可以避免由于单机汇总而造成的效率低下，从而提高数据汇总的效率。附图说明图1是本专利技术实施例一中的一种数据汇总方法的流程图；图2是本专利技术实施例一中的一种数据汇总方法的原理图；图3是本专利技术实施例二中的一种数据查询方法的流程图；图4是本专利技术实施例三中的一种数据汇总装置的结构示意图；图5是本专利技术实施例四中的一种数据查询装置的结构示意图；图6是本专利技术实施例五中的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种数据汇总方法的流程图，本实施例可适用于对分库分表书库进行汇总的情况，该方法可以由一种数据汇总装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有数据汇总功能的设备中，该设备可以是服务器、移动终端或服务器集群等电子设备。如图1所示，该方法具体包括如下步骤：步骤110，当检测到线上产生数据日志时，采集数据日志对应的数据。当网络中产生数据并进行分库分表时，会产生数据库日志(binlog)，对数据库日志进行实时的检测，当产生数据日志时，对数据日志对应的数据进行采集。本实施例中，对线上数据进行实时采集，可以保证数据汇总的实时性。步骤120，将数据写入与数据主题对应的消息队列中。其中，数据主题可以是数据所在的分库分表的主题信息，数据主题可以是根据产生数据的业务类型来划分，例如：社交类业务、电商类业务、游戏类业务等。消息队列可以是Kafka消息队列。本实施例中，会根据数据主题类型的数量来建立消息队列，一种主题的数据对应一个消息队列。示例性的，假设当前有社交类主题、电商类主题和游戏类主题，则会建立社交类消息队列、电商类消息队列和游戏类消息队列。可选的，将数据写入与数据主题对应的消息队列中，可通过下述方式实施：获取数据对应的分库分表的主题信息；根据主题信息，将数据写入对应的消息队列中。本实施例中，网络中产生的数据会按照主题信息被分库分表，在获取到数据日志对应的数据后，获取数据对应的分库分表的主题信息，然后根据主题信息将数据写入对应的消息队列中。示例性的，某个数据对应的分库分表的主题信息为社交类，则将该数据写入社交类消息队列中。步骤130，从消息队列中读取设定数量的数据。其中，设定数量可以由系统的承载能力来确定，例如：可以设置为1万-2万条之间的任意值。本实施例中，系统从消息队列中读取数据的方式可以是每隔设定时间(如10秒)读取一次，或者在当前读取任务成功完成后就接着下一次读取。本实施例中，数据在消息队列中可以存续一定时间段，当数据被读取之后，仍然会存在消息队列中，系统每一次读取数据后，会在读取到的数据进行标记，以防止重复读取。可选的，若读取设定数量的数据失败，则重新从消息队列中读取设定数量的数据。假设在读取当前1万条数据时，在读取到第3千条时，出现错误，则重新读取这1万条数据。可选的，对于不同主题的消息队列，会启动不同的读取数据任务读取数据，消息队列之间互不影响。步骤140，将设定数量的数据分布式的汇总至明文库中，将设定数量的数据按照设定规则加密后分布式的汇总至密文库中。其中，明文数据库和密文数据库均为hive数据库。分布式可以理解为多个服务器并本文档来自技高网...

【技术保护点】
1.一种数据汇总方法，其特征在于，包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。

【技术特征摘要】
1.一种数据汇总方法，其特征在于，包括：当检测到线上产生数据日志时，采集所述数据日志对应的数据；将所述数据写入与数据主题对应的消息队列中；从所述消息队列中读取设定数量的数据；将所述设定数量的数据分布式的汇总至明文库中，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中。2.根据权利要求1所述的方法，其特征在于，将所述数据写入与数据主题对应的消息队列中，包括：获取所述数据对应的分库分表的主题信息；根据所述主题信息，将所述数据写入对应的消息队列中。3.根据权利要求1所述的方法，其特征在于，从所述消息队列中读取设定数量的数据，包括：若读取设定数量的数据失败，则重新从所述消息队列中读取所述设定数量的数据。4.根据权利要求1所述的方法，其特征在于，将所述设定数量的数据按照设定规则加密后分布式的汇总至密文库中，包括：获取设定规则中规定的所需加密处理的字段；对包括所述字段的数据进行加密；对加密处理后的所述设定数量的数据分布式的汇总至密文数据库。5.根据权利要求1所述的方法，其特征在于，所述消息队列为Kafka消息队列，所述明文数据库和密文数据库均为hive数据库。6.一种数据查询方法，其特征在于，包括：获取待查询数据对应的查询语...

【专利技术属性】
技术研发人员：林伟平，王雨春，熊志坤，张路，
申请(专利权)人：深圳乐信软件技术有限公司，
类型：发明
国别省市：广东,44