数据统计方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据统计方法、装置、设备及存储介质，涉及数据处理技术领域，用于提高数据统计的效率。包括：获取每次访问存储集群时生成的日志信息，并基于日志信息确定多个文件中每个文件对应的第一信息，第一信息包括以下至少一项：文件的数据量、访问类型；将多个第一信息发送至kafka集群，通过多个第一信息确定存储集群包括的多个存储空间中的每个存储空间对应的第二信息，第二信息包括以下至少一项：存储空间的内存变化量、存储空间包括的文件数量；基于存储集群包括的多个存储空间中的每个存储空间对应的第二信息，确定存储集群对应的第三信息，第三信息用于指示以下至少一项：存储集群的内存使用量、存储集群包括的文件总数量。件总数量。件总数量。

【技术实现步骤摘要】
数据统计方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据统计方法、装置、设备及存储介质。

技术介绍

[0002]随着信息技术的不断发展，信息数据量越来越大，数据的存储方式也越来越多样化，在相关技术中，可以通过分布式对象存储集群实现数据的存储。在分布式对象存储集群中，存储空间中存储对象的数量以及存储空间的使用量，作为分布式对象存储集群中的关键数据，在数据存储的过程中需要及时进行统计。当前，对分布式对象存储集群的计量方式主要通过后台定时扫描每个bucket，从而确定分布式对象存储集群中存储对象的数量以及存储空间的使用量。
[0003]在上述方法中，当数据量较大时(如存储空间中的存储对象超过10亿时)，由于元数据的数据量太大，每次扫描占用较多的计算资源，并且还需要等待较长时间才能得到扫描结果，不能及时的统计出真实的存储对象的数量以及存储空间的使用量，还会影响正常业务的运行。因此，当前对存储空间中存储的文件进行统计的效率较差。

技术实现思路

[0004]本申请提供了一种数据统计方法、装置、设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据统计方法，其特征在于，所述方法包括：获取每次访问存储集群时生成的日志信息，并基于所述日志信息确定多个文件中每个文件对应的第一信息，所述存储集群包括多个存储空间，所述多个文件为访问所述存储集群时对应的文件，所述多个文件中的一个文件对应一个第一信息，一个第一信息对应所述多个存储空间中的一个存储空间，一个第一信息包括以下至少一项：文件的数据量、访问类型；将多个第一信息发送至kafka集群，通过所述多个第一信息确定所述存储集群包括的多个存储空间中的每个存储空间对应的第二信息，所述第二信息包括以下至少一项：存储空间的内存变化量、存储空间包括的文件数量；基于所述存储集群包括的多个存储空间中的每个存储空间对应的第二信息，确定所述存储集群对应的第三信息，所述第三信息用于指示以下至少一项：所述存储集群的内存使用量、所述存储集群包括的文件总数量。2.根据权利要求1所述的数据统计方法，其特征在于，所述kafka集群包括多个kafka分区，所述多个kafka分区中的一个kafka分区对应所述多个存储空间中的一个存储空间；所述将多个第一信息发送至kafka集群，包括：针对所述多个第一信息中的任一第一信息，确定所述任一第一信息对应的目标存储空间；将所述任一第一信息发送至所述kafka集群中所述目标存储空间对应的目标kafka分区。3.根据权利要求2所述的数据统计方法，其特征在于，所述通过所述多个第一信息确定所述存储集群包括的多个存储空间中的每个存储空间对应的第二信息，包括：针对所述多个kafka分区中的所述目标kafka分区，基于所述目标kafka分区对应的至少一个第一信息，确定所述目标存储空间对应的所述第二信息；将所述多个存储空间中的每个存储空间对应的所述第二信息发送至管理kafka，所述管理kafka对应所述存储集群。4.根据权利要求3所述的数据统计方法，其特征在于，所述基于所述存储集群包括的多个存储空间中的每个存储空间对应的第二信息，确定所述存储集群对应的第三信息，包括：对所述管理kafka包括的所述多个存储空间中的每个存储空间对应的所述第二信息进行汇总，得到所述存储集群对应的第三信息。5.一种数据统计装置，其特征在于，所述装置包括：获取单元、确定单元、发送单元；所述获取单元，用于获取每次访问存储集群时生成的日志信息；所述确定单元，用于基于所述日志信息确定多个文件中每个文件对应的第一信息，所述存储集群包括多个存储空间，所述多...

【专利技术属性】
技术研发人员：孙方臣，黄志鹏，曹立霞，
申请(专利权)人：联通数字科技有限公司联通云数据有限公司，
类型：发明
国别省市：