【技术实现步骤摘要】
用户存储空间的计算方法、装置、物联网平台及介质
[0001]本申请涉及数据处理
，尤其涉及一种用户存储空间的计算方法、装置、物联网平台及介质。
技术介绍
[0002]物联网平台是为物联网应用开发者提供快速开发、部署以及应用管理的平台，开发者无需考虑下层基础设施扩展、数据管理和归集、通信协议、通信安全等问题，降低开发成本、大大缩短开发时间。物联网平台具备设备接入、设备管理、消息存储、指令下发等通用基础能力。物联网终端接入物联网平台后，平台存储服务会对设备上报消息进行存储，并通过能力网关开放设备消息查询能力。
[0003]大型物联网平台一般承载亿级以上设备、十万级以上用户，为了节约海量设备消息的存储成本，会部署一套或多套大数据存储服务(如HBase)，对所有用户设备消息进行共享存储。一个存储服务中会存储数以万计用户的设备消息，对每个用户的存储空间使用情况进行统计会大量占用存储服务资源，影响存储服务稳定性，造成用户使用体验下降，且统计结果会有较大延迟。如果将用户存储信息单独存储到数据库后进行用户存储量统计查询，则10...
【技术保护点】
【技术特征摘要】
1.一种用户存储空间的计算方法，其特征在于，包括：当设备消息写入存储服务后，将每条所述设备消息的存储记录信息发送到分布式消息队列中；按照用户和时间维度对所述设备消息的存储记录信息进行聚合统计，得到第一统计结果，并将所述第一统计结果基于用户存储周期和预设文件时间索引方式存储到分布式小文件系统中，且基于所述第一统计结果更新分布式缓存中的当前存储空间占用值；按照预设时间间隔从所述分布式小文件系统中获取已过期记录文件，并按照用户维度对所述已过期记录文件进行聚合统计，得到第二统计结果，且基于所述第二统计结果更新所述分布式缓存中的所述当前存储空间占用值；若接收到存储空间查询指令，则基于所述存储空间查询指令中的用户ID从所述分布式缓存获取所述用户ID对应的当前存储空间。2.根据权利要求1所述的用户存储空间的计算方法，其特征在于，所述当设备消息写入存储服务后，将每条所述设备消息的存储记录信息发送到分布式消息队列中之前，所述方法还包括：获取不同数据类型的用户存储周期；在所述分布式小文件系统中创建每一所述用户存储周期对应的存储数据目录；对每一所述存储数据目录下在固定时间间隔构建一个目录，其中，所述目录用于存储所述固定时间间隔内的分数级统计记录文件。3.根据权利要求1所述的用户存储空间的计算方法，其特征在于，所述按照用户和时间维度对所述设备消息的存储记录信息进行聚合统计，得到第一统计结果，并将所述第一统计结果基于用户存储周期和预设文件时间索引方式存储到分布式小文件系统中，且基于所述第一统计结果更新分布式缓存中的当前存储空间占用值，包括：从所述分布式消息队列中获取所述存储记录信息；基于设定的计算窗口，按照用户和时间维度对各用户的存储记录信息的消息大小进行流式计算，得到所述第一统计结果，其中，所述第一统计结果包括用户ID、时间、分钟级存储累加值以及记录列表；在所述分布式缓存中将所述记录列表对应的当前存储空间占用值与所述分钟级存储累加值进行相加，以生成新的当前存储空间占用值；基于所述用户存储周期和所述预设文件时间索引方式将所述记录列表中的所有存储记录进行分类和合并，得到合并结果，并将所述合并结果写入所述分布式小文件系统中。4.根据权利要求3所述的用户存储空间的计算方法，其特征在于，所述基于所述用户存储周期和所述预设文件时间索引方式将所述记录列表中的所有存储记录进行分类和合并，得到合并结果，并将所述合并结果写入所述分布式小文件系统中，包括：按照所述用户存储周期将所述记录列表中的所有存储记录进行分类，得到每一用户存储周期的存储记录；将每一所述用户存储周期的存储记录按照时间维度进行分类，得到每一时间维度的存储记录，并将所述时间维度的存储记录作为待写入记录；判断所述分布式小文件系统在固定时间间隔内是否存在的所述待写入记录，若否，则将所述待写入记录进行合并，得到所述合并结果，并将所述合并结果写入所述分布式小文
件系统中。5.根据权利要求4所述的用户存储空间的计算方法，其特征在于，所述判断所述分布式小文件系统在固定时间间隔内是否存在的所述待写入记录，若否，则将所述待写入记录进行合并，得到所述合并结果，并将所述合并结果写入所述分布式小文件系统中，包括：基于所述待写入记录的所述时间分类和存储记录，判断所述分布式小文件系统在固定时间间...
【专利技术属性】
技术研发人员：贲兴龙，段鹏，张宇，丁霞，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。