【技术实现步骤摘要】
基于OLAP数据库的海量设备数据稽核方法、系统及介质
[0001]本专利技术涉及物联网
，尤其是一种基于OLAP数据库的海量设备数据稽核方法、系统及介质。
技术介绍
[0002]物联网平台是为物联网应用开发者提供快速开发、部署以及应用管理的平台，开发者无需考虑下层基础设施扩展、数据管理和归集、通信协议、通信安全等问题，降低开发成本、大大缩短开发时间。物联网平台具备终端接入、终端管理、数据分析监控等通用基础能力。物联网终端接入物联网平台后，由数据分析监控设备的各种状态和业务行为，并统计海量的设备活动情况。
[0003]海量设备的属性、状态、活动情况是物联网平台运营的重要运营指标和数据呈现能力，记录和统计平台海量设备的数据分析能力是物联网平台必不可少的功能。由于海量的设备以及设备形态差异不同，设备的行为表现千差万别，数据分析的需求多样性，那么对全平台设备数据做数据采集，数据分层管理是必不可少的，而数据分层中底层宽表的构建和数据一致性将会是数据分析的底层基座。针对海量设备宽表的同步计算必将占用大量的计算资源和存储资源...
【技术保护点】
【技术特征摘要】
1.一种基于OLAP数据库的海量设备数据稽核方法，其特征在于，包括以下步骤：构建OLAP数据库和海量设备数据宽表，并实时同步生产业务数据至所述OLAP数据库；通过预设的调度触发器定时触发海量设备的稽核处理，获取所述海量设备数据宽表的关键业务字段并存储至Redis缓存；将所述OLAP数据库中存储的生产业务数据与所述Redis缓存中存储的关键业务字段进行稽核对比，确定需要对设备信息进行的操作并进行记录得到第一操作信息；根据所述第一操作信息对所述海量设备数据宽表进行批量操作处理。2.根据权利要求1所述的一种基于OLAP数据库的海量设备数据稽核方法，其特征在于，所述构建OLAP数据库和海量设备数据宽表，并实时同步生产业务数据至所述OLAP数据库这一步骤，其具体包括：构建OLAP数据库，所述OLAP数据库包括业务数据层和宽表数据层；根据原始设备数据信息构建海量设备数据宽表，并将所述海量设备数据宽表存储至所述宽表数据层；读取线上业务数据库的Blog日志，并通过所述Blog日志实时同步生产业务数据至所述业务数据层。3.根据权利要求1所述的一种基于OLAP数据库的海量设备数据稽核方法，其特征在于，所述获取所述海量设备数据宽表的关键业务字段并存储至Redis缓存这一步骤，其具体包括：分页分批加载所述海量设备数据宽表中的关键业务字段，所述关键业务字段包括第一设备ID、第一租户ID、第一设备激活状态以及第一设备在线状态；将所述第一设备ID作为Key，将所述第一租户ID、所述第一设备激活状态以及所述第一设备在线状态作为Value，生成第一键值对，并将所述第一键值对存储至所述Redis缓存。4.根据权利要求3所述的一种基于OLAP数据库的海量设备数据稽核方法，其特征在于，所述将所述OLAP数据库中存储的生产业务数据与所述Redis缓存中存储的关键业务字段进行稽核对比这一步骤，其具体包括：在所述Redis缓存中创建新增队列和更新队列；分页查询所述生产业务数据中的设备关键信息，所述设备关键信息包括第二设备ID、第二租户ID、第二设备激活状态以及第二设备在线状态；将所述第二设备ID作为Key在所述Redis缓存中进行匹配；当未匹配到对应的所述第一键值对，将所述第二设备ID和对应的所述生产业务数据加入所述新增队列；当匹配到对应的所述第一键值对，根据所述第一键值对获取对应的所述第一租户ID、所述第一设备激活状态以及所述第一设备在线状态分别与所述第二租户ID、所述第二设备激活状态以及所述第二设备在线状态进行依次比对；当比对均一致，将对应的所述第一键值对删除；当比对存在不一致，将所述第二设备ID和对应的所述生产业务数据加入所述更新队列，并将对应的所述第一键值对删除。5.根据权利要求4所述的一种基于OLAP数据库的海量设备数据稽核方法，其特征在于，所述将所述第二...
【专利技术属性】
技术研发人员：贾水钦，朱明，丁霞，王世杰，贲兴龙，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。