物联时空数据计算与管理系统及方法技术方案

本发明专利技术提供了一种物联时空数据计算与管理系统及方法，包括数据源管理模块：用于添加、修改、删除、查询外部数据源信息，将外部数据源的数据接入并存储到数据湖中；实时数据接入模块：用于设备感知元数据的定义，根据定义解析实时数据并存储到数据湖中汇总；数据湖管理模块：用于数据的统一存储，所述存储区域包含基于时序数据库的热数据区、基于非关系型数据库的冷数据区，基于分布式关系型数据库的数据仓库；融合分析模块：用于数据湖中数据仓库的数据融合分析，融合分析结果存储在数据仓库中。本发明专利技术实现海量异构设备感知数据的统一接入。通过数据融合分析模块实现设备数据、公共数据和企业数据的融合分析。

【技术实现步骤摘要】
物联时空数据计算与管理系统及方法
本专利技术涉及物联网平台领域，具体地，涉及一种物联时空数据计算与管理系统及方法。
技术介绍
在新时代，以物联网、大数据和云计算、人工智能为代表的新一代信息通信技术发展迅猛，物联网技术通过与其它新技术的不断融合，物联网的应用也呈现爆发趋势，进一步实现了人、机、物的信息共享，信息世界与物理世界之间形成了更加紧密的信息流动生态系统。物联网中万物互联，数据具有异构性、海量性、实时性等典型特征，为了能对收集到的物联网设备数据进行有效的批量分析、实时分析、实时展示，需要设计新的分布式存储架构和实时流处理框架。传统的物联网数据分析一方面的输入接入功能不全，另一方面的数据管理能力弱。专利文献为CN201310136489.0的专利技术专利公开了一种物联网平台数据管理方法，涉及一种物联网平台数据管理方法。物联网平台数据管理方法，包括步骤：预先获取各实体被管理对象上传数据所采用的通信协议标准；接收各实体被管理对象上传的数据；根据各实体被管理对象上传数据所采用的通信协议标准，对所述上传的数据进行解析；将解析后的数据存本文档来自技高网...

【技术保护点】
1.一种物联时空数据计算与管理系统，其特征在于，包括如下模块：/n数据源管理模块：用于添加、修改、删除、查询外部数据源信息，将外部数据源的数据接入并存储到数据湖中；/n实时数据接入模块：用于设备感知元数据的定义，根据定义解析实时数据并存储到数据湖中汇总；/n数据湖管理模块：用于数据的统一存储，所述存储区域包含基于时序数据库的热数据区、基于非关系型数据库的冷数据区，基于分布式关系型数据库的数据仓库；/n融合分析模块：用于数据湖中数据仓库的数据融合分析，融合分析结果存储在数据仓库中。/n

【技术特征摘要】
1.一种物联时空数据计算与管理系统，其特征在于，包括如下模块：
数据源管理模块：用于添加、修改、删除、查询外部数据源信息，将外部数据源的数据接入并存储到数据湖中；
实时数据接入模块：用于设备感知元数据的定义，根据定义解析实时数据并存储到数据湖中汇总；
数据湖管理模块：用于数据的统一存储，所述存储区域包含基于时序数据库的热数据区、基于非关系型数据库的冷数据区，基于分布式关系型数据库的数据仓库；
融合分析模块：用于数据湖中数据仓库的数据融合分析，融合分析结果存储在数据仓库中。


2.根据权利要求1所述的物联时空数据计算与管理系统，其特征在于，所述外部数据源包括结构化数据、半结构化数据、非结构化数据。


3.根据权利要求2所述的物联时空数据计算与管理系统，其特征在于，
结构化数据包括MySQL、Oracle；
半结构化数据包括MongoDB、Redis；
非结构化数据包括图片、视频。


4.根据权利要求1所述的物联时空数据计算与管理系统，其特征在于，融合分析数据的语言包括SQL或者Python。


5.根据权利要求1所述的物联时空数据计算与管理系统，其特征在于，实时数据接入模块包括如下模块：
消息中间件模块：用于接收来自设备的感知数据；
感知元数据管理模块：用于定义消息中间件模块中感知数据的元数据结构；
实时数据调度模块：用于根据感知元数据管理模块定义的元数据结构解析消息中间件中的感知数据，存储到数据湖中。

【专利技术属性】
技术研发人员：董一舟，江波，叶云，唐鹏，张楠，谢志明，
申请(专利权)人：中电科数字科技集团有限公司，中电科数智科技有限公司，
类型：发明
国别省市：上海;31