物联网数据管理方法及装置制造方法及图纸

本发明专利技术公开了一种物联网数据管理方法及装置，该方法包括：将来自数据源的数据汇入数据资源池中；对汇入所述数据资源池中的数据进行处理，并根据预设的指标需求对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理；向用户提供所述数据资源池中的数据。利用本发明专利技术方案，可以实现对各类物联网数据的统一、高效管理。高效管理。高效管理。

【技术实现步骤摘要】
物联网数据管理方法及装置


[0001]本专利技术涉及信息处理
，具体涉及一种物联网数据管理方法及装置。

技术介绍

[0002]目前，政府或企业在利用物联网数据产生价值的过程中，通常面临着物联网数据管理难的问题，即物联网数据具有海量、多源异构、时序性高等特点。
[0003]常见的数据管理方法包括数据接入、数据质量、数据治理、数据服务等功能，通常是对结构化数据进行管理。而物联网数据具有海量、多源异构、时序性高等特点，普通的数据管理方法已无法完全满足物联网数据的管理需求。
[0004]因此，如何对物联网数据进行统一、高效管理，使物联网数据更好地服务于政府或企业，是目前亟需解决的一个重要问题。

技术实现思路

[0005]本专利技术提供一种物联网数据管理方法及装置，以实现对各类物联网数据的统一、高效管理。
[0006]为此，本专利技术提供如下技术方案：
[0007]本专利技术提供一种物联网数据管理方法，所述方法包括：
[0008]将来自数据源的数据汇入数据资源池中；
[0009]对汇入所述数据资源池中的数据进行处理，并根据预设的指标需求对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理；
[0010]向用户提供所述数据资源池中的数据。
[0011]可选地，所述数据资源池中设有热数据仓库和冷数据仓库，所述热数据仓库和冷数据仓库采用不同的数据库存储数据；
[0012]所述将来自数据源的数据汇入数据资源池中包括以下任意一种或多种：
[0013]通过订阅方式获取协议适配系统的数据，并将获取的数据作为热数据存入所述热数据仓库中；
[0014]获取设备管理系统中的感知数据和设备数据，并将获取的数据存入所述数据资源池中；
[0015]通过以下任意一种或多种方式将外部数据源的数据存入所述数据资源池中：数据同步、文件导入、API采集。
[0016]可选地，所述方法还包括：将在所述热数据仓库中达到设定时间的热数据转移至所述冷数据仓库。
[0017]可选地，所述向用户提供所述数据资源池中的数据包括以下任意一种或多种：
[0018]提供API接口，使用户通过所述API接口获取所述数据资源池中的数据；
[0019]提供数据加载服务，使用户能够加载所述数据资源池中的数据；
[0020]提供数据查询服务，使用户能够查询所述数据资源池中的数据。
[0021]可选地，所述方法还包括：
[0022]对所述数据资源池中的数据进行深度处理，所述深度处理包括以下做任意一种或多种处理：加工处理、数据融合分析、分类管理；和/或
[0023]对所述数据资源池中的数据进行质量巡检。
[0024]本专利技术还提供一种物联网数据管理装置，所述装置包括：数据源管理模块、数据处理模块、数据服务模块、以及数据资源池；
[0025]所述数据源管理模块，用于接入数据源，将来自所述数据源的数据汇入所述数据资源池中；
[0026]所述数据处理模块，用于对汇入所述数据资源池中的数据进行处理，并根据预设的指标需求，对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理；
[0027]所述数据服务模块，用于向用户提供所述数据资源池中的数据。
[0028]可选地，所述数据资源池中设有热数据仓库和冷数据仓库，所述热数据仓库和冷数据仓库采用不同的数据库存储数据；
[0029]所述数据源管理模块通过订阅方式获取协议适配系统的数据，并将获取的数据作为热数据存入所述热数据仓库中；
[0030]所述数据源管理模块获取设备管理系统中的感知数据和设备数据，并将获取的数据存入所述数据资源池中；
[0031]所述数据源管理模块通过以下任意一种或多种方式将外部数据源的数据存入所述数据资源池中：数据同步、文件导入、API采集。
[0032]可选地，所述数据源管理模块，还用于将在所述热数据仓库中达到设定时间的热数据转移至所述冷数据仓库。
[0033]可选地，所述数据服务模块包括以下任意一个或多个单元：
[0034]推送单元，用于向用户推送所述数据资源池中的数据；
[0035]API接口单元，用于提供API接口，使用户通过所述API接口获取所述数据资源池中的数据；
[0036]数据加载单元，用于提供数据加载服务，使用户能够加载所述数据资源池中的数据；
[0037]数据查询单元，用于提供数据查询服务，使用户能够查询所述数据资源池中的数据。
[0038]可选地，所述数据处理模块，还用于对所述数据资源池中的数据进行深度处理，所述深度处理包括以下做任意一种或多种处理：加工处理、数据融合分析、分类管理；和/或
[0039]所述装置还包括：
[0040]数据治理模块，用于对所述数据资源池中的数据进行质量巡检。
[0041]本专利技术提供的物联网数据管理方法及系统，将来自多种数据源的数据汇入数据资源池中，并对数据资源池中的数据根据其类型进行离线数据处理和实时数据处理，而且，还可根据预设的指标要求对数据进行统计，向用户提供数据资源池中的数据。利用本专利技术方案，可以实现对各类物联网数据的统一、高效管理，向用户提供满足唯一性、完整性、实时性的数据服务，实现数据“聚、通、用”，从而有效支撑上层应用。
附图说明
[0042]图1是本专利技术实施例提供的物联网数据管理方法的一种流程图；
[0043]图2是本专利技术实施例提供的物联网数据管理方法的另一种流程图；
[0044]图3是本专利技术实施例提供的物联网数据管理装置的一种结构示意图；
[0045]图4是本专利技术实施例提供的物联网数据管理装置的另一种结构示意图；
[0046]图5是本专利技术实施例提供的物联网数据管理装置的一种具体应用架构。
具体实施方式
[0047]为了使本
的人员更好地理解本专利技术实施例的方案，下面结合附图和实施方式对本专利技术实施例作进一步的详细说明。
[0048]针对现有的对结构化数据进行管理的方式无法适应具有海量、多源异构、时序性高等特点的物联网数据的问题，本专利技术实施例提供一种物联网数据管理方法及装置，以“整合资源，共享数据，提供服务”为指导思想，构建满足于数据资源信息化建设需要的多功能数据资源池，将来自多种数据源的数据汇入数据资源池中，并对数据资源池中的数据根据其类型进行离线数据处理和实时数据处理，而且，还可根据预设的指标要求对数据进行统计，向用户提供数据资源池中的数据，实现对各类物联网数据的统一、高效管理。
[0049]如图1所示，是本专利技术实施例提供的物联网数据管理方法的一种流程图，包括以下步骤：
[0050]步骤101，将来自数据源的数据汇入数据资源池中。
[0051]所述数据资源池中预先建有热数据仓库和冷数据仓库，热数据仓库和冷数据仓库中的数据可以采用不同的方式存储。
[0052]在实际应用中，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物联网数据管理方法，其特征在于，所述方法包括：将来自数据源的数据汇入数据资源池中；对汇入所述数据资源池中的数据进行处理，并根据预设的指标需求对所述数据进行统计，对所述数据处理包括离线数据处理和实时数据处理；向用户提供所述数据资源池中的数据。2.根据权利要求1所述的方法，其特征在于，所述数据资源池中设有热数据仓库和冷数据仓库，所述热数据仓库和冷数据仓库采用不同的数据库存储数据；所述将来自数据源的数据汇入数据资源池中包括以下任意一种或多种：通过订阅方式获取协议适配系统的数据，并将获取的数据作为热数据存入所述热数据仓库中；获取设备管理系统中的感知数据和设备数据，并将获取的数据存入所述数据资源池中；通过以下任意一种或多种方式将外部数据源的数据存入所述数据资源池中：数据同步、文件导入、API采集。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将在所述热数据仓库中达到设定时间的热数据转移至所述冷数据仓库。4.根据权利要求1所述的方法，其特征在于，所述向用户提供所述数据资源池中的数据包括以下任意一种或多种：提供API接口，使用户通过所述API接口获取所述数据资源池中的数据；提供数据加载服务，使用户能够加载所述数据资源池中的数据；提供数据查询服务，使用户能够查询所述数据资源池中的数据。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：对所述数据资源池中的数据进行深度处理，所述深度处理包括以下做任意一种或多种处理：加工处理、数据融合分析、分类管理；和/或对所述数据资源池中的数据进行质量巡检。6.一种物联网数据管理装置，其特征在于，所述装置包括：数据源管理模块、数据处理模块、数据服务模块、以及数据资源池；所述数据源管理模块，用于接入数据源，将来自...

【专利技术属性】
技术研发人员：胡建，曹扬，胥月，舒珏淋，姜鑫，
申请(专利权)人：中电科数智科技有限公司，
类型：发明
国别省市：