一种面向物联网的数据中间件系统技术方案

本发明专利技术公开了一种面向物联网的数据中间件系统，包括物联网数据采集模块，用于通过传感装置采集物联网设备的实时数据并传输至物联网数据存储模块；分布式内存文件层用于对实时数据进行写缓存和聚类写，将缓存后和聚类后的存储数据写入分布式文件层进行存储；物联网数据检索模块，用于对物联网数据存储模块中的存储数据建立索引，返回目标数据检索结果；物联网数据分析模块，用于对目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。本发明专利技术在分布式文件层上设置分布式内存文件层，对海量的传感器数据进行分布式并行写缓存和聚类合并，使得海量实时数据能够进行高吞吐的写缓存服务，且有效减少物联网中对象查询时的时间，提高查询效率。提高查询效率。提高查询效率。

【技术实现步骤摘要】
一种面向物联网的数据中间件系统

技术介绍

[0001]本专利技术属于数据处理
，具体涉及一种面向物联网的数据中间件系统。
[0002]
技术介绍

[0003]物联网是一个将海量传感装置与互联网相结合起来而形成的巨大网络。在物联网中，海量传感装置不断地采集数据并发送到数据中心；随着感知技术与网络技术的不断发展，数据呈现出海量特性，形成了物联网大数据。对物联网大数据进行持久化存储，可以获得任一传感器的历史与当前感知数据，通过对数据进行检索和统计分析，可以实现复杂与规律的感知和趋势分析；数据存储与管理以流任务运行在数据中心中，通过节能任务调度，降低物联网应用的成本。目前，物联网产业早已渗透至诸如工业生产、智能家居、宇宙开发、海洋探测、环境保护、资源调查、医学诊断、生物工程、甚至文物保护等等及其广泛的领域，物联网产业进入快速发展时期。
[0004]物联网数据的存储与处理，需要持久化存储数据、实时检索数据，对数据进行及时的分析和处理，从而实现对数据有效的感知与控制。但是，物联网数据的海量特性为数据的存储与处理带来了巨大的挑战。主要在于：海量传感器频繁地产生新的采集数据并发送到数据中心，形成了庞大的实时数据写入流，而传统的持久化存储系统无法对海量实时数据进行实时高性能的数据存储，因此无法满足物联网海量数据在线存储的需求。

技术实现思路

[0005]本专利技术的目的是一种面向物联网的数据中间件系统，用于解决现有技术中存在的至少一个技术问题。
[0006]为了实现上述目的，本专利技术采用以下技术方案：/>[0007]一种面向物联网的数据中间件系统，包括：采用数据总线相互通信连接的物联网数据采集模块、物联网数据存储模块、物联网数据检索模块和物联网数据分析模块；
[0008]所述物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至所述物联网数据存储模块；
[0009]所述物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，所述分布式内存文件层用于对所述实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入所述分布式文件层进行存储；
[0010]所述物联网数据检索模块用于对所述物联网数据存储模块中的存储数据建立索引，接收目标数据检索请求并返回目标数据检索结果；
[0011]所述物联网数据分析模块用于对所述目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。
[0012]在一种可能的设计中，所述分布式内存文件层置顶设置在所述分布式文件层上。
[0013]在一种可能的设计中，所述分布式内存文件层包括一个主存储节点和多个分布存储节点，所述主存储节点包括写缓存管理模块，所述分布存储节点包括写缓存服务模块；
[0014]所述写缓存管理模块用于根据所述物联网数据采集模块的写入请求，向所述物联
网数据采集模块返回对应的写缓存服务模块；
[0015]所述写缓存服务模块用于接收所述实时数据以完成数据写入操作，并向所述物联网数据采集模块返回写成功的命令。
[0016]在一种可能的设计中，所述写缓存管理模块包括请求监听接口、写调度单元和第一元数据管理单元；
[0017]所述请求监听接口用于监听来自所述物联网数据采集模块和所述写缓存服务模块的请求命令；
[0018]所述写调度单元用于根据所述物联网数据采集模块的写入请求，基于写调度策略向所述物联网数据采集模块返回对应的写缓存服务模块；
[0019]所述第一元数据管理单元用于记录传感装置与所述分布存储节点的映射信息。
[0020]在一种可能的设计中，所述写缓存服务模块包括数据写入接口、内存管理单元和第二元数据管理单元；
[0021]所述数据写入接口用于向所述数据采集模块提供数据写入通道；
[0022]所述内存管理单元用于对所述实时数据进行内存分配，以及用于管理内部的存储数据；
[0023]所述第二元数据管理单元用于管理传感装置与对应的物联网设备的映射信息、传感装置与数据的映射信息以及内存块信息。
[0024]在一种可能的设计中，所述主存储节点还包括聚类写管理模块，所述分布存储节点还包括聚类写服务模块；
[0025]所述聚类写管理模块用于调度所述分布存储节点进行依赖图初始化并行计算和数据合并写；
[0026]所述聚类写服务模块用于根据所述聚类写管理模块的调度进行依赖图初始化并行计算和数据合并写，并在数据大小达到阈值时将数据写入所述分布文件层中。
[0027]在一种可能的设计中，所述聚类写管理模块包括依赖图计算管理单元、聚类单元以及合并写管理单元；
[0028]所述依赖图计算管理单元用于调度所述分布存储节点进行依赖图初始化并行计算，并对计算结果进行汇总后完成最终的依赖图初始化；
[0029]所述聚类单元用于根据所述计算结果进行基于依赖图的层次聚类；
[0030]所述合并写管理单元用于根据聚类结果进行簇的调度，以确定簇与分布存储节点的对应关系。
[0031]在一种可能的设计中，所述聚类写服务模块包括依赖图计算单元和合并写单元；
[0032]所述依赖图计算单元用于根据所述依赖图计算管理单元的调度进行依赖图初始化并行计算；
[0033]所述合并写单元用于根据所述合并写管理单元的调度，对簇中所包含的数据进行合并写，并在当簇中所包含的数据达到阈值时将数据写入所述分布文件层中。
[0034]在一种可能的设计中，所述物联网数据检索模块包括多维索引单元和检索服务单元；
[0035]所述多维索引单元用于从多维度为所述物联网数据存储模块建立数据索引；
[0036]所述检索服务单元用于接收目标数据检索请求并返回目标数据检索结果。
[0037]第二方面，本专利技术提供一种计算机存储设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
[0038]第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
[0039]第五方面，本专利技术提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行执行如第一方面任意一种可能的设计中所述的面向物联网的数据中间件系统。
[0040]有益效果：
[0041]本专利技术通过设置物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至物联网数据存储模块；通过设置物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，分布式内存文件层用于对实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入分布式文件层进行存储；通过设置物联网数据检索模块用于对物联网数据存储模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向物联网的数据中间件系统，其特征在于，包括：采用数据总线相互通信连接的物联网数据采集模块、物联网数据存储模块、物联网数据检索模块和物联网数据分析模块；所述物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至所述物联网数据存储模块；所述物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，所述分布式内存文件层用于对所述实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入所述分布式文件层进行存储；所述物联网数据检索模块用于对所述物联网数据存储模块中的存储数据建立索引，接收目标数据检索请求并返回目标数据检索结果；所述物联网数据分析模块用于对所述目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。2.根据权利要求1所述的面向物联网的数据中间件系统，其特征在于，所述分布式内存文件层置顶设置在所述分布式文件层上。3.根据权利要求1所述的面向物联网的数据中间件系统，其特征在于，所述分布式内存文件层包括一个主存储节点和多个分布存储节点，所述主存储节点包括写缓存管理模块，所述分布存储节点包括写缓存服务模块；所述写缓存管理模块用于根据所述物联网数据采集模块的写入请求，向所述物联网数据采集模块返回对应的写缓存服务模块；所述写缓存服务模块用于接收所述实时数据以完成数据写入操作，并向所述物联网数据采集模块返回写成功的命令。4.根据权利要求3所述的面向物联网的数据中间件系统，其特征在于，所述写缓存管理模块包括请求监听接口、写调度单元和第一元数据管理单元；所述请求监听接口用于监听来自所述物联网数据采集模块和所述写缓存服务模块的请求命令；所述写调度单元用于根据所述物联网数据采集模块的写入请求，基于写调度策略向所述物联网数据采集模块返回对应的写缓存服务模块；所述第一元数据管理单元用于记录传感装置与所述分布存储节点的映射信息。5.根据权利要求1所述的面向物联网的数据中间件系统，其特征在于，所述写...

【专利技术属性】
技术研发人员：赵科，
申请(专利权)人：武汉英仕达信息技术有限公司，
类型：发明
国别省市：