一种实时数据存储器制造技术

本发明专利技术公开了一种实时数据存储器，包括：接口层，用于对外提供查询接口和写入接口，将查询和写入命令解析成内部约定的数据格式，然后传递给缓存层，以及将查询结果和写入结果封装并进行应答；缓存层，用于接收来自接口层的查询命令和写入命令，并向所述接口层返回查询结果和写入结果；列式数据库层，用于保存数据索引和数据内容；数据持久层，用于采用分布式文件系统，将文件块保存。本发明专利技术的优点和积极效果是：实现了物联网领域的国际标准，满足了物联网领域的主要应用场景。尤其对于具有大量的传感器数据的存储，不存在单点故障，容量巨大的同时满足高可靠性。

Real time data memory

The invention discloses a real-time data storage, including: interface layer, to provide a query interface and write the query interface, and the write command is parsed into data format within the agreed, and then transmitted to the cache, and the query results and write the result into the package and response; the cache layer for receiving interface layer the query commands and write commands, and the interface layer to return query results and write results; column database layer, used to save the data index and the content of the data; the data persistence layer, for the distributed file system, the file blocks. The advantages and the positive effects of the invention are that the international standards of the Internet of things are realized, and the main application scenes in the Internet of things are satisfied. Especially for the storage of a large number of sensor data, there is no single point of failure, the capacity is large, while meeting high reliability.

【技术实现步骤摘要】
一种实时数据存储器
本专利技术涉及信息存储
，具体地说，是涉及一种实时数据存储器。
技术介绍
ISO18880是物联网领域的一个国际标准，2015年发布，是一个将信息通信技术和能源节约结合的标准。该标准立足于物联网感知层与网络层数据传输所必需的关键点，通过感知层传感节点的多协议信息标准化处理，推动物联网网络层信息的标准化应用，规范网络层及应用层数据接口形式，进而可以形成物联网数据汇聚核心，能够使用准确的远程控制和操作，为社区管理员，公共服务提供者，个人用户等提供协作管理解决方案，以更有效地控制社区和建筑群内设施，如传感器，监测监控，暖通空调（暖气，通风和空调），照明系统，消防系统等，可以广泛使用在智能楼宇，公共社区，现代运输系统，数字化家庭等领域。在物联网领域，大量的传感器数据采用专门的系统（实时数据库系统）来存储，它是数据库系统的一个分支，适用于处理不断更新的快速变化的数据。这些来自于传感器的数据都可以用一个四元组来表达：（数据点编号，时间戳，数值，数据质量）。数据点（简称测点）编号可采用GUID或其他唯一算法生成，绝大多数对传感数据的查询，以数据点编号+时间为条件，即查询某段时间内某些测点的数值，因此实时数据库多根据这些特定的应用场景进行设计和性能优化。实时数据系统的实现，有采用现有的纯内存数据库，特点是速度快，但不能使数据持久化；有采用现有的关系数据库，但性能会有相当的损失。物联网领域的传感数据一般都极其巨大，对于要处理动辄T级字节大小的文件，单个数据库、单个服务器往往很难满足要求，所以可以采用多个数据库、多台服务器联合部署方式，实现所谓的“群集数据库”。群集数据库一般由若干个实时/历史数据库库组成，对外提供统一的访问接口，但是解决不了巨型数据文件的问题。
技术实现思路
本专利技术为了解决现有存储器对于存储物联网领域中大量的传感器数据时，无法集存储速度、数据持久化、以及容纳巨型数据文件的优势于一体的技术问题，提出了一种实时数据存储器，可以解决上述问题。为了解决上述技术问题，本专利技术采用以下技术方案予以实现：一种实时数据存储器，包括：接口层，用于对外提供查询接口和写入接口，将查询和写入命令解析成内部约定的数据格式，然后传递给缓存层，以及将查询结果和写入结果封装并进行应答；缓存层，用于接收来自接口层的查询命令和写入命令，并向所述接口层返回查询结果和写入结果；列式数据库层，用于保存数据索引和数据内容；数据持久层，用于采用分布式文件系统，将文件块保存。进一步的，所述接口层提供的接口符合ISO18880的查询接口和写入接口。进一步的，所述接口层将查询结果和写入结果按ISO18880协议格式进行应答。进一步的，所述缓存层对于来自接口层的查询命令，首先查找缓存，如果缓存中存在查询命令中所要查询的信息，则将查询结果直接返回给接口层，如果缓存中没有查询命令中所要查询的信息，则将所述查询命令传递至列式数据库层进行查询，列式数据库层将查询结果发送至缓存层，由缓存层将查询结果发送至接口层，对于来自接口层的写入命令，缓存层将数据写入缓存队列，并生成写入结果返回给接口层。进一步的，缓存层将数据写入缓存队列时，当发生超时或缓存满时，直接将数据提交给所述列式数据库层。进一步的，所述缓存层采用分布式存储系统进行缓存。进一步的，所述列式数据库层按数据索引-数据内容的保存形式，数据索引按照生成规则生成，至少包括测点ID和测点编号两部分，当缓存层将查询命令传递至列式数据库层进行查询时，列式数据库层按照所述生成规则将查询命令生成查询数据索引，并按照所述查询数据索引查询出所对应的数据内容，然后将查询结果返回给所述缓存层。进一步的，当有数据写入至所述列式数据库层时，列式数据库层按照所述生成规则生成写入数据索引,若该数据索引存在，读取对应的数据内容，并按时间顺序插入或者更新所要写入的数据内容；若该数据索引不存在，则创建该数据索引并将对应的数据内容写入。进一步的，所述数据内容包括测点属性和测点数据，所述列式数据库层中，测点属性与测点数据共享一套存储方式，由索引格式加以区分，在插入或者更新所要写入的数据内容之前，若所述数据内容为测点数据，将所述测点数据进行压缩后进行更新或者写入，若所述数据内容为测点属性，则直接更新或者写入。进一步的，所述数据持久层将文件块保存时，采用分布式文件系统将文件块保存为若干份进行备份保存。与现有技术相比，本专利技术的优点和积极效果是：1、采用接口层、缓存层、列式数据库层、数据持久层共四层架构的方式，能够对外提供并行的查询和写入服务，简单高效实现了ISO18880标准中规定的实时数据存储器；2、采用列式数据库作为存储的底层框架，能够实现历史数据的海量存储功能，同时保持查询的高效性；3、采用分布式文件系统保存列式数据，文件大小几乎没有限制，特别适合物联网领域众多测点数据的存储；4、采用分布式内存缓存层作为前端处理，提高了读写性能；5、采用国际标准接口，适应范围广：实现了物联网领域的国际标准，满足了物联网领域的主要应用场景。结合附图阅读本专利技术实施方式的详细描述后，本专利技术的其他特点和优点将变得更加清楚。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术所提出的实时数据存储器的一种实施例原理方框图；图2是本专利技术所提出的实时数据存储器的一种实施例中读写过原理方框图；图3是本专利技术所提出的实时数据存储器的一种实施例中列式数据库层的原理图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一，本实施例提出了一种实时数据存储器，如图1所示，包括：接口层，用于对外提供查询接口和写入接口，将查询和写入命令解析成内部约定的数据格式，然后传递给缓存层，以及将查询结果和写入结果封装并进行应答；本层提供协议的解析（由外向内的操作命令）和协议的封装（由内向外的命令应答），即将查询和写入命令解析成内部约定的数据格式，然后传递给缓存层；将查询和写入的结果封装规定的协议格式进行应答。本实时数据存储器的应用场景的特点是需要将大量以时间/测点编号为维度的数据持续不断地写入实时数据存储器，同时会以这两个维度进行读取（查询），查询与写入是并行的，简单高效。缓存层，用于接收来自接口层的查询命令和写入命令，并向所述接口层返回查询结果和写入结果；本实施例的缓存层优选采用分布式存储系统（例如redis），采用分布式内存缓存层作为前端处理，有助于提高读写性能。列式数据库层，用于保存数据索引和数据内容；采用列式数据库作为存储的底层框架，能够实现历史数据的海量存储功能，并且分布式存储的方式，不存在单点故障，容量巨大的同时满足高可靠性。数据持久层，用于采用分布式文件系统，将文件块保存。数据持久层由于采用分布式文件系统保存列式数据，文件大本文档来自技高网...

【技术保护点】
一种实时数据存储器，其特征在于，包括：接口层，用于对外提供查询接口和写入接口，将查询和写入命令解析成内部约定的数据格式，然后传递给缓存层，以及将查询结果和写入结果封装并进行应答；缓存层，用于接收来自接口层的查询命令和写入命令，并向所述接口层返回查询结果和写入结果；列式数据库层，用于保存数据索引和数据内容；数据持久层，用于采用分布式文件系统，将文件块保存。

【技术特征摘要】
1.一种实时数据存储器，其特征在于，包括：接口层，用于对外提供查询接口和写入接口，将查询和写入命令解析成内部约定的数据格式，然后传递给缓存层，以及将查询结果和写入结果封装并进行应答；缓存层，用于接收来自接口层的查询命令和写入命令，并向所述接口层返回查询结果和写入结果；列式数据库层，用于保存数据索引和数据内容；数据持久层，用于采用分布式文件系统，将文件块保存。2.根据权利要求1所述的实时数据存储器，其特征在于，所述接口层提供的接口符合ISO18880的查询接口和写入接口。3.根据权利要求2所述的实时数据存储器，其特征在于，所述接口层将查询结果和写入结果按ISO18880协议格式进行应答。4.根据权利要求1所述的实时数据存储器，其特征在于，所述缓存层对于来自接口层的查询命令，首先查找缓存，如果缓存中存在查询命令中所要查询的信息，则将查询结果直接返回给接口层，如果缓存中没有查询命令中所要查询的信息，则将所述查询命令传递至列式数据库层进行查询，列式数据库层将查询结果发送至缓存层，由缓存层将查询结果发送至接口层，对于来自接口层的写入命令，缓存层将数据写入缓存队列，并生成写入结果返回给接口层。5.根据权利要求4所述的实时数据存储器，其特征在于，缓存层将数据写入缓存队列时，当发生超时或缓存满时，直接将数据提交给所述列式数据库层。6...

【专利技术属性】
技术研发人员：辜晓川，杜长河，赵小鹏，王振岗，李秀福，孙琳琳，马学东，马文杰，葛庆，王晓旻，苏存，
申请(专利权)人：青岛高校信息产业股份有限公司，
类型：发明
国别省市：山东,37