一种流数据存储方法及装置制造方法及图纸

本发明专利技术实施例公开了一种流数据存储方法及装置，所述方法包括：物联网固定时间间隔的采集用户提交的数据查询请求；分析查询请求，根据时间属性和特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；根据时间属性、特征属性、待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；数据采集器接收网络流数据，并将网络流数据转发给文件服务器，服务器上的接收进程接收转发来的网络流数据；服务器读取配置文件，按照配置文件存储接收到的网络流数据。既可以减小服务器体系的成本，又可以达到实时数据快速查询的效果。

Stream data storage method and device

The embodiment of the invention discloses a device and a data stream storage method, the method includes: a fixed time interval of IOT acquisition data submitted by the user query; query request analysis, according to the time and feature attributes, the selected number of sections and segment endpoints, and according to the selected data storage query cache the division of the region to be written in block size; according to the size of build configuration file buffer time attribute, attribute query, data storage, endpoint segment and to be written, and the configuration file is stored in the file on the server; receiving network data flow data acquisition, and data is transmitted to the network flow the file server, the receiving process on the server receives forwarded to the network data stream; the server reads the configuration file according to the received configuration file storage Network stream data. The system can not only reduce the cost of the server system, but also achieve the effect of real-time data fast query.

【技术实现步骤摘要】
一种流数据存储方法及装置
本专利技术涉及流数据存储
，特别涉及一种流数据存储方法及装置。
技术介绍
伴随着工业4.0的浪潮，制造业的信息化水平越来越高，在工业自动化生产过程中会相应的产生海量的实时数据，这些数据即是流数据。流数据的持续产生，海量，实时的特性，使得这类数据的存储以及查询异常困难。采用本地化的关系型数据进行处理，会大大延迟数据查询的速度以及存储的数据量。针对此问题，国内外开始了大量的研究。比较传统的做法是在本地采用实时数据库或者实时数据库与关系型数据库集成的做法解决此问题。但是在工业互联网时代显然本地的数据无法发挥其数据的真正价值。另外一种做法是以单独的流数据处理系统对数据文件进行管理从而达到流数据实时处理的效果。这种方法大部分用在消费级互联网领域，而且需要强大的服务器体系做支撑，在工业领域，数据的产生会量远远超过消费级的数据量，而且数据一般只有在某一段时间内算是实时数据，超过这一时间段即是历史数据，而且目前尚未出现巨大的服务器体系。因此采用一种将实时数据与历史数据进行区分存储处理，可以在满足用户查询历史数据的基础上，大大减小流数据处理系统的压力。
技术实现思路
本专利技术实施例的目的在于提供一种流数据存储方法及装置，以解决流数据的实时查询问题，以及本地存储量有限的问题，而且将流数据中实时数据与历史数据进行区分，可以有效的对数据进行存储以及处理，既可以减小服务器体系的成本，又可以达到实时数据快速查询的效果。为达到上述目的，本专利技术实施例公开了一种流数据存储方法及装置，技术方案如下：一种流数据存储方法，其特征在于，应用于服务器，包括物联网层，云端，网关、数据采集器，所述物联网层与云端物理连接，所述方法包括：所述物联网固定时间间隔的采集用户提交的数据查询请求；分析所述查询请求，包括所述查询请求的时间属性及特征属性；根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；数据采集器接收网络流数据，并将网络流数据转发给文件服务器，所述服务器上的接收进程接收转发来的网络流数据；所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。优选的，所述云端包括：流数据处理系统、控制器和关系型数据库，所述云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。优选的，所述时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属性的出现频率，选择超出预设出现频率的阈值的特征属性进行确定。优选的，所述流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合的数据处理系统。优选的，所述方法还包括：采用窗口显示类显示实时流数据；接收客户端的应用层通过服务端发送数据查询请求；所述控制器根据不同的查询的请求从数据库中查询不同的数据；所述控制器将查询到的数据发送给数据查询类；数据查询类将数据传送至数据类；数据类根据用户的动作显示实时数据或者历史数据。优选的，所述方法还包括：所述服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。一种流数据存储装置，应用于服务器，包括物联网层，云端，网关、数据采集器，所述物联网层与云端物理连接，所述装置包括：采集单元，用于所述物联网固定时间间隔的采集用户提交的数据查询请求；分析单元，用于分析所述查询请求，包括所述查询请求的时间属性及特征属性；选定单元，用于根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；生成单元，用于根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；第一转发单元，用于数据采集器接收网络流数据，并将网络流数据转发给文件服务器，所述服务器上的接收进程接收转发来的网络流数据；存储单元，用于所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。优选的，所述装置还包括：第二转发单元，用于所述服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；排序单元，用于将每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；写入单元，用于将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。优选的，所述云端包括：流数据处理系统、控制器和关系型数据库，所述云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。优选的，所述装置还包括：第一显示单元，用于采用窗口显示类显示实时流数据；第一发送单元，用于接收客户端的应用层通过服务端发送数据查询请求；查询单元，用于所述控制器根据不同的查询的请求从数据库中查询不同的数据；第二发送单元，用于所述控制器将查询到的数据发送给数据查询类；传送单元，用于数据查询类将数据传送至数据类；第二显示单元，用于数据类根据用户的动作显示实时数据或者历史数据。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一种流数据存储方法的流程图。图2为另一种流数据存储方法的流程图。图3为一种流数据存储装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为一种流数据存储方法的流程图，应用于服务器，包括物联网层，云端，网关、数据采集器，物联网层与云端物理连接，所述方法包括如下步骤：A、物联网固定时间间隔的采集用户提交的数据查询请求；B、分析查询请求，包括查询请求的时间属性及特征属性；C、根据时间属性和特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；D、根据时间属性、特征属性、待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；E、数据采集器接收网络流数据，并将网络流数据转发给文件服务器，服务器上的接收进程接收转发来的网络流数据；F、服务器读取配置文件，按照配置文件存储接收到的本文档来自技高网...

【技术保护点】
一种流数据存储方法，其特征在于，应用于服务器，包括物联网层，云端，网关、数据采集器，所述物联网层与云端物理连接，所述方法包括：所述物联网固定时间间隔的采集用户提交的数据查询请求；分析所述查询请求，包括所述查询请求的时间属性及特征属性；根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；数据采集器接收网络流数据，并将网络流数据转发给文件服务器，所述服务器上的接收进程接收转发来的网络流数据；所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。

【技术特征摘要】
1.一种流数据存储方法，其特征在于，应用于服务器，包括物联网层，云端，网关、数据采集器，所述物联网层与云端物理连接，所述方法包括：所述物联网固定时间间隔的采集用户提交的数据查询请求；分析所述查询请求，包括所述查询请求的时间属性及特征属性；根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；数据采集器接收网络流数据，并将网络流数据转发给文件服务器，所述服务器上的接收进程接收转发来的网络流数据；所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。2.根据权利要求1所述一种流数据存储方法，其特征在于，所述云端包括：流数据处理系统、控制器和关系型数据库，所述云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。3.根据权利要求1所述一种流数据存储方法，其特征在于，所述时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属性的出现频率，选择超出预设出现频率的阈值的特征属性进行确定。4.根据权利要求2所述一种流数据存储方法，其特征在于，所述流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合的数据处理系统。5.根据权利要求2所述一种流数据存储方法，其特征在于，所述方法还包括：采用窗口显示类显示实时流数据；接收客户端的应用层通过服务端发送数据查询请求；所述控制器根据不同的查询的请求从数据库中查询不同的数据；所述控制器将查询到的数据发送给数据查询类；数据查询类将数据传送至数据类；数据类根据用户的动作显示实时数据或者历史数据。6.根据权利要求1所述一种流数据存储方法，其特征在于，所述方法还包括：所述服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采用追加写的方式将...

【专利技术属性】
技术研发人员：雷桦松，
申请(专利权)人：雷桦松，
类型：发明
国别省市：广东,44