一种工业大数据分级存储方法及系统技术方案

本发明专利技术提供了一种工业大数据分级存储方法及系统，所述分级存储方法包括以下步骤：S1：设备传感器从工业设备获取实时运行数据；S2：通过调度程序将实时数据存储至实时内存库服务器，实时内存库仅存储1分钟实时数据；S3：通过调度程序和调度规则将超过一分钟的数据发送至缓存内存库服务器，缓存内存服务器所存储的数据类型有限；S4：通过调度程序和调度规则将缓存内存库接收的数据存储至nosql数据库形成最终落盘一方面，本发明专利技术应用两层内存库和nosql，优化处理工业大数据缓存问题，解决工业大数据海量数据高并发存储需要。大数据海量数据高并发存储需要。大数据海量数据高并发存储需要。

A hierarchical storage method and system of industrial big data

The invention provides a hierarchical storage method and system for industrial big data. The hierarchical storage method includes the following steps: S1: the device sensor obtains real-time operation data from industrial devices; S2: store real-time data to the real-time memory database server through the scheduler, and the real-time memory database only stores real-time data for 1 minute; S3: send more than one minute of data to the cache memory server through the scheduler and scheduling rules, and the data types stored by the cache memory server are limited; S4: store the data received by the cache memory library into the NoSQL database through the scheduler and scheduling rules to form the final disk. On the one hand, the invention applies two-layer memory library and NoSQL to optimize the processing of industrial big data cache and solve the high concurrency storage needs of massive industrial big data. Big data massive data needs high concurrent storage. Big data massive data needs high concurrent storage< br/>

【技术实现步骤摘要】
一种工业大数据分级存储方法及系统


[0001]本专利技术涉及计算机数据处理
，尤其涉及一种工业大数据分级存储方法及系统。

技术介绍

[0002]工业生产中产生的工业大数据具有数据量大、数据处理高并发、数据多样化等特征，应用传统商业数据库对其进行存储存在内存有限、兼容性欠佳、代价大的局限，实际调用效率不能保证。并且随着工业物联网和智能制造的发展，数据量越来越多，数据资产价值密度低，从“业务驱动”转变“数据驱动”，存储方法需要革新，以满足现在技术扩展速度和数据变现要求。
[0003]巩俊利于2019年8月在《一种工业大数据的存储方法及装置》中专利技术了一种工业大数据存储装置，包括采集模块、转换模块、写入模块，根据采集到的数据信息类型，选择对应数据库连接表，查找数据信息类型对应的触发条件和目的数据库的参数，将数据信息根据预设格式拼接为标签数据信息，写入数据库配置文件，并根据目的数据库的参数将配置文件发送至目的数据库。
[0004]已有技术通过将采集到的数据根据一定条件进行转换，转换成新的标签数据，再将带有标签数据的配置文件发送至目的数据库。
[0005]已有技术只解决的用开源数据库代替商用数据库和关系数据库的问题，并没有解决工业大数据本身的数据量大、数据处理高并发、数据多样化的自有属性特征难题。
[0006]因此，有必要研究一种工业大数据分级存储方法及系统来应对现有技术的不足，以解决或减轻上述一个或多个问题。

技术实现思路

[0007]有鉴于此，本专利技术提供了一种工业大数据分级存储方法及系统，应用两层内存库和nosql，优化处理工业大数据缓存问题，解决工业大数据海量数据高并发存储需要。
[0008]一方面，本专利技术提供一种工业大数据分级存储方法，所述分级存储方法包括以下步骤：
[0009]S1：设备传感器从工业设备获取实时运行数据；
[0010]S2：通过调度程序将实时数据存储至实时内存库服务器，实时内存库仅存储1分钟实时数据；
[0011]S3：通过调度程序和调度规则将超过一分钟的数据发送至缓存内存库服务器；
[0012]S4：通过调度程序和调度规则将缓存内存库接收的数据存储至nosql数据库形成最终落盘。
[0013]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2中第实时内存库所遵循换存触发条件为当数据累计1分钟后即将数据换存至第二层缓存数据库，同时进行跨天监测，跨天即换存。
[0014]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3中实时内存库数据换存至缓存内存库数据调度方式为1000点一个线程，50个线程一个进程，调度时间为1分钟一调度。
[0015]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3中缓存内存库存储的数据类型为当日值、前一日值及最近一天的24时值。
[0016]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4中缓存内存库中数据落盘至nosql数据库调度方式为多线程调度，5万点一个线程，调度时间为10分钟一调度。
[0017]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4中Nosql数据库为开源产品，包括但不限于MongoDB和HBase。
[0018]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2中实时内存库采用HashMap数据结构，采集点编号作为HashMap结构的索引，由时间戳和数据值组成的一系列数据对象作为HashMap的值。
[0019]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3中缓存内存库缓存内存库存储一分钟以上的当日采集数据，前一日的采集数据，及最近2日的0点数据，采用HashMap数据结构，采集点编号作为HashMap结构的索引，由时间戳和数据值组成的一系列数据对象作为HashMap的值。
[0020]如上所述的方面和任一可能的实现方式，进一步提供一种工业大数据分级存储系统，所述分级存储系统包括，数据获取模块，通过设备传感器从工业设备获取实时运行数据；
[0021]实时内存库模块，通过调度程序将实时数据存储至实时内存库服务器；
[0022]缓存内存库模块，通过调度程序和调度规则将超过一分钟的数据发送至缓存内存库服务器；
[0023]落盘nosql模块，通过调度程序和调度规则将缓存内存库接收的数据存储至nosql数据库形成最终落盘。
[0024]如上所述的方面和任一可能的实现方式，进一步提供一种可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行任一项所述的分级存储方法的步骤。
[0025]与现有技术相比，本专利技术可以获得包括以下技术效果：本专利技术通过应用多层大数据平台的存储方法，根据数据时间属性的不同，分级存储数据，即能够保证实时数据及时读取并存储，也能将实际应用中的重要节点数据重点提取，并将全部数据落盘至nosql，并且多个数据库换存操作的分级进行也能满足工业大数据数据量大、高并发的要求，保证了工业大数据的存储安全和价值保有，利于后续应用海量数据进行数据挖掘与分析。
[0026]当然，实施本专利技术的任一产品并不一定需要同时达到以上所述的所有技术效果。
【附图说明】
[0027]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0028]图1是本专利技术一个实施例提供的分级存储方法的流程图；
[0029]图2是本专利技术一个实施例提供的分级存储系统的硬件结构图。
【具体实施方式】
[0030]为了更好的理解本专利技术的技术方案，下面结合附图对本专利技术实施例进行详细描述。
[0031]应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0032]在本专利技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本专利技术。在本专利技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0033]本专利技术提供一种工业大数据分级存储方法，所述分级存储方法包括以下步骤：
[0034]S1：设备传感器从工业设备获取实时运行数据；
[0035]S2：通过调度程序将实时数据存储至实时内存库服务器，实时内存库仅存储1分钟实时数据；
[0036]S3：通过调度程序和调度规则将超过一分钟的数据发送至缓存内存库服务器，缓存内存服务器所存储的数据类型有限；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业大数据分级存储方法，其特征在于，所述分级存储方法包括以下步骤：S1：设备传感器从工业设备获取实时运行数据；S2：通过调度程序将实时数据存储至实时内存库服务器，实时内存库仅存储1分钟实时数据；S3：通过调度程序和调度规则将超过一分钟的数据发送至缓存内存库服务器；S4：通过调度程序和调度规则将缓存内存库接收的数据存储至nosql数据库形成最终落盘。2.根据权利要求1所述的分级存储方法，其特征在于，所述S2中第实时内存库所遵循换存触发条件为当数据累计1分钟后将数据换存至第二层缓存数据库，同时进行跨天监测，跨天即换存。3.根据权利要求2所述的分级存储方法，其特征在于，所述S3中实时内存库数据换存至缓存内存库数据调度方式为1000点一个线程，50个线程一个进程，调度时间为1分钟一调度。4.根据权利要求3所述的分级存储方法，其特征在于，所述S3中缓存内存库存储的数据类型为当日值、前一日值及最近一天的24时值。5.根据权利要求4所述的分级存储方法，其特征在于，所述S4中缓存内存库中数据落盘至nosql数据库调度方式为多线程调度，5万点一个线程，调度时间为10分钟一调度。6.根据权利要求5所述的分级存储方法，其特征在于，所述S4中Nosql数据库为开源产品，包括MongoDB和HBase。7.根据权利要求1所述...

【专利技术属性】
技术研发人员：张轶，孙大舰，宋文斌，石林，谢丹妮，田炳亮，李雪丹，
申请(专利权)人：深圳光耀智微科技有限公司，
类型：发明
国别省市：