一种基于实时数据库的数据采集存储方法技术

本发明专利技术公开了一种基于实时数据库的数据采集存储方法，涉及大数据采集与存储技术领域。包括：S1、启动杀毒软件，对数据库进行扫描，确认无任何流氓软件或病毒植入后，启动数据源实时数据库设备数据；S2、通过以restful接口方式的java项目，定时采集数据；S3、采集到接口数据后，分别存储到实时数据表，N小时数据表和历史数据表。该基于实时数据库的数据采集存储方法将实时采集数据与历史数据分离，用三张表分别存储实时数据、N小时数据、全量历史数据，展示实时数据用实时数据表，查看实时数据趋势用N小时数据表，查询历史数据用历史数据表，这时展示实时数据时页面反馈速度就会比之前显著变短。变短。变短。

【技术实现步骤摘要】
一种基于实时数据库的数据采集存储方法


[0001]本专利技术涉及大数据采集与存储
，具体为一种基于实时数据库的数据采集存储方法。

技术介绍

[0002]大数据时代，需要对工厂设备运行情况所产生的数据进行实时监测，本专利技术是基于restful接口方式采集实时数据库数据，SpringBoot框架的java项目将数据转存至关系数据库，然后通过BI分析工具展示关系数据库中的数据。传统的存储方式是将接口采集到的数据都放在一张表中供BI分析工具展示，但是实时数据库关于设备运行情况的数据存在基础点位多，更新频率快的特点，所以也需要BI分析工具能有较高的刷新频率，一方面需要考虑BI工具刷新及缓存数据的能力，另一方面也需要考虑数据存储方式的选择。
[0003]传统的数据存储一般会将接口所采集到的数据都转存到一张表中，数据更新方式为覆盖更新，数据表中只包含当前采集的实时数据，这样BI工具展示数据时，数据表中数据较少，确实可以敏捷地给页面反馈数据，但是不能满足展示历史数据的需求。这时又有另一种方式是将实时数据累计追加更新到数据表中，将历史数据与实时数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时数据库的数据采集存储方法，其特征在于：该基于实时数据库的数据采集存储方法包括：S1、启动杀毒软件，对数据库进行扫描，确认无任何流氓软件或病毒植入后，启动数据源实时数据库设备数据；S2、通过以restful接口方式的java项目，定时采集数据；S3、采集到接口数据后，分别存储到实时数据表，N小时数据表和历史数据表；S4、采集到数据后，将采集到的数据传输到云网盘内后，并关闭除数据源实时数据设备数据以外的后台运行程序；S5、在存储到实时数据表前，将实时数据表中原有的数据进行覆盖，并推送至实时数据表内，并通过BI页面展示实时点位数据；S6、在存储到N小时数据表前，追加更新并删除N小时之前的数据，推送至N小时数据表内，并通过BI页面展示N小时内点位数据；S7、在存储到历史数据表前，追加更新，推送至历史数据表内，并通过BI页面展示历史点位数据；S8、将实时点位数据表上显示的数据进行打印，并将打印后的复印件存储在档案袋内。2.根据权利要求1所述的一种基于实时数据库的数据采集存储方法，其特征在于：所述S3中进一步的步骤包括：在区分实时数据表、N小时数据表和历史数据表后，分别对实时数据、N小时数据和历史数据进行存储，并自动上传云网盘内。3.根据权利要求1所述的一种基于实时数据库的数据采集存储方法，其特征...

【专利技术属性】
技术研发人员：郑士良，刘威宪，黎荣华，安宝，苑文策，刘东东，林楠，张夏楠，
申请(专利权)人：河钢数字技术股份有限公司，
类型：发明
国别省市：