一种智能湖仓管理方法和系统技术方案

本发明专利技术数据存储领域，针对用户使用智能湖仓需要自行使用于自身接收端相对应的多种中间转接设备才能实现数据互通的问题，提出了一种智能湖仓管理方法和系统，所述方法包括：数据采集模块，与传感器连接，用于采集各个传感器传输的数据信息；通信连接模块，用于接收外界网络发送的数据信息；数据库，与通信连接模块和数据采集模块连接，用于存储采集和接收到的所有数据信息；转接模块，与数据库连接，用于转换数据库中的数据信息的数据格式，并发送给相连的外界数据接口。相连的外界数据接口。相连的外界数据接口。

【技术实现步骤摘要】
一种智能湖仓管理方法和系统


[0001]本专利技术属于数据存储领域，具体涉及一种智能湖仓管理方法和系统。

技术介绍

[0002]智能湖仓的架构是数据湖和数据仓库的结合。数据仓库通常用来处理结构化数据，这些数据必须与数据仓库实现定义的模型吻合；在处理结构化数据时，往往将其转化为多维数据或报表，以满足后续的高级报表及数据分析需求；往往倾向于存储和维护长期数据。数据湖通常用来处理所有类型的数据(如结构化数据、非结构化数据、半结构化数据等等)，数据湖中的数据类型依赖于数据源系统的原始数据格式决定；通常包含很多高概率被访问的数据，是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。由前述分析可知，数据湖和数据仓库的差别明显；为提高企业办事效率通常将其两者进行结合互补，形成智能湖仓。
[0003]而对于智能湖仓通常是直接与中间转接设备连接，而其他app接口或者机械接口与中间转接设备连接，通过转接设备/软件来实现数据的互通。这种数据接收/输出方式十分不便，并且，转接设备多种多样需要和接收端进行预先匹配才能够，使用不变。

技术实现思路

[0004]本专利技术提供一种智能湖仓管理方法和系统，用以解决现有技术中，用户使用智能湖仓需要自行使用于自身接收端相对应的多种中间转接设备才能实现数据互通的问题。
[0005]本专利技术的基础方案为：一种智能湖仓管理系统，包括：
[0006]数据采集模块，与传感器连接，用于采集各个传感器传输的数据信息；
[0007]通信连接模块，用于接收外界网络发送的数据信息；
[0008]数据库，与通信连接模块和数据采集模块连接，用于存储采集和接收到的所有数据信息；
[0009]转接模块，与数据库连接，用于转换数据库中的数据信息的数据格式，并发送给相连的外界数据接口。
[0010]进一步，所述数据库包括数据仓库、数据池和转存模块；数据仓库和数据池之间通过转存模块连接，所述转存模块的基础数据单元为key/value。
[0011]进一步，所述转接模块聚合多种数据转换模型，用于与用户客户端的应用接口连接。
[0012]进一步，所述转接模块包括硬件输出单元和软件输出单元，所述软件输出单元通过influx DB配置，所述硬件输出单元通过opc配置。
[0013]进一步，所述转接模块可同步输出多种数据格式，所述硬件输出单元通过opc程序设置多种数据格式。
[0014]进一步，所述转存模块的基础数据单元为key/value，所述转存单元采用had doop技术设置。
[0015]进一步，所述软件输出单元包括data homogenization数据转换模型、mqtt数据转换模型中至少一个。
[0016]本专利技术还提供一种智能湖仓管理方法，包括：
[0017]获取外界网络和相连的各个传感器发送的数据信息；
[0018]将数据信息存储到数据库中，具体为，根据批处理或流处理的方式分别将数据信息存储到数据仓库或数据池中，数据池和数据仓库之间的数据交互通过相连的转存模块进行以修改数据存储格式；
[0019]根据外界数据接口，将数据库中数据信息转化成对应的数据格式，并输出。
[0020]有益效果：本专利技术中的智能湖仓管理系统中自行设置了转接模块来进行数据的转接，以便于数据库与外界各种数据接口之间的数据通信连接，而转接模块中的转接格式是可以自行设置的，从而实现智能湖仓管理系统的数据传输输出格式的多样性；实现了外界数据接口无需额外调用中间转接设备的自由。
附图说明
[0021]图1为本专利技术第一实施方式提供的一种智能湖仓管理系统的结构示意图；
[0022]图2为图1中数据库的结构示意图；
[0023]图3为图1中数据库的结构示意图；
[0024]图4为图1中转接模块的结构示意图；
[0025]图5为图4中转接模块的工作示意图；
[0026]图6为本专利技术第二实施方式提供的一种智能湖仓管理方法的流程示意图。
具体实施方式
[0027]下面通过具体实施方式进一步详细的说明：
[0028]说明书附图中的附图标记包括：数据采集模块11、通信连接模块12、数据库13、转接模块14。
[0029]第一实施方式：
[0030]本专利技术的第一实施方式提供了一种智能湖仓管理系统1，如图1所示，包括：数据采集模块11、通信连接模块12、数据库13和转接模块14。数据采集模块11和通信连接模块12的输出端均与数据库13连接，数据库13的输出端与转接模块14连接，转接模块14与外界数据接口2连接。
[0031]具体为，数据采集模块11，与外界传感器连接，用于采集各个传感器传输的数据信息；通信连接模块12，用于接收外界网络发送的数据信息；数据库13，与通信连接模块12和数据采集模块11连接，用于存储接收和采集到的所有数据信息；转接模块14，与数据库13连接，用于转换数据库13中的数据信息的数据格式，并发送给相连的外界数据接口2。
[0032]在具体实施期间，首先与智能湖仓管理系统1建立物理通信连接(如通过数据线连接)的外界传感器会直接采集当前所负责的数据信息，数据信息包括该传感器所负责的项目和项目实测信息，在数据采集模块11收到外界传感器发送的数据信息后直接将其发送给数据库13来进行存储。
[0033]同理，与智能湖仓管理系统1建立通信连接的外界网络，也可能通过通信连接模块
12来获取该外界网络中的所有数据信息，数据信息包括外界网络中的项目和项目实测信息。通信连接模块12采集到外界网络中的数据信息直接发送给数据库13来进行存储。
[0034]转接模块14旨在将数据库中的所有数据信息进行数据格式转化，随后发送给对应的外界数据接口。在实现时，转接模块14中往往预存有多种数据格式转化的模板，支持将数据库中的所有数据信息的数据格式进行各种模板对应的转化。那么在一些示例中，转接模块14可以根据外界数据接口，查找到该外界数据接口所能接收到的数据格式，接着根据数据库13中待转化的数据格式a和数据接口所需要的数据格式b，找到对应的数据格式转化模板，通过数据格式转化模板，将数据库13输出的数据信息转换成外界数据接口所需要的数据格式，随后发送给外界数据接口，实现数据的转化和转发。
[0035]在一些示例中，如图2所示，所述数据库13包括数据仓库131、数据池132和转存模块133；数据仓库131和数据池132之间通过转存模块133连接，所述转存模块133的基础数据单元为key/value。
[0036]数据仓库131和数据池132均分别与数据采集模块11和通信连接模块12连接。数据采集模块11和通信连接模块12在收到数据信息后，均对收到的数据信息进行了筛选，筛选需要长期维护的数据信息，并将其进行结构化(已经呈结构化的保留，没有呈现结构化数据的转化为结构化数据)，随后将结构化的、需要长期维护的数据信息发送到数据仓库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能湖仓管理系统，其特征在于，包括：数据采集模块，与传感器连接，用于采集各个传感器传输的数据信息；通信连接模块，用于接收外界网络发送的数据信息；数据库，与通信连接模块和数据采集模块连接，用于存储采集和接收到的所有数据信息；转接模块，与数据库连接，用于转换数据库中的数据信息的数据格式，并发送给相连的外界数据接口。2.根据权利要求1所述的一种智能湖仓管理系统，其特征在于：所述数据库包括数据仓库、数据池和转存模块；数据仓库和数据池之间通过转存模块连接，所述转存模块的基础数据单元为key/value。3.根据权利要求1所述的一种智能湖仓管理系统，其特征在于：所述转接模块聚合多种数据转换模型，用于与用户客户端的应用接口连接。4.根据权利要求1所述的一种智能湖仓管理系统，其特征在于：所述转接模块包括硬件输出单元和软件输出单元，所述软件输出单元通过influx DB配置，所述硬件输出单元通过op...

【专利技术属性】
技术研发人员：夏雨成，
申请(专利权)人：慕贝尔汽车部件太仓有限公司，
类型：发明
国别省市：