一种线上数控展览方法技术

本发明专利技术公开了一种线上数控展览方法，先通过数据收集模块收集各种数据源的数据，并将这些数据转换为文件或消息向后传递，通过数据转存模块将数据定时传递到分布式存储或者实时传递给下游的数据处理程序，通过ETL模块对数据清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库模块，通过数据仓库模块对数据进行存取和管理，通过元数据管理模块记录和约束数据仓库中数据的含义和格式、控制着数据的生命周期和数据质量，通过分析引擎模块执行各种分析语句或代码，完成分析任务，根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL模块组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘，一定程度上提高数据挖掘效率。上提高数据挖掘效率。上提高数据挖掘效率。

【技术实现步骤摘要】
一种线上数控展览方法


[0001]本专利技术属于大数据处理
，具体涉及一种线上数控展览方法。

技术介绍

[0002]参观展览会伴随着时间和空间的限制,较为不便,相关技术中已经存在一种可以线上进行参观展览的系统,大数据分析及挖掘技术通常是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。
[0003]但是，传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模，降低了数据挖掘效率；为此，我们提出一种线上数控展览方法来解决上述存在的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种线上数控展览方法，通过数据收集模块、数据转存模块、ETL模块、数据仓库模块、元数据管理模块、分析引擎模块、作业管理与调度模块和资源分配与调度模块的配合，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术采用了如下技术方案：
[0006]一种线上数控展览方法，包括如下步骤：
[0007]S1、通过数据收集模块收集各种数据源的数据，并将这些数据转换为文件或消息向后传递；
[0008]S2、通过数据转存模块将数据定时传递到分布式存储或者实时传递给下游的数据处理程序；
[0009]S3、通过ETL模块对数据清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库模块；
[0010]S4、通过数据仓库模块对数据进行存取和管理；
[0011]S5、通过元数据管理模块记录和约束数据仓库中数据的含义和格式、控制着数据的生命周期和数据质量；
[0012]S6、通过分析引擎模块执行各种分析语句或代码，完成分析任务；
[0013]S7、通过作业管理与调度模块分析作业的管理和定时调度；
[0014]S8、通过资源分配与调度模块在多作业同时运行的场景下，有效协调和分配集群的资源。
[0015]优选的，步骤1中所述数据收集模块包括数据采集器，所述数据采集器包括温湿度传感器、粉尘浓度传感器和压力传感器，所述温湿度传感器、粉尘浓度传感器和压力传感器分别与数据转存模块电性连接。
[0016]优选的，步骤2中所述数据转存模块包括云服务器，所述云服务器存储的数据包括
导入的表格数据、填入的人员数据和数据器采集的数据。
[0017]优选的，步骤3中所述ETL模块是完成对已接收数据的辨析、抽取和清洗的操作，其中抽取是因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的；清洗是对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容。
[0018]优选的，步骤4中所述数据仓库模块是将大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用，开发可靠的分布式文件系统、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储。
[0019]优选的，步骤5中所述元数据管理模块包括程序主机，程序主机是根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL模块组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。
[0020]优选的，所述程序主机的两端分别电性连接有监控摄像头和天气实时监测器，所述监控摄像头对监控画面接口，所述天气实时监测器用于监测过去天气数据和预测将来天气数据。
[0021]优选的，所述程序主机在使用时，包括如下步骤：
[0022]A1、先启动程序，输入当前程序设定过的账号密码，点击登录，程序会在片刻后启动数据控制界面；
[0023]A2、程序密码的设定是否配置文本设置；
[0024]A3、进去数控主界面，数控界面分多个版面，每个版面负责不同的数据展示；
[0025]A4、通过点击界面上层按钮切换各个版面；
[0026]A5、单击摄像头图标进入监控画面；
[0027]A6、接触左右两边小三角，弹出详细数控版面与分区数控面板的跳转按钮。
[0028]优选的，步骤8中所述资源分配与调度模块包括物联网层、边缘计算层和云计算层，所述物联网层是传感器、处理器根据应用需求感知、测量和收集原始数据，在本地处理大量数据或将其上传至计算节点；所述边缘计算层位于互联网边缘，靠近数据源，边缘计算节点连接物联网，边缘节点之间可以互相通信，提供计算和存储功能抽象，将边缘节点分为计算和网关节点，其中计算节点包含控制、计算和通讯模块，负责接收和处理应用请求，网关节点包含期望评级和应用分配单元，负责评估应用请求的优先级并为应用分配处理节点；所述云计算层是云计算中心的计算和存储能力强于雾节点，提供高聚合度的集中计算、存储的服务。
[0029]优选的，步骤6中所述分析引擎模块按照主模型进行数据挖掘,并输出结果集，并根据实现的要求和物理计算环境的条件,进行适当的优化、简化和网格化强化，其中主模型包括机器学习、深度学习或强化学习范畴的数据模型；步骤7中所述作业管理与调度模块在分析作业的管理时包括作业的增删改查、查看修改历史、设置调度定时和执行引擎。
[0030]本专利技术提出的一种线上数控展览方法，与现有技术相比，具有以下优点：
[0031]本专利技术主要先通过数据收集模块收集各种数据源的数据，并将这些数据转换为文件或消息向后传递，通过数据转存模块将数据定时传递到分布式存储或者实时传递给下游的数据处理程序，通过ETL模块对数据清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库模块，通过数据仓库模块对数据进行存取和管理，通过元数据管理模块记录和
约束数据仓库中数据的含义和格式、控制着数据的生命周期和数据质量，通过分析引擎模块执行各种分析语句或代码，完成分析任务，通过作业管理与调度模块分析作业的管理和定时调度，通过资源分配与调度模块在多作业同时运行的场景下，有效协调和分配集群的资源，根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL模块组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘，一定程度上提高数据挖掘效率。
附图说明
[0032]图1为本专利技术的结构示意图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]本专利技术提供了一种线上数控展览方法，包括如下步骤：
[0035]S1、通过数据收集模块收集各种数据源的数据，并将这些数据转换为文件或消息向后传递；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种线上数控展览方法，其特征在于：包括如下步骤：S1、通过数据收集模块收集各种数据源的数据，并将这些数据转换为文件或消息向后传递；S2、通过数据转存模块将数据定时传递到分布式存储或者实时传递给下游的数据处理程序；S3、通过ETL模块对数据清洗、格式和内容的处理和转换、数据分级分拣、加载至数据仓库模块；S4、通过数据仓库模块对数据进行存取和管理；S5、通过元数据管理模块记录和约束数据仓库中数据的含义和格式、控制着数据的生命周期和数据质量；S6、通过分析引擎模块执行各种分析语句或代码，完成分析任务；S7、通过作业管理与调度模块分析作业的管理和定时调度；S8、通过资源分配与调度模块在多作业同时运行的场景下，有效协调和分配集群的资源。2.根据权利要求1所述的一种线上数控展览方法，其特征在于：步骤1中所述数据收集模块包括数据采集器，所述数据采集器包括温湿度传感器、粉尘浓度传感器和压力传感器，所述温湿度传感器、粉尘浓度传感器和压力传感器分别与数据转存模块电性连接。3.根据权利要求1所述的一种线上数控展览方法，其特征在于：步骤2中所述数据转存模块包括云服务器，所述云服务器存储的数据包括导入的表格数据、填入的人员数据和数据器采集的数据。4.根据权利要求1所述的一种线上数控展览方法，其特征在于：步骤3中所述ETL模块是完成对已接收数据的辨析、抽取和清洗的操作，其中抽取是因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的；清洗是对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容。5.根据权利要求1所述的一种线上数控展览方法，其特征在于：步骤4中所述数据仓库模块是将大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用，开发可靠的分布式文件系统、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储。6.根据权利要求1所述的一种线上数控展览方法，其特征在于：步骤5中所述元数据管理模块包括程序主机，程序主机是根...

【专利技术属性】
技术研发人员：胡婷，邴又然，胡强，王博钰，黄明锐，
申请(专利权)人：上海先之实业有限公司，
类型：发明
国别省市：