一种多路数据分类式大数据采集方法技术

本发明专利技术涉及大数据采集技术领域，具体为一种多路数据分类式大数据采集方法，包括采集前端数据、数据上传、数据分类、数据传输和建立数据库步骤。该多路数据分类式大数据采集方法中，通过在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集，建立完整的前端数据采集系统，采集节点采集的数据通过无线传输形式将数据传输至接收分机内，减少线路铺设，降低前期投资成本，同时数据采集高效，速率快，通过分类算法将采集节点采集的数据进行分类，并保持在传输分机内，实现数据集约化保存，为建立数据库打好基础，同时分类传输，能够减少系统负载运行，进一步提高整体效率。

A multi-channel data classification big data acquisition method

【技术实现步骤摘要】
一种多路数据分类式大数据采集方法
本专利技术涉及大数据采集
，具体为一种多路数据分类式大数据采集方法。
技术介绍
大数据信息技术与我们的生活密切相关，无论是物联物流领域、网络社交领域、电子商务领域、远程医疗领域等都可以看到大数据信息技术的缩影。现有的采集数据的传输大多采用有线方式，且数据采集系统不完整，无法形成前端采集系统，随着前端数据采集的增多，采用有线方式传输，需要铺设大量的线缆，导致前期投资成本大，同时，在前端数据采集后，直接将采集的各种数据存入云端数据库内，在数据库中进行池化分类，但由于数据库中，数据信息过大，无论是数据的上传还是数据的分类，都会造成系统负载运行，导致数据库建立效率低。鉴于此，我们提出一种多路数据分类式大数据采集方法。
技术实现思路
本专利技术的目的在于提供一种多路数据分类式大数据采集方法，以解决上述
技术介绍
中提出的采用有线方式传输，需要铺设大量的线缆，导致前期投资成本大和由于数据库中，数据信息过大，无论是数据的上传还是数据的分类，都会造成系统负载运行的问题。为实现上述目的，本专利技术提供一种多路数据分类式大数据采集方法，包括以下步骤：S1、采集前端数据：在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集；S2、数据上传：将采集节点采集的数据统一传输至接收分机内；S3、数据分类：通过接收分机对采集节点采集的数据进行分类；S4、数据传输：按照采集数据不同的分类结果，传输至对应的传输分机中，并对数据进行保存；<br>S5、建立数据库：将不同传输分机储存的数据上传至云端数据库，并建立总数据库。作为优选，所述采集节点包括采集模块、信号调理模块、采样保持模块、A/D转化模块和单片机模块；所述采集模块用于采集前端数据；所述信号调理模块用于将各个传感器的模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求；所述采样保持模块用于将连续信号转化为断续的采样信号，再将断续的采样信号转化为连续信号；所述A/D转化模块用于将模拟量信号转换为数字量信号；所述单片机模块用于对采样的数字信号进行处理。作为优选，所述采集节点采集的数据通过无线传输形式将数据传输至接收分机内。作为优选，所述接收分机通过分类算法将采集节点采集的数据进行分类。作为优选，所述分类算法步骤如下：1)、计算特征数据属于每个类别的概率向量；2)、对于新数据，计算该数据属于类的概率；3)、比较新数据属于所有类的概率，将数据分到概率最大的那个类别中。作为优选，所述接收分机和传输分机通过串口实现数据传输。作为优选，所述建立数据库运用计算技术搭建私有云大数据中心，采用虚拟化技术，把配送的物理资源数据进行池化，形成总数据库。与现有技术相比，本专利技术的有益效果：1、该多路数据分类式大数据采集方法中，通过在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集，建立完整的前端数据采集系统。2、该多路数据分类式大数据采集方法中，采集节点采集的数据通过无线传输形式将数据传输至接收分机内，减少线路铺设，降低前期投资成本，同时数据采集高效，速率快。3、该多路数据分类式大数据采集方法中，通过分类算法将采集节点采集的数据进行分类，并保持在传输分机内，实现数据集约化保存，为建立数据库打好基础，同时分类传输，能够减少系统负载运行，进一步提高整体效率。附图说明图1为本专利技术的整体结构框架图；图2为本专利技术的采集节点模块图；图3为本专利技术的信号调理模块原理图；图4为本专利技术的单片机引脚图；图5为本专利技术的NRF401无线传输芯片原理图之一；图6为本专利技术的NRF401无线传输芯片原理图之二图7为本专利技术的串口电路图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1本专利技术提供一种多路数据分类式大数据采集方法，如图1所示，包括以下步骤：S1、采集前端数据：在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集；S2、数据上传：将采集节点采集的数据统一传输至接收分机内；S3、数据分类：通过接收分机对采集节点采集的数据进行分类；S4、数据传输：按照采集数据不同的分类结果，传输至对应的传输分机中，并对数据进行保存；S5、建立数据库：将不同传输分机储存的数据上传至云端数据库，并建立总数据库。本实施例中，采集节点为传感器，传感器包括温度传感器、湿度传感器、图像传感器、声音传感器等，便于根据前端的种类，选择合适的采集节点，对前端需要采集的数据进行采集。进一步的，接收分机和传输分机为可编程中控系统，可编程中控系统采用32位内嵌式处理器，最高主频可达257MHZ，8M的SDRAM内存空间，8M的存储FLASH，可以高速运算复杂的逻辑指令，其内置强大的可编程接口；可任意编程，适用于任意设备的串口、红外、RS485集中智能统一管理和控制，可配控制面板、无线触摸屏、有线触摸屏、电脑、网络、中控面板等多种控制方式。实施例2作为本专利技术的第二种实施例，为了便于对前端数据进行采集，本专利技术还对采集节点作出改进，作为一种优选实施例，如图2所示，采集节点包括采集模块、信号调理模块、采样保持模块、A/D转化模块和单片机模块；采集模块用于采集前端数据；信号调理模块用于将各个传感器的模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求；采样保持模块用于将连续信号转化为断续的采样信号，再将断续的采样信号转化为连续信号；A/D转化模块用于将模拟量信号转换为数字量信号；单片机模块用于对采样的数字信号进行处理。本实施例中，信号调理模块的作用是将各个传感器的模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求，信号调理模块的功能一般应包括：信号切换、信号变换、信号放大、校准、线性化和补偿等静态处理，其原理如图3所示，图中传感器信号由J-IN端口接入，然后根据信号类型选择开关S1-S5，在J-OUT端口得到调理好的信号送到A/D转换模块，其中：DGND、VDD表示传感器侧数字电源；AGND、V+5和V-5表示传感器侧模拟电源。进一步的，图2中在标准信号方式时的等效电路公式如下：VO-＝0(3)式中，Rx是MAX383的导通电阻，Rw是AQW21X的导通电阻，当R7＝R8，Rw＜R2，由式(1)、(2)得：进一步的，采样保持模块包括信号采样步骤和采样信号转化为连续信号步骤，其中采样步骤用于将连续的信号离散化得到采样信号，利用单位脉冲序列函数可以本文档来自技高网...

【技术保护点】
1.一种多路数据分类式大数据采集方法，其特征在于：包括以下步骤：/nS1、采集前端数据：在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集；/nS2、数据上传：将采集节点采集的数据统一传输至接收分机内；/nS3、数据分类：通过接收分机对采集节点采集的数据进行分类；/nS4、数据传输：按照采集数据不同的分类结果，传输至对应的传输分机中，并对数据进行保存；/nS5、建立数据库：将不同传输分机储存的数据上传至云端数据库，并建立总数据库。/n

【技术特征摘要】
1.一种多路数据分类式大数据采集方法，其特征在于：包括以下步骤：
S1、采集前端数据：在前端设置多个数据采集节点，并通过多个数据采集节点对前端数据进行实时采集；
S2、数据上传：将采集节点采集的数据统一传输至接收分机内；
S3、数据分类：通过接收分机对采集节点采集的数据进行分类；
S4、数据传输：按照采集数据不同的分类结果，传输至对应的传输分机中，并对数据进行保存；
S5、建立数据库：将不同传输分机储存的数据上传至云端数据库，并建立总数据库。


2.根据权利要求1所述的多路数据分类式大数据采集方法，其特征在于：所述采集节点包括采集模块、信号调理模块、采样保持模块、A/D转化模块和单片机模块；所述采集模块用于采集前端数据；所述信号调理模块用于将各个传感器的模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求；所述采样保持模块用于将连续信号转化为断续的采样信号，再将断续的采样信号转化为连续信号；所述A/D转化模块用于将模拟量信号转换为数字量信号；所述单片机模块用于...

【专利技术属性】
技术研发人员：金龙飞，吴小邦，陶波，
申请(专利权)人：南京陶特思软件科技有限公司，
类型：发明
国别省市：江苏;32