一种基于物联网的大数据信息处理方法及系统技术方案

本发明专利技术涉及一种基于物联网的大数据信息处理方法及系统，该处理系统包括如下步骤：大数据处理平台、子计算机、控制中心系统，还涉及一种处理方法，该处理方法包括：控制中心系统向网关接口发送控制信号；所述网关接口根据所述控制信号，控制子计算机将自身的数据通过所述网关接口发送到大数据处理平台；所述大数据处理平台接收所述子计算机发送的数据，并对接收到的数据进行处理。通过在子计算机设置支持多通道的物联网的网关接口，以及通过物联网节点的布置方式将子计算机与大数据处理平台进行分布式的连接，这样有利于控制中心系统通过控制网关接口从而控制子计算机的数据发送到大数据处理平台，同时可以提高发送的效率。

A big data information processing method and system based on Internet of things

The invention relates to a IOT based big data information processing method and system, which comprises the following steps: the processing system of large data processing platform, computer, control center of the system, but also relates to a method of treatment, including the treatment methods: the control center of the system transmits control signals to the gateway interface; the gateway interface based on the control signal, the computer will control their data through the gateway interface to send large data processing platform; the big data processing platform receives the computer data sent and received data processing. By setting the gateway interface supports multiple channels in computer networking, and through networking node layout to connect distributed computer and data processing platform, which is beneficial to the control center through the system to control the sub calculation data sending machine to big data processing platform control gateway interface, and can improve the transmission efficiency.

【技术实现步骤摘要】
一种基于物联网的大数据信息处理方法及系统
本专利技术属于大数据信息领域，尤其涉及一种基于物联网的大数据信息处理方法及系统。
技术介绍
随着移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。数据量的飞速增长预示着现在已经进入了大数据时代，网络运营商拥有庞大的用户，同时具有对终端及用户上网通道的掌控能力，使得在用户行为分析方面具有很好的数据基础，深入分析用户流量行为特征和规律，发现用户潜在消费需求，是提升价值和经营水平的有效手段。然而，这样不仅仅也使得数据规模越来越大，而且数据类型多和处理实时性要求都极大地增加了大数据处理的复杂度，现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，同时也因数据量巨大，容易造成接收数据时网络堵塞，从而存在数据丢失和处理错误的问题。
技术实现思路
本专利技术所要解决的技术问题是：现有技术中对大数据处理，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，同时也因数据量巨大，容易造成接收数据时网络堵塞，从而存在数据丢失和处理错误的问题。为解决上面的技术问题，本专利技术提供了一种基于物联网的大数据信息处理系统，该处理系统包括：大数据处理平台、子计算机、控制中心系统；在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；所述控制中心系统，用于向所述网关接口发送控制信号；所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，从而控制所述子计算机将自身的数据发送到大数据处理平台；所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。本专利技术的有益效果：通过在子计算机设置支持多通道的物联网的网关接口，以及通过物联网节点的布置方式将子计算机与大数据处理平台进行分布式的连接，这样有利于控制中心系统通过控制网关接口从而控制子计算机的数据发送到大数据处理平台，同时可以提高发送的效率，还可以使得即使子计算机在发送大量数据的时候不会因为大数据处理平台处理信息的工作量大，从而造成接收数据时网络堵塞，导致出现发生数据丢失和处理错误的问题，使得数据准确有效地发送到大数据处理平台。进一步地，当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出所述数据阈值的数据转换到离所述第一可转换通道最近的第二可转换通道。上述进一步地有益效果：在可转换通道内的数据超过了数据阈值时，超过阈值的数据转换到离该通道最近的可转换通道，这样可以缩短数据被阻挡的时间，从而提高了数据传送的效率，同时也保证了数据被完整地传送到大数据处理平台，降低了数据丢失的问题。进一步地，判断所述可转换通道的数据与从所述第一可转换通道转换过来的数据之和是否大于所述数据阈值，若大于，则不接收，若小于或等于，则接收。上述进一步地有益效果：由于每个可转换通道中的数据都是有固定数据阈值的，这表明该通道在一定时间内最大的数据传送能力，当数据超过该数据阈值的时候，超过的数据阈值的数据是无法被发送的，所以将这些超过的数据阈值的数据转换到最近的第二可转移通道，判断最近第二可转移通道中的数据与从第一可转换通道转换过来的数据之和是否大于数据阈值，既可以保证该通道可以完全地传输从第一可转移通道的转换过来的数据，避免了发生数据丢失的现象。本专利技术还涉及一种基于物联网的大数据信息处理方法，该方法包括如下步骤：S1，控制中心系统向网关接口发送控制信号；S2，所述网关接口根据所述控制信号，控制子计算机将自身的数据通过所述网关接口发送到大数据处理平台；S3，所述大数据处理平台接收所述子计算机发送的数据，并对接收到的数据进行处理。本专利技术的有益效果：通过在子计算机设置支持多通道的物联网的网关接口，以及通过物联网节点的布置方式将子计算机与大数据处理平台进行分布式的连接，这样有利于控制中心系统通过控制网关接口从而控制子计算机的数据发送到大数据处理平台，同时可以提高发送的效率，还可以使得即使子计算机在发送大量数据的时候不会因为大数据处理平台处理信息的工作量大，从而造成接收数据时网络堵塞，导致出现发生数据丢失和处理错误的问题，使得数据准确有效地发送到大数据处理平台。进一步地，当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出的所述数据阈值的数据转换到离所述第一可转换通道最近的第二可转换通道。上述进一步地有益效果：在可转换通道内的数据超过了数据阈值时，超过阈值的数据转换到离该通道最近的可转换通道，这样可以缩短数据被阻挡的时间，从而提高了数据传送的效率，同时也保证了数据被完整地传送到大数据处理平台，降低了数据丢失的问题。进一步地，判断在最近的所述可转换通道的数据是否已达所述数据阈值，若是，则不接收从所述第一可转换通道转换过来的数据，若否，则判断最近的所述可转换通道的数据与从所述第一可转换通道转换过来的数据之和是否大于数据阈值，若是，则将接收的从所述第一可转换通道转换过来的数据发送到所述大数据处理平台，若否，则不接收。上述进一步地有益效果：由于每个可转换通道中的数据都是有固定数据阈值的，这表明该通道在一定时间内最大的数据传送能力，当数据超过该数据阈值的时候，超过的数据阈值的数据是无法被发送的，所以将这些超过的数据阈值的数据转换到最近的第二可转移通道，判断最近第二可转移通道中的数据与从第一可转换通道转换过来的数据之和是否大于数据阈值，既可以保证该通道可以完全地传输从第一可转移通道的转换过来的数据，避免了发生数据丢失的现象。附图说明图1为本专利技术的一种基于物联网的大数据信息处理系统的示意图；图2为本专利技术的处理系统的局部结构示意图；图3为本专利技术的K通道的结构示意图；图4为本专利技术的大数据信息处理系统的实体图；图5为本专利技术的一种基于物联网的大数据信息处理方法的流程图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。实施例1如图1和图4所示，本实施例1中一种基于物联网的大数据信息处理系统，该处理系统包括：大数据处理平台、子计算机、控制中心系统；在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；所述控制中心系统，用于向所述网关接口发送控制信号；所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，从而控制所述子计算机将自身的数据发送到大数据处理平台；所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。需要说明的是，在本实施例1中该处理系统是由大数据处理平台、子计算机、控制中心系统这三个大的部分组成，大数据处理平台是现有技术中的常用的大数据处理平台，在本实施例1中主要是采用这样的大数据处理平台接收来自子计算机的数据处理，同时在本实施例1中所述大数据处理平台与所述子计算机之间是通过物联网节点的布置方式进行分布式的连接，用于接收所述子计算机发送的数据；通过物联网节点的布置方式进行分布式的连接是利用现有技术中分布式的好处进行数据采集与发送的，将大数据处理平台以及子计算机形成拓扑结构，有利于各种数据之间的发送有序本文档来自技高网...

【技术保护点】
一种基于物联网的大数据信息处理系统，其特征在于，该处理系统包括：大数据处理平台、子计算机、控制中心系统；在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；所述控制中心系统，用于向所述网关接口发送控制信号；所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，控制所述子计算机将自身的数据发送到大数据处理平台；所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。

【技术特征摘要】
1.一种基于物联网的大数据信息处理系统，其特征在于，该处理系统包括：大数据处理平台、子计算机、控制中心系统；在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；所述控制中心系统，用于向所述网关接口发送控制信号；所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，控制所述子计算机将自身的数据发送到大数据处理平台；所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。2.根据权利按要求1所述的处理系统，其特征在于，所述网关接口包括第一子通道接口和第二子通道接口；所述第一子通道接口与所述控制中心系统连接，用于根据所述控制信号，控制第二子通道接口对应的通道打开或者关闭；所述第二子通道接口与所述大数据处理平台连接，用于将所述子计算机将自身的数据发送到所述大数据处理平台。3.根据权利按要求2所述的处理系统，其特征在于，所述第二子通道接口对应K个通道，所述K个通道，用于并行地将所述子计算机将自身的数据发送到所述大数据处理平台，其中，K取值为自然数。4.根据权利按要求3所述的处理系统，其特征在于，该系统包括：为所述K个通道分别设置数据阈值，每个通道在设定时间内发送小于所述数据阈值的数据到所述大数据处理平台，超出所述数据阈值的数据不被发送。5.根据权利按要求4所述的处理系统，其特征在于，所述K通道中包括：M个固定通道和K-M个可转换通道；每个所述固定通道用于发送固定数量的数据；每个所述可转换通道用于发送非固定数量的数据，所述第二子通道接口用于：当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出所述数据阈值的数据转换到第二可转换通道，并在所述第二可转换通道中发送到所述大数据处理平台，其中，所述第一可转换通道为K-M个所述可转换通道中的任一个可转换通道，所述第二可...

【专利技术属性】
技术研发人员：杜光东，
申请(专利权)人：深圳市盛路物联通讯技术有限公司，
类型：发明
国别省市：广东,44