一种基于大数据的数据处理终端及其处理系统技术方案

本发明专利技术公开了一种基于大数据的数据处理终端及其处理系统，使用数据划分器根据服务器在当前时间段所接收的数据的全部类别设置若干个数据处理通道，每一个数据处理通道分别对应一个类别的数据；数据统计器分别统计每一个类型所对应的全部数据的总量，并根据每一个类型所对应的全部数据的总量的比值设置其所对应的数据处理通道的个数；数据分流器根据类别将将服务器在当前时间段所接收的数据进行划分，并使得类别所对应的数据处理通道处理所对应的数据。本发明专利技术通过将服务器的处理通道根据数据的类别进行分类，使得不同类别的数据进入其所对应的服务器的处理通道进行处理，这样就可以使得将所有要处理的数据进行分类处理，从而提升数据处理的速度。

【技术实现步骤摘要】
一种基于大数据的数据处理终端及其处理系统
本专利技术涉及数据处理领域，特别涉及一种基于大数据的数据处理终端及其处理系统。
技术介绍
在人们使用互联网的时候，会有大量的数据需要服务器进行处理，这样就会使得在处理的时候服务器需要不断的对数据进行处理。目前，服务器在对数据进行处理的时候，是根据先进先处理的原则对数据进行处理的，对于一些特殊的数据可以要求优先进行处理，这样的处理方式在数据量较大的时候，会明显使得服务器进行数据处理的速度变慢，这样所返回给用户数据的速度也会大幅度的降低，从而使得用户在进行网络使用的时候产生网络不佳的感受。
技术实现思路
本专利技术的目的是克服上述现有技术中存在的问题，提供一种基于大数据的数据处理终端及其处理系统，通过将服务器的处理通道根据数据的类别进行分类，使得不同类别的数据进入其所对应的服务器的处理通道进行处理，这样就可以使得将所有要处理的数据进行分类处理，从而提升数据处理的速度。为此，本专利技术提供一种基于大数据的数据处理系统，包括：数据类别划分模块，根据服务器在当前时间段所接收的数据的全部类别设置若干个数据处理通道，每一个所述数据处理通道分别对应一个类别的数据；数据量统计模块，分别统计每一个类型所对应的全部数据的总量，并根据每一个类型所对应的全部数据的总量的比值设置其所对应的数据处理通道的个数；处理分流模块，根据类别将将服务器在当前时间段所接收的数据进行划分，并使得类别所对应的数据处理通道处理所对应的数据。进一步，在所述数据量统计模块中，包括：数据准备模块，用于获取各个时刻，在每一个时刻各个类别所对应的数据处理通道的个数，以及在每一个时刻各个类别所对应的数据处理通道还未处理的数据的数量；模型训练模块，建立有监督学习模型，并将各个所述时刻以及在该时刻各个类别所对应的数据处理通道还未处理的数据的数量作为所述有监督学习模型的输入，将该时刻各个类别所对应的数据处理通道的个数作为所述有监督学习模型的输出，对所述有监督学习模型进行训练，得到训练好的有监督学习模型；通道分配模块，将当前时刻以及当前各个类别所对应的数据处理通道还未处理的数据的数量作为输入，输入到训练好的有监督学习模型中，输出得到当前时刻各个类别所对应的数据处理通道的个数。更进一步，所述时刻为每一天的时间点，相邻时间点之间存在时间间隔。进一步，每一个所述数据处理通道的带宽根据其所对应的类别进行设置。相对于上述提供的一种基于大数据的数据处理系统，相对应的本专利技术还提供一种基于大数据的数据处理终端，以实现上述的内容，本专利技术提供的一种基于大数据的数据处理终端，包括：数据划分器，用于根据服务器在当前时间段所接收的数据的全部类别设置若干个数据处理通道，每一个所述数据处理通道分别对应一个类别的数据；数据统计器，用于分别统计每一个类型所对应的全部数据的总量，并根据每一个类型所对应的全部数据的总量的比值设置其所对应的数据处理通道的个数；数据分流器，用于根据类别将将服务器在当前时间段所接收的数据进行划分，并使得类别所对应的数据处理通道处理所对应的数据。进一步，所述数据统计器包括：数据采集器，用于获取各个时刻，在每一个时刻各个类别所对应的数据处理通道的个数，以及在每一个时刻各个类别所对应的数据处理通道还未处理的数据的数量；模型训练器，用于建立有监督学习模型，并将各个所述时刻以及在该时刻各个类别所对应的数据处理通道还未处理的数据的数量作为所述有监督学习模型的输入，将该时刻各个类别所对应的数据处理通道的个数作为所述有监督学习模型的输出，对所述有监督学习模型进行训练，得到训练好的有监督学习模型；分配器，用于将当前时刻以及当前各个类别所对应的数据处理通道还未处理的数据的数量作为输入，输入到训练好的有监督学习模型中，输出得到当前时刻各个类别所对应的数据处理通道的个数。更进一步，所述时刻为每一天的时间点，相邻时间点之间存在时间间隔。进一步，每一个所述数据处理通道的带宽根据其所对应的类别进行设置。本专利技术提供的一种基于大数据的数据处理终端及其处理系统，具有如下有益效果：1、本专利技术通过将服务器的处理通道根据数据的类别进行分类，使得不同类别的数据进入其所对应的服务器的处理通道进行处理，这样就可以使得将所有要处理的数据进行分类处理，从而提升数据处理的速度；2、本专利技术通过通过动态的方式对服务器的处理通道进行划分，使得服务器在各个时间段都可以处理通道的调整到最佳的状态，从而使得服务器处理数据的时候更加的快速；3、本专利技术通过建模的方式对服务器的处理通道进行划分进行调整，使得本专利技术可以应用带更多状态的服务器中，对于服务器的要求更低。附图说明图1为本专利技术提供的一种基于大数据的数据处理系统的整体系统连接示意框图；图2为本专利技术提供的一种基于大数据的数据处理系统的数据量统计模块的系统连接示意框图；图3为本专利技术提供的一种基于大数据的数据处理终端中的内部部件连接示意框图；图4为本专利技术提供的一种基于大数据的数据处理终端中数据统计器中的内部部件连接示意框图。具体实施方式下面结合附图，对本专利技术的一个具体实施方式进行详细描述，但应当理解本专利技术的保护范围并不受具体实施方式的限制。具体的，如图1所示，本专利技术实施例提供了一种基于大数据的数据处理系统，包括：数据类别划分模块、数据量统计模块以及处理分流模块。下面，我们分部对各个模块进行详细的介绍。数据类别划分模块，根据服务器在当前时间段所接收的数据的全部类别设置若干个数据处理通道，每一个所述数据处理通道分别对应一个类别的数据；该模块中，每一个数据处理通道是用来处理一个类别的数据的，对于数据的类别，目前是服务器中的数据是通过标签的形式进行呈现的。该模块中，我们通过类别的方式，使得对本专利技术更加的易于理解，我们可以将服务器看做一个火车站，而进入服务器的数据，也就是服务器所接收的数据，我们可以看做进入火车站的人，对于数据的类别，也就是人所要到达的目的地，而数据处理通道，是让人进入火车的通道，根据不懂的目的地设置有不同的进入火车的通道，因此，也就有若干个数据处理通道，每一个所述数据处理通道分别对应一个类别的数据。这样就可使得简单重复的，并行的对数据进行处理，从而使得整体的数据处理效率有极大的提升。数据量统计模块，分别统计每一个类型所对应的全部数据的总量，并根据每一个类型所对应的全部数据的总量的比值设置其所对应的数据处理通道的个数；该模块中，是根据每一个类型所对应的全部数据的总量，即每一个类型未处理的全部数据的总量，根据该比值确定对应的数据处理通道的个数，这样就可以使得将数据处理通道的个数进行优化，使得数据处理通道的个数始终处于一个最优的水平，在数据处理的时候，可以实时的保持数据处理的效率。类比的介绍，我们根据每一个目的地对应的进入火车的通道所排队的人数的比值，适应性的增加或者减少目的地对应的进入火车的通道本文档来自技高网...

【技术保护点】
1.一种基于大数据的数据处理系统，其特征在于，包括：/n数据类别划分模块，根据服务器在当前时间段所接收的数据的全部类别设置若干个数据处理通道，每一个所述数据处理通道分别对应一个类别的数据；/n数据量统计模块，分别统计每一个类型所对应的全部数据的总量，并根据每一个类型所对应的全部数据的总量的比值设置其所对应的数据处理通道的个数；/n处理分流模块，根据类别将将服务器在当前时间段所接收的数据进行划分，并使得类别所对应的数据处理通道处理所对应的数据。/n

【技术特征摘要】
1.一种基于大数据的数据处理系统，其特征在于，包括：
数据类别划分模块，根据服务器在当前时间段所接收的数据的全部类别设置若干个数据处理通道，每一个所述数据处理通道分别对应一个类别的数据；
数据量统计模块，分别统计每一个类型所对应的全部数据的总量，并根据每一个类型所对应的全部数据的总量的比值设置其所对应的数据处理通道的个数；
处理分流模块，根据类别将将服务器在当前时间段所接收的数据进行划分，并使得类别所对应的数据处理通道处理所对应的数据。


2.如权利要求1所述的一种基于大数据的数据处理系统，其特征在于，在所述数据量统计模块中，包括：
数据准备模块，用于获取各个时刻，在每一个时刻各个类别所对应的数据处理通道的个数，以及在每一个时刻各个类别所对应的数据处理通道还未处理的数据的数量；
模型训练模块，建立有监督学习模型，并将各个所述时刻以及在该时刻各个类别所对应的数据处理通道还未处理的数据的数量作为所述有监督学习模型的输入，将该时刻各个类别所对应的数据处理通道的个数作为所述有监督学习模型的输出，对所述有监督学习模型进行训练，得到训练好的有监督学习模型；
通道分配模块，将当前时刻以及当前各个类别所对应的数据处理通道还未处理的数据的数量作为输入，输入到训练好的有监督学习模型中，输出得到当前时刻各个类别所对应的数据处理通道的个数。


3.如权利要求2所述的一种基于大数据的数据处理系统，其特征在于，所述时刻为每一天的时间点，相邻时间点之间存在时间间隔。


4.如权利要求1所述的一种基于大数据的数据处理系统，其特征在于，每一个所述数据处理通道的带宽根据其所对应的类别进行设置。

【专利技术属性】
技术研发人员：赵嘉，韩龙哲，刘宝宏，谭德坤，侯家振，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：江西;36