一种物联网中数据处理的方法技术

本发明专利技术提供了一种物联网中数据处理的方法，通过对采集数据进行融合去重，采用轻量级的数据压缩方法对原始数据进行压缩处理，比较当前读取的数据和上一个保存的数据与压缩度的值计算差值，该差值大于预设的阈值则放入清单列表，否则将当前读取的数据赋值给上一个保存的数据，以及通过任务队列处理的方法，计算节点开销选择最优方式，从而解决了现有物联网节点数据处理量大、宽带和能量消耗较大的技术问题。

A Method of Data Processing in the Internet of Things

【技术实现步骤摘要】
一种物联网中数据处理的方法
本专利技术涉及数据处理
，特别涉及一种物联网中数据处理的方法。
技术介绍
随着信息技术的快速发展，各种应用产生的数据也呈现爆炸式增长的趋势，这给数据的存储及备份造成一定的挑战。随着海量传感器、智能终端、网络通信设备的大规模部署，一个由终端设备组成的全球化物联网逐渐形成。当前，物联网发展面临的一个障碍是为用户提供基于传感器信息的搜索服务，帮助用户获取其所需的信息并加以利用。物联网中的节点和传感器每时每刻都产生了大量的数据，这些数据的数量远远大于传统的互联网中己有的数据量。一方面，传统的互联网中搜索的对象是网页、文本、音频、视频等非结构化数据，这些数据是静态的，非实时的，而在物联网搜索领域，其搜索的对象为传感器采集的节点状态信息，这些信息是结构化的，并且是高度动态变化的。因此，现有的数据处理方式不适合大数据的高速处理，其系统的通信开销非常大，无法适用于大规模的应用，节点数据的不断增多，网关和节点之间的通信带来的宽带和能量消耗均十分巨大。因此，亟待提出一种物联网中数据处理的方法。
技术实现思路
本专利技术实施例提供了一种物联网中数据处理的方法，通过对采集数据进行融合去重，采用轻量级的数据压缩方法对原始数据进行压缩处理，以及通过任务队列处理的方法，计算节点开销选择最优方式，从而解决了现有物联网节点数据处理量大、宽带和能量消耗较大的技术问题。为了解决上述问题，本专利技术公开了如下技术方案：提供一种物联网中数据处理的方法，所述方法包括：步骤一、将传感器采集点数据先融合再去重，建立多个任务队列，每个任务队列具有多个节点，包括非叶子节点与叶子节点；步聚二、每个任务队列初始化上一个采集点数据的上、下斜率与分别为系统允许的最大值和最小值，初始化当前采集点的斜率为0；所述斜率为系统中采集点的某一段时间间隔的数据量差值与时间间隔的比值；步骤三、读取第一个采集点赋值给上一个读取的数据和上一个保存的数据，将所述上一个读取的数据添加到清单列表；步骤四、判断采集点个数是否大于等于2，如果满足条件执行步骤五，否则执行步骤十；步骤五、将读取的采集点赋值给当前读取的数据，根据所述当前读取的数据、所述上一个保存的数据与压缩度的值计算差值，并判断是否小于设置的阈值，如果小于所述阈值则执行步骤六，否则执行步骤七；步骤六、将所述当前读取的数据赋值给所述上一个读取的数据，判断当前是否还有未被处理的数据点，如果还存在未被处理的数据点则循环执行步骤五，否则执行步骤十；步骤七、将所述上一个读取的数据赋值给所述上一个保存的数据，将所述上一个读取的数据添加到清单列表；步骤八、将采集点赋值给当前读取的数据，根据所述当前读取的数据、所述上一个保存的数据与压缩度的值计算并更新所述上、下斜率；步骤九、判断当前是否还有未被处理的数据点，如果还存在未被处理的数据点则循环执行步骤十，否则执行步骤十二；步骤十、如果当前斜率大于等于下斜率或者当前斜率小于等于上斜率，执行步骤五，否则执行步骤十一；步骤十一、将所述上一个读取的数据添加到清单列表，将所述上一个读取的数据赋值给所述上一个保存的数据，更新上、下斜率，将当前读取的数据赋值给所述上一个读取的数据；步骤十二、将所述上一个读取的数据添加到清单列表，压缩过程结束。进一步的，其中步骤一中的任务队列执行方法如下包括：1)判断任务队列是否为空。如果任务队列为空，算法结束，否则执行第2)步；2)所有节点计算自己执行下一个任务的预计执行时间E；3)树中所有非叶子节点探测每一条与自己子节点相连线路的带宽；4)树中所有非叶子节点向其所有子节点发出指令，获取子节点的预计执行时间E；5)叶子节点接到指令后将自身预计执行时间E返回父节点；6)从最底层的非叶子节点开始，当其收到所有子节点的反馈结果，将结果集连同自己与所有子节点的传输线路的带宽一并返回给其父节点；7)递归调用第6)步，直到主节点收到所有儿子节点所返回的结果集；8)主节点计算出所有节点的系数C；9)从任务队列中取出一个任务，将任务分配给限制系数最小的节点，然后跳转到第1)步。进一步的，其中主节点计算出所有节点的系数C包括：设第S号节点计算第k+1个单位任务时的系数Cs(k+1)；则其中a和b分别是E和T的权重，n为总节点数量，E为节点s处理某一个单位任务的预计执行时间，T为将第k+1个单位任务从A节点传输到B节点的预计传输时间。本专利技术实施例提供了一种物联网中数据处理的方法，通过对采集数据进行融合去重，采用轻量级的数据压缩方法对原始数据进行压缩处理，比较当前读取的数据和上一个保存的数据与压缩度的值计算差值，该差值大于预设的阈值则放入清单列表，否则将当前读取的数据赋值给上一个保存的数据，以及通过任务队列处理的方法，计算节点开销选择最优方式，从而解决了现有物联网节点数据处理量大、宽带和能量消耗较大的技术问题。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例中物联网中数据处理的方法的流程示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1，本专利技术一个实施例提出了一种物联网中数据处理的方法的流程示意图，包括如下的步骤：步骤一、将传感器采集点数据先融合再去重，建立多个任务队列，每个任务队列具有多个节点，包括非叶子节点与叶子节点；步聚二、每个任务队列初始化上一个采集点数据的上、下斜率与分别为系统允许的最大值和最小值，初始化当前采集点的斜率为0；所述斜率为系统中采集点的某一段时间间隔的数据量差值与时间间隔的比值；步骤三、读取第一个采集点赋值给上一个读取的数据和上一个保存的数据，将所述上一个读取的数据添加到清单列表；步骤四、判断采集点个数是否大于等于2，如果满足条件执行步骤五，否则执行步骤十；步骤五、将读取的采集点赋值给当前读取的数据，根据所述当前读取的数据、所述上一个保存的数据与压缩度的值计算差值，并判断是否小于设置的阈值，如果小于所述阈值则执行步骤六，否则执行步骤七；步骤六、将所述当前读取的数据赋值给所述上一个读取的数据，判断当前是否还有未被处理的数据点，如果还存在未被处理的数据点则循环执行步骤五，否则执行步骤十；步骤七、将所述上一个读取的数据赋值给所述上一个保存的数据，将所述上一个读取的数据添加到清单列表；步骤八、将采集点赋值给当前读取的数据，根据所述当前读取的数据、所述上一个保存的数据与压缩度的值计算并更新所述上、下斜率；步骤九、判断当前是否还有未被处理的数据点，如果还存在未被处理的数据点则循环执行步骤十，否则执行步骤十二；步骤十、如果当前斜率大于等于下斜率或者当前斜率小于等于上斜率，执行步骤五，否则执行步骤十一；步骤十一、将所述上一个读取的数据添加到清单列表本文档来自技高网...

【技术保护点】
1.一种物联网中数据处理的方法，其特征在于，所述方法包括：步骤一、将传感器采集点数据先融合再去重，建立多个任务队列，每个所述任务队列具有多个节点，包括非叶子节点与叶子节点；步聚二、每个所述任务队列初始化上一个采集点数据的上、下斜率与分别为系统允许的最大值和最小值，初始化当前采集点的斜率为0；所述斜率为系统中采集点的某一段时间间隔的数据量差值与时间间隔的比值；步骤三、读取第一个采集点赋值给上一个读取的数据和上一个保存的数据，将所述上一个读取的数据添加到清单列表；步骤四、判断所述采集点个数是否大于等于2，如果满足条件执行步骤五，否则执行步骤十；步骤五、将读取的采集点赋值给当前读取的数据，根据所述当前读取的数据、所述上一个保存的数据与压缩度的值计算差值，并判断是否小于设置的阈值，如果小于所述阈值则执行步骤六，否则执行步骤七；步骤六、将所述当前读取的数据赋值给所述上一个读取的数据，判断当前是否还有未被处理的数据点，如果还存在未被处理的数据点则循环执行步骤五，否则执行步骤十；步骤七、将所述上一个读取的数据赋值给所述上一个保存的数据，将所述上一个读取的数据添加到清单列表；步骤八、将采集点赋值给所述当前读取的数据，根据所述当前读取的数据、所述上一个保存的数据与压缩度的值计算差值，并更新所述上、下斜率；步骤九、判断当前是否还有未被处理的数据点，如果还存在未被处理的数据点则循环执行步骤十，否则执行步骤十二；步骤十、如果当前斜率大于等于所述下斜率或者所述当前斜率小于等于所述上斜率，执行步骤五，否则执行步骤十一；步骤十一、将所述上一个读取的数据添加到所述清单列表，将所述上一个读取的数据赋值给所述上一个保存的数据，更新所述上、下斜率，将所述当前读取的数据赋值给所述上一个读取的数据；步骤十二、将所述上一个读取的数据添加到所述清单列表，压缩过程结束。...

【技术特征摘要】
1.一种物联网中数据处理的方法，其特征在于，所述方法包括：步骤一、将传感器采集点数据先融合再去重，建立多个任务队列，每个所述任务队列具有多个节点，包括非叶子节点与叶子节点；步聚二、每个所述任务队列初始化上一个采集点数据的上、下斜率与分别为系统允许的最大值和最小值，初始化当前采集点的斜率为0；所述斜率为系统中采集点的某一段时间间隔的数据量差值与时间间隔的比值；步骤三、读取第一个采集点赋值给上一个读取的数据和上一个保存的数据，将所述上一个读取的数据添加到清单列表；步骤四、判断所述采集点个数是否大于等于2，如果满足条件执行步骤五，否则执行步骤十；步骤五、将读取的采集点赋值给当前读取的数据，根据所述当前读取的数据、所述上一个保存的数据与压缩度的值计算差值，并判断是否小于设置的阈值，如果小于所述阈值则执行步骤六，否则执行步骤七；步骤六、将所述当前读取的数据赋值给所述上一个读取的数据，判断当前是否还有未被处理的数据点，如果还存在未被处理的数据点则循环执行步骤五，否则执行步骤十；步骤七、将所述上一个读取的数据赋值给所述上一个保存的数据，将所述上一个读取的数据添加到清单列表；步骤八、将采集点赋值给所述当前读取的数据，根据所述当前读取的数据、所述上一个保存的数据与压缩度的值计算差值，并更新所述上、下斜率；步骤九、判断当前是否还有未被处理的数据点，如果还存在未被处理的数据点则循环执行步骤十，否则执行步骤十二；步骤十、如果当前斜率大于等于所述下斜率或者所述当前斜率小于等于所述上斜率，执行步骤五，否则执行步骤十一；步骤十一、将所述上一个...

【专利技术属性】
技术研发人员：赵晶明，沈逸岑，
申请(专利权)人：江苏汇智达信息科技有限公司，
类型：发明
国别省市：江苏,32