一种基于生物连接组时变卷积网络的物联网流量预测方法技术

本发明专利技术提供了一种基于生物连接组时变卷积网络的物联网流量预测方法，属于物联网和神经网络领域。该方法包括如下步骤：步骤1：对物联网流量数据进行处理，构建数据集；步骤2：将生物连接组数据转换为以邻接矩阵表示的多个有向无环图；步骤3：根据连接组对应的有向无环图构造卷积模块；步骤4：引入GRU模块并与卷积模块整合，构造完整的生物连接组时变卷积网络；步骤5：通过垂直形变映射对损失曲面变形；步骤6：训练所构建的神经网络，并进行物联网流量预测。本发明专利技术通过垂直形变映射对损失曲面变形以提升泛化性能；通过根据生物连接组构建卷积模块增强模型的性能；通过将时序信息编码，构造了新的神经网络结构。构造了新的神经网络结构。构造了新的神经网络结构。

【技术实现步骤摘要】
一种基于生物连接组时变卷积网络的物联网流量预测方法


[0001]本专利技术涉及一种基于生物连接组时变卷积网络的物联网流量预测方法，属于物联网和神经网络领域。

技术介绍

[0002]物联网技术被广泛应用于医疗保健、公共安全、交通和智能城市等领域，并促进了这些领域的发展。物联网流量预测可以为路由策略、频谱分配、准入控制、拥塞避免和基站建设等提供有价值的参考。单个区域的物联网流量预测问题在一定程度上可被视为输出是一维非线性时间序列的预测问题。然而，由于各区域的流量之间往往是耦合的，它们的空间相互作用关系也需要被考虑。另外，物联网流量预测问题具有长期依赖特性，可能会出现以年为跨度的依赖，例如，每年的双十一期间物联网流量一般会相对较高。与传统的互联网相比，物联网具有一些显著不同的特性，例如，上传链路占优、单次通信数据量小且持续时间短、终端数量大和通信距离通常较短等。这些特性使得物联网流量预测与传统互联网流量预测具有差异。
[0003]泛化性能对于评价神经网络模型的性能至关重要；如何提升泛化性能是神经网络训练中的重要议题。现有的理论和实验研究表明，神经网络的泛化性能与其极小值的尖锐程度有关：在一定条件下，越平坦的极小值意味着其对应的模型的泛化性能越好，而尖锐的极值往往导致过拟合。本专利技术通过对损失曲面变形，诱导优化器进入平坦极值，进而能够显著提升神经网络的泛化性能。
[0004]连接组是生物神经系统中神经连接的映射图。经由漫长的自然选择机制，连接组在宏观上往往呈现出小世界网络的结构特征，使用较少的连接就能实现任意两个结点之间的连通。虽然大部分生物神经系统的连接组均是小世界网络，但不同生物的智能程度截然不同。不同生物神经元的不同连接特性与该生物的智慧程度可能存在密切关联，这暗示了连接组的重要性。2019年7月3日，爱因斯坦医学院的Scott W.Emmons研究组在Nature杂志上发表题为“Whole
‑
animal connectomes of both Caenorhabditis elegans sexes”的论文，公开了秀丽隐杆线虫的神经连接组。这为本专利依据生物连接组构建神经网络提供了数据基础。
[0005]2019年10月27日，Saining Xie等人在Proceedings of the IEEE/CVF International
·
Conference on Computer Vision(ICCV)发表题为“Exploring randomly wired neural networks for image recognition”的论文，提出了基于随机连接图构建的卷积神经网络，并发现具有小世界网络性质的模型具有出色的表现。与本专利技术依据生物连接组生成有向无环图不同，该论文中的有向无环图是随机生成的，且该论文并不能处理时变问题。中国专利文献号CN 112333046 A，公开/公告日2020年11月09日，专利技术名称为“物联网结点流量预测系统及方法”中公开了一种针对结点的物联网流量预测系统，其配备的结点和云计算平台均可对网络流量作出预测。然而，该专利技术并未考虑结点之间的空间耦合关系。中国专利文献号CN 110995520 B，公开/公告日2020年06月30日，专利技术名称为“网络流量
预测方法、装置、计算机设备及可读存储介质”中公开了一种针对互联网流量的预测方法。该专利技术使用图卷积网络对流量数据处理后，利用卷积神经网络进行空间特征提取，同时使用与卷积神经网络并行的长短期记忆神经网络进行时间特征提取。该专利技术未能对神经网络训练中容易出现的过拟合现象作出改善。而本专利技术通过对损失曲面变形，诱导优化器进入更平坦的区域，这有助于提高模型的泛化性能。另外，一方面，本专利技术根据生物连接组构建拓扑连接为有向图的卷积模块，而这些卷积模块中的结点本身是一个包含了卷积层的模块(与对结点做图卷积运算的图卷积网络不同)；另一方面，本专利技术对多个卷积模块和门控循环单元(gated recurrent unit，GRU)在深度上进行堆叠。以上提及的特性可增强神经网络对物联网流量预测时空信息的处理能力。

技术实现思路

[0006]针对现有物联网预测技术和方法中存在的网络训练容易过拟合、时空耦合信息学习能力不足等缺陷，本专利技术提供一种基于生物连接组时变卷积网络的物联网流量预测方法，通过垂直形变映射对损失曲面进行变形，在一定程度上解决神经网络训练时容易过拟合的问题；通过构建基于生物连接组的时变卷积模块，进而增强模型对时空信息的处理能力。
[0007]为达到上述目的，本专利技术提供如下技术方案。
[0008]步骤1：对物联网流量数据进行处理，构建数据集。关于该步骤的详细描述如下。将待预测地区划分为行列的网格区域，每个网格对应的流量数据为该区域内结点流量之和。将时刻t对应的网格化流量数据记为X
t
，其中对总共个时刻的待预测地区物联网流量数据X
t
进行上述处理并进行归一化。假设预测任务为根据t
h
个历史数据预测t
f
个未来数据，则第s个样本对应的输入为输出为其中，stack(
·
)表示对张量的堆叠操作。假设经过堆叠操作共获得个样本，则神经网络的输入张量为输出张量为上述操作将不同时序的流量网格数据按照通道顺序堆叠得到单个样本，再对不同样本进行堆叠，以获得由构成的数据集。
[0009]步骤2：将生物连接组数据转换为以邻接矩阵表示的多个有向无环图。生物连接组构成的有向图中一般有环，这使得神经网络网络结构不易构建。为了方便构建神经网络，将生物连接组构成的有向图转换为无向图，再转换为有向无环图(注意，不同的转换方式常常可获得不同的转换结果)。将上述转换过程进行次，获得个有向无环图G
c
，其中为卷积模块的个数。
[0010]步骤3：根据连接组对应的有向无环图构造卷积模块。每个有向无环图G
c
对应一个卷积模块K
c
，即K
c
中卷积结点之间的连接拓扑关系来自G
c
。将有向无环图G
c
的结点作为卷积结点，并将其边作为卷积结点之间的连接。随机选定G
c
中一个入度为零的结点作为整个图的输入结点v
in
；随机选定一个出度为零的结点作为整个图的输出结点v
out
。每个卷积结点u接收指向u的其它卷积结点的输出，加权求和后作为u的输入(假设u的入度为i
u
，则产生i
u
个可训练一维权重)。输入在卷积结点u内依次经过ReLU层、3x3 depthwise卷积(输入通道数与输出通道数相等，采用same模式，stride＝1)、1x1 pointwise卷积(输入通道数与输出通道数相等，采用same模式，stride＝1)以及批归一化层(包含由ReLU层到批归一化层的恒等
跨层连接)，得到与输入特征图尺寸相等的输出特征图。将该输出特征图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，该方法包含以下步骤：步骤1：对物联网流量数据进行处理，构建数据集；步骤2：将生物连接组数据转换为以邻接矩阵表示的多个有向无环图；步骤3：根据连接组对应的有向无环图构造卷积模块；步骤4：引入门控循环单元(gated recurrent unit，GRU)模块并与卷积模块整合，构造完整的生物连接组时变卷积网络；步骤5：通过垂直形变映射对损失曲面变形；步骤6：训练所构建的神经网络，并进行物联网流量预测。2.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤1具体如下：将待预测地区划分为行列的网格区域，每个网格对应的流量数据为该区域内结点流量之和；将时刻t对应的网格化流量数据记为X
t
，其中对总共个时刻的待预测地区物联网流量数据X
t
进行上述处理并进行归一化；假设预测任务为根据t
h
个历史数据预测t
f
个未来数据，则第s个样本对应的输入为输出为其中，stack(
·
)表示对张量的堆叠操作；假设经过堆叠操作共获得个样本，则神经网络的输入张量为输出张量为上述操作将不同时序的流量网格数据按照通道顺序堆叠得到单个样本，再对不同样本进行堆叠，以获得由构成的数据集。3.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤2具体如下：将生物连接组构成的有向图转换为无向图，再转换为有向无环图；将上述转换过程进行次，获得个不同的有向无环图G
c
，其中为卷积模块的个数。4.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤3具体如下：根据连接组对应的有向无环图构造卷积模块；每个有向无环图G
c
对应一个卷积模块K
c
，即K
c
中卷积结点之间的连接拓扑关系来自G
c
；将有向无环图G
c
的结点作为卷积结点，并将其边作为卷积结点之间的连接；随机选定G
c
中一个入度为零的结点作为整个图的输入结点v
in
；随机选定一个出度为零的结点作为整个图的输出结点v
out
；每个卷积结点u接收指向u的其它卷积结点的输出，加权求和后作为u的输入(假设u的入度为i
u
，则产生i
u
个可训练的一维权重)；输入在卷积结点u内依次经过ReLU层、3x3 depthwise卷积(输入通道数与输出通道数相等，采用same模式，stride＝1)、1x1 pointwise卷积(输入通道数与输出通道数相等，采用same模式，stride＝1)以及批归一化层(包含由ReLU层到批归一化层的恒等跨层连接)，得到与输入特征图尺寸相等的输出特征图；将该输出特征图作为被卷积结点u所指向的各卷积结点的输入：根据以上方法，对共个G
c
进行操作，构造共个卷积模块。5.根据权利要求1所述的一种基于生物连接组时变卷积网络的物联网流量预测方法，其特征在于，所述的步骤4具体如下：用个卷积模块和个GRU模块构建生物连接组时变卷积网络；将相邻两个卷积模块用GRU模块连接，并建立从每个卷积模块的输入到最末一个GRU模块的恒等映射，以作为跨层
连接；GRU模块内部的计算过程遵循以下公式：R
i
＝σ(W
ar
A
i
+B
ar
+W
hr
H
i<...

【专利技术属性】
技术研发人员：陈良铭，金龙，彭波，
申请(专利权)人：中国科学院重庆绿色智能技术研究院，
类型：发明
国别省市：