一种面向时序数据快速预测的轻量化时间卷积网络制造技术

本发明专利技术公开了一种面向时序数据快速预测的轻量化时间卷积网络，通过对轻量化时间卷积网络整体思路框架和具体结构进行改进，利用一维步长卷积代替了膨胀卷积，并去除了全卷积结构：由于本专利提出的轻量化时间卷积网络网络的计算量得以大大减少，其中轻量化时间卷积网络整体思路框架中所有的计算结果在网络的前、后向传播中都被使用，减少了计算浪费，同时与现有技术的对比，网络所需的计算量也大大减少；同时使用较大的卷积核和卷积步长能够有效减少网络的深度。

【技术实现步骤摘要】
一种面向时序数据快速预测的轻量化时间卷积网络
本专利技术涉及轻量化时间卷积网络
，具体涉及一种面向时序数据快速预测的轻量化时间卷积网络。
技术介绍
近年来处理时序建模问题经常会应用于一种时间卷积网络，时间卷积网络的主要结构包含因果卷积、膨胀卷积和残差连接。实验表明在时序建模方面，其能力超过了传统的RNN、LSTM、GRU等结构；时间卷积网络能够保留数据的长历史信息，可以从原始高维特征中自动提取低维特征处理；传统的时间卷积网络以序列x0,...,xT为输入，旨在预测每个时刻对应的输出y0,...,yT。时间卷积网络主要包含三大结构：因果卷积、膨胀卷积和残差连接。在因果卷积中，每一个卷积层位于时刻t的计算数值依赖于上一层位于时刻t及该时刻之前的计算数值，如下所示。其中t＝1,...,T,T是时间序列的长度，n是卷积层所在层数，代表相应的卷积过程。因果卷积的特点是不采用未来信息预测当前信息。膨胀卷积能够有效扩大视野范围。通常来说，时间卷积网络深度越深，网络的视野范围就越广。但对于序列回归问题时，如图1所示，只有带有多个滤波器的y^T的预测结果被计算使用，其他的预测计算结果y^0,...,y^T-1并没有被使用，这造成了计算浪费。其中d是膨胀因子。在底部带有d为1的卷积层表明其中所以单元都被应用于下一层卷积的计算，而d为2的卷积层表明该层的单元有选择地应用于下一层的计算，以此类推。但是当时间卷积网络通过全一维卷积结构进行因果卷积，当输入序列长度过大时，由于全卷积的结构，时间卷积网络计算量过大，其中许多计算结果并没有应用到网络的前、后向传播，因此弊端也十分明显，因此急需涉及一种面向时序数据的轻量化时间卷积网络，根据时间卷积网络核心思想重构网络结构，旨在降低计算量，提高网络运行速度。
技术实现思路
(一)要解决的技术问题为了克服现有技术不足，现提出一种面向时序数据快速预测的轻量化时间卷积网络，根据时间卷积网络核心思想重构网络结构，旨在降低计算量，提高网络运行速度。(二)技术方案本专利技术通过如下技术方案实现：提出了一种面向时序数据快速预测的轻量化时间卷积网络，包括以序列x0,...,xT为输入，旨在预测xT对应的预测输出y^T，轻量化时间卷积网络公式如下所示。轻量化时间卷积网络主要包含两大结构：因果卷积和步长卷积，其整体思路框架如图2所示。在因果卷积中，每一个卷积层位于时刻t的计算数值依赖于上一层位于时刻t及该时刻之前的计算数值，如下所示。其中t＝1,...,T,T是时间序列的长度，n是卷积层所在层数，f(·)代表相应的卷积过程。通过采用上述技术方案可知，因果卷积的特点是不采用未来信息预测当前信息。步长卷积能够在缩短序列长度的同时有效地扩大视野范围。由于本专利提出的轻量化时间卷积网络利用一维步长卷积代替了膨胀卷积，并去除了全卷积结构，网络的计算量得以大大减少。进一步的，轻量化时间卷积网络整体结构包含多层卷积块和全连接层；压缩特征会通过多层卷积块计算得到并应用于后续的全连接层中。在一个卷积块中包含一层带有(k-1)大小paading的一维全卷积(即因果卷积)，一层带有适当大小padding的一维步长卷积，激活函数采用ReLU函数，其中k是卷积核大小。每一卷基层都包含多个滤波器。同时在卷积块中采用weightnorm和dropout来改善网络表现。在全连接层中采用ReLU激活函数，同时可根据输出值的范围大小可选择全连接层中的最后一层采用Sigmoid、ReLU或其他激活函数。每一个卷积块的输出长度将是输入长度的1/s。如果最后一个卷积块的输入长度与全局卷积核大小相近，其最后卷积块的卷积核大小可以设定为该卷积块的输入长度，此时预测值y^T可以依靠长度为kn·sn-1的历史信息，其中n是卷积块的数量，kn是最后以卷积块的卷集合大小。进一步的，对于时序数据分类预测，在进行时序数据分类预测时，假设分类类别个数为m，时序数据维度为(nl,nc)，其中nl为时序数据长度，nc为时序数据通道数。根据时序数据维度设定轻量化时间卷积网络的步长卷积块具体超参数，再根据轻量化时间卷积网络的步长卷积块输出的压缩特征和分类类别个数设定全连接层的超参数；此时轻量化卷积网络的输入特征所需维度是(nl,nc)，输出是分类类别序号，维度为1。进一步的，在进行时序数据回归预测时，假设时序数据维度为(nl,nc)，其中nl为时序数据长度，nc为时序数据通道数。根据时序数据维度设定轻量化时间卷积网络的步长卷积块具体超参数，再根据轻量化时间卷积网络的步长卷积块输出的压缩特征和分类类别个数设定全连接层的超参数。其中最后输出的神经元的激活函数可根据期望回归数值范围进行选取，如期望输出范围是[0,1]时可选用Sigmoid激活函数，[0,∞]时可选用ReLU激活函数；此时轻量化卷积网络的输入特征所需维度是(nl,nc)，输出是预期回归数值，维度为1。通过采用上述技术方案，面对时序数据预测任务时，该轻量化时间卷积网络能够降低计算量，有效减少计算浪费，从而提高网络的运行速度。(三)有益效果本专利技术相对于现有技术，具有以下有益效果：1、因果卷积的特点是不采用未来信息预测当前信息，步长卷积能够在缩短序列长度的同时有效地扩大视野范围，由于本专利提出的轻量化时间卷积网络利用一维步长卷积代替了膨胀卷积，并去除了全卷积结构，网络的计算量得以大大减少；2、轻量化时间卷积网络整体框架中所有的计算结果在网络的前、后向传播中都被使用，减少了计算浪费，同时对比与图1，网络所需的计算量也大大减少，同时使用较大的卷积核和卷积步长能够有效减少网络的深度。附图说明图1是本专利技术的现有技术中时间卷积网络整体框架；图2是本专利技术的轻量化时间卷积网络整体框架；图3是本专利技术的轻量化时间卷积网络结构和步长卷积块。图4是本专利技术的用于时序数据分类预测的轻量化时间卷积网络全连接层示意图。图5是本专利技术的用于时序数据回归预测的轻量化时间卷积网络全连接层示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图2-图5所示，本实施例中的一种面向时序数据快速预测的轻量化时间卷积网络，包括以序列x0,...,xT为输入，旨在预测xT对应的预测输出y^T，轻量化时间卷积网络公式如下所示：轻量化时间卷积网络主要包含两大结构：因果卷积和步长卷积，其整体思路框架如图2所示。在因果卷积中，每一个卷积层位于时刻t的计算数值依赖于上一层位于时刻t及该时刻之前的计算数值，如下所示：其中t＝1,...,T,T是时间序列的长度，n是卷积层所在层数，f(·)代表相应的卷积过程。通过采用上述技术方案可知，因果卷积的特点是不采用未来信息预测当前信息。步长卷积能够在缩短序列长度的同时有本文档来自技高网...

【技术保护点】
1.一种面向时序数据快速预测的轻量化时间卷积网络，其特征在于：包括以序列x0,...xT为输入，旨在预测xT对应的预测输出y^T，轻量化时间卷积网络公式如下所示：/n

【技术特征摘要】
1.一种面向时序数据快速预测的轻量化时间卷积网络，其特征在于：包括以序列x0,...xT为输入，旨在预测xT对应的预测输出y^T，轻量化时间卷积网络公式如下所示：



轻量化时间卷积网络主要包含两大结构：因果卷积和步长卷积，在因果卷积中，每一个卷积层位于时刻t的计算数值依赖于上一层位于时刻t及该时刻之前的计算数值，如下所示：



其中t＝1,...,T,T是时间序列的长度，n是卷积层所在层数，f(·)代表相应的卷积过程。


2.根据权利要求1所述的一种面向时序数据快速预测的轻量化时间卷积网络，其特征在于：所述轻量化时间卷积网络的具体结构为：包含多层卷积块和全连接层；压缩特征会通过多层卷积块计算得到并应用于后续的全连接层中；在一个卷积块中包含一层带有(k-1)大小paading的一维全卷积，也就是因果卷积，一层带有适当大小padding的一维步长卷积，激活函数采用ReLU函数，其中k是卷积核大小，每一卷基层都包含多个滤波器，同时在卷积块中采用weightnorm和dropout来改善网络表现，在全连接层中采用ReLU激活函数，同时可根据输出值的范围大小可选择全连接层中的最后一层采用Sigmoid、ReLU或其他激活函数；每一个卷积块的输出长度将是输入长度的1/s；如果最后一个卷积块的输入长度与全局卷积核大小相近，其最后卷积块的卷积核大小...

【专利技术属性】
技术研发人员：任磊，刘雨鑫，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11