利用神经网络进行序列处理的方法及序列处理的装置制造方法及图纸

本说明书实施例提供一种利用神经网络进行序列处理的方法以及序列处理的装置，在序列处理的方法中，在生成层，获取按时间排序的业务指标值形成的指标序列所对应的原始向量序列，针对该原始向量序列迭代执行多层级的向量聚合，得到对应于不同时间尺度的多层级的处理向量序列，原始向量序列和各处理向量序列中的各个向量，形成多层级的树形关系图。在注意力层，根据树形关系图，确定输入的任一目标向量的关联向量，根据关联向量对目标向量进行基于注意力机制的加权综合处理，得到对应的更新向量；该更新向量用于确定指标序列的特征表示。该更新向量用于确定指标序列的特征表示。该更新向量用于确定指标序列的特征表示。

【技术实现步骤摘要】
利用神经网络进行序列处理的方法及序列处理的装置


[0001]本说明书一个或多个实施例涉及计算机信息处理领域，尤其涉及一种利用神经网络进行序列处理的方法及序列处理的装置。

技术介绍

[0002]指标序列是指将业务指标的指标值按照时间顺序排列而成的数列。在许多应用场景中，需要对指标序列进行预测(通常是指预测未来某个或多个时刻的指标值)，便于在预测值出现较大波动，或者预测值与真实值差异较大的情况下，提前预警，发现异常。
[0003]常规技术中，通常利用机器学习来进行指标序列的预测，这需要先对指标序列进行特征表示。然而传统的特征表示方法，要么准确性较差，要么复杂度较高。因此，需要提供一种更有效的序列处理方法，以便能够平衡准确性和复杂度两方面的因素。

技术实现思路

[0004]本说明书一个或多个实施例描述了一种利用神经网络进行序列处理的方法及序列处理的装置，可以平衡准确性和时间复杂度两方面的因素。
[0005]第一方面，提供了一种利用神经网络进行序列处理的方法，包括：
[0006]在所述生成层，获取按时间排序的业务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用神经网络进行序列处理的方法，所述神经网络包括生成层和注意力层；所述方法包括：在所述生成层，获取按时间排序的业务指标值形成的指标序列所对应的原始向量序列，针对该原始向量序列迭代执行多层级的向量聚合，得到对应于不同时间尺度的多层级的处理向量序列，所述原始向量序列和各处理向量序列中的各个向量，形成多层级的树形关系图；在所述注意力层，根据所述树形关系图，确定输入的任一目标向量的关联向量，根据所述关联向量对所述目标向量进行基于注意力机制的加权综合处理，得到对应的更新向量；所述更新向量用于确定所述指标序列的特征表示。2.根据权利要求1所述的方法，其中，所述生成层包括依次堆叠的多个卷积层，且在上一卷积层得到的处理结果输入到下一卷积层中；所述迭代执行多层级的向量聚合，包括：分别在所述多个卷积层依次执行多次卷积处理，得到对应于所述多次卷积处理的多个处理结果；将所述多个处理结果分别作为所述多层级的处理向量序列。3.根据权利要求2所述的方法，其中，所述各处理向量序列具有不同的长度，且任一处理向量序列的第二长度是根据所述原始向量序列的第一长度以及对应卷积层的卷积核长度和层级确定的；所述第二长度与所述层级负相关。4.根据权利要求3所述的方法，其中，所述卷积核长度是根据所述树形关系图中非叶子节点的子节点数确定的。5.根据权利要求2所述的方法，其中，所述卷积层的层数与所述树形关系图的层级数正相关。6.根据权利要求1所述的方法，其中，所述形成所述多层级的树形关系图，包括：将所述原始向量序列和各处理向量序列共同作为各初始向量序列，并建立所述各初始向量序列与所述树形关系图的各层级的对应关系；其中，从低层级到高层级对应于时间尺度从细到粗；基于所述对应关系，形成所述多层级的树形关系图。7.根据权利要求6所述的方法，其中，形成所述多层级的树形关系图，包括：对于任意的第i层级，构建对应于第i初始向量序列中的各个向量的各节点；从而得到各层级中的各节点；对于所述第i层级中任意的第一节点，分别从所述第i层级、第i+1层级以及第i
‑
1层级中的各节点中选取同层节点、父节点以及子节点作为所述第一节点的邻居节点；构建所述第一节点与所述邻居节点的连接边；如此构建出各层级中的各节点与邻居节点的连接边。8.根据权利要求7所述的方法，其中，所述同层节点的节点标识与所述第一节点的第一标识的差值不大于第一常数，所述第一常数与预设的同层节点数正相关；所述父节点的节点标识，基于所述第一标识以及预设的子节点数的商而确定；所述子节点的节点标识，基于所述第一标识与所述预设的子节点数的乘积而确定。9.根据权利要求1所述的方法，其中，所述确定输入的任一目标向量的关联向量，包括：
从所述树形关系图中的各节点中，选取出从所述目标向量对应的节点出发沿连接边到达的邻居节点；将选取出的所述邻居节点对应的向量确定为所述关联向量。10.根据权利要求1所述的方法，其中，所述根据所述关联向量对所述目标向量进行基于注意力机制的加权综合处理，包括：分别采用第一变换矩阵Q，第二变换矩阵K和第三变换矩阵V对所述目标向量和关联向量进行变换，得到所述目标向量和关联向量对应的第一中间向量，第二中间向量和第三中间向量；基于所述目标向量对应的第一中间向量与所述关联向量对应的第二中间向量的点乘操作，确定所述目标向量与所述关联向量的关联度；以所述目标向量与所述关联向量的关联度作为权重因子，对所述关联向量对应的第三中间向量进行加权组合，得到所述目标向量对应的第一组合向量；基于所述第一组合向量，得到对应的更新向量。11.根据权利要求1所述的方法，其中，所述神经网络还包括嵌入层；在所述嵌入层，获取所述指标序列，并对其中的各业务指标值进行嵌入处理，得到对应的多个特征向量；基于多个特征向量形成所述原始向量序列。12.根据权利要求1所述的方法，其中，所述注意力层的数目为N，且N大于1；所述方法还包括：基于N个注意力层中最后一个注意力层得到的各更新向量，确定所述指标序列的特征表示。13.根据权利要求12所述的方法，其中，所述指标序列包括t个过去时刻的实际指标值和1个未来时刻的预定指标值；所述神经网络还包括第一全连接层；所述方法还包括：在所述第一全连接层，获取基于经过N次更新后的树形关系图中每个层级的最后一个节点对应的更新向量形成的目标向量序列；基于所述目标向量序列，获得所述1个未来时刻的预测指标值；其中，所述N次更新分别对应于所述N个注意力层。14.根据权利要求12所述的方法，其中，所述指标序列包括t个过去时刻的实际指标值和M个未来时刻的预定指标值；所述神经网络还包括第一解码层、第二解码层和第二全连接层；所述方法还包括：在所述第一解码层，获取基于...

【专利技术属性】
技术研发人员：余航，刘士湛，廖聪，李建国，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：