基于时序对齐预测的序列距离度量方法、存储介质及芯片技术

本发明专利技术涉及机器学习技术领域，为基于时序对齐预测的序列距离度量方法、存储介质及芯片，包括步骤：先构建保序对齐预测(OAP)模型，对OAP模型进行自监督训练。保序对齐预测距离采用轻量级类似transformer的神经网络直接预测两个序列之间的最优对齐，因此在推理时只需要直接计算，不涉及优化。可以应用在序列分类和检索任务中，在获得和别的序列距离相当的性能同时，具有更快的推理速度。该方案提出的保序对齐预测OAP距离是可学习的序列距离，在推理中只需要直接计算，具有良好的可解释性；其次，通过设计产生近似真实对齐的序列增强方法，在此基础上，提出了自监督的OAP学习方法，不需要标注训练序列；此外，OAP距离可以方便地实现端到端的监督表征学习。实现端到端的监督表征学习。实现端到端的监督表征学习。

【技术实现步骤摘要】
基于时序对齐预测的序列距离度量方法、存储介质及芯片


[0001]本专利技术涉及机器学习
，具体涉及基于时序对齐预测的序列距离度量方法、存储介质及芯片。

技术介绍

[0002]序列之间的距离在序列分类、检索、聚类等应用中起着至关重要的作用。相比于向量距离，度量序列之间的距离更加困难，因为不同的序列可能有不同的采样率、执行速度、局部扭曲、初始状态和弹性扭曲。为了解决这些时序差异，现有的序列距离或者将每个序列编码成一个时序不变的特征向量，或者使用对齐进行时序对应校准。典型的基于特征的方法使用循环神经网络(RNN)对序列进行编码并度量相应特征之间的欧几里德距离。与计算与任何其他序列的距离时，一个序列的特征总是固定的。虽然这些方法是可学习的，并且在推理时只需要进行前向计算，但它们需要大量序列来训练复杂的RNN，并且可解释性较弱，因为不清楚学习到的特征如何处理时序差异以及可以处理哪些类型的时序差异。
[0003]基于对齐的方法为不同的序列对确定不同的最优对齐。这更加直观和灵活，因为在比较不同序列时，时序差异可能不同。大多数对齐方法在预定义的可行约束下解决优化问题以推断最优对齐。例如，DTW可能是应用最广泛的序列距离，其各种变体或进行加速推理，或适应增加或修改的约束，或处理来自不同模态的序列，其中Soft
‑
DTW通过使用所有可行对齐的软最小成本作为目标来优化可微损失。但这些优化通常很耗时，不能充分利用GPU，并且不能很好地扩展到长序列。
[0004]此外，由于推断对齐本身就是一个优化问题并且有自己的目标，因此难以使用其他目标的基于序列距离的端到端学习。例如，学习序列中元素的判别时序表征通常采用不同类别的序列在给定的序列距离下更好地分离的目标函数。这个总体目标的梯度很难通过对齐进行反向传播，因为对齐变量是由另一个优化问题确定的潜在变量。

技术实现思路

[0005]本专利技术提供了基于时序对齐预测的序列距离度量方法、存储介质及芯片，解决了以上所述的现有基于对齐的序列距离不足的技术问题。
[0006]本专利技术为解决上述技术问题提供了基于时序对齐预测的序列距离度量方法，包括以下步骤：
[0007]S100，构建保序对齐预测(OAP)模型；
[0008]具体地，输入序列：和和是两个长度分别为L
X
和L
Y
的序列，X的元素x
i
，i＝1，2，
…
，L
X
和Y的元素y
j
，j＝1，
…
，L
Y
位于d维特征空间R
d
中；
[0009]超参数：变换后的维数d
′
、时序矩阵权重λ，在计算X和Y之间的距离时，将Y对齐到X；
[0010]S200，对OAP模型进行自监督训练；具体地，采用神经网络f通过考虑时序信息直接预测最优对齐的概率T
*
＝f(X，Y)，则X和Y之间的OAP距离为：d(X，Y)＝<T
*
，D>，其中是X和Y中元素之间的成对距离矩阵，e(x
i
，y
j
)是两个元素x
i
和y
j
之间的向量距离，表示x
i
和y
j
对齐的概率。
[0011]可选地，所述OAP模型的前向计算过程包括：
[0012]S101，输入：和是两个长度分别为L
X
和L
Y
的序列，X的元素x
i
，i＝1，2，
…
，L
X
和Y的元素y
j
，j＝1，
…
，L
Y
位于d维特征空间R
d
中；超参数：变换后的维数d
′
、时序矩阵权重λ。在计算X和Y之间的距离时，将Y对齐到X；
[0013]S102，使用线性投影W
q
∈R
d
′×
d
将X中所有元素x
i
变换为变换为产生另一个变换序列
[0014]S104，使用每个作为查询，使用j＝1，
…
，L
Y
作为键，计算所有的i＝1，
…
，L
X
和j＝1，
…
，L
Y
之间的欧几里得距离，从而得到矩阵
[0015]S105，计算和的相对位置i/L
X
和j/L
Y
之间的所有成对欧几里德距离，存到矩阵中；
[0016]S106，计算相似度矩阵S，其为D
s
和D
t
的组合：的组合：
[0017]S107，通过沿相似矩阵S的第二维执行softmax，对所有查询的注意力形成一个注意力矩阵A：
[0018][0019]S108，对注意力矩阵A执行全局L1归一化：
[0020][0021]表示x
i
和y
j
对齐的概率；
[0022]S109，计算得到X和Y之间的OAP距离为：d(X，Y)＝<T
*
，D>。
[0023]可选地，所述OAP模型的可行对齐集合可选地，所述OAP模型的可行对齐集合其中1
L
是一个L维元素全为1的向量，T是对齐矩阵。
[0024]可选地，所述OAP模型的自监督训练方法具体包括：
[0025]S201，给定N个未标记的训练序列X
n
，n＝1，
…
，N，目标是学习OAP的神经网络f，该神经网络只包含两个线性投影W
q
和W
k
作为参数；
[0026]S202，对于每一个训练时期(epoch)，从训练序列中依次采样一批数量为B的序列；
[0027]S203，对每个批样本(batch)，对于每个X
n
，采用增广方法来生成其增强序列和相应的真值对齐
[0028]S204，计算OAP距离以及相应的Xn和之间的非归一化对齐A
n
；
[0029]S205，由于OAP是非对称的，计算对偶OAP距离和和X
n
之间的对偶对齐A
n
′
；
[0030]S206，最小化OAP及其对偶距离，以及预测的对偶对齐和真实对齐之间的均方误差(MSE)，以间接地迫使对齐和其对偶对齐保持一致。目标函数是：
[0031][0032]S207，对每个batch，分别通过反向传播更新预测网络f中的投影变换，直到所有本轮epoch中的所有batch都处理完；
[0033]S208，重复S202～S207，直到达到预设的最大epoch轮数。
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时序对齐预测的序列距离度量方法，其特征在于，包括以下步骤：S100，构建保序对齐预测(OAP)模型；具体地，输入序列：和和是两个长度分别为L
X
和L
Y
的序列，X的元素x
i
，i＝1，2，
…
，L
X
和Y的元素y
j
，j＝1，
…
，L
Y
位于d维特征空间R
d
中；超参数：变换后的维数d
′
、时序矩阵权重λ，在计算X和Y之间的距离时，将Y对齐到X；S200，对OAP模型进行自监督训练；具体地，采用神经网络f通过考虑时序信息直接预测最优对齐的概率T
*
＝f(X，Y)，则X和Y之间的OAP距离为：d(X，Y)＝<T
*
，D>，其中是X和Y中元素之间的成对距离矩阵，e(x
i
，y
j
)是两个元素x
i
和y
j
之间的向量距离，表示x
i
和y
j
对齐的概率。2.根据权利要求1所述的基于时序对齐预测的序列距离度量方法，其特征在于，所述OAP模型的前向计算过程包括：S101，输入：和是两个长度分别为L
X
和L
Y
的序列，X的元素x
i
，i＝1，2，
…
，L
X
和Y的元素y
j
，j＝1，
…
，L
Y
位于d维特征空间R
d
中；超参数：变换后的维数d
′
、时序矩阵权重λ。在计算X和Y之间的距离时，将Y对齐到X；S102，使用线性投影W
q
∈R
d
′×
d
将X中所有元素x
i
变换为变换为产生另一个变换序列S104，使用每个作为查询，使用作为键，计算所有的和之间的欧几里得距离，从而得到矩阵S105，计算和的相对位置i/L
X
和j/L
Y
之间的所有成对欧几里德距离，存到矩阵中；S106，计算相似度矩阵S，其为D
s
和D
t
的组合：的组合：S107，通过沿相似矩阵S的第二维执行softmax，对所有查询的注意力形成一个注意力矩阵A：
S108，对注意力矩阵A执行全局L1归一化：归一化：表示x
i
和y
j
对齐的概率；S109，计算得到X和Y之间的OAP距离为：d(X
，
Y)＝<T
*
，D>。3.根据权利要求2所述的基于时序对齐预测的序列距离度量方法，其特征在于，所述OAP模型的可行对齐集合OAP模型的可行对齐集合其中1
L
是一个L维元素全为1的向量，T是对齐矩阵。4.根据权利要求1或2所述的基于时序对齐预测的序列距离度量方法，其特征在于，所述OAP模型的自监督训练方法具体包括：S201，给定N个未标记的训练序列X
n
，n＝1，
…
，N，目标是学...

【专利技术属性】
技术研发人员：苏冰，文继荣，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：