一种基于循环神经网络的序列重排方法技术

本发明专利技术公开了一种基于循环神经网络的序列重排方法，包括训练过程和排序过程两部分。通过在正确序列的相关数据集上学习知识，由于乱序数据依旧保留序列特征，因此选择循环神经网络模型学习序列信息；将训练好的循环神经网络模型应用在乱序数据集上，首先固定第一个时间步的数据顺序并输入模型中，得到相应的预测结果后，基于预先定义的评价指标，搜索输入时间步的下一个时间步的在样本维度上的所有顺序组合，找出指标最优的组合将其作为对应时刻重排之后的正确顺序，以此类推直到最后一个时刻被排序好为止。相较于现有技术，本发明专利技术能够尽可能的将乱序数据重新排序成接近原始数据的形式。的形式。的形式。

【技术实现步骤摘要】
一种基于循环神经网络的序列重排方法


[0001]本专利技术涉及一种基于循环神经网络的序列重排方法，属于时间序列分析和神经网络领域。

技术介绍

[0002]循环神经网络 (Recurrent Neural Network) 通常被应用于序列相关任务，用来学习序列规律，识别序列模式，总结序列信息等。RNN 类网络之所以能够完成这些任务，是因为其模型独特的设计所决定的，RNN 通过递归地逐个输入序列元素，在输入的过程中保存序列信息，这使得网络做预测时，能够使用得上这些历史信息，但 RNN 只是将历史序列简单叠加起来，这就使得旧信息容易被新信息所覆盖，这对带有长期依赖 (long
‑
term dependency) 的序列预测任务来说，会带来巨大的损失，同时，RNN 的训练过程也因其朴素的设计而变得困难，容易出现梯度消失和梯度爆炸。LSTM 便针对RNN 的缺点做出一系列改进，其通过引入“门”机制，一方面能够用来学习哪些信息应该被保存，哪些信息应该被删除，哪些信息应该被输出；另一方面，在反向传播更新参数的过程中，梯度爆炸和梯度消失问题也被缓解。LSTM 针对隐向量也做出了一些改变，LSTM 设计两种隐向量：细胞向量和隐藏向量。细胞向量贯穿整个递归过程，保存序列的全局信息；隐藏向量是细胞向量经过输出门得到的，包含序列的即时信息。GRU简化了LSTM网络的设计，减少了门的数量，同时将两种隐藏向量合并为一个，加速训练过程的同时还能保证与LSTM媲美的效果。
[0003]在实际的生产科研中，时常能够遇到由于各种原因导致记录数据出现异常，最致命便是乱序，数据乱序将直接导致数据集失效。特别地，对于天然带有某些特征的数据来说，乱序带来的影响更为严重，例如对一些序列数据来说，其本身会被序列元素的顺序所左右，若元素的顺序发生了变化，则序列将变得不可用。具体来说，假如需要记录小鼠体内细菌的数量变化过程，生物实验通常会周期性地记录不同细菌的数量，正确的记录方式是为每只小鼠做标记，每次记录都将细菌数量记录在对应的小鼠上，但如果没有做标记，则每次记录的数据大概率是乱序的，因为没有标记就并不知道该如何将数据按照小鼠对齐。一般的，这类实验周期性长且实验成本高，若因乱序而使得记录数据失效，这将是时间和金钱上的浪费。
[0004]本专利技术便是针对这种情况而设计的，用于重排乱序数据。

技术实现思路

[0005]本专利技术的主要目的是提供一种基于循环神经网络的序列重排方法，以尽可能的将乱序数据重新排序成接近原始数据的形式。
[0006]为实现上述目的，本专利技术提供了一种基于循环神经网络的序列重排方法，包括训练过程和排序过程：训练过程包括如下步骤：步骤1.1 选择一序列正确的数据集，该数据集可以是同类型数据集或相似任务下
得到的数据集，也可以是相接近的数据集；步骤 1.2 将序列正确的数据集组织成监督数据集形式；步骤1.3对监督数据集中的数据做预处理；步骤1.4选择特定的循环神经网络模型并使用深度学习框架构造，同时构造优化器，损失函数以及训练过程的监督和保存代理；步骤1.5对循环神经网络模型进行训练；步骤1.6选用不同的参数配置，分别训练循环神经网络模型，并将训练好的循环神经网络模型在测试集上运行，评估模型效果；排序过程包括如下步骤：步骤2.1固定乱序数据中所有序列的第一个时间步样本数据；步骤2.2将第一个时间步样本数据输入循环神经网络模型，得到对未来一个时间步的预测；步骤2.3搜索乱序数据中对应于预测时间步数据的所有可能组合，对比不同组合下数据序列和预测数据序列之间的差距，选择差距最小的排序组合作为重排序列；步骤2.4重复上述排序步骤，直到最后一个时间步。
[0007]作为本专利技术的进一步改进，步骤1.2中针对不同的序列正确的数据集，具有不同的处理方式：若数据量足够，则监督数据集的输入为历史一个时间步的数据，输出为该时间步之后一个时间步的数据，序列数据则变为一系列数据项，随后根据比例将监督数据集划分为训练集和测试集，其中，训练集保持正确顺序，测试集需要被打乱并记录能够将乱序整理为正序的下标用于之后评价模型重排的效果；若数据量有限，则需要将序列正确的数据集组织成不同预测尺度的监督数据集。
[0008]作为本专利技术的进一步改进，步骤1.5具体包括：对于数据量足够的情况，使用正常的训练过程即可；对于数据量有限的情况，采取课程学习的方式，将历史一个时间步数据预测未来一时间步时刻视为难度最低的任务，历史k个时间步数据预测未来一时间步数据视为难度最高的任务，将模型依次在k个任务上训练，直到模型收敛，则训练结束。
[0009]作为本专利技术的进一步改进，步骤2.1中的乱序数据在样本维度上乱序，时间维度上并不乱序。
[0010]作为本专利技术的进一步改进，步骤1.3中对监督数据集中的数据做预处理的方法包括最大最小值标准化、归一化方法及z
‑
score方法。
[0011]作为本专利技术的进一步改进，步骤1.6中的模型效果取决于乱序重排后数据与正序数据之间的差距，可以根据硬相似度获得，其中，
ꢀꢀ
表示能将乱序数据恢复成正序的样本下标矩阵，
ꢀꢀ
表示模型重排得到的样本下标矩阵，
ꢀꢀ
函数对比输入是否相等，并统计相等下标个数。
[0012]作为本专利技术的进一步改进，步骤1.6中的模型效果取决于乱序重排后数据与正序数据之间的差距，可以根据软相似度
ꢀꢀ
获得，其中， 表示真实数据集，
ꢀꢀ
表示重排后的数据集， 表示两个数据集中每个值是否对应相等，并统计相等值个数。
[0013]作为本专利技术的进一步改进，步骤1.6中的模型效果取决于乱序重排后数据与正序数据之间的差距，可以根据L1相似度
ꢀꢀ
获得，其中，
ꢀꢀ
表示真实数据集，
ꢀꢀ
表示重排后的数据集，
ꢀꢀ
计算真实数据集和重排数据集逐元素相减绝对值之和。
[0014]作为本专利技术的进一步改进，步骤1.6中的模型效果取决于乱序重排后数据与正序数据之间的差距，可以根据L2相似度获得，其中， 表示真实数据集， 表示重排后的数据集， 计算真实数据集和重排数据集逐元素相减平方和。
[0015]作为本专利技术的进一步改进，步骤1.6中的模型效果取决于乱序重排后数据与正序数据之间的差距，可以根据inf范数相似度 获得，其中， 表示真实数据集， 表示重排后的数据集， 计算真实数据集和重排数据集中最大值差距的绝对值。
[0016]本专利技术的有益效果如下：本专利技术提供的基于循环神经网络的序列重排方法，目的是尽量将乱序数据重新排序成接近原始数据的形式。针对已有的序列性数据，使用循环神经网络在序列正确的相关数据集上训练，再将训练好的模型应用到乱序数据上，通过遍历或剪枝的方式搜索最佳序列，最终达到重排数据的效果。
附图说明
[0017]图1为专利技术中循环神经网络的训练过程图。
[0018]图2为专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环神经网络的序列重排方法，其特征在于，包括训练过程和排序过程：训练过程包括如下步骤：步骤1.1选择一序列正确的数据集，该数据集可以是同类型数据集或相似任务下得到的数据集，也可以是相接近的数据集；步骤 1.2将序列正确的数据集组织成监督数据集形式；步骤1.3对监督数据集中的数据做预处理；步骤1.4选择特定的循环神经网络模型并使用深度学习框架构造，同时构造优化器，损失函数以及训练过程的监督和保存代理；步骤1.5对循环神经网络模型进行训练；步骤1.6选用不同的参数配置，分别训练循环神经网络模型，并将训练好的循环神经网络模型在测试集上运行，评估模型效果；排序过程包括如下步骤：步骤2.1固定乱序数据中所有序列的第一个时间步样本数据；步骤2.2将第一个时间步样本数据输入循环神经网络模型，得到对未来一个时间步的预测；步骤2.3搜索乱序数据中对应于预测时间步数据的所有可能组合，对比不同组合下数据序列和预测数据序列之间的差距，选择差距最小的排序组合作为重排序列；步骤2.4重复上述排序步骤，直到最后一个时间步。2.根据权利要求1所述的基于循环神经网络的序列重排方法，其特征在于：步骤1.2中针对不同的序列正确的数据集，具有不同的处理方式：若数据量足够，则监督数据集的输入为历史一个时间步的数据，输出为该时间步之后一个时间步的数据，序列数据则变为一系列数据项，随后根据比例将监督数据集划分为训练集和测试集，其中，训练集保持正确顺序，测试集需要被打乱并记录能够将乱序整理为正序的下标用于之后评价模型重排的效果；若数据量有限，则需要将序列正确的数据集组织成不同预测尺度的监督数据集。3.根据权利要求2所述的基于循环神经网络的序列重排方法，其特征在于，步骤1.5具体包括：对于数据量足够的情况，使用正常的训练过程即可；对于数据量有限的情况，采取课程学习的方式，将历史一个时间步数据预测未来一时间步时刻视为难度最低的任务，历史k个时间步数据预测未来一时间步数据视为难度最高的任务，将模型依次在k个任务上训练...

【专利技术属性】
技术研发人员：陈兴国，李扬，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：