一种基于循环神经网络的序列重排方法技术

本发明专利技术公开了一种基于循环神经网络的序列重排方法，包括训练过程和排序过程两部分。通过在正确序列的相关数据集上学习知识，由于乱序数据依旧保留序列特征，因此选择循环神经网络模型学习序列信息；将训练好的循环神经网络模型应用在乱序数据集上，首先固定第一个时间步的数据顺序并输入模型中，得到相应的预测结果后，基于预先定义的评价指标，搜索输入时间步的下一个时间步的在样本维度上的所有顺序组合，找出指标最优的组合将其作为对应时刻重排之后的正确顺序，以此类推直到最后一个时刻被排序好为止。相较于现有技术，本发明专利技术能够尽可能的将乱序数据重新排序成接近原始数据的形式。的形式。的形式。

【技术实现步骤摘要】
一种基于循环神经网络的序列重排方法


[0001]本专利技术涉及一种基于循环神经网络的序列重排方法，属于时间序列分析和神经网络领域。

技术介绍

[0002]循环神经网络 (Recurrent Neural Network) 通常被应用于序列相关任务，用来学习序列规律，识别序列模式，总结序列信息等。RNN 类网络之所以能够完成这些任务，是因为其模型独特的设计所决定的，RNN 通过递归地逐个输入序列元素，在输入的过程中保存序列信息，这使得网络做预测时，能够使用得上这些历史信息，但 RNN 只是将历史序列简单叠加起来，这就使得旧信息容易被新信息所覆盖，这对带有长期依赖 (long
‑
term dependency) 的序列预测任务来说，会带来巨大的损失，同时，RNN 的训练过程也因其朴素的设计而变得困难，容易出现梯度消失和梯度爆炸。LSTM 便针对RNN 的缺点做出一系列改进，其通过引入“门”机制，一方面能够用来学习哪些信息应该被保存，哪些信息应该被删除，哪些信息应该被输出；另一方面，在反向传播更新参数的过程中，梯度爆炸和梯度消失问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环神经网络的序列重排方法，其特征在于，包括训练过程和排序过程：训练过程包括如下步骤：步骤1.1选择一序列正确的数据集，该数据集可以是同类型数据集或相似任务下得到的数据集，也可以是相接近的数据集；步骤 1.2将序列正确的数据集组织成监督数据集形式；步骤1.3对监督数据集中的数据做预处理；步骤1.4选择特定的循环神经网络模型并使用深度学习框架构造，同时构造优化器，损失函数以及训练过程的监督和保存代理；步骤1.5对循环神经网络模型进行训练；步骤1.6选用不同的参数配置，分别训练循环神经网络模型，并将训练好的循环神经网络模型在测试集上运行，评估模型效果；排序过程包括如下步骤：步骤2.1固定乱序数据中所有序列的第一个时间步样本数据；步骤2.2将第一个时间步样本数据输入循环神经网络模型，得到对未来一个时间步的预测；步骤2.3搜索乱序数据中对应于预测时间步数据的所有可能组合，对比不同组合下数据序列和预测数据序列之间的差距，选择差距最小的排序组合作为重排序列；步骤2.4重复上述排序步骤，直到最后一个时间步。2.根据权利要求1所述的基于循环神经网络的序列重排方法，其特征在于：步骤1.2中针对不同的序列正确的数据集，具有不同的处理方式：若数据量足够，则监督数据集的输入为历史一个时间步的数据，输出为该时间步之后一个时间步的数据，序列数据则变为一系列数据项，随后根据比例将监督数据集划分为训练集和测试集，其中，训练集保持正确顺序，测试集需要被打乱并记录能够将乱序整理为正序的下标用于之后评价模型重排的效果；若数据量有限，则需要将序列正确的数据集组织成不同预测尺度的监督数据集。3.根据权利要求2所述的基于循环神经网络的序列重排方法，其特征在于，步骤1.5具体包括：对于数据量足够的情况，使用正常的训练过程即可；对于数据量有限的情况，采取课程学习的方式，将历史一个时间步数据预测未来一时间步时刻视为难度最低的任务，历史k个时间步数据预测未来一时间步数据视为难度最高的任务，将模型依次在k个任务上训练...

【专利技术属性】
技术研发人员：陈兴国，李扬，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：