基于STL和带有注意力机制的LSTM的旅游需求预测方法技术

一种基于STL和带有注意力机制的LSTM的旅游需求预测方法，包括：从旅游客流量数据中获取初始的时间序列；使用STL分解模型对初始时间序列进行分解，得到3个分解序列；将3个分解序列分别输入到一个共享的注意力层，获得每个序列中不同特征的权重，然后将带有权重的特征作为LSTM的输入；对3个分解序列使用相同参数的LSTM模型进行训练，并分别对它们的测试集进行预测；3个预测结果进入全连接单元；将这3个预测结果相加得到游客达到量的最终预测结果并输出。本发明专利技术的优点在于：首先利用STL解决了旅游需求预测过程中由于数据量有限引起的高度复杂的模型中过拟合问题，并形成了一个相对简单的预测过程；其次，运用Attention

【技术实现步骤摘要】
基于STL和带有注意力机制的LSTM的旅游需求预测方法


[0001]本专利技术涉及旅游需求预测
，尤其涉及一种基于带有注意力机制的LSTM结合季节性趋势分解(STL)的旅游需求预测方法SAL。

技术介绍

[0002]旅游规划者需要准确预测游客到达的数据。同样，目的地和旅游价值链中的所有参与者，如交通运输部门、旅游运营商、住宿供应商、活动组织者和零售商，都需要准确的预测，以做出满足其经营需求的短期的决策，分析市场趋势，并制定长期战略。因此，使得旅游需求预测一直成为研究热点。旅游需求预测研究可分为定性和定量两种方法。其中，定性方法往往根据已经掌握的历史资料和直观材料，运用人的知识、经验和分析判断能力，对事物的未来发展趋势做出性质和程度上的判断，然后再通过一定的形式综合各方面的判断，得出统一的预测结论。然而，这些方法往往泛化能力较差。因此，研究人员一直在研究定量方法，以估计旅游数据中不同观测之间的定量关系。基于过去的因素数据和客流量数据，构建的模型可以用于预测未来的游客到达量。一般来说，量化方法采用了两种策略来提高绩效。第一个策略试图纳入更多可能影响游客旅游动机的相关因素，而第二个策略是采用更复杂的模型，对未来趋势具有更好的泛化能力。
[0003]在现有的旅游需求预测方法模型中可划分为三类：时间序列模型、计量经济模型和人工智能模型。其中，时间序列模型是利用历史数据来预测未来的旅游需求，例如，ARIMA及其变量的预测模型已被广泛采用。Goh(Modeling and forecasting tourism demand for arrivals with stochastic nonstationary seasonality and intervention.Tourism management,2002)等人提出了SARIMA方法，该方法捕获了单变量时间序列内部的季节性。此外，在早期的旅游需求预测研究中，提出了指数平滑(ETS)和Navie方法。而计量模型利用旅游需求与解释变量之间的关系进行旅游需求预测。传统的计量经济学模型是基于回归方法，如普通最小二乘法(OLS)、自回归分布滞后模型(ADLM)、向量自回归模型(VAR)和误差修正模型，已被普遍使用。近年来，为了提高旅游需求预测的绩效，提出了利用谷歌搜索数据的混合数据抽样模型。然而，计量经济学模型在特征选择过程中存在一定的局限性。特别是在旅游需求预测中，如何有效地建立具有大量变量的模型仍然是一个难题。基于人工智能的模型也被成功地用于旅游需求预测。Wong(Bayesian models for tourism demand forecasting.Tourism Management，2006)等人提出了贝叶斯网络模型来预测香港旅游的需求，并取得了一定的成果。Cankurt(Tourism demand forecasting using ensembles of regression trees.In:2016IEEE 8th International Conference on Intelligent Systems(IS)，2016)利用回归树对土耳其旅游需求进行预测。作为一种非线性预测模型，人工神经网络(ANN)也被用于旅游预测。近年来，Law(Tourism demand forecasting:A deep learning approach.Annals of tourism research，2019)等人将深度学习模型引入旅游需求预测，发现深度学习模型具有较强的泛化能力和较高的准确性。
[0004]基于人工智能的模型用于预测的过程中，过拟合是定量预测模型面临的主要挑战之一。在旅游需求预测中，质量受到两个过度拟合原因的影响。首先，在复杂的建模中，数据的多样性和体积通常是有限的。例如，大多数相关研究只能获取5
‑
10年前的历史数据。Wu(A sparse gaussian process regression model for tourism demand forecasting in hong kong.Expert Systems with Applications，2012)等人提到ANN经常出现过拟合问题。Claveria(Tourism demand forecasting with neural network models:different ways of treating information.International Journal of Tourism Research，2015)等人认为，多层神经网络需要交叉验证来克服过拟合问题。第二，模型构建过程中可能引入了不相关或冗余的解释变量。Li(Forecasting tourism demand with composite search index.Tourism management，2017)等人认为，在使用搜索指数预测旅游需求时，搜索查询量过大会导致过度拟合。Sun(Forecasting tourist arrivals with machine learning and internet search index.Tourism Management，2019)等人认为，与搜索指数相关的旅游需求预测研究应深入考虑并避免过度拟合问题。此外，如何有效利用有限的数据量来选择解释变量仍有待探索。总之，尽管基于人工智能的方法提供了多种机会，但仍有几个方法论问题未得到解决。文献综述表明，现有的旅游需求预测深度学习模型往往是高度复杂的。这些问题的根源在于有限的数据量和额外的解释变量要求。因此，本研究旨在解决这些不足，用以提高基于人工智能的旅游需求预测的建模精度。

技术实现思路

[0005]本专利技术所要解决的技术问题在于如何解决旅游需求预测过程中由于数据量有限引起的高度复杂的模型中过拟合问题。
[0006]本专利技术通过以下技术手段实现解决上述技术问题的：一种基于STL和带有注意力机制的LSTM的旅游需求预测方法，包括下述步骤：
[0007]步骤1：从旅游客流量数据中获取统计周期内的游客到达量，从而得到初始的时间序列；
[0008]步骤2：使用STL分解模型对步骤1中的初始时间序列进行分解，得到3个分解序列；
[0009]步骤3：将步骤2中得到季节序列、趋势序列和剩余序列分别作为输入，输入到一个共享的注意力层，获得每个序列中不同特征的权重，然后将带有权重的特征作为LSTM的输入；
[0010]步骤4：建立LSTM预测模型，设置三个分解序列的训练集和测试集的比例为8：2；分别对步骤2得到的3个分解序列使用相同参数的带有注意力机制的LSTM模型输入训练集进行训练，并分别对它们的测试集进行预测；
[0011]步骤5：步骤4中得到的3个预测结果进入全连接单元；
[0012]步骤6：将这3个预测结果相加得到游客达到量的最终预测结果
[0013]步骤7：输出预测结果
[0014]作为进一步优化的技术方案，还包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于STL和带有注意力机制的LSTM的旅游需求预测方法，其特征在于，包括下述步骤：步骤1：从旅游客流量数据中获取统计周期内的游客到达量，从而得到初始的时间序列；步骤2：使用STL分解模型对步骤1中的初始时间序列进行分解，得到3个分解序列；步骤3：将步骤2中得到季节序列、趋势序列和剩余序列分别作为输入，输入到一个共享的注意力层，获得每个序列中不同特征的权重，然后将带有权重的特征作为LSTM的输入；步骤4：建立LSTM预测模型，设置三个分解序列的训练集和测试集的比例为8：2；分别对步骤2得到的3个分解序列使用相同参数的带有注意力机制的LSTM模型输入训练集进行训练，并分别对它们的测试集进行预测；步骤5：步骤4中得到的3个预测结果进入全连接单元；步骤6：将这3个预测结果相加得到游客达到量的最终预测结果步骤7：输出预测结果2.如权利要求1所述的一种基于STL和带有注意力机制的LSTM的旅游需求预测方法，其特征在于，还包括如下步骤：通过最小化真实的游客到达量和预测的游客到达量之间的差值来训练SAL模型，SAL模型包括了STL分解模型和带有注意力机制的LSTM模型，在训练过程中，使用网格搜索对参数进行微调来确定SAL模型的最优参数，在实验中，设定时间步长为12，输入特征的维度为2725，LSTM神经元个数的取值范围为{16，32，64，128，256，512}，全连接单元个数取值范围为{8，16，32，128，256}，dropout_rate取值范围为{0.2，0.3，0.5，0.7，0.8}，批次取值范围为{2，3，7，11，12，15}，迭代测试取值范围为{300，500，700，1000，3000}。3.如权利要求1所述的一种基于STL和带有注意力机制的LSTM的旅游需求预测方法，其特征在于，所述步骤2具体包括以下步骤：步骤21:去趋势，假定T
tk
为内循环中第k次迭代结束时的趋势分量，用原始序列Y
t
减去上一次迭代结果的趋势分量T
tk
，即Y
t
′
＝Y
t
‑
T
tk
，当k＝0时的初始值T
t0
＝0；步骤22:周期子序列平滑，去趋势序列中的每一个周期子序列都是通过局部加权回归进行平滑，得到一个临时的季节序列，记为步骤23:平滑周期子序列的低通滤波，将一个低通滤波应用于这个滤波器包含一个长度为12的移动平均，一个长度为3的移动平均，然后做局部加权回归，得到结果序列步骤24:去除平滑周期子序列趋势，第(k+1)次迭代季节分量为其中减去目的是防止低频信息进入季节项；步骤25:去季节项，原始序列Y
t
通过减掉季节分量得到了一个消除季节化的序列，去季节性序列为步骤26:趋势平滑，在步骤25中获得的去季节性序列Y
t
″
经过局部加权回归平滑处理得
到第(k+1)次迭代中趋势分量T
tk+1
；步骤27：判断季节分量和趋势分量T
tk+1
是否收敛，若收敛输出季节分量和趋势分量T
tk+1
，否则返回步骤21；步骤28：计算剩余分量4.如权利要求1所述的一种基于STL和带有注意力机制的LSTM的旅游需求预测方法，其特征在于，所述步骤3具体包括以下步骤：步骤31：将季节序列、趋势序列和剩余序列分别作为输入；步骤32：输入到一个全连接层；步骤33：然后使用softmax激活函数进行归一化，来获得每个序列中不同特征的权重：其中，W为权重矩阵，b为偏置项；步骤34：将每个特征乘以相对应的权重，从而获得带有权重的特征：步骤35：输出带有权重的特征作为LSTM的输入。5.如权利要求1所述的一种基于STL和带有注意力机制的LSTM的旅游需求预测方法，其特征在于，所述步骤4具体如下:将做为输入，LSTM将其编码为隐层状态在时间步长t时，h
t
为LSTM单元输出门隐层状态，它是由前一隐层状态h
t
‑1，当前单元状态c
t
和当前输入x
t
′
更新的，更新过程如下：f
t
＝σ(W
f
×
x
′
t
+U
f
×
h
t
‑1+b
f
)i
t
＝σ(W
i
×
x
′
t
+U
i
×
h
t
‑1+b
i
))O
t
＝σ(W
o
×
x
′
t
+U
o
×
h
t
‑1+b
o
)h
t
＝O
t
×
tanh(C
t
)其中，W
f
、U
f
、W
i
、U
i
、W
c
、U
c
、W
o
和U
o
为权重矩阵，b
f
、b
c
、b
i
和b
o
为偏置项，tanh为激活函数，
×
代表逐元素相乘，将最后一步的输出送入到一个线性回归层分别得到季节序列、趋势序列和剩余序列的预测结果。6.一种基于STL和带有注意力机制的LSTM的旅游需求预测...

【专利技术属性】
技术研发人员：贾兆红，金村界，唐俊，
申请(专利权)人：安徽大学，
类型：发明
国别省市：