一种结合LSTM与注意力机制的股票涨跌预测技术方法技术

本发明专利技术公开了一种结合LSTM与注意力机制的股票涨跌预测技术方法，包括如下步骤：步骤1：制作股票数据集；步骤2：股票因子数据处理；步骤3：股票新闻文本的特征提取；步骤4：特征融合输出；步骤5：训练股票涨跌预测模型；步骤6：预测。这种方法增强了预测结果的可解释性，信息直观全面化。息直观全面化。息直观全面化。

A technical method of stock price rise and fall prediction combining LSTM and attention mechanism

【技术实现步骤摘要】
一种结合LSTM与注意力机制的股票涨跌预测技术方法


[0001]本专利技术涉及深度学习的LSTM与注意力机制技术，具体为一种结合LSTM与注意力机制的股票涨跌预测技术方法。

技术介绍

[0002]人工智能技术发展至今，以神经网络为代表的深度学习模型被广泛用于金融资产价格预测并在投资决策发挥着重要作用。同时，金融投资行业作为经济社会中的高效行业，极为重视最新科技与金融实务的结合，力求精确化与智能化的高科技运营模式也备受金融机构青睐，因此将深度学习运用于金融领域也成为新的研究热点。
[0003]基于深度学习的股票预测技术把投资者从繁重的个股分析与全时段看盘中解放，把强大的分析模型、优秀的投资经验、经典的盈利模式利用计算机编程实现，从而避免人为判断失误与主观情绪影响，同时为证券市场投资者带来精准化的投资分析研判。依托复杂的神经网络模型，从海量历史数据中提取显著影响证券投资收益的特征因子，这些因子代表投资对象的基础属性。例如某一证券在一定时段内的收益率、波动率、夏普比率、移动平均价格、近期成交量与成交金额，这些因子从不同角度直接或间接反映出该证券盈利能力与投资风险。利用这些因子构建股票涨跌预测模型，能够充分深入挖掘证券因子数据与投资收益间的作用机制，运用该机制预测股票未来涨跌。
[0004]尽管深度学习在复杂和高度随机的股票预测问题上取得重要进展，但依然面临显著的局限性，那就是没有从投资收益角度考虑优化投资组合，仅是将股票预测简单地描述成分类或回归问题。事实上，预测表现最佳的投资组合在实际投资中不一定能够获取最高的投资收益。此外，非结构化的新闻信息对股票价格变动起着重要影响作用。新闻信息的出现具有随机性，时事新闻将直接影响新闻提及的股票，导致投资者依据新闻信息对股票持有积极或消极投资情绪，具有媒体意识的新闻信息是多模态数据。在社交媒体平台上发布的股评信息同样对股票涨跌具有导向作用，以往研究都将整体市场情绪作为预测指标，这些方法既没有及时捕捉到新闻信息的时间敏感性，也没有考虑到股评意见的可靠性，因此有待进一步完善。
[0005]LSTM模型作为传统循环神经网络的改进模型，其学习过程包含三个重要阶段：遗忘阶段对来自前一时刻的输入选择性忘记，遗忘不重要的信息；选择记忆阶段将当前时刻所有输入进行选择性记忆，重要信息赋予大权重着重记忆；输出阶段则是决定哪些信息成为当前时刻的输出结果。LSTM模型选择性记忆或者遗忘序列信息，从而让重要信息随着时间的推移仍然能够发挥关键作用，是目前处理时序数据的重要方法。
[0006]注意力机制是一种模拟人类注意力行为的数据处理方法，其直观解释是重要信息重点关注，无关信息的干扰会导致计算机在模拟人类的思考与决策过程中出现偏差。为了使计算机更适应现实应用场景，在LSTM模型中引入增加注意力机制，让计算机选择性遗忘无关信息和关联上下文获取重要信息，对预测股票涨跌有重要作用的特征因子在预测模型中应该予以重要注意力权重。此外，注意力机制与LSTM模型相结合有效地提高神经网络的
可解释性与计算效率。由于神经网络模型的内部机制无法观测，而注意力机制的加入可直接观测某些因子之间的关联程度，以及特征因子在股票涨跌预测任务中的重要程度，从而更好地优化预测模型获取更高的投资收益回报。

技术实现思路

[0007]本专利技术的目的是针对现有技术中存在的不足，而提出一种结合LSTM与注意力机制的股票涨跌预测技术方法。这种方法增强了预测结果的可解释性，信息直观全面化。
[0008]实现本专利技术目的的技术方案是：
[0009]一种结合LSTM与注意力机制的股票涨跌预测技术方法，包括如下步骤：
[0010]步骤1：制作股票数据集：
[0011]步骤11：数据收集：收集股票因子原始数据，如市值因子、盈利因子、成长因子、杠杆因子、动量因子、风险因子、风格因子、行业因子等，以股票的每日收盘价作为股票涨跌计算原始数据，股票新闻信息作为股票涨跌预测的新闻特征原始数据；
[0012]步骤12：制作股票因子数据集：将因子数据按固定时长，即日度、周度、月度进行划分，计算固定时间间隔内的因子数据值作为指标值，记作X
r
，判断固定时间内股票价格的涨跌，即初始时刻与终点时刻的收盘价差值除以初始时刻收盘价所得比率，比率为正则表示股票上涨，反之则股票下跌，以此作为每条因子数据的涨跌标签Y；
[0013]步骤2：股票因子数据处理：
[0014]步骤21：归一化：即将步骤12中处理后的股票因子数据X
r
的值转换为(0，1)之间的小数形式，将预处理完后的数据记作X
i
＝(X
i1
,X
i2
,X
i3
,...,X
in
)，其中X
i1
,X
i2
,X
i3
,...,X
in
表示单个股票i预处理后的n个因子数据对应指标值；
[0015]步骤22：LSTM模型提取因子注意力：将步骤21中经过预处理的数据X
i
放入LSTM模型中进行特征提取，将提取后的特征向量映射为与X
i
相同维度的向量，并利用激活函数softmax计算各因子的注意力权重，记作Q
i
＝(Q
i1
,Q
i2
,Q
i3
,...,Q
in
)；
[0016]步骤23：对因子数据添加注意力：将步骤21中的处理过的因子数据X
i
与步骤22中所提取的注意力权重矩阵Q
i
相乘，得到含注意力的因子数据S
i
＝(S
i1
,S
i2
,S
i3
,...,S
in
)；
[0017]步骤3：股票新闻文本的特征提取：
[0018]步骤31：新闻文本向量化：使用word2vec模型将步骤11中提取的新闻信息文本转化为文本向量，记作W＝(W1,W2,W3,...,W
n
)，对于无新闻信息的单个股票i，将其对应文本向量W
i
定义为与W1,W2,W3,...,W
n
维度相同的全0向量，目的是保持数据结构完整，方便后续使用LSTM模型对文本数据进行新闻特征提取；
[0019]步骤32：LSTM模型提取新闻特征：使用LSTM模型对步骤31中的文本向量W进行特征提取，提取的特征记作WT＝(WT1,WT2,WT3,...,WT
n
)；
[0020]步骤33：新闻影响力：将步骤32中的新闻文本特征WT＝(WT1,WT2,WT3,...,WT
n
)使用一个全连接层进行处理映射到一维，并使用sigmoid函数将其数值缩小到(0，1)之间，以此输出数值作为该新闻对股票涨跌的影响程度；
[0021]步骤4：特征融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合LSTM与注意力机制的股票涨跌预测技术方法，其特征在于，包括如下步骤：步骤1：制作股票数据集：步骤11：数据收集：收集股票因子原始数据，以股票的每日收盘价作为股票涨跌计算原始数据，股票新闻信息作为股票涨跌预测的新闻特征原始数据；步骤12：制作股票因子数据集：将因子数据按固定时长，即日度、周度、月度进行划分，计算固定时间间隔内的因子数据值作为指标值，记作X
r
，判断固定时间内股票价格的涨跌，即初始时刻与终点时刻的收盘价差值除以初始时刻收盘价所得比率，比率为正则表示股票上涨，反之则股票下跌，以此作为每条因子数据的涨跌标签Y；步骤2：股票因子数据处理：步骤21：归一化：即将步骤12中处理后的股票因子数据X
r
的值转换为(0，1)之间的小数形式，将预处理完后的数据记作X
i
＝(X
i1
,X
i2
,X
i3
,...,X
in
)，其中X
i1
,X
i2
,X
i3
,...,X
in
表示单个股票i预处理后的n个因子数据对应指标值；步骤22：LSTM模型提取因子注意力：将步骤21中经过预处理的数据X
i
放入LSTM模型中进行特征提取，将提取后的特征向量映射为与X
i
相同维度的向量，并利用激活函数softmax计算各因子的注意力权重，记作Q
i
＝(Q
i1
,Q
i2
,Q
i3
,...,Q
in
)；步骤23：对因子数据添加注意力：将步骤21中的处理过的因子数据X
i
与步骤22中所提取的注意力权重矩阵Q
i
相乘，得到含注意力的因子数据S
i

【专利技术属性】
技术研发人员：丁勇，苏子秋，梁海，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：