基于k线聚类和强化学习的自适应金融时间序列预测方法技术

本发明专利技术公开了一种基于k线聚类和强化学习的自适应金融时间序列预测方法，先获取金融数据，对金融数据进行K线化处理，并K线化处理后的数据进行计算，得到当前匹配周期内的K线数据；采用Kmeans聚类算法、FCM聚类算法或基于数据密度的在线聚类方法对K线各个子部分进行聚类；将聚类结果输入到深度强化学习模型中进行参数训练，利用训练好的深度强化学习模型进行金融交易。本发明专利技术将金融数据进行K线化，并对K线各子部分进行聚类，将聚类结果输入到深度强化学习模型，得到基于分解k线聚类的深度强化学习模型，实现了实时金融交易价格的在线自适应预测。

Adaptive financial time series forecasting method based on K-line clustering and reinforcement learning

The invention discloses an adaptive prediction method of financial time series based on K-line clustering and reinforcement learning. Firstly, financial data are acquired, K-line processed, and K-line processed data are computed to obtain K-line data in the current matching period; Kmeans clustering algorithm, FCM clustering algorithm or based on K-line clustering algorithm are adopted. On-line clustering method of data density is used to cluster all sub-parts of K-line. The clustering results are input into the deep reinforcement learning model for parameter training, and the trained deep reinforcement learning model is used for financial transactions. The invention linearizes the financial data into K-lines, clusters each sub-part of K-lines, inputs the clustering results into the deep reinforcement learning model, obtains the deep reinforcement learning model based on decomposition k-lines clustering, and realizes online adaptive prediction of real-time financial transaction price.

【技术实现步骤摘要】
基于k线聚类和强化学习的自适应金融时间序列预测方法
本专利技术涉及金融交易领域，具体涉及一种基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法。
技术介绍
通过计算机来实现自动化交易在很多发达国家是很普遍的现象，用计算机代替人为交易一方面是因为计算机可以从庞大的历史数据中发现一些人很难或者无法捕捉的规律和现象，另一方面可以极大地减少交易者情绪波动的影响，避免在市场极端的情况下做出非理智的决策。随着人工智能的飞速发展，通过人工智能技术训练出一个自动化交易的模型是每个从事金融交易和策略研发人员梦寐以求的事情，尽管机器学习等技术在图像识别、语音识别和医疗诊断等领域取得了很多成就，但是把机器学习等技术直接应用到自动化交易上却不是一件容易的事情。不同于常见的监督性学习方法，进行自动化交易没有可以用于学习的标签，所以就需要通过在一个未知的环境中去不断探索，并通过环境的反馈来不断更新和优化决策，这也正是强化学习的学习方式。DeepMind在2013年发表的论文”PlayingAtariwithDeepReinforcementLearning”中展示了如何运用强化学习训练计算机去玩Atari游戏，通过训练得到的模型在玩7种不同的游戏时，其中3种游戏电脑甚至超过了人类的水平。两年后，他们又对模型进行了改进，通过这个模型去玩49种不同的游戏，半数的游戏均超越了人类的水平。到2017年初，DeepMind又利用了深度强化学习等技术开发了AlphaGo打败了世界顶级的围棋手。强化学习作为机器学习里面的一个分支，它主要用来解决马尔科夫决策类型的问题。通常可以将强化学习分为两类，一种是基于策略学习的，一种是基于价值学习的。基于价值学习的常用方法有Q-Learning，TD-Learning和Sarsa，它们通过学习得到一个价值函数，给价值函数输入状态来得到动作的价值，然后通过这个价值的高低来选取动作，常常用于解决状态动作空间有限的离散数据问题，并且取得了很好的效果。尽管基于价值的强化学习解决了大量问题，但是很难将它直接应用到金融市场的交易中。首先，金融市场上的数据存在着大量的噪音和不确定性，因此这会导致基于价值的强化学习例如Q-learning在学习过程中会出现一系列问题；其次，由于金融市场的环境太过于复杂，以至于不能将它近似为一个离散的空间；另外，像Q-learning等基于价值的强化学习在计算时还会用到对未来价值的折扣，而市场的状态一般不会因为交易的动作而发生变化，所以未来价值就很难产生作用；最后，当面临过大的状态或者动作空间的时候，使用价值函数还会导致出现“维数灾难”。相比之下，采用基于策略的强化学习时，可以从连续或者大规模的状态中直接输出动作或者动作的概率分布；并且，它会根据当前的环境状态来选择最优的决策而不使用未来信息；另外，它在对目标函数进行参数优化的时候，可以更加灵活。人工神经网络已经可以实现任意复杂连续函数的逼近，而深度神经网络则可以通过增加隐藏层来提升表示的能力，所以可以通过深度神经网络作为基于策略学习的强化学习模型的函数逼近器。近年来，将强化学习等技术应用与金融交易领域也有不少理论成果和实际应用。Dengetal.首次将深度学习应用于金融市场的特征表示，并结合强化学习来构建金融交易系统。Lu用LSTM和强化学习技术进行特征处理和自主交易。Gabrielssonetal.将Nison提出的日本蜡烛线作为技术指标，并通过递归强化学习来进行股指期货市场的高频交易。总之，无论以什么样的方式构建交易模型，对金融市场中的特征进行处理和表示都是极为关键的一步。Moodyetal最早将强化学习应用与交易系统，在他的模型中是通过价格作为状态输入到模型中进行训练，虽然价格中包含了所有的信息，但是金融市场中存在着不确定性，例如经济政策的变动、公司虚假的信息，这些不确定性都会影响价格的走势，所以对输入的状态进行去噪是至关重要的一步。Dengetal.将模糊学习应用与对价格的去噪处理，通过对价格的模糊化可以在一定程度上去除噪音，但是通过模糊化会增大状态空间，较难概括当前的市场走势特征。因而如何选取特征并进行学习在构建模型时是极为关键的，另外市场的交易是一种在线的动态决策行为，所以如何优化决策来使获得的收益最大化仍是待解决的技术问题。
技术实现思路
为了克服上述现有技术的不足，本专利技术提供了一种基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，将金融数据进行K线化，并对K线各子部分进行聚类，可以增加数据的表征能力并进一步将数据进行去噪，将聚类结果输入到深度强化学习模型，可以对实时数据更好地进行对决策的更新和参数的自适应优化，得到基于分解k线聚类的深度强化学习模型，实现了实时金融交易价格的在线自适应预测。本专利技术所采用的技术方案是：一种基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，该方法包括以下步骤：步骤1：获取金融时间序列，对金融时间序列进行K线化处理，并对K线化处理后的数据进行计算，得到当前匹配周期内的K线各个子部分的长度；步骤2：采用Kmeans聚类算法、FCM聚类算法或基于数据密度的在线聚类方法对K线各个子部分的长度进行聚类，得到K线各个子部分的长度所对应的聚类中心；步骤3：将聚类结果以及K线的实体颜色作为学习特征输入到深度强化学习模型中进行参数训练，利用训练好的深度强化学习模型进行金融交易。进一步的，所述K线包括上影线、下影线、实体和实体的颜色。进一步的，所述步骤1中，并对K线化处理的数据进行计算，得到当前匹配周期内的K线各个子部分的长度的步骤包括：根据K线对应时段的最高价、开盘价、最低价和收盘价，计算得到当前匹配周期内的K线的上影线、下影线以及实体的长度；当K线的实体颜色是红色时，K线的上影线长度等于最高价与收盘价的差值，K线的下影线长度等于开盘价与最低价的差值，K线的实体长度等于收盘价与开盘价的差值；当K线的实体颜色是绿色时，K线的上影线长度等于最高价与开盘价的差值，K线的下影线长度等于收盘价与最低价的差值，K线的实体长度等于开盘价与收盘价的差值。进一步的，所述步骤2中，采用Kmeans聚类算法、FCM聚类算法或基于数据密度的在线聚类方法分别对K线的上影线长度、下影线长度以及实体长度进行聚类，得到K线的上影线长度、下影线长度以及实体长度所对应的聚类中心。进一步的，所述采用Kmeans聚类算法对K线的上影线长度、下影线长度或实体长度进行聚类的步骤包括：将当前匹配周期内的K线的上影线长度、下影线长度或实体长度作为输入样本，构建训练样本集合K；将训练样本集合K划分为5个类，随机选取每个类中输入样本作为该类的初始聚类中心；计算每个类中输入样本与初始聚类中心的距离平方和，得到Kmeans目标函数，对Kmeans目标函数进行求偏导，计算该导数的最小值，得到每个类的聚类中心。进一步的，所述采用FCM聚类算法对K线的上影线长度、下影线长度或实体长度进行聚类的步骤包括：将当前匹配周期内的K线数据的上影线、下影线、实体的长度或实体的颜色作为输入样本，构建训练样本集合K；将训练样本集合K划分为5个类，随机选取每个类中输入样本作为该类的初始聚类中心，计算每个输入样本对所有类的隶属度，通过隶属度的大小判断输入样本所本文档来自技高网...

【技术保护点】
1.一种基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，其特征是，包括以下步骤：步骤1：获取金融时间序列，对金融时间序列进行K线化处理，并对K线化处理后的数据进行计算，得到当前匹配周期内的K线各个子部分的长度；步骤2：采用Kmeans聚类算法、FCM聚类算法或基于数据密度的在线聚类方法对K线各个子部分的长度进行聚类，得到K线各个子部分的长度所对应的聚类中心；步骤3：将聚类结果以及K线的实体颜色作为学习特征输入到深度强化学习模型中进行参数训练，利用训练好的深度强化学习模型进行金融交易。

【技术特征摘要】
1.一种基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，其特征是，包括以下步骤：步骤1：获取金融时间序列，对金融时间序列进行K线化处理，并对K线化处理后的数据进行计算，得到当前匹配周期内的K线各个子部分的长度；步骤2：采用Kmeans聚类算法、FCM聚类算法或基于数据密度的在线聚类方法对K线各个子部分的长度进行聚类，得到K线各个子部分的长度所对应的聚类中心；步骤3：将聚类结果以及K线的实体颜色作为学习特征输入到深度强化学习模型中进行参数训练，利用训练好的深度强化学习模型进行金融交易。2.根据权利要求1所述的基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，其特征是，所述K线包括上影线、下影线、实体以及实体的颜色。3.根据权利要求1所述的基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，其特征是，所述步骤1中，根据K线对应时段的价格，计算得到当前匹配周期内的K线各个子部分的长度的步骤包括：根据K线对应时段的最高价、开盘价、最低价和收盘价，计算得到当前匹配周期内的K线的上影线、下影线以及实体的长度；当K线的实体颜色是红色时，K线的上影线长度等于最高价与收盘价的差值，K线的下影线长度等于开盘价与最低价的差值，K线的实体长度等于收盘价与开盘价的差值；当K线的实体颜色是绿色时，K线的上影线长度等于最高价与开盘价的差值，K线的下影线长度等于收盘价与最低价的差值，K线的实体长度等于开盘价与收盘价的差值。4.根据权利要求1所述的基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，其特征是，所述步骤2中，采用Kmeans聚类算法、FCM聚类算法或基于数据密度的在线聚类方法分别对K线的上影线长度、下影线长度以及实体长度进行聚类，得到K线的上影线长度、下影线长度以及实体长度所对应的聚类中心。5.根据权利要求1所述的基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，其特征是，所述采用Kmeans聚类算法对K线的上影线长度、下影线长度或实体长度进行聚类的步骤包括：将当前匹配周期内的K线的上影线长度、下影线长度或实体长度作为输入样本，构建训练样本集合K；将训练样本集合K划分为5个类，随机选取每个类中输入样本作为该类的初始聚类中心；计算每个类中输入样本与初始聚类中心的距离平方和，得到Kmeans目标函数，对Kmeans目标函数进行求偏导，计算该导数的最小值，得到每个类的聚类中心。6.根据权利要求1所述的基于分解k线聚类和深度强化学习的自适应金融时间序列预测方法，其特征是，所述采用FCM聚类算法对K线的上影线长度、下影线长度或实体长度进行聚类的步骤包括：将当前匹配周期内的K线数据的上影线、下影线、实体的长度或实体的颜色作为输入样本，构建训练样本集合K；将训练样本集合K划分为5个类，随机选取每个类中输入样本作为该类的初始聚类中心，计算每个输入样本对所有类的隶属度，通过隶属度的大小判断输入样本所属的聚类中心；计算每个类中输入样本与初始聚类中...

【专利技术属性】
技术研发人员：骆超，丁奉乾，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37