数据处理方法和装置制造方法及图纸

本发明专利技术公开一种数据处理方法和装置。该方法包括：获取原始数据；对所述原始数据进行滤波处理，以获得趋势性数据，所述趋势性数据表示所述原始数据的信号的趋势性；对所述趋势性数据进行划分，以获取训练数据集；利用所述训练数据集来训练多个机器学习模型，其中，所述多个机器学习模型中每一个机器学习模型分别用于预测所述信号的趋势；以及基于经训练的多个机器学习模型和所述训练数据集来确定组合预测模型。本发明专利技术能够对原始数据进行数据处理，从而获得有意义的数据信息。

Data processing methods and devices

The present invention discloses a data processing method and device. The method includes: obtaining the original data; the original data are filtered, in order to obtain the trend data, the trend of data representation trend signal of the original data; to classify the trend data, to obtain the training data set; using the training data set to train a number of machine learning model, wherein the plurality of machine learning are used to predict the signal trend of every machine learning model; and based on the multiple machine learning training model and the training data set to determine the combination forecasting model. The invention can process the data of the original data so as to obtain meaningful data information.

【技术实现步骤摘要】
数据处理方法和装置
本专利技术涉及一种用于数据处理的方法和装置。
技术介绍
在大数据时代，各种各样的数据被收集。数据的种类越来越多，越来越丰富，例如网络社交数据、网络阅读数据、股票基金交易数据等等。各行各业的数据都被存储在云端。随着互联网技术的不断发展，基于这些海量的行业数据，向用户推送用户所关心的信息是目前的热门课题。对此，需要对当前的云端数据进行数据处理。随着计算机技术的不断发展，人们越来越依靠机器模型来进行数据处理。例如，采用分类模型来进行分类预测。但是，现有的数据处理模型对于输入数据集的要求较高，且模型相对单一，不同的数据处理技术之间未能融合，并且忽略了模型随时间的变化，也忽略了数据集与目标之间可能存在的高维联系。
技术实现思路
本专利技术的实施例提供了一种用于数据处理的方法和装置，其能够对原始数据进行数据处理，从而获得有意义的数据信息，例如，原始数据的信号的趋势。按照本专利技术的实施例的一种数据处理方法，包括：获取原始数据；对所述原始数据进行滤波处理，以获得趋势性数据，所述趋势性数据表示所述原始数据的信号的趋势性；对所述趋势性数据进行划分，以获取训练数据集；利用所述训练数据集来本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：获取原始数据；对所述原始数据进行滤波处理，以获得趋势性数据，所述趋势性数据表示所述原始数据的信号的趋势性；对所述趋势性数据进行划分，以获取训练数据集；利用所述训练数据集来训练多个机器学习模型，其中，所述多个机器学习模型中每一个机器学习模型分别用于预测所述信号的趋势；以及基于经训练的多个机器学习模型和所述训练数据集来确定组合预测模型。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取原始数据；对所述原始数据进行滤波处理，以获得趋势性数据，所述趋势性数据表示所述原始数据的信号的趋势性；对所述趋势性数据进行划分，以获取训练数据集；利用所述训练数据集来训练多个机器学习模型，其中，所述多个机器学习模型中每一个机器学习模型分别用于预测所述信号的趋势；以及基于经训练的多个机器学习模型和所述训练数据集来确定组合预测模型。2.根据权利要求1所述的数据处理方法，其特征在于，还包括：通过所述组合预测模型来获取所述原始数据的所述信号的趋势。3.根据权利要求1或2所述的数据处理方法，其特征在于，所述原始数据是表示金融行为的金融行为数据，并且所述原始数据的信号的趋势是所述金融行为的趋势。4.根据权利要求1所述的数据处理方法，其特征在于，对所述原始数据进行滤波处理包括将所述原始数据分解为所述趋势性数据和波动数据，从而保留所述趋势性数据并去除所述波动数据，其中，所述波动数据表示所述原始数据的信号中的短期噪声波动。5.根据权利要求4所述的数据处理方法，其特征在于，对所述趋势性数据进行划分包括：将所述趋势性数据划分为所述训练数据集和与所述训练数据集不同的测试数据集。6.根据权利要求5所述的数据处理方法，其特征在于，以预定的比例，将所述趋势性数据随机地划分为所述训练数据集和所述测试数据集。7.根据权利要求5所述的数据处理方法，其特征在于，利用所述测试数据集来测试通过所述组合预测模型所获取的所述信号的趋势的准确度。8.根据权利要求1所述的数据处理方法，其特征在于，还包括：将所述训练数据划分为调校数据集和与所述调校数据集不同的检验数据集，所述调校数据集用于对所述多个机器学习模型中的每个机器学习模型的参数进行调校，所述检验数据集用于对经过调校的机器学习模型的所述预测的准确度进行检验，以使得所述参数调校在所述预测的准确度下降时停止。9.根据权利要求8所述的数据处理方法，其特征在于，以预定的比例，将所述训练数据随机地划分为所述调校数据集和所述检验数据集。10.根据权利要求1所述的数据处理方法，其特征在于，所述多个机器学习模型包括以下中的一个或多个：卷积神经网络模型、长短记忆神经网络模型、和随机森林支持向量机模型。11.根据权利要求4所述数据处理方法，其特征在于，所述滤波处理包括：获取所述原始数据的信号的上包络线和下包络线的包络线线均值，所述上包络线由所述信号的局部极大值串连而成，所述下包络线由所述信号的局部极小值串连而成；计算所述原始数据的信号与所述包络线线均值的差值信号；判断所述差值信号是否符合预定经验条件；以及若不满足所述预定经验条件，则将所述差值信号作为新的原始数据的信号并重复以上步骤，直至差值信号满足所述预定经验条件为止，并将满足所述预定经验条件的差值信号的数据作为所述波动数据。12.根据权利要求11所述的数据处理方法，其特征在于，若所述差值信号满足所述预定经验条件，则将所述差值信号的数据直接作为所述波动数据。13.根据权利要求11或12所述方法，其特征在于，所述预定经验条件包括：(1)所述差值信号的局部极大值或局部极小值中的任一个之后紧接一个零交越点，所述零交越点是所述差值信号中的数据信号改变正负号的点；(2)由所述差值信号的局部极大值所限定的上包络线和由所述差值信号的局部极小值所限定的下包络线的平均值接近于零。14.一种数据处理装置，其特征在于，包括：输入单元，被配置为获取原始数据；滤波单元，被配置为对所述原始数据进行滤波处理，以获得趋势性数据，所述趋势性数据表示所述原始数据的信号的趋势性；第一划分单元，被配置为对所述趋势性数据进行划分，以获取训练数据集；训练单元，被配置为利用所述训练数据集来训练多个机器学习模型，其中，所述多个机器学习模型中每一个机器学习模型分别用于预测所述信号的趋势；以及确定单元，被配置为基于经训练的多个机器学习模型和所述训练数据集来确定组...

【专利技术属性】
技术研发人员：谢佳辰，
申请(专利权)人：众安信息技术服务有限公司，
类型：发明
国别省市：广东,44