一种基于原纸价格的数据处理方法、系统及终端技术方案

本发明专利技术公开了一种基于原纸价格的数据处理方法、系统及终端，所述方法包括：引入深度学习框架keras，加载多个数据处理工具；定义时间窗口，定义输入维度和输出维度，以向量矩阵存储数据模型特征，定义全连接网络输出层并配置相关参数，选择LSTM时序型运算模式进行原纸价格预测，完成keras网络层构建；完成keras网络层和keras序列模型构建后，配置参数编译模型，定义测试集和训练集，配置回调函数；将keras序列模型的数据集划分为测试集和训练集，排序混洗后确定训练集批次和训练次数，保存keras序列模型并写入HDF5文件；执行批次反复训练，并校验数据准确性，调参以缩小误差，优化算法模型，输出数据分布验证结果，所述数据分布验证结果表示原纸价格的预测及趋势。结果表示原纸价格的预测及趋势。结果表示原纸价格的预测及趋势。

【技术实现步骤摘要】
一种基于原纸价格的数据处理方法、系统及终端


[0001]本专利技术涉及数据采集处理
，尤其涉及一种基于原纸价格的数据处理方法、系统、终端及计算机可读存储介质。

技术介绍

[0002]瓦楞纸是由挂面纸和通过瓦楞辊加工而形成的波形的瓦楞纸粘合而成的板状物。瓦楞纸板是由面纸、里纸、芯纸和加工成波形瓦楞的瓦楞纸通过粘合而成。根据商品包装的需求，瓦楞纸板可以加工成单面瓦楞纸板、三层瓦楞纸板、五层、七层、十一层等瓦楞纸板。单面瓦楞纸板一般用作商品包装的贴衬保护层或制作轻便的卡格、垫板以保护商品在贮存的运输过程中的震动或冲撞，三层和五层瓦楞纸板在制作瓦楞纸箱中是常用的。许多商品的包装通过三层或五层瓦楞纸板进行简单而精美的包装，在瓦楞纸箱或瓦楞纸盒的表面印制靓丽多彩的图形和画面，不但保护了内在的商品，而且宣传和美化了内在的商品。在特定的商品中，可以用这种瓦楞纸板组合制成内、外套箱，便于制作，便于商品的盛装、仓储和运输。
[0003]通过收集全国瓦楞纸原纸最近十年交易价(多厂商地域包括低端、高端、基准价)、不同类型、标准、规格、单位重量等对未来近一年内原纸价值进行预测，使用的开发技术是深度学习框架Keras(开源技术框架)，是一个模型级的库，为开发深度学习模型提供了高层次的构建模块。它依赖一个专门的、高度优化的张量库来完成这些运算，这个张量库就是Keras的后端引擎。
[0004]Keras有三个后端实现：TensorFlow后端、Theano后端和微软认知工具包(CNTK)，这三个不同的后端引擎都可以无缝嵌入到Keras中。
[0005]缺点是Keras比较注重网络层次，然而并非所有网络都是层层堆叠的，深度学习代码会涉及遗传算法与神经网络，这种网络就不是特别的规整，因此Keras在设计新的网络方面会比TensorFlow差一些。比较简单的实验均由keras完成，高阶实验则通过TensorFlow去完成，作为一个深度学习封装API，对底层调试非常困难，只可观测数据后进行调参，优化等方式提高预测准确率，且在训练数据不足的情况下，深度学习生成模型很可能性能较差。
[0006]机器学习作为一个综合学科，对微积分、线性代数、概率论、对模型的运行原理、推导过程和优化方法等掌握都要求很高，这些知识对选取特征，换算法模型，调超参求最优解起到关键性作用。深度学习作为机器学习一个分支，经历多年的发展演化，已经具备一定的应用领域成功案例，虽作为一种高尖端技术，但缺点也相当明显，如模型的训练时间普遍较长，可解释性极弱，一旦出现问题很难调试，黑盒操作和难解析性，对理论功底要求极高，单纯掌握工程化代码编程无法达到最优效果。
[0007]因此，现有技术还有待于改进和发展。

技术实现思路

[0008]本专利技术的主要目的在于提供一种基于原纸价格的数据处理方法、系统、终端及计
算机可读存储介质，旨在解决现有技术中根据现有数据预测原纸价格准确率不高的问题。
[0009]为实现上述目的，本专利技术提供一种基于原纸价格的数据处理方法，所述基于原纸价格的数据处理方法包括如下步骤：
[0010]引入深度学习框架keras，加载多个数据处理工具；
[0011]定义时间窗口，定义输入维度和输出维度，以向量矩阵存储数据模型特征，定义全连接网络输出层并配置相关参数，选择LSTM时序型运算模式进行原纸价格预测，完成keras网络层构建；
[0012]完成keras网络层和keras序列模型构建后，配置参数编译模型，定义测试集和训练集，配置回调函数；
[0013]将keras序列模型的数据集划分为测试集和训练集，排序混洗后确定训练集批次和训练次数，保存keras序列模型并写入HDF5文件；
[0014]执行批次反复训练，并校验数据准确性，调参以缩小误差，优化算法模型，输出数据分布验证结果，所述数据分布验证结果表示原纸价格的预测及趋势。
[0015]可选地，所述的基于原纸价格的数据处理方法，其中，所述数据处理工具包括：sklearn、numpy、pandas、matelotlib和math；
[0016]其中，sklearn表示机器学习科学库，用于运用成熟的算法进行预测、多分类和聚类计算；numpy用于提供高性能的矩阵运算；pandas用于对各种数据进行运算操作；matelotlib用于观测数据变化和分布；math用于数学函数运算。
[0017]可选地，所述的基于原纸价格的数据处理方法，其中，所述数据模型特征包括：价值、时间、商品名和规则引擎加工后的历史事件。
[0018]可选地，所述的基于原纸价格的数据处理方法，其中，所述keras序列模型由网络层构成。
[0019]可选地，所述的基于原纸价格的数据处理方法，其中，所述定义测试集和训练集，之后还包括：
[0020]根据测试集和训练集进行测试和训练的去交叉迭代计算，以获取数据的共同特征并进行预测。
[0021]可选地，所述的基于原纸价格的数据处理方法，其中，所述回调函数表示一组在的训练特定环境中被调用的函数集，用于观察网络内部状态和统计信息，并在训练达成最优解后自动终止。
[0022]可选地，所述的基于原纸价格的数据处理方法，其中，所述执行批次反复训练，并校验数据准确性，调参以缩小误差，优化算法模型，输出数据分布验证结果，所述数据分布验证结果表示原纸价格的预测及趋势，具体包括：
[0023]设定训练轮数，执行批次反复训练，满足最优解即停止训练；
[0024]根据数据报告分析、可视化界面和程序验证校验数据准确性；
[0025]增加数据模型特征、数据维度和数据样本以缩小误差，优化算法模型，检验实际与测试偏差情况，修正预测准确性；
[0026]观测数据分布验证结果，预测过去一段时间内的原纸价格及趋势，输出的数据结果与真实市场价进行对比，根据数据分析和预测的趋势，输出适合购买原纸时间点的预测结果。
[0027]此外，为实现上述目的，本专利技术还提供一种基于原纸价格的数据处理系统，其中，所述基于原纸价格的数据处理系统包括：
[0028]引入加载模块，用于引入深度学习框架keras，加载多个数据处理工具；
[0029]定义构建模块，用于定义时间窗口，定义输入维度和输出维度，以向量矩阵存储数据模型特征，定义全连接网络输出层并配置相关参数，选择LSTM时序型运算模式进行原纸价格预测，完成keras网络层构建；
[0030]配置定义模块，用于完成keras网络层和keras序列模型构建后，配置参数编译模型，定义测试集和训练集，配置回调函数；
[0031]训练保存模块，用于将keras序列模型的数据集划分为测试集和训练集，排序混洗后确定训练集批次和训练次数，保存keras序列模型并写入HDF5文件；
[0032]验证预测模块，用于执行批次反复训练，并校验数据准确性，调参以缩小误差，优化算法模型，输出数据分布验证结果，所述数据分布验证结果表示原纸价格的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于原纸价格的数据处理方法，其特征在于，所述基于原纸价格的数据处理方法包括：引入深度学习框架keras，加载多个数据处理工具；定义时间窗口，定义输入维度和输出维度，以向量矩阵存储数据模型特征，定义全连接网络输出层并配置相关参数，选择LSTM时序型运算模式进行原纸价格预测，完成keras网络层构建；完成keras网络层和keras序列模型构建后，配置参数编译模型，定义测试集和训练集，配置回调函数；将keras序列模型的数据集划分为测试集和训练集，排序混洗后确定训练集批次和训练次数，保存keras序列模型并写入HDF5文件；执行批次反复训练，并校验数据准确性，调参以缩小误差，优化算法模型，输出数据分布验证结果，所述数据分布验证结果表示原纸价格的预测及趋势。2.根据权利要求1所述的基于原纸价格的数据处理方法，其特征在于，所述数据处理工具包括：sklearn、numpy、pandas、matelotlib和math；其中，sklearn表示机器学习科学库，用于运用成熟的算法进行预测、多分类和聚类计算；numpy用于提供高性能的矩阵运算；pandas用于对各种数据进行运算操作；matelotlib用于观测数据变化和分布；math用于数学函数运算。3.根据权利要求1所述的基于原纸价格的数据处理方法，其特征在于，所述数据模型特征包括：价值、时间、商品名和规则引擎加工后的历史事件。4.根据权利要求1所述的基于原纸价格的数据处理方法，其特征在于，所述keras序列模型由网络层构成。5.根据权利要求1所述的基于原纸价格的数据处理方法，其特征在于，所述定义测试集和训练集，之后还包括：根据测试集和训练集进行测试和训练的去交叉迭代计算，以获取数据的共同特征并进行预测。6.根据权利要求1所述的基于原纸价格的数据处理方法，其特征在于，所述回调函数表示一组在的训练特定环境中被调用的函数集，用于观察网络内部状态和统计信息，并在训练达成最优解后自动终止。7.根据权利要求1所述的基于原纸价格的数据处理方法，其特征在于，所述执行批次反复训练，并校验数据准确性，调...

【专利技术属性】
技术研发人员：王晓峰，李俊杰，仇永伟，
申请(专利权)人：东方合智数据科技广东有限责任公司，
类型：发明
国别省市：