一种订单信息预测系统和方法技术方案

本发明专利技术公开了一种订单信息预测系统和方法，该系统包括提取模块、预处理模块、模型训练模块和预测模块；所述提取模块，其用于获取历史订单信息；所述预处理模块，其用于对所述历史订单信息进行预处理；所述模型训练模块，其用于对预处理结果进行模型训练；所述预测模块，其用于对在线订单进行线上预测。本发明专利技术采用双向Transformer架构对历史订单信息中的文本和数据进行处理，从而能够获取更多的文本与数值的上下文信息，以及更深的文本间的语意关系，因此能够得到更多的有效信息，使得数值预测准确率更好。

An Order Information Prediction System and Its Application

【技术实现步骤摘要】
一种订单信息预测系统和方法
本专利技术涉及计算机
，具体涉及一种订单信息预测系统和方法。
技术介绍
传统电商订单信息的某些属性往往由商家指定，而带有招标性质的订单往往需要对订单预先评估并传递给合适的商家。现存的方法中人工评估方法严重影响订单处理速度和人力成本，另外一种方法是基于计算机的文本理解算法，包括CNN(卷积神经网络)，RNN(循环神经网络)和DNN(深度神经网络)等成熟的技术，但是这类方法中，CNN不能获取文本上下文太长的信息，RNN获取上下文太长时性能不稳定因此理解文本的能力有限，导致预测值与真实值易出现出入过大的问题。
技术实现思路
本专利技术的目的是提供一种提高属性预测准确率的一种订单信息预测系统和方法。第一方面：一种订单信息预测系统，其特征在于，包括提取模块、预处理模块、模型训练模块和预测模块；所述提取模块，其用于获取历史订单信息；所述预处理模块，其用于对所述历史订单信息进行预处理；所述模型训练模块，其用于对预处理结果进行模型训练；所述预测模块，其用于对在线订单进行线上预测。其中，所述预处理模块具体用于将所述历史订单信息转化为向量化数据。其中，所述模型训练模块具体用于：用于将所述历史订单信息的向量化数据使用双向Transformer架构进行训练以得到BERT模型。其中，所述预测模块具体用于加载所述BERT模型对在线订单进行线上预测。其中，所述历史订单信息包括数值信息。其中，所述预处理包括对所述历史订单信息中的文本信息采用分词技术，并进行去停用词处理，并把文本信息中的句子整理成一个固定的长度，最后把所述句子中的各词语分别映射成一个原始多维向量，所述原始多维向量包括各词语的词向量。其中，所述模型训练模块具体用于：通过Transformer的特征抽取器对每个所述词语的原始多维向量均加载一个位置信息编码；将每一个带有所述位置信息编码的词向量语依次与剩下的各词语的词向量发生关系，然后生成目标多维向量；对所述目标多维向量进行归一化处理；将归一化后的所述目标多维向量经过传统的前馈神经网络进行前向处理，输出前向计算的向量结果，所述向量结果包括分类标志位和文本数值向量；将多个Transformer的特征抽取器组合起来并采用双向的方式同时抽取所述文本数值向量以得到所述BERT模型；将所述分类标志位的向量经过SoftMax函数后输出所述BERT模型预测值，在训练所述BERT模型的过程中，使用预测的数值对比训练数据的数值信息，并通过方向传递更新所述BERT模型参数。其中，所述双向的方式包括顺序和逆序的方式。第三方面：一种订单信息预测方法，其特征在于，应用于上述的一种订单信息预测系统，所述方法包括：获取历史订单信息；用于对所述历史订单信息进行预处理；用于对预处理结果进行模型训练；用于对在线订单进行线上预测。其中，所述预处理为将所述历史订单信息转化为向量化数据。其中，所述对预处理结果进行模型训练具体包括：用于将所述历史订单信息的向量化数据使用双向Transformer架构进行训练以得到BERT模型。其中，所述对在线订单进行线上预测具体包括：加载所述BERT模型对在线订单进行线上预测。其中，所述预处理具体包括对所述历史订单信息中的文本信息采用分词技术，并进行去停用词处理，并把文本信息中的句子整理成一个固定的长度，最后把所述句子中的各词语分别映射成一个原始多维向量，所述原始多维向量包括各词语的词向量。其中，模型训练具体包括：通过Transformer的特征抽取器对每个所述词语的原始多维向量均加载一个位置信息编码；将每一个带有所述位置信息编码的词向量语依次与剩下的各词语的词向量发生关系，然后生成目标多维向量；对所述目标多维向量进行归一化处理；将归一化后的所述目标多维向量经过传统的前馈神经网络进行前向处理，输出前向计算的向量结果，所述向量结果包括分类标志位和文本数值向量；将多个Transformer的特征抽取器组合起来并采用双向的方式同时抽取所述文本数值向量以得到所述BERT模型；将所述分类标志位的向量经过SoftMax函数后输出所述BERT模型预测值，在训练所述BERT模型的过程中，使用预测的数值对比训练数据的数值信息，并通过方向传递更新所述BERT模型参数。其中，所述双向的方式包括顺序和逆序的方式。第三方面：一种计算机终端，包括处理器和与处理器连接的存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行第二方面任一所述的方法。采用上述技术方案，具有以下优点：本专利技术提出的一种订单信息预测系统和方法，采用双向Transformer架构对历史订单信息中的文本和数据进行处理，从而能够获取更多的文本与数值的上下文信息，以及更深的文本间的语意关系，因此能够得到更多的有效信息，使得数值预测准确率更好。附图说明图1为本专利技术实施例提供的一种订单信息预测系统的结构示意图；图2为本专利技术实施例中预处理的结构示意图；图3为本专利技术实施例中Transformer架构的结构示意图；图4为本专利技术实施例中BERT模型的一种结构示意图；图5为本专利技术某一实施例提供的一种订单信息预测方法的方法流程图；图6为本专利技术另一实施例提供的一种订单信息预测方法的方法流程图。具体实施方式为了使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。BERT的全称是BidirectionalEncoderRepresentationfromTransformers，即Transformer的双向编码标识来改进基于架构微调方法。是一个语言表征模型(languagerepresentationmodel)，通过超大数据、巨大模型和极大的计算开销训练而成，在11个自然语言处理任务中取得了最优结果。参照图1所示，一种订单信息预测系统，包括提取模块、预处理模块、模型训练模块和预测模块。所述提取模块，其用于获取历史订单信息；所述预处理模块，其用于对所述历史订单信息进行预处理；所述模型训练模块，其用于对预处理结果进行模型训练；所述预测模块，其用于对在线订单进行线上预测。其中，所述预处理模块具体用于将所述历史订单信息转化为向量化数据。其中，所述模型训练模块具体用于：用于将所述历史订单信息的向量化数据使用双向Transformer架构进行训练以得到BERT模型。其中，所述预测模块具体用于加载所述BERT模型对在线订单进行线上预测。具体地，参照图2所示，所述预处理包括对所述历史订单信息中的文本信息采用分词技术，并进行去停用词处理，并把文本信息中的句子整理成一个固定的长度，最后把所述句子中的各词语分别映射成一个原始多维向量，所述原始多维向量包括各词语的词向量；在应用时，分词采用MMSeg分词方式，这种分词技术依赖本地存在的词汇表，最终历史订单分词后只留下已知词表中的词语，这种分词技术已为公知技术，因此不再赘述；同时预先设定一个全局的句子长度，当文本信息中的句子长度不足这个长度时，我们采用填充层(Padding)填充一个特定的字符，句子长度超过长度时，我们就截取多余的部分，这样就能保持每次输入的长度每次保持这个全局长度，然后将输入文本的词获取其在词表中的本文档来自技高网...

【技术保护点】
1.一种订单信息预测系统，其特征在于，包括提取模块、预处理模块、模型训练模块和预测模块；所述提取模块，其用于获取历史订单信息；所述预处理模块，其用于对所述历史订单信息进行预处理；所述模型训练模块，其用于对预处理结果进行模型训练；所述预测模块，其用于对在线订单进行线上预测。

【技术特征摘要】
1.一种订单信息预测系统，其特征在于，包括提取模块、预处理模块、模型训练模块和预测模块；所述提取模块，其用于获取历史订单信息；所述预处理模块，其用于对所述历史订单信息进行预处理；所述模型训练模块，其用于对预处理结果进行模型训练；所述预测模块，其用于对在线订单进行线上预测。2.根据权利要求1所述的一种订单信息预测系统，其特征在于，所述预处理模块具体用于将所述历史订单信息转化为向量化数据。3.根据权利要求2所述的一种订单信息预测系统，其特征在于，所述模型训练模块具体用于：用于将所述历史订单信息的向量化数据使用双向Transformer架构进行训练以得到BERT模型。4.根据权利要求3所述的一种订单信息预测系统，其特征在于，所述预测模块具体用于加载所述BERT模型对在线订单进行线上预测。5.一种订单信息预测方法，其特征在于，应用于权利要求1所述的一种订单信息预测系统，所述方法包括：获取历史订单信息；用于对所述历史订单信息进行预处理；用于对预处理结果进行模型训练；用于对在线订单进行线上预测。6....

【专利技术属性】
技术研发人员：莫坤东，
申请(专利权)人：重庆天蓬网络有限公司，
类型：发明
国别省市：重庆,50