输入层结构和BP神经网络制造技术

本申请提供一种神经网络模型的输入层结构以及具有该输入层结构的BP神经网络。输入层结构包括业务变量神经元、相关业务变量神经元、与业务变量相关的情绪指数神经元、与业务相关的搜索引擎指数神经元，还可以包括与重大国际和/或国内社会事件相关的数据神经元。BP神经网络具有与输入神经元数量相关数量的隐藏层神经元以及具有业务逻辑输出神经元的输出层。经过训练后的该BP神经网络与输入层结构仅包含业务变量神经元的BP神经网络相比具有更准确的业务逻辑输出。

【技术实现步骤摘要】
输入层结构和BP神经网络
本专利技术涉及一种神经网络结构，具体涉及一种输入层结构和BP神经网络。
技术介绍
自然语言处理概念约从1950年代开始，图灵于1950年，发表论文《计算机器与智能》，提出著名的“图灵测试”作为判断人工智能是否存在的条件。自然语言处理早期的成果往往聚焦于机器翻译领域，该领域以IBM的贡献为最，机器翻译领域的公司往往必须建立自己的语料库，而语料库的有效程度决定了机器翻译的效果。后来人们对自然语言处理的研究，更加聚焦于非监督学习和半监督学习的算法。这些算法能够从没有人工注解理想答案的数据里进行学习。大体而言，这种学习比监督学习困难，并且在同量的数据下，通常产生的结果较不准确。不过没有注解的数据量极巨(包含了万维网)，弥补了较不准确的缺点。2000年以来，用于深度学习的技术以及众多自然语言处理方面的最尖端的成果纷纷出炉，例如语言模型、语法分析等等。
技术实现思路
本申请利用自然语言处理技术，提出一种网络自然语言分析模型、情绪指数算法，并在此基础上尝试建立业务判断模型。具体来说，我们准备获取新浪微博中关于某项业务的每日评论文本，建立自然语言处理(NLP)处理模型完成处理，根据设计的情绪指数算法得出每日情绪指数，利用情绪指数及其他参数完成前馈神经网络预测模型构建，最终通过社交网络数据实现对业务判断准确率的改善。本申请提供一种神经网络的输入层结构，包括：输入层结构，所述输入层结构包括业务变量神经元、相关业务变量神经元、与业务相关的情绪指数神经元、与业务相关的搜索引擎指数神经元；所述业务变量神经元、所述相关业务变量神经元、所述情绪指数神经元、所述搜索引擎指数神经元分别与隐藏层的多个神经元相连。可选地，上述神经网络的输入层结构还包括：与重大社会事件相关的数据神经元，与重大社会事件相关的数据神经元与隐藏层的多个神经元相连。可选地，上述神经网络的输入层结构中：与业务相关的所述情绪指数神经元的输入数据为社交媒体上与业务相关的情绪指数。可选地，上述神经网络的输入层结构中：所述情绪指数为对社交媒体上与业务相关的文本经自然语言处理(NPL)后的计算结果。可选地，上述神经网络的输入层结构中：与业务相关的所述搜索引擎指数神经元为百度指数神经元、谷歌趋势指数神经元中的至少一种。可选地，上述神经网络的输入层结构中：与重大社会事件相关的数据神经元，其输入数据为新冠肺炎疫情全球相关疫情数据中的至少一种。可选地，上述神经网络的输入层结构中：输入层神经元数量为10个。可选地，上述神经网络的输入层结构中：相关业务变量神经元为WTI原油期货神经元、黄金期货神经元、美元指数期货神经元、美国一年期国债收益率神经元、道琼斯工业平均指数神经元中的至少一种。基于同一专利技术构思，本专利技术还提供一种BP神经网络，包括如上述所述的输入层结构。可选地，上述BP神经网络中，隐藏层神经元数量通过经验公式：进行确定，其中，n为输入层神经元个数，m为输出层神经元个数，a为[1,10]之间的常数。附图说明图1为自然语言处理模型建立流程；图2为BP数据网络示意图；图3为业务判断示意图。具体实施方式数据来源本申请通过网络爬虫技术获取了2014年1月1日到2020年6月30日的业务关键词的微博文本评论数据；通过爬虫技术获取了2015年1月1日到2020年6月30日的业务百度指数、谷歌趋势指数；通过Wind数据终端获取了全球新冠肺炎疫情数据；通过网络公开数据及Wind数据终端获取了2015年1月1日到2020年6月30日的业务具体参数、WTI原油(美国西德克萨斯轻质中间基原油，WestTexasIntermediateCrudeOil)期货、黄金期货、美元指数期货、美国一年期国债收益率、道琼斯工业平均指数。自然语言处理处理模型构建对于采集的新浪微博文本内容，需要经过处理才能够数据化、结构化，以用于最终的业务判断模型的建立，这个处理的过程，如说明书附图1所示，包括文本数据清洗(S101)、语料库构建(S102)、情绪分类模型构建(S103)、执行模型(S104)并输出情绪指数。本申请采用正则表达式完成文本数据清洗；采用当前效率最高的BERT中文预训练库，通过不断扩充的自建业务相关语句训练集的制作，完成了一套准确率在90％以上的业务相关情绪判断语料库；构建情绪分类模型；完成情绪分类结果输出。具体地，正则表达式又称规则表达式(代码中常简写regex、regexp或RE)，是计算机科学中的一个概念，通常是描述一种字符串的特征，可以用来匹配特定的字符串以达到文本匹配的目的，可以确定是否含有、替换特定字符串或取出特定字符串。类似于数学表达式，正则表达式定义和建立了一个匹配规则，输入该规则的所有字符串中，凡是匹配的就认为是合法的，不匹配的就认为是不合法的，然后根据判断对字符串做出需要的处理。我们利用正则表达式完成已抓取的文本数据的URL、图片、无效符号等的去除，最终完成文本数据的清洗。具体地，BERT的全称是BidirectionalEncoderRepresentationfromTransformers，意思是基于变换器(Transformer)的双向编码器表示。该算法是将6个变换器的编码器和解码器堆叠在一起完成。变换器基于多头注意模块(multi-headattention)，多头注意模块在视觉和语言任务方面都取得了巨大成功。BERT基于所有层中的左、右语境进行联合调整，来预训练深层双向表征。只需要增加一个输出层，就可以对预训练的BERT表征进行微调，就能为更多的任务创建当前的最优模型，比如问答和语言推断任务。该BERT预训练集的主要原理由两部分组成，第一，对巨量未标注的语料进行非监督的预训练，目的是学习预料中的表达方法。其次，使用少量有标记的微调训练数据以监督的方式微调(Fine-tuning)预训练模型，并最终用于各种监督任务的进行。微调训练一般采用2000～40万有标注的样本。当训练数据集在1万以下时，模型已有相当高的成功率；当训练数据集超过10万时，在多种参数设置下模型显示了其极其稳健的性能。每个微调工程如果采用单个TPU均能在1小时内完成，GPU上需要几小时，CPU上则需数天，因此建议使用TPU或者GPU进行运算。本申请采用12层变换器，768个输出的维度，12个多头注意模块的预训练集，通过MLM(MaskedLanguageModeling)的双向学习完成业务语料库的构建，并利用验证集做语料库有效性验证，结果如下。*****Evalresults*****INFO:tensorflow:eval_accuracy＝0.90391815I081603:19:58.71858419920run_classifier.py:1083]eval_本文档来自技高网...

【技术保护点】
1.一种神经网络的输入层结构，其特征在于：/n输入层结构包括业务变量神经元、相关业务变量神经元、与业务相关的情绪指数神经元、与业务相关的搜索引擎指数神经元；/n所述业务变量神经元接收业务变量；/n所述相关业务变量神经元接收对业务有影响的其他业务变量；/n所述与业务相关的情绪指数神经元接收对业务有影响的情绪指数；/n所述与业务相关的搜索引擎指数神经元接收业务的搜索引擎指数；/n所述业务变量神经元、所述相关业务变量神经元、所述情绪指数神经元、所述搜索引擎指数神经元分别与隐藏层的多个神经元相连。/n

【技术特征摘要】
1.一种神经网络的输入层结构，其特征在于：
输入层结构包括业务变量神经元、相关业务变量神经元、与业务相关的情绪指数神经元、与业务相关的搜索引擎指数神经元；
所述业务变量神经元接收业务变量；
所述相关业务变量神经元接收对业务有影响的其他业务变量；
所述与业务相关的情绪指数神经元接收对业务有影响的情绪指数；
所述与业务相关的搜索引擎指数神经元接收业务的搜索引擎指数；
所述业务变量神经元、所述相关业务变量神经元、所述情绪指数神经元、所述搜索引擎指数神经元分别与隐藏层的多个神经元相连。


2.如权利要求1所述的神经网络的输入层结构，其特征在于，还包括：
与重大社会事件相关的数据神经元，与重大社会事件相关的数据神经元接收与业务相关的重大社会事件变量，所述数据神经元与隐藏层的多个所述神经元相连。


3.如权利要求1所述的神经网络的输入层结构，其特征在于：
与业务相关的所述情绪指数神经元的输入数据为社交媒体上与业务相关的情绪指数。


4.如权利要求3所述的神经网络的输入层结构，其特征在于：
所述情绪指数为对社交媒体上与业务相关的文本经自然语言处理(...

【专利技术属性】
技术研发人员：张军欢，徐朋，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11