基于BERT模型的数据处理方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术涉及一种人工智能，提供一种基于BERT模型的数据处理方法、装置、电子设备及计算机可读存储介质，其中方法包括：通过scrapy爬虫工具获取预设数据提取范围内与目标数据相关的文本数据；对文本数据进行分词和向量化处理，获取文本数据的分词向量；通过预先训练的BERT模型对分词向量进行训练处理，获取所述文本数据的情感极性；其中，情感极性包括情感正向和情感负向；根据文本数据的情感极性构建目标数据的数据变化指数；根据数据变化指数，获取预设工作日内目标数据的数据变化信息；采用logistic回归函数对数据变化信息进行分类处理，获取目标数据的数据变化趋势。本发明专利技术主要目的在于通过对股评的情感分析获取正确的投资决策。投资决策。投资决策。

【技术实现步骤摘要】
基于BERT模型的数据处理方法、装置、设备及可读存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种基于BERT模型的数据处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]现在股票投资者在进行投资决策时，容易受到自身的因素如情感与心理因素的影响。基于股票市场，股市作为宏观经济的晴雨表，同时也会受各种政策、新闻、舆论的影响，容易波动剧烈。随着互联网技术的发展，人们日益倾向于在网络平台上表达和交流，实时股评中往往包含着丰富的金融信息，体现投资者的情感及心理变化；目前股票投资者大都采用的一般简单的模型对金融信息进行分析处理，但是由于模型的简单化，模型不能对含着丰富的金融信息进行充分分析和计算，最后得到的投资决策并不准确，。
[0003]因此，为了解决上述问题，对股市的股评信息进行挖掘分析以及股评的情感分析，获取准确的投资决策，本专利技术亟需提供一种基于BERT模型的数据处理方法、装置、电子设备及计算机可读存储介质。

技术实现思路

[0004]本专利技术提供一种基于BERT模型的数据处理方法、装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT模型的数据处理方法，应用于电子设备，其特征在于，所述方法包括：通过scrapy爬虫工具获取预设数据提取范围内与目标数据相关的文本数据；对所述文本数据进行分词和向量化处理，获取文本数据的分词向量；通过预先训练的BERT模型对所述分词向量进行训练处理，获取所述文本数据的情感极性；其中，所述情感极性包括情感正向和情感负向；根据所述文本数据的情感极性构建所述目标数据的数据变化指数；根据所述数据变化指数，获取预设工作日内所述目标数据的数据变化信息；采用logistic回归函数对所述数据变化信息进行分类处理，获取所述目标数据的数据变化趋势。2.如权利要求1所述的基于BERT模型的数据处理方法，其特征在于，所述通过scrapy爬虫工具获取预设数据提取范围内与目标数据相关的文本数据，包括如下步骤：采用Scrapy框架构建社交网络爬虫系统，采用分布式爬虫算法获取社交网络中目标股票的股票评论信息、时间戳和评论人资料信息；其中，所述目标数据为所述目标股票，所述目标数据相关的文本数据为所述股票评论信息、时间戳和评论人资料信息；将爬取的目标股票的股票评论信息、时间戳和评论人资料信息保存到MongoDB数据库中。3.如权利要求1所述的基于BERT模型的数据处理方法，其特征在于，所述对所述文本数据进行分词和向量化处理，获取文本数据的分词向量，包括如下步骤：根据词性对获取的文本数据进行分词处理，获取文本分词，其中，所述词性包括动词、名词、形容词、副词；将获取的文本分词与预训练BERT模型的词典中的词条进行匹配，获取文本数据中每个文本分词的文本分词向量。4.如权利要求1所述的基于BERT模型的数据处理方法，其特征在于，所述通过预先获取的预训练BERT模型对所述分词向量进行训练处理，获取所述文本数据的情感极性，包括如下步骤：采用BERT模型中的runclassifier.py脚本对所述分词向量进行预处理，获取预处理数据；同时，对所述BERT模型进行预训练，获取训练好的具有文本数据对应的情感类别的BERT模型；将获取的预处理数据输入到训练好的具有文本数据对应的情感类别的BERT模型中进行处理，获取文本数据的情感极性。5.如权利要求1所述的基于BERT模型的数据处理方法，其特征在于，所述数据变化指数的公式如下：其中，r
p
表示正向情感极性评论的影响力贡献率；c
p
表示正向情感极性的影响程度；...

【专利技术属性】
技术研发人员：苏雪琦，王健宗，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：