基于多模态商品评论分析的商品推荐方法及系统技术方案

本公开公开了基于多模态商品评论分析的商品推荐方法及系统，包括：获取某商品的评论信息；对获取的商品的评论信息进行数据预处理；判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；判断评论信息中是否有音频，如果有音频，则将音频转换为文本；判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；对整合后的文本，提取文本的情感标签；将图像的情感标签和文本的情感标签，均输入到预训练的神经网络中，输出当前商品的推荐标签。

Commodity recommendation method and system based on multimodal commodity review analysis

【技术实现步骤摘要】
基于多模态商品评论分析的商品推荐方法及系统
本公开涉及商品推荐
，尤其涉及基于多模态商品评论分析的商品推荐方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。在日常生活中，人类能够通过聆听语言和观察表情以及姿态动作等捕捉对方的情感变化，识别情感状态信息，进而进行情感交流。而如果想让机器能够像人一样的感知和理解情感，那么就必须让机器能够对人类这方面的能力进行模拟，进而让机器具有捕捉多模态的情感特征，并对其进行处理，最后表达出相应人类情感的能力。在现实生活中，我们文字或者语言只是人的综合理解系统的一部分，用于理解和交流我们遇到的情景以及参与的对象。其中情景表征构成了我们的世界模型，并指导这我们的行为和对语言的理解，解决一个句子中代词的指代问题，可以从构建句子所描述的情景表示开始。情景可以是具体的和静态的，例如大妈在跳广场舞。当人们将文本的陈述与熟悉的场景联系起来，也就是文字和图片或者视频信息联系起来，机器就能更好地理解和记忆文本。正如人在交流的时候，会同时使用语言输入和非语言的输入。在实现本公开的过程中，专利技术人发现现有技术中存在以下技术问题：网上商城的商品评论对于商家运营决策是非常重要的，当一个商品的负面评论过多时，商家会考虑减少或停止售卖该商品，转而用一种评论比较好的商品代替，所以商品的评论分析，对于店家来说是非常重要的。现在人们在给商品评论的时候，写文字的越来越少，更多的人是使用视频或者图片加上少量的文字作为用户给这个商品的评价。因为之前的研究多是基于文本的，但是基于文本的评论分析，很难真正理解用户的意图，不能给商家一个正确的评论分析报告。
技术实现思路
本公开的目的就是为了解决上述问题，提供基于多模态商品评论分析的商品推荐方法及系统，可以更好的利用商品评论中的视频、图片和文本信息，更好的理解用户评论的级别，本公开中我们设计了五种情感级别分别是-2，-1,0,1,2五种，正数代表积极情感，负数代表消极情感，数字越大情感级别越高，0代表中立，使用图像和自然语言深度学习技术，分析评论的情感，并将图像和自然语言处理的两个深度学习模型的分析，综合考虑，得到一个最终的对评论的评级。为了实现上述目的，本公开采用如下技术方案：第一方面，本公开提供了基于多模态商品评论分析的商品推荐方法；基于多模态商品评论分析的商品推荐方法，包括：获取某商品的评论信息；对获取的商品的评论信息进行数据预处理；判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；如果没有视频，则进入下一步；判断评论信息中是否有音频，如果有音频，则将音频转换为文本；如果没有音频，则进入下一步；判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；如果没有文本，则返回商品的评论信息获取步骤；对整合后的文本，提取文本的情感标签；根据图像的情感标签和文本的情感标签，提取当前商品的推荐标签。第二方面，本公开提供了基于多模态商品评论分析的商品推荐系统；基于多模态商品评论分析的商品推荐系统，包括：获取模块，其被配置为：获取某商品的评论信息；预处理模块，其被配置为：对获取的商品的评论信息进行数据预处理；判断模块，其被配置为：判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；如果没有视频，则进入下一步；判断评论信息中是否有音频，如果有音频，则将音频转换为文本；如果没有音频，则进入下一步；判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；如果没有文本，则返回获取模块；提取模块，其被配置为：对整合后的文本，提取文本的情感标签；输出模块，其被配置为：根据图像的情感标签和文本的情感标签，提取当前商品的推荐标签。第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。本公开的有益效果：1本公开能够自动获取商品评论信息，使用多模态信息分析的技术，对评论信息进行分析，获取用户情感。2本公开相比于传统的评论分析的方式相比，使用到评论中更多的信息，让用户更好的进行分析。3本公开相比于传统的只分析评论文本的系统来说，本公开的效果更好，提供的报告更加准确。附图说明图1为本公开实施例一的基于多模态商品评论分析的店家辅助决策方法的流程图。图2为本公开实施例一的BERT+CRF模型结构示意图；图3为本公开实施例一的BiRNN结构示意图。具体实施方式下面结合附图与实施例对本公开作进一步说明。实施例一，本实施例提供了基于多模态商品评论分析的商品推荐方法；如图1所示，基于多模态商品评论分析的商品推荐方法，包括：S1：获取某商品的评论信息；S2：对获取的商品的评论信息进行数据预处理；S3：判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；如果没有视频，则进入下一步；判断评论信息中是否有音频，如果有音频，则将音频转换为文本；如果没有音频，则进入下一步；判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；如果没有文本，则返回S1；S4：对整合后的文本，提取文本的情感标签；S5：根据图像的情感标签和文本的情感标签，提取当前商品的推荐标签。作为一个或多个实施例，所述S1中，获取某商品的评论信息，是通过爬虫爬取网页上商品的评论信息。应理解的，所述S1中，使用Scrapy爬虫框架，模拟用户登录淘宝页面进行数据爬取，爬取包括商品名称，商品详细信息，商品类别，商品评论和评论时间。为了避免网页反爬虫机制，设置网络代理定期更新IP，并设置爬虫随机休眠时间。应理解的，所述S1中，采用MongoDB数据库进行存储，MongoDB是一个高性能，开源，无模式的文档型数据库，适合实时的插入、更新与查询。存储商品名称，商品详细信息，商品类别，商品评论和评论时间。作为一个或多个实施例，所述S2中，对获取的商品的评论信息进行数据预处理，包括：对评论信息中的图像进行数据预处理、对评论信息中的音频进行数据预处理、对评论信息中的视频进行数据预处理本文档来自技高网...

【技术保护点】
1.基于多模态商品评论分析的商品推荐方法，其特征是，包括：/n获取某商品的评论信息；/n对获取的商品的评论信息进行数据预处理；/n判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；/n判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；如果没有视频，则进入下一步；/n判断评论信息中是否有音频，如果有音频，则将音频转换为文本；如果没有音频，则进入下一步；/n判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；如果没有文本，则返回商品的评论信息获取步骤；/n对整合后的文本，提取文本的情感标签；/n根据图像的情感标签和文本的情感标签，提取当前商品的推荐标签。/n

【技术特征摘要】
1.基于多模态商品评论分析的商品推荐方法，其特征是，包括：
获取某商品的评论信息；
对获取的商品的评论信息进行数据预处理；
判断评论信息中是否有图像，如果有图像，则对图像提取图像的情感标签；
判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来，将音频转换为文本；如果没有视频，则进入下一步；
判断评论信息中是否有音频，如果有音频，则将音频转换为文本；如果没有音频，则进入下一步；
判断评论信息中是否有文本，如果有文本，则将评论信息中的文本与转换得到的文本进行整合，得到整合后的文本；如果没有文本，则返回商品的评论信息获取步骤；
对整合后的文本，提取文本的情感标签；
根据图像的情感标签和文本的情感标签，提取当前商品的推荐标签。


2.如权利要求1所述的方法，其特征是，对获取的商品的评论信息进行数据预处理，包括：对评论信息中的图像进行数据预处理、对评论信息中的音频进行数据预处理、对评论信息中的视频进行数据预处理和对评论信息中的文本进行数据预处理。


3.如权利要求1所述的方法，其特征是，对图像提取图像的情感标签；具体步骤包括：
S301：构建卷积神经网络VGG16；
S302：利用ImageNet图片数据库对卷积神经网络VGG16进行预训练；
S303：将已知情感标签的评论图像，输入到预训练后的卷积神经网络VGG16中，对卷积神经网络VGG16进行优化训练，得到优化训练后的卷积神经网络VGG16；
S304：将待特征提取的图像，输入到优化训练后的卷积神经网络VGG16中，输出图像的情感标签。


4.如权利要求1所述的方法，其特征是，判断评论信息中是否有视频，如果有视频，则将视频中的音频提取出来；具体步骤包括：
使用OpenCV中VideoCapture类和Python视频编辑库MoviePy库，裁剪、拼接、标题插入、视频合成、视频处理和自定义效果，使用OpenCV获取视频的音频数据，然后将音频数据存储到数据库中。


5.如权利要求1所述的方法，其特征是，将音频转换为文本，具体步骤包括：
使用Python视频编辑库的speechrecognition模块，来...

【专利技术属性】
技术研发人员：崔立真，姜涛，鹿旭东，郭伟，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37