【技术实现步骤摘要】
本专利技术属于冒犯性言语识别领域，更进一步涉及深度学习中基于跨模态深度学习的冒犯性评论识别。本专利技术可用于对社交平台的中文评论进行识别，判断其是否具有冒犯性。
技术介绍
1、随着社交软件的普及，人们在网络上发表自己的观点也更加便利。但是由于网络的虚拟性和匿名性，出现了一些具有攻击性和讽刺意味的冒犯性评论，极易对他人的身心造成伤害。为了维护友好文明的网络环境，有必要对冒犯性评论识别进行研究。冒犯性评论识别就是根据图片描述或者图片来进行分类是否具有冒犯性，从而可以将发表到社交媒体上的冒犯性言论或者图片进行筛选删除，以及对发言者进行警告等处罚，建立言论友好的网络社区。
2、多模态深度学习中的模态可以理解为一些表达或感知事物的方式，每一种信息的来源或者形式，都可以称为一种模态。多模态是指使用多种不同的模态表示信息的方式，包括文本、图像、视频、音频等。将不同模态进行融合，因为不同模态的表现方式、看待事物的角度都不同，所以各种模态得到的信息会有交叉和互补，因此可以获取到更加丰富全面的特征信息。
3、传统的冒犯性评论识别方法通常为人工识别、传统的机器学习模型和深度学习模型进行识别。虽然人工识别的准确度高，但是其效率低，难以处理互联网上海量的数据等缺点。因此，科研人员和技术人员展开了自动化识别冒犯性评论的尝试。最初的冒犯性评论识别大多是使用以svm为代表的机器学习，基于概率、规则、空间等分类器来实现的，同时利用词向量、情感分数、冒犯性词语等特征来进行辅助识别，从而提高识别的准确率。但这类方法中的特征提取环节需要人工完成
技术实现思路
1、本专利技术的目的在于针对传统的识别方法需要耗费大量人力资源对评论是否具有冒犯性进行人工识别，以及现有的深度学习模型难以从单模态数据集中提取出信息全面的特征的问题，提出了一种基于多模态深度学习的冒犯性评论识别的方法，该方法可以提高冒犯性评论识别的速度与准确率。
2、本专利技术还提供了一种多模态深度学习的冒犯性评论识别装置，将需要识别的评论信息输入到该系统后，该系统即可借助识别模型识别出是否具有冒犯性，可用于辅助过滤掉评论区的冒犯性言论，建立言论友好的网络社区。
3、术语解释：
4、全局平均池化(global average pooling，gap)：将特征图所有像素相加所求的平均值表示对应特征图。
5、bert模型(bidirectional encoder representations from transformers)一种面向自然语言处理的无监督预训练语言模型(pre-trained language model，plm)。
6、视觉几何群神经网络(visual geometry group network-16，vgg-16)：是一个网络深度为16层，采用连续的小卷积核(3x3)和池化层构建的神经网络。
7、门控循环单元(gate recurrent unit，gru)：一种可以捕捉时间序列中依赖关系的循环神经网络，利用重置门和更新门来解决梯度衰减和爆炸的问题。
8、门控注意力机制(gated-attention，ga)：一种可以计算每个输入的权重的注意力机制，利用计算得到的权重来解决噪音和冗余信息干扰的问题。
9、图卷积神经网络(graph convolutional network，gcn)：一种能够直接处理图数据结构信息的卷积神经网络，该神经网络用于提取图结构的特征信息。
10、实现本专利技术目的的思路是，构建冒犯性评论数据集：首先从利用爬虫爬取数据、整合现有的相关数据集等多个渠道获取原始的冒犯性评论数据，将每一条原始的冒犯性评论数据表示为一个二元组；然后采用人工操作和使用第三方工具包两种方法，根据每一个二元组构建词语集合；接着对原始的冒犯性评论数据进行标注；最后将每一个二元组与其对应的词语集合和标注构造成四元组，所有的四元组构成一个冒犯性评论数据集；其次构建冒犯性评论识别模型，运用bert模型对输入的文本模态数据进行编码，构建快速视觉几何群神经网络fast-vgg对输入的图像模态数据进行特征提取，并构建门控循环图卷积神经网络g-gcn融合不同模态的特征向量，接着根据g-gcn融合得到的特征向量，运用sigmoid激活函数判断该评论是否具有冒犯性；然后初始化模型的权重和偏置项，设置模型相关的超参数，包括特征图的维度、学习率的大小、批处理的大小和优化器的选择；将训练集和验证集加载至该模型中进行训练，得该模型训练后的最优参数；最后运用该冒犯性评论识别模型对社交平台上的评论进行识别，判断其是否具有冒犯性。本专利技术实现的具体步骤如图1所示，模型框架如图2所示。
11、s1000：构建冒犯性评论数据集：首先从利用爬虫爬取数据、整合现有的相关数据集等多个渠道获取原始的冒犯性评论数据，将每一条原始的冒犯性评论数据表示为一个二元组；然后采用人工操作和使用第三方工具包两种方法，根据每一个二元组构建词语集合；接着对原始的冒犯性评论数据进行标注；最后将每一个二元组与其对应的词语集合和标注构造成四元组，所有的四元组构成一个冒犯性评论数据集。
12、s2000：构建冒犯性评论识别模型：首先运用bert模型对输入的文本模态数据进行编码，构建fast-vgg对输入的图像模态数据进行特征提取；然后构建g-gcn融合不同模态的特征向量；最后根据g-gcn融合得到的特征向量，运用sigmoid激活函数判断该评论是否具有冒犯性。
13、s3000：设设置模型的所有相关参数：设置特征图的维度、学习率的大小、批处理的大小、优化器的选择等与模型相关的参数；将训练集和验证集加载至该模型中进行训练，得该模型训练后的最优参数。
14、s4000：运用该冒犯性评论识别模型，对评论进行冒犯性识别，将测试集输入到训练好的冒犯性评论识别模型中进行测试，使用机器学习中的准确率和mmr作为该冒犯性评论识别模型在执行冒犯性评论识别任务时的评估指标，然后将该冒犯性评论识别模型运用于不同数据集的冒犯性评论识别任务当中。
15、进一步地，步骤s1000中所述的构建数据集方法如下：
16、s1100：从利用爬虫爬取数据、整合现有的相关数据集等多个渠道获取原始的冒犯性评论数据。每一条评论表示为一个二元组<txt，img>本文档来自技高网...
【技术保护点】
1.一种基于多模态深度学习的冒犯性评论识别方法，其特征在于从多种模态的信息中提取特征，同时将这些特征划分为多种粒度进行融合，然后使用融合后的特征进行冒犯性评论识别，该方法包括以下步骤：
2.根据权利要求1所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的第一步中，构建冒犯性评论数据集的步骤包括有：
3.根据权利要求1所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的第二步中，构建冒犯性评论识别模型的步骤包括有：
4.根据权利要求3所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的构建Fast-VGG对img进行特征提取的步骤包括有：
5.根据权利要求4所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的构建Fast-VGG的步骤包括有：
6.根据权利要求3所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的构建G-GCN融合不同模态的特征向量的步骤包括有：
7.根据权利要求6所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的运用融
8.根据权利要求3所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述根据特征向量，对评论是否具有冒犯性进行识别的具体方法为：
9.一种基于多模态深度学习的冒犯性评论识别装置，用于运行权利要求1-8任一所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，包括构建冒犯性评论数据集模块、构建基于多模态深度学习的冒犯性评论识别模块、模型训练模块、冒犯性评论识别模型应用模块；
...【技术特征摘要】
1.一种基于多模态深度学习的冒犯性评论识别方法，其特征在于从多种模态的信息中提取特征，同时将这些特征划分为多种粒度进行融合，然后使用融合后的特征进行冒犯性评论识别，该方法包括以下步骤：
2.根据权利要求1所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的第一步中，构建冒犯性评论数据集的步骤包括有：
3.根据权利要求1所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的第二步中，构建冒犯性评论识别模型的步骤包括有：
4.根据权利要求3所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的构建fast-vgg对img进行特征提取的步骤包括有：
5.根据权利要求4所述的基于多模态深度学习的冒犯性评论识别方法，其特征在于，所述的构建...
【专利技术属性】
技术研发人员：苏庆，李一夫，柯昱荣，李梓扬，黄剑锋，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。