图像处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及机器学习领域，具体涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取待检测图像和待检测图像的图像标题，并对待检测图像和图像标题分别进行特征提取处理，得到图像特征和标题特征；对图像特征和标题特征进行融合，得到第一多模态特征；获取标签关系特征；将第一多模态特征分别与标签关系特征中的各信息特征进行融合，得到多个心理不适标签各自对应的第二多模态特征；根据多个心理不适标签各自对应的第二多模态特征，从多个心理不适标签中，确定与待检测图像相匹配的目标标签；目标标签用于标注出待检测图像中的心理不适信息。采用本方法能够提升心理不适信息的确定效率。方法能够提升心理不适信息的确定效率。方法能够提升心理不适信息的确定效率。

【技术实现步骤摘要】
图像处理方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]近年来，随着移动互联网的高速发展，用户在浏览阅读资讯上花费的时间越来越多，资讯的质量对于用户的阅读体验至关重要。然而，网络上每天充斥的资讯的质量参差不齐，其中一些资讯包含有惊悚、恶心、令人反感的图片，这严重影响了用户的阅读体验。相关
将上述影响用户阅读体验、令用户感觉不适的图片定义为心理不适图片，识别资讯中包含的心理不适图片，对于提升内容生态、提高用户的资讯阅读体验至关重要。
[0003]传统技术中，主要是依靠人工审核的方式来检测图像是否为心理不适图片，然而通过人工审核的方式来对图片进行检测存在检测效率低的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够检测效率的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种图像处理方法，所述方法包括：获取待检测图像和所述待检测图像的图像标题，并对所述待检测图像和所述图像标题分别进行特征提取处理，得到图像特征和标题特征；对所述图像特征和所述标题特征进行融合，得到第一多模态特征；获取标签关系特征；所述标签关系特征，包括预设的标签关系图中多个心理不适标签各自对应的信息特征；所述多个心理不适标签表征心理不适类别下的多个细分类别；针对每个所述心理不适标签，所针对心理不适标签的信息特征，包括所针对心理不适标签的标签信息，还包括所述标签关系图中与所述所针对心理不适标签相连接心理不适标签的标签信息；将所述第一多模态特征分别与所述标签关系特征中的各信息特征进行融合，得到所述多个心理不适标签各自对应的第二多模态特征；根据所述多个心理不适标签各自对应的第二多模态特征，从所述多个心理不适标签中，确定与所述待检测图像相匹配的目标标签；所述目标标签用于标注出所述待检测图像中的心理不适信息。
[0006]第二方面，本申请还提供了一种图像处理装置，所述装置包括：第一多模态特征确定模块，用于获取待检测图像和所述待检测图像的图像标题，并对所述待检测图像和所述图像标题分别进行特征提取处理，得到图像特征和标题特征；对所述图像特征和所述标题特征进行融合，得到第一多模态特征；第二多模态特征确定模块，用于获取标签关系特征；所述标签关系特征，包括预设的标签关系图中多个心理不适标签各自对应的信息特征；所述多个心理不适标签表征心理
不适类别下的多个细分类别；针对每个所述心理不适标签，所针对心理不适标签的信息特征，包括所针对心理不适标签的标签信息，还包括所述标签关系图中与所述所针对心理不适标签相连接心理不适标签的标签信息；将所述第一多模态特征分别与所述标签关系特征中的各信息特征进行融合，得到所述多个心理不适标签各自对应的第二多模态特征；心理不适信息确定模块，用于根据所述多个心理不适标签各自对应的第二多模态特征，从所述多个心理不适标签中，确定与所述待检测图像相匹配的目标标签；所述目标标签用于标注出所述待检测图像中的心理不适信息。
[0007]在其中一个实施例中，所述图像处理装置还包括标签关系特征确定模块，用于获取标签关系图；所述标签关系图包括多个心理不适标签，且具有关联关系的心理不适标签之间通过连线连接；根据所述标签关系图构建邻接矩阵和编码数据矩阵；所述编码数据矩阵包括所述多个心理不适标签各自对应的编码数据；所述邻接矩阵用于表征所述多个心理不适标签之间的连接关系；将所述邻接矩阵与编码数据矩阵进行融合，得到首个轮次的数据融合矩阵；从所述首轮之后的第二轮次起的当前轮次中，将前一轮次输出的数据融合矩阵与所述邻接矩阵进行融合，得到当前轮次输出的数据融合矩阵；将下一轮次作为当前轮次，并返回至将前一轮次输出的数据融合矩阵与所述邻接矩阵进行融合的步骤继续执行，直至达到第一预设停止条件时停止；根据最后一个轮次输出的数据融合矩阵，确定标签关系特征。
[0008]在其中一个实施例中，所述编码数据矩阵中的编码矩阵行与心理不适标签一一对应，所述邻接矩阵中的邻接矩阵行与心理不适标签一一对应；在所述编码数据矩阵和所述邻接矩阵中，相同行数的编码矩阵行和邻接矩阵行所对应的心理不适标签相同；所述标签关系特征确定模块还用于将所述邻接矩阵与所述编码数据矩阵相乘，得到相乘矩阵，并将所述相乘矩阵与所述编码数据矩阵相叠加，得到叠加矩阵；对所述叠加矩阵进行归一化处理，得到首个轮次的数据融合矩阵。
[0009]在其中一个实施例中，所述第一多模态特征确定模块还用于通过图像特征提取模型中的首个残差块对所述待检测图像进行特征提取处理，得到提取图像特征；从所述首轮之后的第二轮次起的当前轮次中，确定所述图像特征提取模型中除首个残差块之外的与所述当前轮次相对应的当前残差块；通过所述当前残差块对前一个残差块输出的提取图像特征进行特征提取处理，得到中间图像特征；将所述前一个残差块输出的提取图像特征与所述中间图像特征进行叠加，得到所述当前残差块输出的提取图像特征；将下一轮次作为当前轮次，并返回确定所述图像特征提取模型中除首个残差块之外的与所述当前轮次相对应的当前残差块的步骤继续执行，直至达到第二预设停止条件时停止；根据最后一个轮次输出的提取图像特征，确定所述待检测图像的图像特征。
[0010]在其中一个实施例中，所述第一多模态特征确定模块还用于对于所述图像标题中的每一个句子，对当前句子的标识进行编码，得到与所述当前句子对应的段编码向量；对于所述当前句子中的每个分词，确定当前分词在所述当前句子中的位置信息，并对所述位置信息进行编码，得到与所述当前分词对应的位置编码向量；对所述当前分词进行词嵌入处理，得到与所述当前分词对应的词编码向量，并根据与所述当前句子对应的段编码向量、及与所述当前分词对应的位置编码向量和词编码向量，得到与所述当前分词对应的编码数据；根据所述图像标题中各分词各自对应的编码数据，确定所述图像标题的标题特征。
[0011]在其中一个实施例中，所述第一多模态特征确定模块还用于获取与所述图像特征对应的权重集和与所述标题特征对应的权重集；每个所述权重集为对相应预设权重张量进行低秩分解得到的低秩权重张量的集合；将与所述图像特征对应的权重集中的每个低秩权重张量，分别与所述图像特征进行融合，得到多个加权图像特征；将与所述标题特征对应的权重集中的每个低秩权重张量，分别与所述标题特征进行融合，得到多个加权标题特征；对所述多个加权图像特征和所述多个加权标题特征进行融合，得到第一多模态特征。
[0012]在其中一个实施例中，所述第一多模态特征确定模块还用于获取与所述图像特征对应的预设权重张量； 确定与所述图像特征对应的预设权重张量的秩；所述与所述图像特征对应的预设权重张量的秩，表征与所述图像特征对应的预设权重张量的维数；将与所述图像特征对应的预设权重张量分解为多个秩为1的低秩权重张量；分解得到的低秩权重张量的数量，与所述图像特征所对应的预设权重张量的秩相同。
[0013]在其中一个实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待检测图像和所述待检测图像的图像标题，并对所述待检测图像和所述图像标题分别进行特征提取处理，得到图像特征和标题特征；对所述图像特征和所述标题特征进行融合，得到第一多模态特征；获取标签关系特征；所述标签关系特征，包括预设的标签关系图中多个心理不适标签各自对应的信息特征；所述多个心理不适标签表征心理不适类别下的多个细分类别；针对每个所述心理不适标签，所针对心理不适标签的信息特征，包括所针对心理不适标签的标签信息，还包括所述标签关系图中与所述所针对心理不适标签相连接心理不适标签的标签信息；将所述第一多模态特征分别与所述标签关系特征中的各信息特征进行融合，得到所述多个心理不适标签各自对应的第二多模态特征；根据所述多个心理不适标签各自对应的第二多模态特征，从所述多个心理不适标签中，确定与所述待检测图像相匹配的目标标签；所述目标标签用于标注出所述待检测图像中的心理不适信息。2.根据权利要求1所述的方法，其特征在于，在所述获取标签关系特征之前，所述方法还包括：获取标签关系图；所述标签关系图包括多个心理不适标签，且具有关联关系的心理不适标签之间通过连线连接；根据所述标签关系图构建邻接矩阵和编码数据矩阵；所述编码数据矩阵包括所述多个心理不适标签各自对应的编码数据；所述邻接矩阵用于表征所述多个心理不适标签之间的连接关系；将所述邻接矩阵与编码数据矩阵进行融合，得到首个轮次的数据融合矩阵；从首轮之后的第二轮次起的当前轮次中，将前一轮次输出的数据融合矩阵与所述邻接矩阵进行融合，得到当前轮次输出的数据融合矩阵；将下一轮次作为当前轮次，并返回至将前一轮次输出的数据融合矩阵与所述邻接矩阵进行融合的步骤继续执行，直至达到第一预设停止条件时停止；根据最后一个轮次输出的数据融合矩阵，确定标签关系特征。3.根据权利要求2所述的方法，其特征在于，所述编码数据矩阵中的编码矩阵行与心理不适标签一一对应，所述邻接矩阵中的邻接矩阵行与心理不适标签一一对应；在所述编码数据矩阵和所述邻接矩阵中，相同行数的编码矩阵行和邻接矩阵行所对应的心理不适标签相同；所述将所述邻接矩阵与编码数据矩阵进行融合，得到首个轮次的数据融合矩阵，包括：将所述邻接矩阵与所述编码数据矩阵进行矩阵相乘，得到相乘矩阵；将所述相乘矩阵与所述编码数据矩阵相叠加，得到叠加矩阵；对所述叠加矩阵进行归一化处理，得到首个轮次的数据融合矩阵。4.根据权利要求1所述的方法，其特征在于，所述待检测图像的特征提取步骤包括：确定图像特征提取模型；所述图像特征提取模型包括多个串联的残差块；通过所述图像特征提取模型中的首个残差块对所述待检测图像进行特征提取处理，得到提取图像特征；
从首轮之后的第二轮次起的当前轮次中，确定所述图像特征提取模型中与所述当前轮次相对应的当前残差块；通过所述当前残差块对前一个残差块输出的提取图像特征进行特征提取处理，得到中间图像特征；将所述前一个残差块输出的提取图像特征与所述中间图像特征进行叠加，得到所述当前残差块输出的提取图像特征；将下一轮次作为当前轮次，返回确定所述图像特征提取模型中与所述当前轮次相对应的当前残差块的步骤继续执行，直至达到第二预设停止条件时停止；根据最后一个轮次输出的提取图像特征，确定所述待检测图像的图像特征。5.根据权利要求1所述的方法，其特征在于，所述图像标题的特征提取步骤包括：对于所述图像标题中的每一个句子，对当前句子的标识进行编码，得到与所述当前句子对应的段编码向量；对于所述当前句子中的每个分词，确定当前分词在所述当前句子中的位置信息，并对所述位置信息进行编码，得到与所述当前分词对应的位置编码向量；对所述当前分词进行词嵌入处理，得到与所述当前分词对应的词编码向量，并根据与所述当前句子对应的段编码向量、及与所述当前分词对应的位置编码向量和词编码向量，得到与所述当前分词对应的编码数据；根据所述图像标题中各分词各自对应的编码数据，确定所述图像标题的标题特征。6.根据权利要求1所述的方法，其特征在于，所述对所述图像特征和所述标题特征进行融合，得到第一多模态特征，包括：获取与所述图像特征对应的权重集和与所述标题特征对应的权重集；每个所述权重集为对相应预设权重张量进行低秩分解得到的低秩权重张量的集合；将与所述图像特征对应的权重集中的每个低秩权重张量，分别与所述图像特征进行融合，得到多个加权图像特征；将与所述标题特征对应的权重集中的每个低秩权重张量，分别与所述标题特征进行融合，得到多个加权标题特征；对所述多个加权图像特征和所述多个加权标题特征进行融合，得到第一多模态特征。7.根据权利要求6所述的方法，其特征在于，所述与所述图像特征对应的权重集的获取步骤包括：获取与所述图像特征对应的预设权重张量；确定与所述图像特征对应的预设权重张量的秩；所述与所述图像特征对应的预设权重张量的秩，表征与所述图像特征对应的预设权重张量的维数；将与所述图像特征对应的预设权重张量分解为多个秩为1的低秩权重张量；分解得到的低秩权重张量的数量，与所述图像特征所对应的预设权重张量的秩相同。8.根据权利要求1至7任意一项所述的方法，其特征在于，所述目标标签是通过图像处理模型输出得到；所述图像处理模型的训练步骤包括：获取训练样本集；所述训练样本集包括多张样本图像、所述多张样本图像各自对应...

【专利技术属性】
技术研发人员：梁宇轩，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：