一种图片处理的方法以及相关装置制造方法及图纸

本申请实施例公开了一种图片处理的方法以及相关装置，可应用于人工智能等场景，提升图片审核结果的准确度和审核效率。该方法包括：获取目标审核任务中的待审核图片与文本信息；分别对待审核图片、文本信息进行特征提取处理，得到待审核图片的图像特征、文本信息的文本特征；将待审核图片的图像特征和文本信息的文本特征作为目标审核模型的输入，得到第一值，第一值用于指示待审核图片的图像特征与文本信息的文本特征之间的相似程度，目标审核模型是以第一场景的第一图片样本与第一文本样本、第二场景的第二图片样本与第二文本样本为训练数据进行迭代训练得到的机器学习模型；根据第一值确定待审核图片的审核结果。据第一值确定待审核图片的审核结果。据第一值确定待审核图片的审核结果。

【技术实现步骤摘要】
一种图片处理的方法以及相关装置


[0001]本申请实施例涉及计算机
，具体涉及一种图片处理的方法以及相关装置。

技术介绍

[0002]随着对知识产权、品牌保护的重视程度增加，内容审核的需求日益提升。互联网产生的海量图片数据对人工审核带来巨大的挑战，需要提升对互联网图片识别的能力来提升审核效率。
[0003]在相关的方案中，主要是使用通用场景中的数据对图文模型进行初始化，并利用初始化后的图文模型中的图像模型进行分类任务的训练，以此实现对图片的识别处理。也就是说，传统的图片识别的方案中摒弃了文本模型，从而导致训练分类任务仍然是从图片这个单一维度的角度考虑，难以准确地确定出图片的审核结果。而且，由于不同图片的形式并不一致，该传统方案中的图文模型需要前置一个目标检测模块实现对目标图片的类型检测后，再进行审核结果的识别，增加了系统复杂性，降低了审核效率。

技术实现思路

[0004]本申请实施例提供了一种图片处理的方法以及相关装置，不仅能够提升图片的审核结果的准确度，而且降低了系统复杂性，使得审核效率得以提升。
[0005]第一方面，本申请实施例提供了一种图片处理的方法。该方法包括：获取目标审核任务中的待审核图片与文本信息，文本信息用于描述待审核图片的意思表达；对待审核图片进行特征提取处理，得到待审核图片的图像特征，以及对文本信息进行特征提取处理，得到文本信息的文本特征；将待审核图片的图像特征和文本信息的文本特征作为目标审核模型的输入，得到第一值，第一值用于指示待审核图片的图像特征与文本信息的文本特征之间的相似程度，目标审核模型是以第一场景中的第一图片样本与第一文本样本、第二场景中的第二图片样本与第二文本样本为训练数据进行迭代训练得到的机器学习模型，第二场景为与目标审核任务对应的目标场景，第一文本样本用于描述第一图片样本的意思表达，第二文本样本用于描述第二图片样本的意思表达；根据第一值确定待审核图片的审核结果。
[0006]第二方面，本申请实施例提供了一种图片处理装置。该图片处理装置包括获取单元和处理单元。其中，获取单元，用于获取目标审核任务中的待审核图片与文本信息，文本信息用于描述待审核图片的意思表达。处理单元用于：对待审核图片进行特征提取处理，得到待审核图片的图像特征，以及对文本信息进行特征提取处理，得到文本信息的文本特征；将待审核图片的图像特征和文本信息的文本特征作为目标审核模型的输入，得到第一值，第一值用于指示待审核图片的图像特征与文本信息的文本特征之间的相似程度，目标审核模型是以第一场景中的第一图片样本与第一文本样本、第二场景中的第二图片样本与第二文本样本为训练数据进行迭代训练得到的机器学习模型，第二场景为与目标审核任务对应
的目标场景，第一文本样本用于描述第一图片样本的意思表达，第二文本样本用于描述第二图片样本的意思表达；根据第一值确定待审核图片的审核结果。
[0007]在一些可选的实施方式中，处理单元用于在第一值小于预设阈值时，确定待审核图片为异常图片。
[0008]在另一些可选的实施方式中，获取单元，还用于在将待审核图片的图像特征与文本信息的文本特征作为目标审核模型的输入，得到第一值之前，获取第一场景中的每个第一图片样本和对应的第一文本样本、以及第二场景中的每个第二图片样本和对应的第二文本样本。处理单元用于：对每个第一图片样本、每个第一文本样本、每个第二图片样本、每个第二文本样本分别进行特征提取处理，得到对应的第一图片样本的图像特征、第一文本样本的文本特征、第二图片样本的图像特征、第二文本样本的文本特征；计算每个第一图片样本的图像特征、每个第一文本样本的文本特征、每个第二图片样本的图像特征以及每个第二文本样本的文本特征之间的差异，以得到第一目标损失值；基于第一目标损失值对初始审核模型的模型参数进行更新，得到目标审核模型。
[0009]在另一些可选的实施方式中，处理单元用于：计算每个目标图像特征与每个目标文本特征之间的差异，得到第一损失值和第二损失值，第一损失值用于指示每个目标图像特征相对于每个目标文本特征之间的相似差异，第二损失值用于指示每个目标文本特征相对于每个目标图像特征之间的相似差异，目标图像特征包括第一图片样本的图像特征和第二图片样本的图像特征，目标文本特征包括第一文本样本的图像特征和第二文本样本的图像特征；对第一损失值和第二损失值进行求和处理，得到第一目标损失值。
[0010]在另一些可选的实施方式中，处理单元用于：将每个目标图像特征分别与每个目标文本特征进行相似度计算，得到第一相似矩阵。获取单元，用于获取筛选矩阵，筛选矩阵用于指示第一场景与第二场景之间的差异。处理单元，用于对第一相似矩阵和筛选矩阵进行乘积计算，得到目标相似矩阵；根据第一相似矩阵中的每个相似度与目标相似矩阵，计算第一损失值。
[0011]在另一些可选的实施方式中，获取单元用于获取每个目标文本样本，每个目标文本样本为针对目标审核任务添加的样本。处理单元用于：将每个第二图片样本和每个目标文本样本作为目标预训练模型的输入，得到对应的第二图片样本的图像特征、目标文本样本的文本特征，目标预训练模型是以每个第一图片样本和每个第一文本样本为训练数据进行迭代更新得到的机器学习模型；计算每个目标文本样本的文本特征与每个第二图片样本的图像特征之间的相似度，得到第一相似度，以及计算每个目标文本样本的文本特征与每个第三图片样本的图像特征之间的相似度，得到第二相似度，所第三图片样本为第一图片样本中除了第二图片样本以外的其他图片样本；从每个第一相似度和每个第二相似度中选取目标相似度；将目标相似度对应的目标文本样本作为第二文本样本。
[0012]在另一些可选的实施方式中，获取单元还用于在将每个第二图片样本和每个目标文本样本作为目标预训练模型的输入，得到对应的第二图片样本的图像特征、目标文本样本的文本特征之前，获取第一场景中的每个第一图片样本与每个第一文本样本。处理单元用于：对每个第一图片样本、每个第一文本样本分别进行特征提取处理，得到对应的第一图片样本的图像特征、第一文本样本的文本特征；计算每个第一图片样本的图像特征与每个第一文本样本的文本特征之间的差异，以得到第二目标损失值；基于第二目标损失值对初
始预训练模型的模型参数进行更新，得到目标预训练模型。
[0013]在另一些可选的实施方式中，处理单元用于：计算每个第一图片样本的图像特征与每个第一文本样本的图像特征之间的差异，得到第三损失值和第四损失值，第三损失值用于指示每个第一图片样本的图像特征相对于每个第一文本样本的文本特征之间的相似差异，第四损失值用于指示每个第一文本样本的文本特征相对于每个第一图片样本的图像特征之间的相似差异；对第三损失值和第四损失值进行求和处理，得到第二目标损失值。
[0014]在另一些可选的实施方式中，处理单元用于：将每个第一图片样本的图像特征与每个第一文本样本的文本特征分别进行相似度计算，得到每个第三相似度；根据每个第三相似度计算第三损失值。
[0015]本申请实施例第三方面提供了一种图片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图片处理的方法，其特征在于，包括：获取目标审核任务中的待审核图片与文本信息，所述文本信息用于描述所述待审核图片的意思表达；对所述待审核图片进行特征提取处理，得到所述待审核图片的图像特征，以及对所述文本信息进行特征提取处理，得到所述文本信息的文本特征；将所述待审核图片的图像特征和所述文本信息的文本特征作为目标审核模型的输入，得到第一值，所述第一值用于指示所述待审核图片的图像特征与所述文本信息的文本特征之间的相似程度，所述目标审核模型是以第一场景中的第一图片样本与第一文本样本、第二场景中的第二图片样本与第二文本样本为训练数据进行迭代训练得到的机器学习模型，所述第二场景为与所述目标审核任务对应的目标场景，所述第一文本样本用于描述所述第一图片样本的意思表达，所述第二文本样本用于描述所述第二图片样本的意思表达；根据所述第一值确定所述待审核图片的审核结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一值确定所述待审核图片的审核结果，包括：在所述第一值小于预设阈值时，确定所述待审核图片为异常图片。3.根据权利要求1或2所述的方法，其特征在于，在将所述待审核图片的图像特征与所述文本信息的文本特征作为目标审核模型的输入，得到第一值之前，所述方法还包括：获取所述第一场景中的每个所述第一图片样本和对应的第一文本样本、以及所述第二场景中的每个所述第二图片样本和对应的第二文本样本；对每个所述第一图片样本、每个所述第一文本样本、每个所述第二图片样本、每个所述第二文本样本分别进行特征提取处理，得到对应的所述第一图片样本的图像特征、所述第一文本样本的文本特征、所述第二图片样本的图像特征、所述第二文本样本的文本特征；计算所述每个第一图片样本的图像特征、所述每个第一文本样本的文本特征、所述每个第二图片样本的图像特征以及所述每个第二文本样本的文本特征之间的差异，以得到第一目标损失值；基于所述第一目标损失值对初始审核模型的模型参数进行更新，得到所述目标审核模型。4.根据权利要求3所述的方法，其特征在于，所述计算所述每个第一图片样本的图像特征、所述每个第一文本样本的文本特征、所述每个第二图片样本的图像特征以及所述每个第二文本样本的文本特征之间的差异，以得到第一目标损失值，包括：计算每个目标图像特征与每个目标文本特征之间的差异，得到第一损失值和第二损失值，所述第一损失值用于指示每个所述目标图像特征相对于每个所述目标文本特征之间的相似差异，所述第二损失值用于指示每个所述目标文本特征相对于每个所述目标图像特征之间的相似差异，所述目标图像特征包括所述第一图片样本的图像特征和所述第二图片样本的图像特征，所述目标文本特征包括所述第一文本样本的图像特征和所述第二文本样本的图像特征；对所述第一损失值和所述第二损失值进行求和处理，得到所述第一目标损失值。5.根据权利要求4所述的方法，其特征在于，所述计算每个目标图像特征与每个目标文本特征之间的差异，以得到第一损失值，包括：
将每个所述目标图像特征分别与每个所述目标文本特征进行相似度计算，得到第一相似矩阵；获取筛选矩阵，所述筛选矩阵用于指示所述第一场景与所述第二场景之间的差异；对所述第一相似矩阵和所述筛选矩阵进行乘积计算，得到目标相似矩阵；根据所述第一相似矩阵中的每个相似度与所述目标相似矩阵，计算所述第一损失值。6.根据权利要求3所述的方法，其特征在于，所述获取第二文本样本，包括：获取每个目标文本样本，每个所述目标文本样本为针对所述目标审核任务添加的样本；将每个所述第二图片样本和每个所述目标文本样本作为目标预训练模型的输入，得到对应的所述第二图片样本的图像特征、所述目标文本样本的文本特征，所述目标预训练模型是以每个所述第一图片样本和每个所述第一文本样本为训练数据进行迭代更新得到的机器学习模型；计算每个所述...

【专利技术属性】
技术研发人员：许剑清，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：