内容审核、内容审核模型的训练方法及相关装置制造方法及图纸

本申请公开了一种内容审核、内容审核模型的训练方法及相关装置，该内容审核方法包括：加载预设的内容审核模型，内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器；将待内容审核的图像数据输入图像编码器中提取第一图像特征；将第一图像特征输入图像适配器中映射至目标空间、得到第二图像特征；将表征内容审核中类别的文本信息输入文本编码器中提取第一文本特征；将第一文本特征输入文本适配器中映射至目标空间、得到第二文本特征；将第二图像特征与第二文本特征进行比较，以对图像数据生成审核结果。本实施例中使用多模态进行内容审核，迭代更新内容审核模型的样本量大大降低，扩展性强，提高了内容审核的响应速度。应速度。应速度。

【技术实现步骤摘要】
内容审核、内容审核模型的训练方法及相关装置


[0001]本申请涉及内容审核的
，尤其涉及一种内容审核、内容审核模型的训练方法及相关装置。

技术介绍

[0002]随着互联网的技术发展，各种视觉内的内容应用于各个互联网产品中，如直播、短视频等，针对视觉类的内容审核是否符合规范是互联网产品中的一部分，有利于建设良好的产品生态环境，视觉类的内容审核系统能够减少内容审核的人力成本、减少违规内容的曝光频率。
[0003]目前，视觉类的内容审核主要是基于图像单模态的神经网络，针对特定的类别，收集大量违规的图像数据(正样本)与非违规的图像数据(负样本)训练神经网络进行分类。
[0004]但是，基于图像单模态的神经网络调整难度较大，如果审核的规则发生变化，则要求对训练的图像数据重新清洗、迭代周期长；并且，基于图像单模态的神经网络扩展性较低，新增类别要重新收集大量违规的图像数据，重训迭代神经网络，代价较高。

技术实现思路

[0005]本申请提供了一种内容审核、内容审核模型的训练方法及相关装置，以解决视觉类的内容审核调整难度较大、扩展性较低的问题。
[0006]根据本申请的一方面，提供了一种内容审核方法，包括：
[0007]加载预设的内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器；
[0008]将待内容审核的图像数据输入所述图像编码器中提取第一图像特征；
[0009]将所述第一图像特征输入所述图像适配器中映射至目标空间、得到第二图像特征；
[0010]将表征内容审核中类别的文本信息输入所述文本编码器中提取第一文本特征；
[0011]将所述第一文本特征输入所述文本适配器中映射至所述目标空间、得到第二文本特征；
[0012]将所述第二图像特征与所述第二文本特征进行比较，以对所述图像数据生成审核结果。
[0013]根据本申请的另一方面，提供了一种内容审核模型的训练方法，包括：
[0014]确定内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器，所述图像编码器用于从图像数据中提取第一图像特征，所述图像适配器用于将所述第一图像特映射至目标空间、得到第二图像特征，所述文本编码器用于从文本信息中提取第一文本特征，所述文本适配器用于将所述第一文本特映射映射至所述目标空间、得到第二文本特征；
[0015]以对抗与分类的方式将所述图像编码器训练至适配内容审核；
[0016]若完成训练所述图像编码器，则在固定所述图像编码器、所述文本编码器的条件下，以分类的方式将所述图像适配器与所述文本适配器训练至适配内容审核。
[0017]根据本申请的另一方面，提供了一种内容审核装置，包括：
[0018]内容审核模型加载模块，用于加载预设的内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器；
[0019]第一图像特征提取模块，用于将待内容审核的图像数据输入所述图像编码器中提取第一图像特征；
[0020]第二图像特映射模块，用于将所述第一图像特征输入所述图像适配器中映射至目标空间、得到第二图像特征；
[0021]第一文本特征提取模块，用于将表征内容审核中类别的文本信息输入所述文本编码器中提取第一文本特征；
[0022]第二文本特映射模块，用于将所述第一文本特征输入所述文本适配器中映射至所述目标空间、得到第二文本特征；
[0023]审核结果生成模块，用于将所述第二图像特征与所述第二文本特征进行比较，以对所述图像数据生成审核结果。
[0024]根据本申请的另一方面，提供了一种内容审核模型的训练装置，包括：
[0025]内容审核模型确定模块，用于确定内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器，所述图像编码器用于从图像数据中提取第一图像特征，所述图像适配器用于将所述第一图像特映射至目标空间、得到第二图像特征，所述文本编码器用于从文本信息中提取第一文本特征，所述文本适配器用于将所述第一文本特映射映射至所述目标空间、得到第二文本特征；
[0026]编码器训练模块，用于以对抗与分类的方式将所述图像编码器训练至适配内容审核；
[0027]适配器训练模块，用于若完成训练所述图像编码器，则在固定所述图像编码器、所述文本编码器的条件下，以分类的方式将所述图像适配器与所述文本适配器训练至适配内容审核。
[0028]根据本申请的另一方面，提供了一种电子设备，所述电子设备包括：
[0029]至少一个处理器；以及
[0030]与所述至少一个处理器通信连接的存储器；其中，
[0031]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的内容审核方法或者内容审核模型的训练方法。
[0032]根据本申请的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本申请任一实施例所述的内容审核方法或者内容审核模型的训练方法。
[0033]根据本申请的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本申请任一实施例所述的内容审核方法或者内容审核模型的训练方法。
[0034]在本实施例中，加载预设的内容审核模型，内容审核模型包括图像编码器、图像适
配器、文本编码器与文本适配器；将待内容审核的图像数据输入图像编码器中提取第一图像特征；将第一图像特征输入图像适配器中映射至目标空间、得到第二图像特征；将表征内容审核中类别的文本信息输入文本编码器中提取第一文本特征；将第一文本特征输入文本适配器中映射至目标空间、得到第二文本特征；将第二图像特征与第二文本特征进行比较，以对图像数据生成审核结果。本实施例将内容审核模型拆分为两部分，第一部分为泛化行要求更高的图像编码器、文本编辑器，第二部分为适配性要求更高的图像适配器与文本适配器，分阶段实现内容审核网络的泛化性与适配性，可以保证内容审核网络的性能。此外，本实施例中使用图像数据、文本信息的多模态进行内容审核，可以充分利用语言文字之间的内在关联，有更强的泛化性、推理性，在确保内容审核的准确率的情况下，迭代更新内容审核模型的样本量从几十万、几百万降低至几十、几百，样本量大大降低，方便采集到足够的样本，在审核规则的变化、新增的违规的类别时，可以快速采集样本迭代更新内容审核模型，扩展性强，提高了内容审核的响应速度。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0035]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内容审核方法，其特征在于，包括：加载预设的内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器；将待内容审核的图像数据输入所述图像编码器中提取第一图像特征；将所述第一图像特征输入所述图像适配器中映射至目标空间、得到第二图像特征；将表征内容审核中类别的文本信息输入所述文本编码器中提取第一文本特征；将所述第一文本特征输入所述文本适配器中映射至所述目标空间、得到第二文本特征；将所述第二图像特征与所述第二文本特征进行比较，以对所述图像数据生成审核结果。2.根据权利要求1所述的方法，其特征在于，所述将所述第二图像特征与所述第二文本特征进行比较，以对所述图像数据生成审核结果，包括：计算所述第二图像特征与所述第二文本之间的相似度；若所述相似度大于预设的阈值，则确定所述图像数据的审核结果为所述图像数据的内容属于所述类别；若所述相似度小于或等于预设的阈值，则确定所述图像数据的审核结果为所述图像数据的内容不属于所述类别。3.一种内容审核模型的训练方法，其特征在于，包括：确定内容审核模型，所述内容审核模型包括图像编码器、图像适配器、文本编码器与文本适配器，所述图像编码器用于从图像数据中提取第一图像特征，所述图像适配器用于将所述第一图像特映射至目标空间、得到第二图像特征，所述文本编码器用于从文本信息中提取第一文本特征，所述文本适配器用于将所述第一文本特映射至所述目标空间、得到第二文本特征；以对抗与分类的方式将所述图像编码器训练至适配内容审核；若完成训练所述图像编码器，则在固定所述图像编码器、所述文本编码器的条件下，以分类的方式将所述图像适配器与所述文本适配器训练至适配内容审核。4.根据权利要求3所述的方法，其特征在于，所述以对抗与分类的方式将所述图像编码器训练至适配内容审核，包括：确定分类支路、对抗支路，所述分类支路用于训练所述图像编码器，以使所述第一图像特征适用于划分内容审核中的各个类别，所述对抗支路用于以对抗的方式训练所述图像编码器，以使所述第一图像特征区分适用于内容审核；在每次迭代训练中，依次更新所述分类支路与所述对抗支路，以将所述图像编码器训练至适配内容审核。5.根据权利要求4所述的方法，其特征在于，所述对抗支路中具有所述图像编码器、适配非特定操作的通用编码器与判别器，所述分类支路中具有所述图像编码器与前馈网络；所述在每次迭代训练中，依次更新所述分类支路与所述对抗支路，以将所述图像编码器训练至适配内容审核，包括：将作为样本的图像数据分别输入所述图像编码器中提取第一图像特征、输入所述通用编码器中提取第三图像特征；
在所述判别器中使用所述第一图像特征对所述图像数据生成是否适配内容审核的第一对抗标签、使用所述第三图像特征对所述图像数据生成是否适配内容审核的第二对抗标签；在所述前馈网络中将所述第一图像特映射至分类空间、得到第四图像特征；将所述第四图像特映射为所述图像数据属于各个适配内容审核的类别的概率；根据所述第一对抗标签与所述概率更新所述图像编码器的参数与所述前馈网络的参数；在维持所述图像编码器的参数不变的条件下，根据所述第一对抗标签与所述第二对抗标签更新所述判别器的参数；判断是否满足预设的第一训练条件；若是，则确定所述图像编码器完成训练，若否，则返回执行所述将作为样本的图像数据分别输入所述图像编码器中提取第一图像特征、输入适配非特定操作的通用编码器中提取第三图像特征。6.根据权利要求5所述的方法，其特征在于，所述根据所述第一对抗标签与所述概率对更新所述图像编码器的参数与所述前馈网络的参数，包括：基于所述概率生成分类标签，所述分类标签表示所述图像数据是否属于所述类别；对1减去所述第一对抗标签得到的差值取平方，得到第一候选值；将各个所述分类标签与所述概率的导数之间的乘积求和，得到第二候选值；将所述第一候选值与所述第二候选值的负数线性融合为第一损失值；按照所述第一损失值更新所述图像编码器的参数与所述前馈网络的参数。7.根据权利要求5所述的方法，其特征在于，所述在维持所述图像编码器的参数不变的条件下，根据所述第一对抗标签与所述第二对抗标签更新所述判别器的参数，包括：对所述第一对抗标签取平方，得到第三候选值；对1减去所述第二对抗标签得到的差值取平方，得到第四候选值；将所述第三候选值与所述第四候选值线性融合为第二损失值；在维持所述图像编码器的参数不变的条件下，按照所述第二损失值更新所述前馈网络的参数。8.根据权利要求3
‑
7中任一项所述的方法，其特征在于，所述在固定所述图像编码器、所述文本编码器的条件下，以分类的方式将所述图像适配器与所述文本适配器训练至适配内容审核，包括：将作为样本的图像数据输入所述图像编码器中提取第一图像特征；将所述第一图像特征输入所述图像适配器中映射至目标空间、得到第二图像特征；将作为样本的文本信息输入所述文本编码器中提取第一文本特征；将所述第一文本特征输入所述文本适配器中映射至所述目标空...

【专利技术属性】
技术研发人员：陈德健，项伟，
申请(专利权)人：广州市网星信息技术有限公司，
类型：发明
国别省市：