多媒体信息识别方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请实施例公开了一种多媒体信息识别方法、装置、设备、存储介质及程序产品，该方法包括：获取待识别的多媒体信息以及和所述多媒体信息关联的基础信息；通过预设的内容过滤模块对所述多媒体信息和所述基础信息进行预设标识的识别得到识别结果，所述内容过滤模块包括多尺寸标识检测模型以及和所述多尺寸标识检测模型级联的分类器，所述分类器的训练过程包括至少三个模型训练阶段；在所述识别结果为虚假标识的情况下，对所述多媒体信息关联的用户身份信息进行确认。本方案能够高效、准确的进行多媒体信息识别。进行多媒体信息识别。进行多媒体信息识别。

【技术实现步骤摘要】
多媒体信息识别方法、装置、设备、存储介质及程序产品


[0001]本申请实施例涉及计算机
，尤其涉及一种多媒体信息识别方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]随着互联网以及多媒体信息技术的发展，通过网络进行多媒体信息的传播成为了时下信息交互的主要方式之一，如短视频业务、直播业务的兴起。在多媒体信息的传播过程中，会出现一些虚假、伪造的信息，如何进行高效的多媒体信息的识别成为了当下急需解决的问题。
[0003]相关技术中，在对多媒体信息进行识别时，通常采用设置举报通道，通过举报通道接收用户发送的举报信息，审核人员依据该举报信息在系统数据库中进行对应的用户身份的识别，以最终得到多媒体信息的识别结果。然而上述方式需要消耗较多的人力成本，且识别结果具有延时性。

技术实现思路

[0004]本申请实施例提供了一种多媒体信息识别方法、装置、设备、存储介质及程序产品，解决了相关技术中，进行多媒体信息识别时耗费人力成本过高，识别结果实时性差的问题，能够高效、准确的进行多媒体信息识别。
[0005]第一方面，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多媒体信息识别方法，其特征在于，包括：获取待识别的多媒体信息以及和所述多媒体信息关联的基础信息；通过预设的内容过滤模块对所述多媒体信息和所述基础信息进行预设标识的识别得到识别结果，所述内容过滤模块包括多尺寸标识检测模型以及和所述多尺寸标识检测模型级联的分类器，所述分类器的训练过程包括至少三个模型训练阶段；在所述识别结果为虚假标识的情况下，对所述多媒体信息关联的用户身份信息进行确认。2.根据权利要求1所述的多媒体信息识别方法，其特征在于，所述多尺寸标识检测模型包括特征提取层、双向多尺度金字塔模块以及自适应锚框候选网络，所述识别结果包括多个不同尺度的所述预设标识的位置检测结果和标识分类结果。3.根据权利要求2所述的多媒体信息识别方法，其特征在于，所述特征提取层包括CBM卷积层、CBL卷积层以及CSP模块，所述CBM卷积层对应的激活函数为Mish激活函数，所述CBL卷积层对应激活函数为LeakyRelu激活函数，所述双向多尺度金字塔模块包括空间金字塔网络层、反卷积层以及CSP模块。4.根据权利要求2所述的多媒体信息识别方法，其特征在于，所述自适应锚框候选网络包括分组卷积层、第一CSP模块、第二CSP模块、CBM卷积层以及CBL卷积层，其中，所述第一CSP模块基于残差模块构建，所述第二CSP模块基于网络层堆叠的形式构造。5.根据权利要求1所述的多媒体信息识别方法，其特征在于，所述分类器的训练过程包括第一训练阶段，所述第一训练阶段使用的数据集通过设置的多图融合系数和多维图片排列的数据扩增处理方法得到，对应的损失函数为二值交叉熵损失函数。6.根据权利要求5所述的多媒体信息识别方法，其特征在于，所述多图融合系数和多维图片排列的数据扩增处理方法，包括：在原始数据集中随机获取预设数量的图片，所述预设数量的图片包括正样本图片和负样本图片，所述正样本图片为包含预设标识且为图片主体的图片，所述负样本图片为不包含所述预设标识的图片；对所述正样本图片进行随机缩放处理得到正样本增强图片，对所述负样本图片进行随机缩放处理以及随机裁剪处理得到负样本增强图片；对所述正样本增强图片和所述负样本增强图片进行随机排列得到组合图片；依据所述原始数据集和所述组合图片生成所述第一训练阶段对应的数据集。7.根据权利要求1所述的多媒体信息识别方法，其特征在于，所述分类器的训练过程包括第二训练阶段，所述第二训练阶段使用的数据集通过设置的自适应标识缩放处理方法得到，所述二训练阶段使用的模型包括第二特征提取层以及多尺度池化特征模块，所述多尺度池化特征模块用于从所述第二特征提取层中的第一特征层、第二特征层和第三特征层分别提取特征图组，并通过设置的CSPP模块对所述特征图组进行计算得到特征向量。8.根据权利要求7所述的多媒体信息识别方法，其特征在于，...

【专利技术属性】
技术研发人员：罗雄文，陈德健，项伟，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：