多媒体数据分类方法、设备和存储介质技术

本申请提供一种多媒体数据分类方法、设备和存储介质，其中方法包括：获取待处理的多媒体数据，所述多媒体数据包括媒体数据和对所述媒体数据的描述信息；提取所述媒体数据的内容特征和所述描述信息的描述特征；将所述内容特征和所述描述特征进行融合，得到融合后特征，所述融合后特征用于表征所述多媒体数据的媒体数据与描述信息之间的相关度；将所述融合后特征输入预设的质量分类模型，以使所述质量分类模型根据所述相关度输出所述多媒体数据的内容所属的目标质量等级，所述目标质量等级与所述相关度呈正相关。本申请实现了提高对多媒体数据的内容质量评估的准确性，能够更好地识别多媒体数据是否属于优质内容，进而提高了优质内容分发时效。质内容分发时效。质内容分发时效。

【技术实现步骤摘要】
多媒体数据分类方法、设备和存储介质


[0001]本申请涉及数据处理
，尤其涉及一种多媒体数据分类方法、设备和存储介质。

技术介绍

[0002]随着互联网的发展，通过互联网在线观看多媒体内容，已成为人们文娱生活的重要组成部分。为了保证网络安全，同时提升用户观看体验，在多媒体内容呈现给用户之前，需要对多媒体内容进行审核，去除劣质内容，筛选出优质内容进行分发。
[0003]当下，多媒体内容无论是形式和内容都呈现爆发式增长，面对海量的创作内容，完全依赖人工审核筛选，会消耗巨大的人工成本。近年来，基于深度学习的智能审核技术快速发展，大大降低了人工审核成本。然而，这些技术大都是针对违反社会安全内容、及广告引流、违规搬运、低清晰度、噪声等方面的拦截，而面向媒体数据是否优良，缺少有针对内容的择优筛选体系，限制了多媒体服务的发展。

技术实现思路

[0004]本申请实施例的主要目的在于提供一种多媒体数据分类方法、设备和存储介质，实现了提高对多媒体数据的内容质量评估的准确性，能够更好地识别多媒体数据是否属于优质内容，进而提高了优质内容分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体数据分类方法，其特征在于，所述方法包括：获取待处理的多媒体数据，所述多媒体数据包括媒体数据和对所述媒体数据的描述信息；提取所述媒体数据的内容特征和所述描述信息的描述特征；将所述内容特征和所述描述特征进行融合，得到融合后特征，所述融合后特征用于表征所述多媒体数据的媒体数据与描述信息之间的相关度；将所述融合后特征输入预设的质量分类模型，以使所述质量分类模型根据所述相关度输出所述多媒体数据的内容所属的目标质量等级，所述目标质量等级与所述相关度呈正相关；其中，所述质量分类模型由预先标注的样本数据集训练得到，所述样本数据集中包括多个样本数据，所述多个样本数据分别标注了所属的样本质量等级。2.根据权利要求1所述的方法，其特征在于，所述提取所述多媒体数据的内容特征和描述特征，包括：分别提取所述多媒体数据中与内容相关的内容多模态特征、以及与所述描述信息相关的描述多模态特征；将所述内容多模态特征进行特征融合，得到所述内容特征，将所述描述多模态特征进行特征融合，得到所述描述特征。3.根据权利要求2所述的方法，其特征在于，所述多媒体数据包括视频数据；所述提取所述多媒体数据中与内容相关的内容多模态特征，包括：提取所述视频数据的视频行为特征，所述内容多模态特征包括：所述视频行为特征，所述视频行为特征用于表征所述多媒体数据中标的物在时空上的行为信息；和/或，提取所述视频数据中视频帧的第一图像特征，所述内容多模态特征包括：所述第一图像特征；和/或，提取所述视频数据的音频特征，所述内容多模态特征包括：所述音频特征；和/或，提取所述视频数据中摘要的第一文本特征，所述内容多模态特征包括：所述第一文本特征。4.根据权利要求2所述的方法，其特征在于，所述多媒体数据包括：图文数据；所述提取所述多媒体数据中与内容相关的内容多模态特征，包括：提取所述图文数据中图片的第二图像特征和所述图文数据中摘要的第二文本特征，所述内容多模态特征包括：所述第二图像特征和所述第二文本特征。5.根据权利要求2所述的方法，其特征在于，所述描述信息包括：所述多媒体数据的封面信息；提取所述多媒体数据中与所述描述信息相关的描述多模态特征，包括：根据所述封面信息，提取所述多媒体数据的封面图像特征、封面标题文本特征和/或封面文字分布特征，所述描述多模态特征包括：所述封面图像特征、所述封面标题文本特征和/或所述封面文字分布特征。6.根据权利要求2所述的方法，其特征在于，所述描述信息包括：所述多媒体数据中携带的推广信息；提取所述多媒体数据中与所述描述信息相关的描述多模态特征，包括：确定所述推广信息指向的标的物，获取所述标的物的目标图文信息；
提取所述目标图文信息中图片的第三图像特征和所述目标图文信息中标的物标题的第三文本特征，所述内容多模态特征包括：所述第三图像特征和所述第三文本特征。7.根据权利要求2所述的方法，其特征在于，将所述内容多模态特征或者所述描述多模态特征进行特征融合的过程，包括：将所述多模态特征输入预设的第一融合网络，所述第一融合网络用于：将所述多模态特征分别转换为相同长度的多个特征向量，并将所述多个特征向量进行拼接，得到第一拼接向量；将所述第一拼接向量归一化处理，将归一化处理后的第一拼接向量输入预设的多头自注意力网络，输出第一融合向量；将所述第一融合向量与所述第一拼接向量相加，将相加结果经过归一化处理后，输入预设的第一多层感知器，将所述第一多层感知器的输出向量与所述第一融合向量相加，得到多模态融合结果；和/或，还包括：将多个所述第一融合网络级联设置，用于将所述...

【专利技术属性】
技术研发人员：晋瑞锦，郑俊君，
申请(专利权)人：淘宝中国软件有限公司，
类型：发明
国别省市：