基于多模态对齐与类别平衡的不良视频分类方法及系统技术方案

技术编号:44218527 阅读:14 留言:0更新日期:2025-02-11 13:26
本发明专利技术公开了基于多模态对齐与类别平衡的不良视频分类方法及系统,其将数据集,输入到不良视频分类模型中,对不良视频分类模型进行训练,将不良视频分类模型简称为模型;当模型的总损失函数值不再下降,得到训练后的不良视频分类模型;在训练过程中,模型先对视频提取出视觉混合特征和音频混合特征;模型的总损失函数,包括:第一、第二和第三子损失函数的加权求和结果,其中,第一子损失函数,是指视觉混合特征的高斯分布与音频混合特征的高斯分布二者之间的差异;第二子损失函数,是指视觉混合特征与音频混合特征二者之间的差异;第三子损失函数,用于提升模型决策边界与样本点之间的最小距离,减轻类别不平衡对训练过程的影响。

【技术实现步骤摘要】

本专利技术涉及不良视频分类,特别是涉及基于多模态对齐与类别平衡的不良视频分类方法及系统


技术介绍

1、短视频平台以内容丰富、时长短的特点吸引了广大用户并得以迅速崛起,但其自由度极高的创作环境必然的引起了平台作品的监管难题,使得对短视频内容实施有效监管变得异常困难。其中,防止性暗示类视频的传播具有很强的现实意义。原因在于其对立类别性教育类视频在消除人类性羞耻感以及关注人类性健康方面发挥了重要作用,但是不法分子为了规避监管,采取各种方法,使得性暗示类视频与性教育类视频以及正常视频三者之间的界限变得模糊,增加了鉴别难度。因此,为了维护社会利益和公众心理健康,如何利用人工智能技术提出一种有效且准确的不良视频分类方法显得尤为迫切。

2、目前,传统的单模态视频分类方法难以应对不良短视频分类,原因可以总结如下:

3、1)单模态视频分类方法主要依赖视频内部同一模态的差异性特征,区分不同类别的视频。举例而言,在某特定分类任务中,模型通常可以根据场景中特定的设施以及具有差异性的人体动作来进行分类,例如体育视频分类任务中,识别跳高,跳远等不同的体育活动本文档来自技高网...

【技术保护点】

1.基于多模态对齐与类别平衡的不良视频分类方法,其特征是,包括:

2.如权利要求1所述的基于多模态对齐与类别平衡的不良视频分类方法,其特征是,将数据集,输入到不良视频分类模型中,对不良视频分类模型进行训练,所述不良视频分类模型,包括:

3.如权利要求2所述的基于多模态对齐与类别平衡的不良视频分类方法,其特征是,所述视觉特征提取模块,包括:

4.如权利要求2所述的基于多模态对齐与类别平衡的不良视频分类方法,其特征是,所述音频特征提取模块,包括:

5.如权利要求1所述的基于多模态对齐与类别平衡的不良视频分类方法,其特征是,所述模型的总损失函数,...

【技术特征摘要】

1.基于多模态对齐与类别平衡的不良视频分类方法,其特征是,包括:

2.如权利要求1所述的基于多模态对齐与类别平衡的不良视频分类方法,其特征是,将数据集,输入到不良视频分类模型中,对不良视频分类模型进行训练,所述不良视频分类模型,包括:

3.如权利要求2所述的基于多模态对齐与类别平衡的不良视频分类方法,其特征是,所述视觉特征提取模块,包括:

4.如权利要求2所述的基于多模态对齐与类别平衡的不良视频分类方法,其特征是,所述音频特征提取模块,包括:

5.如权利要求1所述的基于多模态对齐与类别平衡的不良视频分类方法,其特征是,所述模型的总损失函数,包括:第一、第二和第三子损失函数的加权求和结果,所述模型的总...

【专利技术属性】
技术研发人员:刘萌李家慧周迪厉盛华李达
申请(专利权)人:山东建筑大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1