System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 视频分类模型的训练、机器生成视频的识别方法及系统技术方案_技高网

视频分类模型的训练、机器生成视频的识别方法及系统技术方案

技术编号:40825761 阅读:2 留言:0更新日期:2024-04-01 14:46
本公开提供了一种视频分类模型的训练、机器生成视频的识别方法及系统。该训练方法包括:获取视频训练数据;其中,所述视频训练数据包括表征该所述视频训练数据是否为机器生成的预设标签;提取所述视频训练数据中的内容特征,所述内容特征包括图像特征和音频特征;基于所述内容特征生成对应的融合向量,将所述融合向量作为输入,所述预设标签作为输出,训练预设分类模型得到目标视频分类模型。通过对视频训练数据多维度识别处理,从视频训练数据中提取表征机器生成特征的多模态特征,基于多模态融合向量训练预设分类模型,得到能够对机器生成视频进行分类识别的目标视频分类模型,具备高准确性和鲁棒性。

【技术实现步骤摘要】

本公开涉及视频分类,尤其涉及一种视频分类模型的训练、机器生成视频的识别方法及系统


技术介绍

1、用户生成内容(ugc,user generated content)平台的迅猛发展带来了用户上传旅游笔记数量的显著增长。这些笔记不仅涵盖文案和封面图,还常常包括视频等多媒体元素。随着人工智能技术的不断进步,尤其是视频生成算法的成熟,ugc平台上出现了越来越多的机器生成视频。然而,这类视频普遍存在内容单调、缺乏个性化的问题,部分甚至夹杂虚假信息,直接影响了用户体验和平台内容的整体质量。

2、传统视频内容筛选方法主要依赖人工审核,耗时长且效率低下,难以应对平台上日益增长的ugc数据。更重要的是,人工审核也存在主观性和不一致性的问题,导致了平台内容质量的波动。


技术实现思路

1、本公开要解决的技术问题是为了克服现有技术中人工对视频内容审核的效率低的缺陷,提供一种视频分类模型的训练、机器生成视频的识别方法、系统、设备及介质。

2、本公开是通过下述技术方案来解决上述技术问题:

3、第一方面,提供一种视频分类模型的训练方法,所述训练方法包括:

4、获取视频训练数据;

5、其中,所述视频训练数据包括表征该所述视频训练数据是否为机器生成的预设标签;

6、提取所述视频训练数据中的内容特征,所述内容特征包括图像特征和音频特征;

7、基于所述内容特征生成对应的融合向量,将所述融合向量作为输入,所述预设标签作为输出,训练预设分类模型得到目标视频分类模型。

8、较佳地,所述提取所述视频训练数据的内容特征的步骤包括:

9、基于预设抽样规则从所述视频训练数据中提取若干抽样帧图像;

10、识别所述抽样帧图像中的目标图像特征得到目标图像特征张量;

11、其中,所述目标图像特征表征所述抽样帧图像中机器生成的标志特征。

12、较佳地,所述基于预设抽样规则从所述视频训练数据中提取若干抽样帧图像的步骤包括:

13、抽取所述视频训练数据中的首帧图像和尾帧图像作为所述抽样帧图像,并抽取至少一幅中间帧图像作为所述抽样帧图像;

14、识别所述抽样帧图像中的目标图像特征得到目标图像特征张量的步骤包括:

15、将每个所述抽样帧图像输入预设图像编码器输出对应的抽样图像特征张量;

16、基于若干所述抽样图像特征张量计算得到所述目标图像特征张量。

17、较佳地,所述提取所述视频训练数据的内容特征的步骤包括:

18、从所述视频训练数据中提取预设时长的样本音频数据;

19、识别所述样本音频数据中的目标声纹特征得到目标音频特征张量。

20、较佳地,所述训练方法还包括:

21、识别所述视频训练数据中的文本内容数据;

22、基于所述文本内容数据得到语义特征张量;

23、基于所述语义特征张量与所述内容特征生成对应的所述融合向量。

24、第二方面,提供一种机器生成视频的识别方法,所述识别方法包括:

25、获取待识别视频数据;

26、提取所述待识别数据中的待识别内容特征;

27、将所述待识别内容特征输入根据第一方面所述的视频分类模型的训练方法训练得到的目标视频分类模型,输出得到所述待识别视频数据的目标置信度;

28、根据所述目标置信度判断所述待识别数据是否为机器生成视频。

29、基于所述文本内容数据得到语义特征向量作为第三识别结果。

30、第三方面,提供一种视频分类模型的训练系统,所述训练系统包括样本视频获取模块、特征提取模块和训练模块;

31、所述样本视频获取模块,用于获取视频训练数据;其中,所述视频训练数据包括表征该所述视频训练数据是否为机器生成的预设标签;

32、所述特征提取模块,用于提取所述视频训练数据中的内容特征,所述内容特征包括图像特征和音频特征;

33、所述训练模块,用于基于所述内容特征生成对应的融合向量,将所述融合向量作为输入,所述预设标签作为输出,训练预设分类模型得到目标视频分类模型。

34、第四方面,提供一种机器生成视频的识别系统,所述识别系统包括待识别视频获取模块、待识别特征提取模块、识别模块和判断模块;

35、所述待识别视频获取模块,用于获取待识别视频数据;

36、所述待识别特征提取模块,用于提取所述待识别数据中的待识别内容特征;

37、所述识别模块,用于将所述待识别内容特征输入根据第三方面所述的视频分类模型的训练系统训练得到的目标视频分类模型,输出得到所述待识别视频数据的目标置信度;

38、所述判断模块,用于根据所述目标置信度判断所述待识别数据是否为机器生成视频。

39、第五方面,提供一种电子设备,包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序,所述处理器执行计算机程序时实现如第一方面所述的视频分类模型的训练方法,或者如第二方面所述的机器生成视频的识别方法。

40、第六方面,提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的视频分类模型的训练方法,或者如第二方面所述的机器生成视频的识别方法。

41、在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本公开各较佳实例。

42、本公开的积极进步效果在于:通过对视频训练数据多维度识别处理,从视频训练数据中提取表征机器生成特征的多模态特征,基于多模态融合向量训练预设分类模型,得到能够对机器生成视频进行分类识别的目标视频分类模型,目标视频分类模型避免了基于单一模态输入导致模型对单一模态依赖的风险,具备高准确性和鲁棒性,实现基于目标视频分类模型辅助或替代人工对ugc平台中视频内容进行审核。

本文档来自技高网...

【技术保护点】

1.一种视频分类模型的训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的视频分类模型的训练方法,其特征在于,所述提取所述视频训练数据的内容特征的步骤包括:

3.根据权利要求2所述的视频分类模型的训练方法,其特征在于,所述基于预设抽样规则从所述视频训练数据中提取若干抽样帧图像的步骤包括:

4.根据权利要求1所述的视频分类模型的训练方法,其特征在于,所述提取所述视频训练数据的内容特征的步骤包括:

5.根据权利要求1所述的视频分类模型的训练方法,其特征在于,所述训练方法还包括:

6.一种机器生成视频的识别方法,其特征在于,所述识别方法包括:

7.一种视频分类模型的训练系统,其特征在于,所述训练系统包括样本视频获取模块、特征提取模块和训练模块;

8.一种机器生成视频的识别系统,其特征在于,所述识别系统包括待识别视频获取模块、待识别特征提取模块、识别模块和判断模块;

9.一种电子设备,包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序,其特征在于,所述处理器执行计算机程序时实现如权利要求1-6中任一项所述的方法。

10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

...

【技术特征摘要】

1.一种视频分类模型的训练方法,其特征在于,所述训练方法包括:

2.根据权利要求1所述的视频分类模型的训练方法,其特征在于,所述提取所述视频训练数据的内容特征的步骤包括:

3.根据权利要求2所述的视频分类模型的训练方法,其特征在于,所述基于预设抽样规则从所述视频训练数据中提取若干抽样帧图像的步骤包括:

4.根据权利要求1所述的视频分类模型的训练方法,其特征在于,所述提取所述视频训练数据的内容特征的步骤包括:

5.根据权利要求1所述的视频分类模型的训练方法,其特征在于,所述训练方法还包括:

6.一种机器生成视频的识别方法,其特征在...

【专利技术属性】
技术研发人员:周泽平成丹妮罗超
申请(专利权)人:携程旅游网络技术上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1