System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种用于大会直播的视频智能拆条系统技术方案_技高网

一种用于大会直播的视频智能拆条系统技术方案

技术编号:40586329 阅读:4 留言:0更新日期:2024-03-12 21:45
本发明专利技术公开了一种用于大会直播的视频智能拆条系统,包括获取模块,用于获取大会直播的录制视频;预处理模块对各录制视频帧进行图像预处理,得到若干预处理视频帧;快速划分模块将各预处理视频帧划分为若干初选采访片段;识别模块对录制音频进行音频预处理得到关键语句;标记单元将优选划分音频中出现频率最高的姓名关键词标记为重点姓名;特征识别单元识别得到被采访者的面部特征数据以及音色特征数据;计算单元计算第一相似度,第二相似度,以及第三相似度;分配单元根据第一相似度、第二相似度以及第三相似度处理得到片段匹配分值,并根据片段匹配分值为优选采访片段分配相应访谈事件的标签。本发明专利技术实现了对大会直播的录制视频的自动拆条。

【技术实现步骤摘要】

本专利技术涉及大会直播,尤其涉及一种用于大会直播的视频智能拆条系统


技术介绍

1、大会直播是指将一个大型会议、研讨会、讲座等活动通过网络直播的方式传输到各地观众的电脑、手机、平板电脑等终端设备上。在大会直播过程中一般会录制直播视频,以供后续回放观看。大会直播的录制视频一般是完整的视频,观看者后续回放观看过程中,当需要观看某位被访者的直播录制片段时,现有技术一般需要手动调整大会直播的录制视频的播放进度条,以人工搜寻到相应的被访者的直播录制片段,当搜寻人员对录制视频内容不熟悉时,需要多次调整才能将播放进度条调整至想要观看的被访者的直播录制片段。因此现有技术中的人工调节大会直播的录制视频的过程费时费力,严重影响到大会直播的录制视频的观看体验。


技术实现思路

1、针对现有技术存在的不足,本专利技术的目的在于提供一种用于大会直播的视频智能拆条系统,用于实现对大会直播的录制视频的自动拆条,提升观看体验。

2、为实现上述目的,本专利技术提供了如下技术方案:一种用于大会直播的视频智能拆条系统,包括:

3、获取模块,用于获取大会直播的录制视频,所述录制视频包括若干录制视频帧和录制音频;

4、预处理模块,连接所述获取模块,用于对各所述录制视频帧进行图像预处理,得到若干预处理视频帧;

5、快速划分模块,连接所述预处理模块,用于根据预设的动作识别模型识别各所述预处理视频帧中的上台动作和下台动作,将各所述预处理视频帧快速划分为若干初选采访片段;

6、识别模块,连接所述获取模块,用于对所述录制音频进行音频预处理得到预处理音频,并识别得到所述预处理音频中的关键语句,所述关键语句中包含邀请关键词、结束关键词、姓名关键词和访谈事件,所述姓名关键词与所述访谈事件预先关联;

7、优选模块,连接所述识别模块,用于根据所述邀请关键词和所述结束关键词将各所述初选采访片段重新划分为若干优选采访片段,各所述优选采访片段与相同时刻的优选划分音频相对应;

8、存储模块,用于保存各被访人员的历史面部特征数据、历史姓名数据和历史音色特征数据;

9、拆条处理模块,分别连接所述优选模块和所述存储模块,包括:

10、标记单元,用于将所述优选划分音频中出现频率最高的姓名关键词标记为重点姓名;

11、特征识别单元,用于识别得到所述优选采访片段中各被访者的面部特征数据以及所述优选划分音频中的音色特征数据;

12、计算单元,连接所述特征识别单元,用于计算所述重点姓名与所述历史姓名数据之间的第一相似度,计算所述面部特征数据与各所述历史特征数据的第二相似度,以及计算所述音色特征数据与各所述历史音色特征数据的第三相似度;

13、分配单元,连接所述计算单元,用于根据所述第一相似度、所述第二相似度以及所述第三相似度处理得到片段匹配分值,并根据所述片段匹配分值为所述优选采访片段分配相应所述访谈事件的标签。

14、进一步地,所述预处理模块包括:

15、平滑单元,用于利用高斯核对各所述录制视频帧进行离散化窗口滑窗卷积,得到若干平滑视频帧;

16、降采样单元,连接所述平滑单元,用于对各所述平滑视频帧进行降采样,得到各所述预处理视频帧。

17、进一步地,所述快速划分模块包括:

18、动作识别单元,用于将各所述预处理视频帧输入所述动作识别模型,识别得到若干所述上台动作和若干所述下台动作;

19、划分单元,连接所述动作识别单元,用于将同一人员的所述上台动作和所述下台动作分别作为开始标志和结束标志,将各所述预处理视频帧划分为若干所述初选采访片段,以及将所述录制音频划分为若干初步划分音频,相同时刻的所述初选采访片段与所述初步划分音频相对应。

20、进一步地,所述识别模块包括:

21、增强单元,用于对所述录制音频进行音频增强处理,得到强化音频;

22、加窗单元,连接所述增强单元,用于对所述强化音频进行分帧加窗处理,得到所述预处理音频;

23、语句识别单元,连接所述加窗单元,用于将所述预处理音频输入预设的语句识别模型中,得到若干关键语句。

24、进一步地,所述优选模块包括:

25、语音识别单元,用于将各所述初步划分音频输入预设的语音识别模型中,得到若干文字段落;

26、关键词识别单元,连接所述语音识别单元,用于利用预设的关键词识别模型识别所述文字段落中是否存在所述邀请关键词和所述结束关键词,生成相应关键词识别结果;

27、归拢单元,连接所述关键词识别单元,用于在所述关键词识别结果表明所述文字段落中不存在所述邀请关键词或所述结束关键词时,将该所述文字段落对应的所述初选采访片段与相邻的单独具备所述邀请关键词和单独具备所述结束关键词的所述初选采访片段归拢合并成所述优选采访片段;以及在所述关键词识别结果表明所述文字段落中存在所述邀请关键词和所述结束关键词时,将该所述文字段落对应的所述初选采访片段作为所述优选采访片段。

28、进一步地,所述特征识别单元包括:

29、识别子单元,用于识别得到所述优选采访片段中的总体面部数据,以及所述优选划分音频中的总体音色特征数据;

30、存储子单元,预先保存有采访人员的面部数据和音色数据;

31、过滤子单元,分别连接所述识别子单元和所述存储子单元,用于从所述总体面部数据中过滤掉所述面部数据得到被访者的所述面部特征数据,以及从所述总体音色特征数据中过滤掉所述音色数据得到被访者的所述音色特征数据。

32、进一步地,所述分配单元包括:

33、计算子单元,用于将所述第一相似度、所述第二相似度以及所述第三相似度带入预设的分值计算公式,计算得到所述片段匹配分值;

34、分配子单元,连接所述计算子单元,用于在所述片段匹配分值大于预设的分数阈值时,为所述优选采访片段分配与相应所述访谈事件的标签。

35、进一步地,所述分值计算公式配置为:

36、

37、

38、k1+k2+k3=1

39、

40、其中,fms用于表示所述片段匹配分值;

41、sl1、sl2、sl3分别用于表示所述第一相似度、所述第二相似度和所述第三相似度;

42、k1、k2、k3分别用于表示预设的第一配置系数、第二配置系数和第三配置系数;

43、用于表示各配置系数的均值;

44、ks用于表示各配置系数的标准差。

45、进一步地,所述关键语句中还包含有若干识别事件特征,所述访谈事件预先关联有若干访谈事件特征,则所述计算单元还用于计算各所述识别事件特征与相应各所述访谈事件特征的总体相似度,根据所述总体相似度调整所述第一配置系数的值。

46、本专利技术的有益效果:

47、本专利技术首先获取大会直播的录制视频,对录制视频本文档来自技高网...

【技术保护点】

1.一种用于大会直播的视频智能拆条系统,其特征在于,包括:

2.根据权利要求1所述的用于大会直播的视频智能拆条系统,其特征在于:所述预处理模块(2)包括:

3.根据权利要求1所述的用于大会直播的视频智能拆条系统,其特征在于:所述快速划分模块(3)包括:

4.根据权利要求1所述的用于大会直播的视频智能拆条系统,其特征在于:所述识别模块(4)包括:

5.根据权利要求3所述的用于大会直播的视频智能拆条系统,其特征在于:所述优选模块(5)包括:

6.根据权利要求1所述的用于大会直播的视频智能拆条系统,其特征在于:所述特征识别单元(72)包括:

7.根据权利要求1所述的用于大会直播的视频智能拆条系统,其特征在于:所述分配单元(74)包括:

8.根据权利要求7所述的用于大会直播的视频智能拆条系统,其特征在于:所述分值计算公式配置为:

9.根据权利要求8所述的用于大会直播的视频智能拆条系统,其特征在于:所述关键语句中还包含有若干识别事件特征,所述访谈事件预先关联有若干访谈事件特征,则所述计算单元还用于计算各所述识别事件特征与相应各所述访谈事件特征的总体相似度,根据所述总体相似度调整所述第一配置系数的值。

...

【技术特征摘要】

1.一种用于大会直播的视频智能拆条系统,其特征在于,包括:

2.根据权利要求1所述的用于大会直播的视频智能拆条系统,其特征在于:所述预处理模块(2)包括:

3.根据权利要求1所述的用于大会直播的视频智能拆条系统,其特征在于:所述快速划分模块(3)包括:

4.根据权利要求1所述的用于大会直播的视频智能拆条系统,其特征在于:所述识别模块(4)包括:

5.根据权利要求3所述的用于大会直播的视频智能拆条系统,其特征在于:所述优选模块(5)包括:

6.根据权利要求1所述的用于大会直播的视频智能拆...

【专利技术属性】
技术研发人员:陈兵
申请(专利权)人:南京微特喜网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1