System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 虚拟会议的视频集锦获取方法、系统、设备及存储介质技术方案_技高网

虚拟会议的视频集锦获取方法、系统、设备及存储介质技术方案

技术编号:40252451 阅读:4 留言:0更新日期:2024-02-02 22:46
本发明专利技术公开了一种虚拟会议的视频集锦获取方法、系统、设备及存储介质,涉及虚拟现实领域,为解决生成虚拟会议的视频集锦需要占用大量存储资源的问题,该视频集锦获取方法包括:确定虚拟会议中的多个关键事件;针对每一关键事件,确定关键事件的拍摄对象,控制虚拟相机对拍摄对象进行拍摄,得到关键事件的多个备选视频片段,将多个备选视频片段输入预设美学评价模型,得到各个备选视频片段的美学评分,将美学评分最高的备选视频片段确定为关键事件的输出视频片段;对各个关键事件的输出视频片段进行拼接,得到虚拟会议的视频集锦。本发明专利技术能够节省存储、时间与人力资源,保证视频集锦完整性的同时,提高视觉吸引力。

【技术实现步骤摘要】

本专利技术涉及虚拟现实领域,特别涉及一种虚拟会议的视频集锦获取方法、系统、设备及存储介质


技术介绍

1、随着虚拟现实、增强现实、人工智能等技术的进步,促使虚拟会议系统作为元宇宙应用成功落地并蓬勃发展,提供了高沉浸感、高交互性的线上虚拟会议,不同于传统线上会议,在虚拟会议中,参会者以虚拟形象与他人交互,在虚拟会场走动,从任意视角观看会议等,具有高沉浸感和高交互性。随着越来越多的学术研讨会、展会等在虚拟会议系统中举办,用户需要通过会议摘要、视频集锦等,快速了解会议内容。

2、现有的研究工作大多针对传统线上或线下会议,以文本摘要的形式对会议内容进行总结与呈现,虽然文本摘要可以较好地记录涉及重要主题、关键决策和待完成的任务的会议内容,但丢弃了会议的视觉信息,特别是在重视视觉信息的虚拟会议中,不能直观与准确地反映会议内容。相比文本摘要,制作虚拟会议的视频集锦能够直观与准确地反映会议内容,但是目前生成虚拟会议集锦的方式,是将完整的虚拟会议记录为视频,并借助视频摘要生成技术,生成虚拟会议集锦,但是存储整个虚拟会议的视频需要占用大量存储,消耗大量人力与时间。

3、因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。


技术实现思路

1、本专利技术的目的是提供一种虚拟会议的视频集锦获取方法、系统、设备及存储介质,能够节省存储、时间与人力资源,保证视频集锦完整性的同时,提高视觉吸引力。

2、为解决上述技术问题,本专利技术提供了一种虚拟会议的视频集锦获取方法,所述视频集锦获取方法包括:

3、确定虚拟会议中的多个关键事件;

4、针对每一所述关键事件,确定所述关键事件的拍摄对象,控制虚拟相机对所述拍摄对象进行拍摄,得到所述关键事件的多个备选视频片段,将多个所述备选视频片段输入预设美学评价模型,得到各个所述备选视频片段的美学评分,将所述美学评分最高的备选视频片段确定为所述关键事件的输出视频片段;

5、对各个所述关键事件的输出视频片段进行拼接,得到所述虚拟会议的视频集锦。

6、在一示例性实施例中,控制虚拟相机对所述拍摄对象进行拍摄的过程包括:

7、确定所述虚拟相机的至少一个目标移动轨迹;

8、控制所述虚拟相机分别按照每个所述目标移动轨迹对所述拍摄对象进行拍摄。

9、在一示例性实施例中,将多个所述备选视频片段输入预设美学评价模型,得到各个所述备选视频片段的美学评分的过程包括:

10、将每一所述备选视频片段及其对应的所述虚拟相机的目标移动轨迹输入预设美学评价模型,得到每一所述备选视频片段的美学评分。

11、在一示例性实施例中,将每一所述备选视频片段及其对应的所述虚拟相机的目标移动轨迹输入预设美学评价模型,得到每一所述备选视频片段的美学评分的过程包括:

12、将每一所述备选视频片段及其对应的所述虚拟相机的目标移动轨迹输入预设美学评价模型,以便通过所述美学评价模型进行评分操作得到每一所述备选视频片段的美学评分;

13、所述评分操作包括:

14、获取所述备选视频片段中与运动特征对应的第一特征数据;

15、获取所述备选视频片段对应的所述虚拟相机的目标移动轨迹的第二特征数据;

16、通过所述第二特征数据对所述第一特征数据进行加权,得到融合特征数据;

17、基于所述融合特征数据计算所述备选视频片段的美学评分。

18、在一示例性实施例中,所述预设美学评价模型包括运动特征提取模块、轨迹特征提取模块以及自适应融合模块以及美学评分计算模块,所述运动特征提取模块包括卷积层、池化层以及多层感知机层,所述轨迹特征提取模块包括多层感知机层以及最远点采样层,所述自适应融合模块包括自注意力层以及多层感知机层,所述美学评分计算模块包括多个多层感知机层和激活函数层;

19、获取所述备选视频片段中与运动特征对应的第一特征数据的过程包括:

20、利用所述运动特征提取模块中的卷积层、池化层以及多层感知机层对所述备选视频片段进行处理,得到与运动特征对应的第一特征数据;

21、获取所述备选视频片段对应的所述虚拟相机的目标移动轨迹的第二特征数据的过程包括:

22、利用所述轨迹特征提取模块中的多层感知机层以及最远点采样层对所述备选视频片段对应的所述虚拟相机的目标移动轨迹进行处理,得到第二特征数据;

23、通过所述第二特征数据对所述第一特征数据进行加权,得到融合特征数据的过程包括:

24、利用所述自适应融合模块中的自注意力层以及多层感知机层对所述第一特征数据和所述第二特征数据进行处理,得到所述融合特征数据;

25、基于所述融合特征数据计算所述备选视频片段的美学评分的过程包括:

26、利用所述美学评分计算模块中的多个多层感知机层和激活函数层对所述融合特征数据进行处理,得到所述美学评分。

27、在一示例性实施例中,确定所述虚拟相机的至少一个目标移动轨迹之前,所述视频集锦获取方法还包括:

28、生成并提示移动轨迹选择信息;

29、确定所述虚拟相机的至少一个目标移动轨迹的过程包括:

30、基于用户根据所述移动轨迹选择信息发送的第一用户操作指令确定所述虚拟相机的至少一个目标移动轨迹。

31、在一示例性实施例中,确定所述虚拟相机的至少一个目标移动轨迹之前,所述视频集锦获取方法还包括:

32、预先建立各个所述关键事件与所述虚拟相机的运动轨迹的对应关系;

33、确定所述虚拟相机的至少一个目标移动轨迹的过程包括:

34、基于所述关键事件与所述对应关系,确定所述虚拟相机的至少一个目标运动轨迹。

35、在一示例性实施例中,控制虚拟相机对所述拍摄对象进行拍摄之前,所述视频集锦获取方法还包括:

36、确定所述虚拟相机的至少一个目标拍摄景别;

37、控制虚拟相机对所述拍摄对象进行拍摄的过程包括:

38、控制所述虚拟相机分别按照各个所述目标拍摄景别对所述拍摄对象进行拍摄。

39、在一示例性实施例中,控制所述虚拟相机分别按照各个所述目标拍摄景别对所述拍摄对象进行拍摄之前,所述视频集锦获取方法还包括:

40、获取所述虚拟相机在不同的拍摄位置获取的图像数据;

41、基于各个所述图像数据确定所述虚拟相机在各个所述拍摄位置的拍摄景别。

42、在一示例性实施例中,基于各个所述图像数据确定所述虚拟相机在各个所述拍摄位置的拍摄景别的过程包括:

43、针对每一所述图像数据,获取所述图像数据中的拍摄对象对应的边界框及占比类别,根据所述图像数据的大小及所述边界框确定占比值,利用所述占比类别和所述占比值确定所述图像数据对应的拍摄位置的拍摄景别。

44、在一示例性实施例中,控制虚拟相机对所述拍摄对象进行拍摄本文档来自技高网...

【技术保护点】

1.一种虚拟会议的视频集锦获取方法,其特征在于,所述视频集锦获取方法包括:

2.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,控制虚拟相机对所述拍摄对象进行拍摄的过程包括:

3.根据权利要求2所述的虚拟会议的视频集锦获取方法,其特征在于,将多个所述备选视频片段输入预设美学评价模型,得到各个所述备选视频片段的美学评分的过程包括:

4.根据权利要求3所述的虚拟会议的视频集锦获取方法,其特征在于,将每一所述备选视频片段及其对应的所述虚拟相机的目标移动轨迹输入预设美学评价模型,得到每一所述备选视频片段的美学评分的过程包括:

5.根据权利要求4所述的虚拟会议的视频集锦获取方法,其特征在于,所述预设美学评价模型包括运动特征提取模块、轨迹特征提取模块以及自适应融合模块以及美学评分计算模块,所述运动特征提取模块包括卷积层、池化层以及多层感知机层,所述轨迹特征提取模块包括多层感知机层以及最远点采样层,所述自适应融合模块包括自注意力层以及多层感知机层,所述美学评分计算模块包括多个多层感知机层和激活函数层;

6.根据权利要求2所述的虚拟会议的视频集锦获取方法,其特征在于,确定所述虚拟相机的至少一个目标移动轨迹之前,所述视频集锦获取方法还包括:

7.根据权利要求2所述的虚拟会议的视频集锦获取方法,其特征在于,确定所述虚拟相机的至少一个目标移动轨迹之前,所述视频集锦获取方法还包括:

8.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,控制虚拟相机对所述拍摄对象进行拍摄之前,所述视频集锦获取方法还包括:

9.根据权利要求8所述的虚拟会议的视频集锦获取方法,其特征在于,控制所述虚拟相机分别按照各个所述目标拍摄景别对所述拍摄对象进行拍摄之前,所述视频集锦获取方法还包括:

10.根据权利要求9所述的虚拟会议的视频集锦获取方法,其特征在于,基于各个所述图像数据确定所述虚拟相机在各个所述拍摄位置的拍摄景别的过程包括:

11.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,控制虚拟相机对所述拍摄对象进行拍摄之前,所述视频集锦获取方法还包括:

12.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,控制虚拟相机对所述拍摄对象进行拍摄之前,所述视频集锦获取方法还包括:

13.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,确定虚拟会议中的多个关键事件的过程包括:

14.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,确定所述关键事件的拍摄对象的过程包括:

15.根据权利要求14所述的虚拟会议的视频集锦获取方法,其特征在于,所述会议阶段包括会议开始阶段和会议结束阶段;

16.根据权利要求15所述的虚拟会议的视频集锦获取方法,其特征在于,所述会议阶段还包括处于所述会议开始阶段和所述会议结束阶段之间的会议其他阶段;

17.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,对各个所述关键事件的输出视频片段进行拼接,得到所述虚拟会议的视频集锦的过程包括:

18.根据权利要求1-17任意一项所述的虚拟会议的视频集锦获取方法,其特征在于,所述虚拟会议的视频集锦获取方法还包括:

19.一种虚拟会议的视频集锦获取系统,其特征在于,所述视频集锦获取系统包括:

20.一种电子设备,其特征在于,包括:

21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-18任意一项所述的虚拟会议的视频集锦获取方法的步骤。

...

【技术特征摘要】

1.一种虚拟会议的视频集锦获取方法,其特征在于,所述视频集锦获取方法包括:

2.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,控制虚拟相机对所述拍摄对象进行拍摄的过程包括:

3.根据权利要求2所述的虚拟会议的视频集锦获取方法,其特征在于,将多个所述备选视频片段输入预设美学评价模型,得到各个所述备选视频片段的美学评分的过程包括:

4.根据权利要求3所述的虚拟会议的视频集锦获取方法,其特征在于,将每一所述备选视频片段及其对应的所述虚拟相机的目标移动轨迹输入预设美学评价模型,得到每一所述备选视频片段的美学评分的过程包括:

5.根据权利要求4所述的虚拟会议的视频集锦获取方法,其特征在于,所述预设美学评价模型包括运动特征提取模块、轨迹特征提取模块以及自适应融合模块以及美学评分计算模块,所述运动特征提取模块包括卷积层、池化层以及多层感知机层,所述轨迹特征提取模块包括多层感知机层以及最远点采样层,所述自适应融合模块包括自注意力层以及多层感知机层,所述美学评分计算模块包括多个多层感知机层和激活函数层;

6.根据权利要求2所述的虚拟会议的视频集锦获取方法,其特征在于,确定所述虚拟相机的至少一个目标移动轨迹之前,所述视频集锦获取方法还包括:

7.根据权利要求2所述的虚拟会议的视频集锦获取方法,其特征在于,确定所述虚拟相机的至少一个目标移动轨迹之前,所述视频集锦获取方法还包括:

8.根据权利要求1所述的虚拟会议的视频集锦获取方法,其特征在于,控制虚拟相机对所述拍摄对象进行拍摄之前,所述视频集锦获取方法还包括:

9.根据权利要求8所述的虚拟会议的视频集锦获取方法,其特征在于,控制所述虚拟相机分别按照各个所述目标拍摄景别对所述拍摄对象进行拍摄之前,所述视频集锦获取方法还包括:

<...

【专利技术属性】
技术研发人员:卢丽华赵雅倩李茹杨魏辉张晓辉李仁刚
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1