视频理解方法及装置、计算机程序产品、电子设备制造方法及图纸

技术编号:44563913 阅读:11 留言:0更新日期:2025-03-11 14:22
本公开实施例是关于一种视频理解方法及装置、计算机程序产品、电子设备,涉及计算机技术领域,该方法包括:对待处理视频进行视频抽帧获取多个抽帧图像,并对多个所述抽帧图像进行特征提取,确定每个抽帧图像的图像特征;对相邻的抽帧图像进行变化检测生成变化关键图像,并对所述变化关键图像进行特征提取,生成变化关键图像特征;将所述图像特征以及所述变化关键图像特征进行融合,得到视频特征;将所述视频特征以及用户问题对应的问题文本特征输入至语言模型,生成所述用户问题对应的回复信息。本公开能够提高视频理解效果。

【技术实现步骤摘要】

所属的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830以及显示单元840。其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元810可以执行如图2中所示的步骤。存储单元820可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(ram)8201和/或高速缓存存储单元8202,还可本文档来自技高网...

【技术保护点】

1.一种视频理解方法,其特征在于,包括:

2.根据权利要求1所述的视频理解方法,其特征在于,所述对相邻的抽帧图像进行变化检测生成变化关键图像,包括:

3.根据权利要求2所述的视频理解方法,其特征在于,所述将所述当前帧图像以及所述前一帧图像进行灰度化处理,生成掩膜图像,包括:

4.根据权利要求2所述的视频理解方法,其特征在于,所述基于所述掩膜图像与所述当前帧图像,生成所述变化关键图像,包括:

5.根据权利要求1所述的视频理解方法,其特征在于,所述将所述图像特征以及所述变化关键图像特征进行融合,得到视频特征,包括:

<p>6.根据权利要求...

【技术特征摘要】

1.一种视频理解方法,其特征在于,包括:

2.根据权利要求1所述的视频理解方法,其特征在于,所述对相邻的抽帧图像进行变化检测生成变化关键图像,包括:

3.根据权利要求2所述的视频理解方法,其特征在于,所述将所述当前帧图像以及所述前一帧图像进行灰度化处理,生成掩膜图像,包括:

4.根据权利要求2所述的视频理解方法,其特征在于,所述基于所述掩膜图像与所述当前帧图像,生成所述变化关键图像,包括:

5.根据权利要求1所述的视频理解方法,其特征在于,所述将所述图像特征以及所述变化关键图...

【专利技术属性】
技术研发人员:王家霈
申请(专利权)人:中国电信股份有限公司技术创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1