设备上人工智能视频搜索制造技术

技术编号:43006986 阅读:14 留言:0更新日期:2024-10-18 17:14
一种用于使用人工神经网络(ANN)进行设备上视频查询和搜索的计算机实现的方法包括通过该ANN接收视频和搜索查询。视频包括帧序列和相关联字幕信息。在移动设备处通过ANN生成搜索查询中的第一组词语的第一表示和字幕信息中的第二组词语的第二表示。在移动设备处通过ANN基于第一表示和第二表示来确定搜索查询和字幕信息之间的相关性。ANN在移动设备处基于相关性来预测视频的包括响应于搜索查询的内容的部分。

【技术实现步骤摘要】
【国外来华专利技术】

本公开的各方面整体涉及神经网络,并且更具体地,涉及使用人工神经网络的设备上视频搜索。


技术介绍

1、人工神经网络可包括互连的人工神经元组(例如,神经元模型)。人工神经网络可以是计算设备或表示为要由计算设备执行的方法。卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合,其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(cnn)(诸如深度卷积神经网络(dcn))具有众多应用。具体而言,这些神经网络架构被用于各种技术,诸如图像识别、模式识别、语音识别、自动驾驶和其他分类任务。

2、例如,边缘设备诸如智能电话或其他移动设备广泛用于消费媒体诸如音乐或视频。考虑到神经网络的许多有用应用,对在边缘设备上使用的需求不断增加。搜索视频、歌曲或其他序列内的特定内容是用户的常见任务。例如,用户可能常常期望在不观看整个电影或视频的情况下播放例如电影中最喜爱或难忘的场景、重要事件(例如,目标)对话或视频中的谈话。然而,从功率的角度来看,自动搜索此类事件是麻烦、耗时且计算昂贵的。这在资源有限的设备诸如移动设备中尤为严重。p>

本文档来自技高网...

【技术保护点】

1.一种用于在移动设备上使用人工神经网络(ANN)来搜索视频的计算机实现的方法,包括:

2.根据权利要求1所述的计算机实现的方法,其中所述预测进一步指示所述视频的包括响应于所述搜索查询的所述内容的所述部分的开始时间和结束时间。

3.根据权利要求2所述的计算机实现的方法,还包括:在所述开始时间显示所包括的所述视频部分直到所述结束时间为止。

4.根据权利要求1所述的计算机实现的方法,其中所述ANN包括变换器神经网络。

5.根据权利要求1所述的计算机实现的方法,还包括:基于包括在所述视频中的隐藏式说明文字信息来生成所述相关联字幕信息。

...

【技术特征摘要】
【国外来华专利技术】

1.一种用于在移动设备上使用人工神经网络(ann)来搜索视频的计算机实现的方法,包括:

2.根据权利要求1所述的计算机实现的方法,其中所述预测进一步指示所述视频的包括响应于所述搜索查询的所述内容的所述部分的开始时间和结束时间。

3.根据权利要求2所述的计算机实现的方法,还包括:在所述开始时间显示所包括的所述视频部分直到所述结束时间为止。

4.根据权利要求1所述的计算机实现的方法,其中所述ann包括变换器神经网络。

5.根据权利要求1所述的计算机实现的方法,还包括:基于包括在所述视频中的隐藏式说明文字信息来生成所述相关联字幕信息。

6.根据权利要求1所述的计算机实现的方法,其中所述搜索查询包括场景的描述、事件、词语或短语中的一者或多者。

7.根据权利要求1所述的计算机实现的方法,其中所述搜索查询经由所述移动设备的语音输入文本输入来供应。

8.一种用于在移动设备上使用人工神经网络(ann)来搜索视频的装置,包括:

9.根据权利要求8所述的装置,其中所述至少一个处理器被进一步配置为生成指示所述视频的包括响应于所述搜索查询的所述内容的所述部分的开始时间和结束时间的预测。

10.根据权利要求9所述的装置,其中所述至少一个处理器被进一步配置为在所述开始时间显示所包括的所述视频部分直到所述结束时间为止。

11.根据权利要求8所述的装置,其中所述ann包括变换器神经网络。

12.根据权利要求8所述的装置,其中所述至少一个处理器被进一步配置为基于包括在所述视频中的隐藏式说明文字信息来生成所述相关联字幕信息。

13.根据权利要求8所述的装置,其中所述搜索查询包括场景的描述、事件、词语或短语中的一者或多者。

14.根据权利要求8所述的装置,其中所述搜索查询经由所述移动设备的语音输入文本输入来供应。

15.一种非暂态计算机可读介质,所述非暂态计算机可读介质上记录有用于在移动设备上使...

【专利技术属性】
技术研发人员:S·D·帕特尔P·A·布德瓦尼S·C·纳迪帕里S·孔达帕蒂
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1