【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及结构化视频文档。
技术介绍
1、虽然视频是用户消费娱乐、新闻和教育内容的常见方式，但由于搜索和调用视频的内容的能力所施加的限制，用户使用视频作为信息媒介仍具有挑战性。对于基于信息的任务，用户通常与基于时间轴的视频播放器的用户界面进行交互以向前/向后拖动通过(scrub through)视频来定位可能感兴趣的特定内容。在某种程度上，针对视频中的对话生成转录/解说词的能力已通过允许用户录入关键词搜索来定位转录/解说词中的相关内容来改进在视频中搜索内容的能力。然而，利用转录/解说词来搜索内容的这些用户界面缺乏从语义上理解针对视频中的特定内容所说出(或所键入)的查询的能力—更不用说具有利用语义相关的信息来实现查询的能力。
技术实现思路
1、本公开的一个方面提供了一种计算机实现的方法，该计算机实现的方法当在数据处理硬件上执行时使数据处理硬件执行操作，该操作包括：接收包括的内容馈送，该音频数据与语音话语相对应；以及处理内容馈送以生成语义丰富的结构化文档。该结构化文档包括语音话语的转录，并且包...
【技术保护点】
1.一种计算机实现的方法(500)，所述计算机实现的方法(500)当在数据处理硬件(134)上被执行时使所述数据处理硬件(134)执行操作，所述操作包括：
2.如权利要求1所述的计算机实现的方法(500)，其中所述操作进一步包括：
3.如权利要求2所述的计算机实现的方法(500)，其中：
4.如权利要求1至3中任一项所述的计算机实现的方法(500)，其中：
5.如权利要求4所述的计算机实现的方法(500)，其中处理所述内容馈送(120)以生成所述语义丰富的、结构化文档(300)包括：通过基于所述音频数据(122)的与在所...
【技术特征摘要】
【国外来华专利技术】
1.一种计算机实现的方法(500)，所述计算机实现的方法(500)当在数据处理硬件(134)上被执行时使所述数据处理硬件(134)执行操作，所述操作包括：
2.如权利要求1所述的计算机实现的方法(500)，其中所述操作进一步包括：
3.如权利要求2所述的计算机实现的方法(500)，其中：
4.如权利要求1至3中任一项所述的计算机实现的方法(500)，其中：
5.如权利要求4所述的计算机实现的方法(500)，其中处理所述内容馈送(120)以生成所述语义丰富的、结构化文档(300)包括：通过基于所述音频数据(122)的与在所述一个或多个图像帧(125)中辨识出的所述创作者提供的文本对齐的所述对应音频片段(222)将所述创作者提供的文本插入在所述转录(310)中的一对相邻单词(312)之间来利用所述创作者提供的文本对所述语音话语(123)的所述转录(310)进行注释。
6.如权利要求1至5中任一项所述的计算机实现的方法(500)，其中对所述查询(112)的所述响应(182)包括传达所请求的信息作为对所述查询(112)的连贯集中式响应(182)的文本响应(182)。
7.如权利要求6所述的计算机实现的方法(500)，其中所述操作进一步包括：
8.如权利要求7所述的计算机实现的方法(500)，其中所述操作进一步包括：在从所述用户装置(10)可听地输出对所述查询(112)的所述响应(182)的所述合成语音表示时，暂停所述内容馈送(120)的回放。
9.如权利要求6至8中任一项所述的计算机实现的方法(500)，其中对所述查询(112)的所述文本响应(182)进一步包括对与所述所请求的信息相关的源材料的一个或多个引用。
10.如权利要求1至9中任一项所述的计算机实现的方法(500)，其中所述大型语言模型(180)包括预训练的大型语言模型(180)，并且使用所述结构化文档(300)作为用于所述查询(112)的场境以生成对所述查询(112)的所述响应(182)来执行少样本学习。
11.如权利要求1至10中任一项所述的计算机实现的方法(500)，其中：
12.如权利要求1至11中任一项所述的计算机实...
【专利技术属性】
技术研发人员：约翰·沙尔克维克，弗朗索瓦丝·博费，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。