对网络中的数字内容的基于语言的搜索制造技术

本技术解决方案的系统和方法为诸如数字助理的基于语音的设备启用了多模态界面。该解决方案可以使用户能够通过触摸界面和通过语音命令与视频和其他内容进行交互。除了诸如停止和播放的输入之外，本解决方案还可以为所显示的视频文件自动地生成注释。根据注释，该解决方案可以识别与视频中的不同场景、视频部分或操作步骤相关联的一个或多个断点。数字助理可以接收输入音频信号并解析该输入音频信号，以识别该输入音频信号内的语义实体。数字助理可以将所识别的语义实体映射到注释，以选择与该输入音频信号中的用户请求相对应的视频的部分。

Language based search for digital content in the network

【技术实现步骤摘要】
【国外来华专利技术】对网络中的数字内容的基于语言的搜索相关申请的交叉引用本申请要求于2018年5月7日提交的题为“MULTI-MODALINTERFACEINAVOICE-ACTIVATEDNETWORK(语音激活网络中的多模态接口)”的美国非临时专利申请No.15/973,447的优先权，其全部内容通过引用合并于本文中。
技术介绍
计算设备可以向联网的客户端设备提供数字内容。可能需要过多的网络传输才能在提供的数字内容中找到特定的位置或内容。另外，基于语音的接口可能不能移动到数字内容内的特定位置，当数字内容的实体被发送到网络客户端设备时，这可能导致网络资源浪费。
技术实现思路
根据本公开的至少一个方面，一种用于控制语音激活系统中的数字组件的系统可以包括数据处理系统。该数据处理系统可以包括一个或多个处理器和存储器。数据处理系统可以执行自然语言处理器(“NLP”)组件、注释组件和解析组件。自然语言处理器组件可以接收由客户端计算设备处的传感器检测到的第一输入音频信号。自然语言处理器组件可以解析第一输入音频信号，以识别第一输入音频信号中的第一数字组件请求。注释组件可本文档来自技高网...

【技术保护点】
1.一种用于控制语音激活系统中的数字组件的系统，包括：/n数据处理系统，所述数据处理系统包括一个或多个处理器和存储器，所述一个或多个处理器执行自然语言处理器组件、注释组件和解析组件，用于：/n由所述自然语言处理器组件并经由所述数据处理系统的接口接收由客户端计算设备处的传感器检测到的第一输入音频信号；/n由所述自然语言处理器组件解析所述第一输入音频信号，以识别所述第一输入音频信号中的数字组件请求，所述数字组件请求指示第一数字组件；/n由所述注释组件至少基于在所述第一数字组件中识别出的话音来生成所述第一数字组件的第一注释集合；/n由所述解析组件基于至少所述第一注释集合来识别多个断点；/n由所述自然...

【技术特征摘要】
【国外来华专利技术】20180507 US 15/973,4471.一种用于控制语音激活系统中的数字组件的系统，包括：
数据处理系统，所述数据处理系统包括一个或多个处理器和存储器，所述一个或多个处理器执行自然语言处理器组件、注释组件和解析组件，用于：
由所述自然语言处理器组件并经由所述数据处理系统的接口接收由客户端计算设备处的传感器检测到的第一输入音频信号；
由所述自然语言处理器组件解析所述第一输入音频信号，以识别所述第一输入音频信号中的数字组件请求，所述数字组件请求指示第一数字组件；
由所述注释组件至少基于在所述第一数字组件中识别出的话音来生成所述第一数字组件的第一注释集合；
由所述解析组件基于至少所述第一注释集合来识别多个断点；
由所述自然语言处理器组件接收由所述客户端计算设备处的所述传感器检测到的第二输入音频信号；
由所述自然语言处理器组件解析所述第二输入音频信号，以识别所述第二输入音频信号中的词项；
由所述解析组件基于所述词项从所述多个断点中选择断点；以及
由所述解析组件向所述客户端计算设备发送所述第一数字组件的对应于所述断点的一部分。


2.根据权利要求1所述的系统，包括内容选择组件，用于：
基于从所述多个断点中选择的所述断点，选择第二数字组件；以及
将所述第二数字组件与所述第一数字组件的对应于所述断点的所述一部分发送到所述客户端计算设备。


3.根据权利要求1所述的系统，包括：
所述注释组件用于基于所述数字组件中的图像来生成所述第一数字组件的第二注释集合；以及
所述解析组件用于基于所述第二注释集合来识别所述多个断点。


4.根据权利要求1所述的系统，包括：
所述注释组件用于基于所述数字组件中的隐藏字幕数据来生成所述第一数字组件的所述第二注释集合。


5.根据权利要求1所述的系统，包括：
所述注释组件用于从第二客户端计算设备接收所述第一数字组件的第二注释集合；以及
所述解析组件用于基于所述第二注释集合来识别所述多个断点。


6.根据权利要求1所述的系统，包括所述解析组件用于：
识别所述数字组件中的场景转换；以及
基于所述场景转换来识别所述多个断点。


7.根据权利要求1所述的系统，包括：
所述自然语言处理器组件用于：
接收由所述客户端计算设备处的所述传感器检测到的第三输入音频信号；
解析所述第三输入音频信号，以识别所述多个断点中的第二断点的指示；以及
所述解析组件用于向所述客户端计算设备发送所述第一数字组件的对应于所述第二断点的第二部分。


8.根据权利要求1所述的系统，包括：
所述自然语言处理器组件用于解析所述第一输入音频信号来识别所述第一输入音频信号中的第一语义表示；以及
所述解析组件用于基于所述第一语义含义来从所述多个断点中选择所述断点。


9.根据权利要求1所述的系统，包括所述解析组件用于：
基于所述多个断点，生成所述第一数字组件的多个部分；以及
确定所述第一数字组件的所述多个部分中的每个部分的语义表示。


10.根据权利要求9所述的系统，包括：
所述注释组件用于基于所述第一数字组件的所述多个部分中的每个部分的所述语义表示来生成所述第一数字组件的第二注释集合；以及
所述解析组件用于基于所述第二注释集合来识别所述多个断点。


11.根据权利要求1所述的系统，其中，所述多个断点中的每个断点对应于不同场景的开始。


12.根据权利要求1所述的系统，包括所述解析组件用于：
生成包括所述多个断点中的每个断点的指示的第二数字组件；以及
向所述客户端计算设备发送所述第二数字组件以用于与所述第一数字组件的对应于所述断点的所述一部分一起呈现。


13.根据权利要求12所述的系统，包括：
所述自然语言处理器组件用于从所述客户端计算设备接收第三输入音频信号，所述第三输入音频信号包括对所述多个断点中的一个断点的选择；和
所述解析组件用于基于对所述多个断点中的一个断点的选择来从所述多个断点中选择所述断点。


14.一种用于控制语音激活系统中的数字组件的方法，包括：
通过由数据处理系统执行的自然语言处理器组件并经由所述数据处理系统的接口接收由客户端计算设备处的传感器检测到的第一输入音频信号；
由所述自然语言处理器组件解析所述第一输入音频信号，以识别所述第一输入音频信号中的数字组件请求，所述数字组件请求指示第一数字组件；
通过由所述数据处理系统执行的注释组件至少基于在所述第一数字组件中识别出的话音来生成所述第一数字组件的第一注释集合；
通过由所述数据处理系统执行的解析组件至少基于所述第一注释集合来识别多个断点；
由所述自然语言处理器组件接收由所述客户端计算设备处的所述传感器检测到的第二输入音频信号；
由所述自然语言处理器组件解析所述第二输入音频信号，以识别所述第二输入音频信号中的词项；
由所述解析组件基于所述词项从所述多个断点中选择断点；以及
由所述解析组件向所述客户端计算设备发送所述第一数字组件的对应于所述断点的一部分。


15.根据权利要求14所述的方法，包括：
通过由所述数据处理系统执行的内容选择组件基于从所述多个断点中选择的所述断点来选择第二数字组件；和
由所述内容选择组件向所述客户端计算设备发送所述第二数字组件以及所述第一数字组件的对应于所述断点的所述一部分。


16.根据权利要求14所述的方法，包括：
由所述注释组件基于所述数字组件中的图像来生成所述第一数字组件的第二注释集合；以及
由所述解析组件基于所述第二注释集合来识别所述多个断点。


17.根据权利要求14所述的方法，包括：
由所述注释组件从第二客户端计算设备接收所述第一数字组件的第二注释集合；以及
由所述解析组件基于所述第二注释集合来识别所述多个断点。...

【专利技术属性】
技术研发人员：马苏德·洛格马尼，安舒·科塔里，阿南斯·德武拉帕利，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US