分组化数据的多模态传输制造技术

本公开提供了一种在语音激活的基于数据分组的计算机网络环境中分组化数据的多模态传输的系统。自然语言处理器组件可以解析输入音频信号以识别请求和触发关键字。基于输入音频信号，直接动作应用编程接口可以生成第一动作数据结构，并且内容选择器组件可以选择内容项。接口管理组件可以识别第一候选接口和第二候选接口以及相应的资源利用值。接口管理组件可以基于资源利用值选择第一候选接口来呈现内容项。接口管理组件可以向客户端计算设备提供第一动作数据结构，用于呈现为音频输出，并且可以发送被转换为第一模态的内容项，以递送内容项用于从选定端口呈现。

【技术实现步骤摘要】
【国外来华专利技术】分组化数据的多模态传输相关申请的交叉引用本申请要求于2017年8月11日提交的名称为“MULTIMODALTRANSMISSIONOFPACKETIZEDDATA”的美国专利申请No.15/674,838以及于2016年12月30日提交的名称为“MULTIMODALTRANSMISSIONOFPACKETIZEDDATA”的美国专利申请号15/395,703的优先权，这两个申请中的每一个以全文引用的方式并入到本文中用于所有目的。
技术介绍
将数据发送到正在利用计算资源的计算设备可能会导致网络业务数据基于分组或其它方式的过多网络传输，并阻止计算设备正确处理网络业务数据、完成与网络业务数据相关的操作、或及时响应网络业务数据。对应于内容项对象的网络传输的控制可能由于能够在计算设备之间发起网络业务数据的网络传输的大量内容项对象而变得复杂。
技术实现思路
至少一个方面涉及在语音激活的基于数据分组的计算机网络环境中分组化的数据的多模态传输的系统。由数据处理系统执行的自然语言处理器组件可以经由数据处理系统的接口接收数据分组，数据分组包括由客户端计算设备的传感器检测到的输入音频信号。自然语言处理器组件可以解析输入音频信号以识别请求和对应于该请求的触发关键字。数据处理系统的直接动作应用编程接口可以基于请求和触发关键字中的至少一个来生成第一动作数据结构。由数据处理系统执行的内容选择器组件可以接收由自然语言处理器识别的请求和触发关键字中的至少一个，并且可以基于请求和触发关键字中的至少一个来经由实时内容选择过程选择内容项。数据处理系统的接口管理组件可以轮询多个接口以识别第一候选接口和第二候选接口，并且可以确定第一候选接口的第一资源利用值和第二候选接口的第二资源利用值。第一资源利用值和第二资源利用值可以基于电池状态、处理器利用、存储器利用、接口参数和网络带宽利用中的至少一个。接口管理组件可以基于第一资源利用值与第二资源利用值的比较来选择第一候选接口作为选定接口来呈现内容项，并且可以将内容项转换为与基于第一资源利用值与第二资源利用值的比较选择的选定接口兼容的模态以进行递送。接口管理组件可以向客户端计算设备提供第一动作数据结构，以便呈现为来自客户端计算设备的音频输出，并且可以传送转换为第一模态的内容项，以递送内容项用于从选定接口呈现。至少一个方面涉及在语音激活的基于数据分组的计算机网络环境中分组化数据的多模态传输的方法。该方法可以由数据处理系统执行的自然语言处理器组件经由数据处理系统的接口接收数据分组，数据分组包括由客户计算设备的传感器检测到的输入音频信号。该方法可以由自然语言处理器组件从输入音频信号中识别请求和对应于请求触发关键字。该方法可以由数据处理系统的直接动作应用编程接口基于请求和触发关键字中的至少一个来生成第一动作数据结构。该方法可以由数据处理系统执行的内容选择器组件接收由自然语言处理器识别的请求和触发关键字中的至少一个，并且可以基于请求和触发关键字中的至少一个来经由实时内容选择过程选择内容项。该方法可以由数据处理系统的接口管理组件轮询多个接口来识别第一候选接口和第二候选接口。该方法可以由接口管理组件确定第一候选接口的第一资源利用值和第二候选接口的第二资源利用值。第一资源利用值和第二资源利用值可以基于电池状态、处理器利用、存储器利用、接口参数和网络带宽利用中的至少一个。该方法可以基于第一资源利用值与第二资源利用值的比较来选择第一候选接口作为选定接口来呈现内容项。该方法可以将内容项转换为与基于第一资源利用值与第二资源利用值的比较而选择的选定接口相兼容的模态用于递送。该方法可以向客户端计算设备提供第一动作数据结构，用于呈现为来自客户端计算设备的音频输出。该方法可以传送转换为第一模态的内容项，以递送内容项用于从选定接口呈现。至少一个方面涉及存储指令的计算机可读存储介质，指令当由一个或多个数据处理器执行时，使一个或多个数据处理器在语音激活的基于数据分组的计算机网络环境中执行用于分组化的数据的多模态传输的操作。这些操作可以由数据处理系统执行的自然语言处理器组件经由数据处理系统的接口接收数据分组，数据分组包括由客户端计算设备的传感器检测到的输入音频信号。操作可以由自然语言处理器组件从输入音频信号中识别请求和与请求对应的触发关键字。这些操作可以由数据处理系统的直接动作应用编程接口基于请求和触发关键字中的至少一个来生成第一动作数据结构。操作可以由数据处理系统执行的内容选择器组件接收由自然语言处理器识别的请求和触发关键字中的至少一个，并且可以基于请求和触发关键字中的至少一个来经由实时内容选择过程来选择内容项。操作可以由数据处理系统的接口管理组件轮询多个接口来识别第一候选接口和第二候选接口。操作可以由接口管理组件确定第一候选接口的第一资源利用值和第二候选接口的第二资源利用值。第一资源利用值和第二资源利用值可以基于电池状态、处理器利用、存储器利用、接口参数和网络带宽利用中的至少一个。操作可以基于第一资源利用值于第二资源利用值的比较来选择第一候选接口作为选定接口来呈现内容项。操作可以将内容项转换为与基于第一资源利用值和第二资源利用值的比较选择的选定接口相兼容的模态用于递送。这些操作可以向客户端计算设备提供第一动作数据结构，以便呈现为来自客户端计算设备的音频输出。操作可以发送转换为第一模态的内容项，以递送内容项用来从选定接口呈现。至少一个方面涉及在语音激活的基于数据分组的计算机网络环境中分组化的数据的多模态传输的系统。由数据处理系统执行的自然语言处理器组件可以经由数据处理系统的接口接收数据分组，数据分组包括由客户端计算设备的传感器检测到的输入音频信号。自然语言处理器组件可以解析输入音频信号以识别请求和对应于请求的触发关键字。数据处理系统的直接动作应用编程接口可以基于请求和触发关键字中的至少一个生成第一动作数据结构。由数据处理系统执行的内容选择器组件可以接收由自然语言处理器识别的请求和触发关键字中的至少一个，并且可以基于请求和触发关键字中的至少一个来经由实时内容选择过程选择内容项。数据处理系统的接口管理组件可以轮询多个接口以识别在计算设备的阈值距离内的第一候选接口和第二候选接口，并且可以确定第一候选接口的第一资源利用值以及第二候选接口的第二资源利用值。接口管理组件可以基于第一资源利用值和第二资源利用值的比较来选择第一候选接口作为选定接口来呈现内容项，并且可以以与基于第一资源利用值和第二资源利用值的比较选择的选定接口兼容的方式提供用于传送的内容项。接口管理组件可以以第一模态发送内容项，以递送内容项用于从选定接口呈现。至少一个方面涉及在语音激活的基于数据分组的计算机网络环境中分组化数据的多模态传输的方法。该方法可以由数据处理系统执行的自然语言处理器组件经由数据处理系统的接口接收数据分组，数据分组包括由客户计算设备的传感器检测到的输入音频信号。该方法可以由自然语言处理器组件从输入音频信号中识别请求和对应于请求的触发关键字。该方法可以由数据处理系统的直接动作应用编程接口基于请求和触发关键字中的至少一个生成第一动作数据结构。该方法可以由数据处理系统执行的内容选择器组件接收由自然语言处理器识别的请求和触发关键字中的至少一个，并且可以基于请求和触发关键字中的本文档来自技高网...

【技术保护点】
1.一种在语音激活的基于数据分组的计算机网络环境中的分组化数据的多模态传输的系统，包括：自然语言处理器组件，所述自然语言处理器组件由数据处理系统执行，用于经由所述数据处理系统的接口接收数据分组，所述数据分组包括由客户端计算设备的传感器检测到的输入音频信号；所述自然语言处理器组件用于解析所述输入音频信号以识别请求和对应于所述请求的触发关键字；所述数据处理系统的直接动作应用编程接口，用于基于所述请求和所述触发关键字中的至少一个生成第一动作数据结构；内容选择器组件，所述内容选择器组件由所述数据处理系统执行，用于接收由所述自然语言处理器识别的所述请求和所述触发关键字中的至少一个，并且基于所述请求和所述触发关键字中的至少一个经由实时内容选择过程来选择内容项；所述数据处理系统的接口管理组件，用于：轮询多个接口以识别在所述计算设备的阈值距离内的第一候选接口和第二候选接口；确定所述第一候选接口的第一资源利用值和所述第二候选接口的第二资源利用值；基于所述第一资源利用值与所述第二资源利用值的比较，选择所述第一候选接口作为选定接口来呈现所述内容项；以与基于所述第一资源利用值与所述第二资源利用值的比较选择的所述选定接口相兼容的模态，提供所述内容项以用于递送；以及以第一模态发送所述内容项以递送所述内容项用于经由所述选定接口呈现。...

【技术特征摘要】
【国外来华专利技术】2016.12.30 US 15/395,703;2017.08.11 US 15/674,8381.一种在语音激活的基于数据分组的计算机网络环境中的分组化数据的多模态传输的系统，包括：自然语言处理器组件，所述自然语言处理器组件由数据处理系统执行，用于经由所述数据处理系统的接口接收数据分组，所述数据分组包括由客户端计算设备的传感器检测到的输入音频信号；所述自然语言处理器组件用于解析所述输入音频信号以识别请求和对应于所述请求的触发关键字；所述数据处理系统的直接动作应用编程接口，用于基于所述请求和所述触发关键字中的至少一个生成第一动作数据结构；内容选择器组件，所述内容选择器组件由所述数据处理系统执行，用于接收由所述自然语言处理器识别的所述请求和所述触发关键字中的至少一个，并且基于所述请求和所述触发关键字中的至少一个经由实时内容选择过程来选择内容项；所述数据处理系统的接口管理组件，用于：轮询多个接口以识别在所述计算设备的阈值距离内的第一候选接口和第二候选接口；确定所述第一候选接口的第一资源利用值和所述第二候选接口的第二资源利用值；基于所述第一资源利用值与所述第二资源利用值的比较，选择所述第一候选接口作为选定接口来呈现所述内容项；以与基于所述第一资源利用值与所述第二资源利用值的比较选择的所述选定接口相兼容的模态，提供所述内容项以用于递送；以及以第一模态发送所述内容项以递送所述内容项用于经由所述选定接口呈现。2.根据权利要求1所述的系统，包括：所述接口管理组件用于指令所述计算设备发送亚音波以识别在所述计算设备的所述阈值距离内的第二计算设备，其中所述第二计算设备包括所述第二候选接口。3.根据权利要求1所述的系统，包括所述接口管理组件用于：经由由所述计算设备发送的所述亚音波来提供令牌，用于由所述第二计算设备的第二传感器检测；从所述第二计算设备经由网络接收由所述第二计算设备的所述第二传感器所检测到的令牌；以及基于从所述第二计算设备接收到的所述令牌与经由由所述计算设备发送的所述亚音波提供的所述令牌之间的匹配，确定所述第二计算设备在所述计算设备的阈值距离内。4.根据权利要求1所述的系统，包括：所述接口管理组件用于指令所述计算设备发送短距离无线传输，所述短距离无线传输包括用于识别所述计算设备的所述阈值距离内的第二计算设备的信号，其中所述第二计算设备包括所述第二候选接口。5.根据权利要求4所述的系统，包括所述接口管理组件用于：所述接口管理组件用于将由所述客户端计算设备的所述传感器检测到的所述输入音频信号与由第二客户端计算设备的第二传感器检测到的第二输入音频信号进行比较以识别匹配；以及基于所述匹配，将所述第二计算设备识别为在所述计算设备的所述阈值距离内，其中所述第二计算设备包括所述第二候选接口。6.根据权利要求5所述的系统，包括所述接口管理组件用于：接收对应于由所述计算设备传输包括所述令牌的所述亚音波的第一时间戳；接收对应于由所述第二计算设备检测到包括所述令牌的所述亚音波的第二时间戳；以及基于所述第二时间戳与所述第一时间戳之间的差，确定所述第二计算设备在距离所述计算设备的阈值距离内。7.根据权利要求1所述的系统，包括所述接口管理组件用于：基于多个接近检测技术，识别在所述计算设备的所述阈值距离内的多个计算设备，所述多个计算设备包括包含所述第二候选接口的第二计算设备和包含第三候选接口的第三计算设备；轮询所述多个接口，所述多个接口包括所述第一候选接口、所述第二候选接口和所述第三候选接口；确定所述第三候选接口的第三资源利用值；以及基于所述第一资源利用值、所述第二资源利用值和所述第三资源利用值的比较，选择所述第一候选接口作为所述选定接口来呈现所述内容项。8.根据权利要求1所述的系统，包括：所述接口管理组件用于...

【专利技术属性】
技术研发人员：贾斯汀·刘易斯，理查德·拉普，格拉瓦·布哈亚，罗伯特·斯特茨，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US