经由自动化助理命令的有条件相机控制制造技术

本文阐述的实施方式涉及一种可以根据用户指定的一个或多个条件来控制相机的自动化助理。例如，当所述自动化助理检测到特定环境特征明显时，条件可以被满足。以此方式，所述用户可以依赖于所述自动化助理来识别和捕获某些时刻，而不必要求所述用户不断地监视所述相机的查看窗口。在一些实施方式中，所述自动化助理捕获媒体数据的条件可以基于应用数据和/或与所述自动化助理相关联的其他场境数据。举例而言，相机查看窗口中的内容与应用接口的其他内容之间的关系可以是所述自动化助理使用相机捕获某些媒体数据的条件。相机捕获某些媒体数据的条件。相机捕获某些媒体数据的条件。

【技术实现步骤摘要】
【国外来华专利技术】经由自动化助理命令的有条件相机控制

技术介绍

[0001]人类可以利用交互式软件应用参与人与计算机的对话，交互式软件应用在本文中称为“自动化助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”和“对话代理”等)。例如，人类(当他们与自动化助理交互时可以被称为“用户”)可以使用在一些情况下可以被转换成文本然后被处理的口头自然语言输入(即，话语)和/或通过提供文本的(例如，键入的)自然语言输入来提供命令和/或请求。
[0002]在一些情况下，用户可以请求自动化助理捕获图像，诸如屏幕快照、照片或其他类型的图像。然而，自动化助理捕获图像的时刻可能由用户专门控制，从而限制了用户在尝试捕获某些图像时的自主性。当用户希望捕获独特时刻的视频或图像时，用户可以为相机设置捕获图像或初始化视频记录的定时器，以便捕获可能包括该独特时刻的广泛时间范围。然而，这样的策略可能为了捕获独特时刻——可能实际上不需要很多数据来捕获——导致各种计算资源被消耗。例如，以视频捕获婴儿的微笑可能只需要几秒钟的视频数据——但用户可能记录不同长度的多个视频以便捕获此相对独特时刻。

技术实现思路

[0003]本文阐述的一些实施方式涉及自动化助理，该自动化助理允许用户通过口头话语指定应当被满足以便自动化助理控制相机捕获图像数据的一个或多个条件。条件可以是但不限于环境的特征，该特征可以在一个时刻和/或一个时间段内通过处理对应传感器数据而被可视地和/或可听地观察到。以这些和其他方式，可以使用单个口头话语来控制装置的相机以捕获独特时刻，避免用户直接操纵装置的需要。附加地，这可以避免用户在确定何时明确指引相机捕获图像数据时监视相机的电子取景器的需要，和/或避免用户在装置的接口处提供触摸输入以使得图像数据被捕获的需要。因此，实施方式提供了在控制相机时简化的用户输入，这样的单个口头话语用于响应于环境条件被满足而控制相机。这样的实施方式对于具有有限灵活性的用户特别有益。
[0004]此外，实施方式可以保留包括相机并用于捕获图像数据的客户端装置的计算机存储器、磁盘空间和/或电池寿命。例如，实施方式可以防止对当用户正在尝试利用相机捕获特定独特时刻时生成并存储的错误图像数据的捕获。因此，错误图像数据将不占用存储器和/或磁盘空间，并且在处理这样的图像数据时电池寿命将不被无必要地消耗。作为另一示例，一些实施方式可以抑制响应于某些或所有口头话语而呈现电子取景器，所述口头话语用于响应于条件被满足来控制相机，从而保存否则将被这样的呈现消耗的电池资源。
[0005]作为示例并且根据一些实施方式，用户可以通过提供诸如“Assistant,take a video of my dog fetching this toy.(助理，拍一段我的狗接这个玩具的视频)”的口头话语来请求自动化助理捕获宠物表演特技的视频。例如，可以在包括相机的便携式计算装置处接收口头话语，用户正将该相机定向到宠物的方向上。便携式计算装置可以提供对自动化助理的访问，响应于口头话语，自动化助理可以处理口头话语的自然语言内容以便识别在口头话语中体现的请求。例如，当各种条件被满足时，自动化助理可以确定用户正在请
求自动化助理控制相机以捕获某些图像数据。然后，自动化助理可以基于口头话语来识别当在相机捕获的图像数据中观察到狗和玩具时满足的第一条件。自动化助理还可以识别当确定狗可能开始取回玩具和/或正在取回玩具的过程中时满足的第二条件。
[0006]在一些实施方式中，自动化助理可以识别一个或多个经过训练的机器学习模型，所述模型可以在处理数据以确定条件是否被满足时被使用。例如，可以由自动化助理响应于请求来选择识别动物时可以使用的特定的经过训练的机器学习模型，以便辅助处理使用相机生成的图像数据。替代地或附加地，可以选择另一经过训练的机器学习模型来辅助确定图像数据是否指示已经执行了特定动作(例如，狗接玩具)。替代地或附加地，自动化助理可以依赖于可以用于处理其他数据的一个或多个经过训练的机器学习模型，所述其他数据可以包括音频数据、图像数据、应用数据和/或可以用于确定条件是否已经被满足的任何其他合适的数据。
[0007]在一些实施方式中，一个或多个经过训练的机器学习模型可以本地存储在客户端装置上，以便减少发生的某些条件与被辨识的那些某些条件之间的延迟。此外，这可以减少将被卸载到分开的装置以进行进一步处理的数据量，从而减少网络流量。在一些实施方式中，当特定的经过训练的机器学习模型没有被本地存储在客户端装置处时，可以从远程服务器或其他装置下载该特定的经过训练的机器学习模型。自动化助理可以可选地提供指示，尽管来自用户的请求可以由自动化助理处理，但是由于网络活动(例如，下载特定的经过训练的机器学习模型)，将存在延迟。
[0008]当自动化助理已经接收到来自用户的请求时，自动化助理可以开始确定第一条件和第二条件是否已经被满足。在一些实施方式中，这可以涉及处理来自相机的图像数据和/或来自与计算装置集成的麦克风的音频数据。例如，包括狗和玩具的图像可以满足第一条件，并且示出用户将玩具扔离狗的一部分视频数据可以满足第二条件。在一些实施方式中，用于确定某些条件是否被满足的数据可以被临时存储在存储器(例如，RAM)中，但是当条件被满足时捕获的媒体数据可以根据来自用户的请求而被存储。以该方式，用户不需要在条件被满足之前和之后离开相机应用以手动删除大量图像数据。相反，用户可以依赖于自动化助理来确定将作为用户请求自动化助理生成的文件存储(例如，在硬盘驱动器空间中)的媒体数据。
[0009]当自动化助理确定条件被满足时，自动化助理可以使相机从条件被满足时开始记录媒体数据。在一些实施方式中，当来自用户的请求与捕获单个图像的请求相对应时，自动化助理可以在一个或多个条件被满足时使相机捕获一个或多个图像。替代地或附加地，当来自用户的请求与捕获视频的请求相对应时，自动化助理可以使相机从所述一个或多个条件被满足时开始并且在所述一个或多个条件不再被满足时结束来捕获视频。举例而言，在前述示例中，自动化助理可以确定狗已经完成了接玩具，并且因此第二条件不再被满足。基于此确定，自动化助理可以使相机不再记录视频，并且存储捕获的视频。
[0010]在一些实施方式中，用户可以通过继续和他们的狗玩“接玩具”游戏来使自动化助理初始化记录另一视频，而不必向自动化助理提供另一口头话语或其他明确的请求。例如，在自动化助理使相机捕获狗接玩具的第一视频之后，自动化助理可以继续确定第一条件和第二条件是否被满足。当自动化助理确定用户已经指引他们的狗再次接玩具时，自动化助理可以确定第一条件和第二条件再次被满足，并且然后使相机捕获第二视频。以此方式，用
户可以依赖于自动化助理经由相机捕获独特时刻，而不必要求用户直接操纵其便携式计算装置。此外，这可以减少当用户允许其相机记录长视频时否则可能消耗的计算资源的浪费，这意味着捕获比所记录的视频的整个持续时间短得多的时刻。
[0011]在一些实施方式中，用户可以指引自动化助理在自动化助理已经使相机捕获图像数据之前、期间和/本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个处理器实施的方法，所述方法包括：在计算装置处接收指向可经由所述计算装置访问的自动化助理的口头话语，其中，所述计算装置还提供对相机的访问；基于所述口头话语，确定用户正在指引所述自动化助理根据一个或多个条件是否被满足来控制所述相机；其中，所述一个或多个条件在所述口头话语的自然语言内容中被描述；基于所述自动化助理可用的数据，确定所述一个或多个条件是否被满足；以及当所述一个或多个条件被满足时：使所述相机捕获图像数据。2.根据权利要求1所述的方法，其中，确定所述用户正在指引所述自动化助理根据一个或多个条件是否被满足来控制所述相机包括：基于所述口头话语的所述自然语言内容，访问基于所述相机的操作的当前图像数据，以及基于所述当前图像数据中存在的一个或多个对象，偏置对与所述口头话语相对应的音频数据的处理。3.根据权利要求1或权利要求2所述的方法，其中，确定所述一个或多个条件是否被满足包括：响应于接收到所述口头话语，处理捕获所述计算装置或另一计算装置的环境中的音频的其他音频数据，以及确定所述其他音频数据是否包括满足所述一个或多个条件的一个或多个音频特征。4.根据权利要求1或权利要求2所述的方法，其中，确定所述一个或多个条件是否被满足包括：响应于接收到所述口头话语，处理捕获所述计算装置或另一计算装置的环境的一个或多个视觉特征的其他图像数据，以及确定所述一个或多个视觉特征是否满足所述一个或多个条件。5.根据前述权利要求中的任一项所述的方法，其中，使所述相机捕获所述图像数据包括：基于所述口头话语的所述自然语言内容修改所述相机的一个或多个设置，其中，所述图像数据在所述相机正在根据所述一个或多个设置操作时被捕获。6.根据权利要求1或权利要求2所述的方法，其中，确定所述一个或多个条件是否被满足包括：响应于接收到所述口头话语，处理指示可经由所述计算装置或另一计算装置访问的应用的状态的应用数据，以及确定所述应用的所述状态是否满足所述一个或多个条件。7.根据前述权利要求中的任一项所述的方法，其中，所述计算装置是便携式计算装置，并且所述口头话语在所述用户正在操纵所述便携式计算装置时被接收。8.根据权利要求7所述的方法，其中，在所述用户提供所述口头话语之后不直接接触所述计算装置的任何可编程触摸接口的情况下，使所述相机捕获所述图像数据被执行。9.一种由一个或多个处理器实施的方法，所述方法包括：
在计算装置处接收来自用户的输入，其中，所述计算装置提供对自动化助理和相机的访问；基于所述输入确定所述输入是对所述自动化助理根据一个或多个条件操作所述相机的请求，其中，所述一个或多个条件在所述输入的自然语言内容中被指定；基于所述一个或多个条件访问一个或多个经过训练的机器学习模型，其中，所述自动化助理访问所述一个或多个经过训练的机器学习模型以辅助识别所述计算装置或另一计算装置的环境的一个或多个特征；使用所述一个或多个经过训练的机器学习模型来处理表征所述计算装置或另一计算装置的所述环境的一个或多个当前特征的数据；基于所述数据确定所述环境的所述一个或多个当前特征是否满足所述一个或多个条件，其中，当所述计算装置或另一计算装置的所述环境展示一个或多个指定特征时，所述一个或多个条件被满足；当确定所述一个或多个条件被满足时：使所述相机捕获图像数据。10.根据权利要求9所述的方法，其中，当所述环境的当前特征展示特定属性时，所述一个或多个条件中的条件被满足，以及其中，处理...

【专利技术属性】
技术研发人员：费利克斯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：