由助理系统启用的智能摄像机技术方案

一种系统、介质和方法，包括从与用户相关联的客户端系统接收来自用户的用户输入，其中客户端系统包括一个或更多个摄像机，基于一个或更多个机器学习模型和由一个或更多个摄像机捕获的感测数据确定一个或更多个摄像机的视场中的一个或更多个兴趣点，基于一个或更多个兴趣点生成多个媒体文件，其中每个媒体文件是一个或更多个兴趣点中的至少一个的记录，基于多个媒体文件生成一个或更多个精彩片段文件，其中每个精彩片段文件包括满足预定义质量标准的媒体文件，以及向客户端系统发送用于呈现一个或更多个精彩片段文件的指令。现一个或更多个精彩片段文件的指令。现一个或更多个精彩片段文件的指令。

【技术实现步骤摘要】
【国外来华专利技术】由助理系统启用的智能摄像机


[0001]本公开总体上涉及在网络环境内的数据库和文件管理，且具体涉及用于智能助理(smart assistant)系统的硬件和软件。
[0002]背景
[0003]助理系统可以基于用户输入、位置感知和从各种在线源访问信息(如天气状况、交通拥堵、新闻、股票价格、用户日程、零售价格等)的能力的组合来为用户提供信息或服务。用户输入可以包括文本(例如，在线聊天)(尤其是在即时消息传递应用或其他应用中的文本)，声音(voice)、图像、运动(motion)或它们的组合。助理系统可以基于用户输入来执行礼宾类型的服务(例如，预订晚餐、购买活动门票、安排旅行)或者提供信息。助理系统还可以基于在线信息和事件来执行管理或数据处理任务，而无需用户启动或交互。可以由助理系统执行的那些任务的示例可以包括日程管理(例如，对晚餐约会发送用户由于交通状况而要迟到的告警信息，更新双方的日程，以及改变餐馆预订时间)。助理系统可以通过计算设备、应用编程接口(API)、以及用户设备上应用激增(proliferation)的组合来实现。
[0004]可以包括社交网络网站的社交网络系统可以使它的用户(例如个人或组织)能够与它互动以及通过它彼此互动。社交网络系统可以利用来自用户的输入来在社交网络系统中创建并存储与用户相关联的用户简档(user profile)。用户简档可以包括用户的人口统计信息、通信渠道信息以及关于个人兴趣的信息。社交网络系统还可以用来自用户的输入来创建并存储用户与社交网络系统的其他用户的关系的记录，以及提供服务(例如，简档/动态消息(news feed)帖子、照片分享、事件组织、消息传递、游戏或广告)以便于在用户之间或当中的社会交互。
[0005]社交网络系统可以通过一个或更多个网络向用户的移动设备或其他计算设备发送与它的服务相关的内容或消息。用户还可以在用户的移动设备或其他计算设备上安装软件应用，用于访问用户的用户简档和在社交网络系统内的其他数据。社交网络系统可以生成一组个性化的内容对象以显示给用户，例如关连(connect)到该用户的其他用户的汇集的动态(story)的动态消息(newsfeed)。
[0006]特定实施例的概述
[0007]在特定实施例中，助理系统可以帮助用户获得信息或服务。助理系统可以使用户能够在有状态和多轮会话(stateful and multi
‑
turn conversation)中利用多模态用户输入(例如声音、文本、图像、视频、运动)与它进行交互来获取帮助。作为示例而非限制，助理系统可以支持音频(口头)输入和非口头输入，例如视觉、位置、手势、运动或混合/多模态输入。助理系统可以创建和存储用户简档，该用户简档包括与用户相关联的个人信息和上下文信息(contextual information)。在特定实施例中，助理系统可以使用自然语言理解来分析用户输入。分析可以基于用户的用户简档，以获得更个性化和上下文感知的理解。助理系统可以基于分析来解析(resolve)与用户输入相关联的实体。在特定实施例中，助理系统可以与不同的代理交互，以获得与解析的实体相关联的信息或服务。助理系统可以通过使用自然语言生成为用户生成关于信息或服务的响应。通过与用户的交互，助理系统可以
使用对话管理技术来管理和推进与用户的会话流。在特定实施例中，助理系统还可以通过汇总(summarize)信息来辅助用户有效且高效地消化所获得的信息。助理系统还可以通过提供帮助用户与在线社交网络交互(例如，创建帖子、评论、消息)的工具，来帮助用户更好地参与在线社交网络。助理系统另外可以帮助用户管理不同的任务，如持续跟踪事件。在特定实施例中，助理系统可以在没有用户输入的情况下，基于用户简档，在与用户相关的时间主动执行与用户兴趣和偏好相关的任务。在特定实施例中，助理系统可以检查隐私设置，以确保根据用户的隐私设置来允许访问用户的简档或其他用户信息以及执行不同的任务。
[0008]在特定实施例中，助理系统可以通过建立在客户端进程和服务器端进程上的混合架构来帮助用户。客户端进程和服务器端进程可以是用于处理用户输入和向用户提供帮助的两个并行工作流。在特定实施例中，客户端进程可以在与用户相关联的客户端系统上本地执行。相比之下，服务器端进程可以在一个或更多个计算系统上远程执行。在特定实施例中，客户端系统上的仲裁器可以协调接收用户输入(例如，音频信号)，确定是使用客户端进程还是服务器端进程或两者来响应用户输入，以及分析来自每个进程的处理结果。仲裁器可以基于上述分析指示客户端或服务器端的代理执行与用户输入相关联的任务。执行结果可以进一步作为输出渲染给客户端系统。通过利用客户端和服务器端进程，助理系统可以有效地帮助用户优化计算资源的使用，同时保护用户隐私和增强安全性。
[0009]在特定实施例中，当使用助理驱动的启用摄像机的客户端系统(例如，具有摄像机的智能电话、AR/VR眼镜、智能显示器)时，助理系统可以通过向用户提供不用手的图片/视频捕获、共享和记忆回忆来改善助理系统的用户体验。助理系统可以具有对象/人识别、兴趣点确定和精彩片段(highlight)生成的附加功能。助理系统可以被动地(reactively)和主动地帮助用户。在被动场景中，可存在从用户经由客户端系统到助理系统的显式命令或提示(例如，“拍照”)。然后，助理系统可以将其转换为机器标准意图，并通过启用了摄像机的客户端系统执行相关联的任务来为用户服务。在主动场景中，助理系统本身可以基于其通过客户端系统接收的信号，例如来自AR眼镜的用户的眼睛凝视，来确定其可以代表用户通过启用摄像机的客户端系统采取的潜在有趣的动作。尽管本公开描述了通过特定系统以特定方式在特定基于摄像机的任务中帮助用户，但是本公开设想通过任何合适的系统以任何合适的方式在任何合适的基于摄像机的任务中帮助用户。
[0010]在特定实施例中，助理系统可以从与用户相关联的客户端系统接收来自用户的用户输入。客户端系统可以包括一个或更多个摄像机。在特定实施例中，助理系统然后可以基于一个或更多个机器学习模型和由一个或更多个摄像机捕获的感测数据，确定一个或更多个摄像机的视场中的一个或更多个兴趣点。助理系统然后可以基于一个或更多个兴趣点生成多个媒体文件，其中每个媒体文件是一个或更多个兴趣点中的至少一个的记录。在特定实施例中，助理系统然后可以基于多个媒体文件生成一个或更多个精彩片段文件。每个精彩片段文件可以包括满足预定质量标准的媒体文件。在特定实施例中，助理系统还可以向客户端系统发送用于呈现一个或更多个精彩片段文件的指令。
[0011]通过助理系统启用智能摄像机存在某些技术挑战。一个技术挑战可能包括准确确定兴趣点。本文公开的实施例提出的解决上述挑战的解决方案可以是使用不同的机器学习算法分析由客户端系统捕获的感测数据，并基于该分析确定兴趣度，这可以导致兴趣点的更精确的确定，因为机器学习算法有助于定位用户在视场中的兴趣，并且兴趣度进一步细
化了这种兴趣的确定。另一个技术挑战可能包括生本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括由一个或更多个计算系统：从与用户相关联的客户端系统接收来自所述用户的用户输入，其中所述客户端系统包括一个或更多个摄像机；基于一个或更多个机器学习模型和由所述一个或更多个摄像机捕获的感测数据，确定所述一个或更多个摄像机的视场中的一个或更多个兴趣点；基于所述一个或更多个兴趣点生成多个媒体文件，其中每个媒体文件是所述一个或更多个兴趣点中的至少一个的记录；基于所述多个媒体文件生成一个或更多个精彩片段文件，其中每个精彩片段文件包括满足预定义质量标准的媒体文件；和向所述客户端系统发送用于呈现所述一个或更多个精彩片段文件的指令。2.根据权利要求1所述的方法，其中所述感测数据基于文本信号、视觉信号或音频信号中的一个或更多个；和/或优选地，其中所述用户输入基于文本输入、音频输入、图像输入、视频输入、眼睛凝视、手势或运动中的一个或更多个；和/或优选地，其中所述多个媒体文件中的每一个包括图像或视频剪辑中的一个或更多个。3.根据权利要求1或权利要求2所述的方法，其中确定所述兴趣点包括：检测所述视场中的一个或更多个人；和基于一个或更多个面部识别算法，确定检测到的人中的一个或更多个人的一个或更多个标识符；并且优选地，其中确定所述兴趣点是基于所述检测到的人中的一个或更多个人的兴趣度的度量，其中所述兴趣度的度量是由所述一个或更多个机器学习模型基于所述标识符中的一个或更多个来确定的。4.根据权利要求1或权利要求2所述的方法，其中确定所述兴趣点包括：检测所述视场中的一个或更多个人；和确定检测到的人中的一个或更多个人的一个或更多个面部表情；并且优选地，其中确定所述兴趣点是基于所述检测到的人中的一个或更多个人的兴趣度的度量，其中所述兴趣度的度量是由所述一个或更多个机器学习模型基于所述面部表情中的一个或更多个来确定的。5.根据权利要求1或权利要求2所述的方法，其中确定所述兴趣点包括：检测所述视场中的一个或更多个对象；并且优选地，其中确定所述兴趣点是基于检测到的对象中的一个或更多个的兴趣度的度量，其中所述兴趣度的度量是由所述一个或更多个机器学习模型基于所述检测到的对象中的一个或更多个来确定的。6.根据权利要求1至5中任一项所述的方法，其中确定所述兴趣点基于由所述客户端系统捕获的所述用户的眼睛凝视数据。7.根据权利要求1至6中任一项所述的方法，其中所述预定义质量标准基于模糊度、亮度或颜色的鲜艳度中的一个或更多个。8.根据权利要求1至7中任一项所述的方法，还包括：响应于所述精彩片段文件，从所述客户端系统接收来自所述用户的用户查询；访问与所述用户相关联的多个情节记忆；将所访问的情节记忆中的一个或更多个情节记忆识别为与所述用户查询相关；检索对应于所识别的情节记忆的一个或更多个媒体文件，其中每个媒体文件包括帖
子、评论、图像...

【专利技术属性】
技术研发人员：尼古拉斯，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：