在视频聊天应用中自动跟踪用户移动制造技术

本发明专利技术涉及在视频聊天应用中自动跟踪用户移动。公开了一种通过在计算设备中执行的视频聊天应用自动跟踪用户的移动的系统。连接于该计算设备的捕捉设备捕捉其视野中的用户并标识出标识捕捉区域的捕捉帧中的用户的头部、颈部和肩部的位置的像素子帧。该像素子帧被显示给远程计算设备处正在参与同用户的视频聊天的远程用户。当用户移动到捕捉区域内的下一位置时，该捕捉设备自动跟踪用户的头部、颈部和肩部的位置。标识在下一位置的用户的头部、颈部和肩部的下一像素子帧被标识并显示给远程计算设备处的远程用户。

【技术实现步骤摘要】

本专利技术涉及视频聊天应用，尤其涉及在视频聊天应用中自动跟踪用户移动。
技术介绍
诸如视频会议系统和视频聊天系统等视频通信系统为位于不同地点的多个参加者提供了与彼此通信的能力。视频通信系统可利用web相机和话筒来捕捉音频/视频内容并通过网络实时向其他用户传送所述内容。然而，视频通信通常需要用户在与远程计算设备处的远程用户通信时在相机前静止。用户的任何移动通常使得用户不再被相机和远程计算设备处的远程用户最佳地查看。
技术实现思路
本文公开一种方法和系统，参与同远程计算设备处的远程用户的视频聊天应用的用户通过该方法和系统能够在连接于该用户的计算设备的相机的视野内移动且仍然能够被该相机和该远程用户最佳地观看。在一个实施例中，当用户移动到视野内的不同位置时， 该相机自动跟踪该用户的头部、颈部和肩部的位置，由此消除该用户在与该视频聊天应用交互时静止且在相机前方的必要性。含有在该视野内的第一位置的该用户的头部、颈部和肩部的像素子帧(sub-frame of pixels)被标识并向远程计算设备处的远程用户显示。通过自动跟踪该视野内的用户的头部、颈部和肩部的位置，检测该用户向该视野内的下一位置的移动。标识下一位置的用户的头部、颈部和肩部的位置的下一像素子帧被标识并向远程计算设备处的远程用户显示。在一个实施例中，公开了一种自动跟踪参与在计算设备中执行的视频聊天应用的用户的移动的方法。该方法包括从连接到计算设备的深度相机接收包括捕捉区域的一个或多个深度图像的捕捉帧并确定该捕捉帧是否包括在该捕捉区域中的第一位置的用户。该方法包括标识该捕捉帧中的像素子帧并将该像素子帧显示给远程计算设备处的远程用户。该像素子帧含有第一捕捉帧中的用户的头部、颈部和肩部的位置。然后该方法包括自动跟踪第一像素子帧中用户的头部、颈部和肩部的位置到该捕捉区域内的下一位置。该方法还包括标识下一像素子帧并将该下一像素子帧向显示给该远程计算系统中的该远程用户。该下一像素子帧含有在该捕捉区域的下一位置的用户的头部、颈部和肩部的位置。提供本
技术实现思路
以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本
技术实现思路
并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提及的任何或所有缺点的实现。附图说明图1示出了用于执行所公开技术的各操作的目标识别、分析和跟踪系统的一个实施例。图2示出了可用作跟踪系统的一部分的捕捉设备的一个实施例。图3示出了可用来实现图1-2的计算设备的计算设备的示例。图4示出了可被用于实现计算设备的另一实施例的通用计算设备。图5是描述当用户在与计算设备中执行的视频聊天应用交互的同时在捕捉设备的视野内移动时自动跟踪用户的头部、颈部和肩部的位置的过程的一个实施例的流程图。图6是描述当在捕捉区域中检测到多于一个用户时执行图5中描述的过程的一个实施例的流程图。图7是描述用于执行所公开的技术的各操作的过程的另一实施例的流程图，其中标识了含有一个或多个用户的像素子帧，所述一个或多个用户在与视频聊天应用交互的同时提供声音输入。图8示出了可在图5中生成的、表示所扫描的人类目标的骨架模型或映射的示例。图9A到IOC示出了用户移动到捕捉设备的视野内的不同位置以及向在远程计算系统处的远程用户显示的视频馈送(video feed)的所得输出的屏幕截图。图9A是在捕捉帧中标识的像素子帧的示例描绘。图9B是向远程用户显示的视频馈送的输出的示例描绘。图9C是用户移动到捕捉区域内的下一位置的示例描绘。图9D是向远程用户显示的下一像素子帧的示例描绘。图IOA示出了捕捉区域的捕捉帧中的像素子帧中多于一个用户的检测和标识。图IOB是经由远程计算设备处的显示屏幕向远程用户显示的视频馈送的输出的示例描绘。图IOC是将各个子帧中显示的用户合成到经由远程计算设备处的显示屏幕向远程用户显示的单个输出子帧中的示例描绘。具体实施例方式公开一种自动跟踪参与视频聊天应用的用户的移动并显示用户的连续帧图像的方法。连接于计算设备的捕捉设备捕捉捕捉设备的视野内的用户。在捕捉设备捕捉的捕捉区域的捕捉帧中标识含有用户的头部、颈部和肩部的像素子帧。该像素子帧向远程计算设备处正在参与同用户的视频聊天应用的远程用户显示。在一个实施例中，该捕捉设备还检测捕捉区域中的多于一个用户并自动调整像素子帧来包括所有用户。标识用户的头部、颈部和肩部的像素子帧被显示给远程计算系统处的远程用户。用这种方式，在视频聊天应用的用户间提供更好的用户体验，此时每个用户的头部、颈部和肩部被一致地显示给远程用户，而不管用户相对于捕捉帧的移动。在一个实施例中，通过自动跟踪捕捉区域中的用户的头部、颈部和肩部的位置而检测用户向捕捉区域中的下一位置的移动。含有在捕捉区域中的下一位置的用户的下一像素子帧被显示给远程用户。在一个实施例中，为了最好地将该用户显示给远程用户，在将像素子帧显示给远程用户之前，该用户的头部、颈部和肩部的位置被自动定位在该像素子帧的中心。图1示出了用于执行所公开技术的各操作的目标识别、分析和跟踪系统10(下文中统称为跟踪系统)的一个实施例。目标识别、分析和跟踪系统10可用来识别、分析和/或跟踪诸如用户18和19之类的一个或多个人类目标。如图1所示，跟踪系统10可包括计算设备12。在一个实施例中，计算设备12可被实现为有线和/或无线设备、个人计算机、 便携式计算机设备、移动计算设备、媒体设备、通信设备、视频处理和/或呈现设备、游戏设备、电子设备和/或可被实现为以音频、视频和/或图像数据中的任何形式接收媒体内容的任何其他类型的设备中的任何一个或其组合。根据一个实施例，计算设备12可以包括硬件组件和/或软件组件，以使得计算设备12可用来执行游戏应用或其它非游戏应用。在一个实施例中，计算设备12可包括可执行在处理器可读存储设备上存储的、用于执行在此描述的过程的指令的处理器，诸如标准化处理器、专用处理器、微处理器等。如图1所示，跟踪系统10还可包括捕捉设备20。捕捉设备20例如可以是相机，该相机可以用于视觉地监控诸如用户18和19等一个或多个用户，使得来自该用户的移动、姿势以及音频响应可以被捕捉设备20捕捉和跟踪。根据一个实施例，计算设备12可以连接到诸如电视机、监视器、高清电视机 (HDTV)等可向用户18和19提供视觉和/或音频的视听设备16。例如，计算设备12可以包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，这些适配器可以向输出设备提供视听信号。视听设备16可从计算设备12接收视听信号，并且然后可向用户 18和19输出与视听信号相关联的视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算设备12。在一个实施例中，在用户与在计算设备12中执行的视频聊天应用交互时，捕捉设备20检测捕捉设备的视野6内的一个或多个用户(诸如用户18、19)并跟踪视野6内的用户的移动。线2和4表示视野6的边界。下面详细讨论由计算设备12和捕捉设备20执行的操作。图2示出了捕捉设备20和计算设备12的一个实施例，它们可以在目标识别、分析和跟踪系统10中使用，以便识别本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：B·麦克道尔，D·阿普费尔，
申请(专利权)人：微软公司，
类型：发明
国别省市：