支持复合视频流的视频会议制造技术

根据所公开的示例，经由与参与多方视频会议的第一通信设备(110)相关联的第一摄像头(116)来捕获第一视频流。第一视频流包括多个二维图像帧。在第一视频流的每个图像帧内识别与第一人物对象(112)相对应的像素子集。经由与参与多方视频会议的第二通信设备(120)相关联的第二摄像头(124)捕获第二视频流。渲染由第二视频流的至少一部分和第一视频流的像素子集形成的复合视频流(130)，并且输出复合视频流以在第一和/或第二通信设备中的一个或多个通信设备处显示。复合视频流可以提供远程放置的参与者在物理上存在于同一视觉场景中的观感。

【技术实现步骤摘要】
【国外来华专利技术】支持复合视频流的视频会议
技术介绍
视频会议使参与者能够通过远程放置的通信设备看到和听到彼此。在视频会议期间，远程摄像机流的视图可以与本地摄像机流的视图在显示设备的单独的、预定义的图形窗口中同时呈现。例如，远程摄像机流可以呈现在具有比本地摄像机流更大的尺寸的窗口内。
技术实现思路
提供本
技术实现思路
以便以简化的形式对下面在具体实施方式中进一步描述的设计构思的选择进行介绍。本
技术实现思路
并不旨在标识要求保护的主题的关键特征或重要特征，也不旨在用于限制要求保护的主题的范围。另外，要求保护的主题不局限于解决本公开内容的任何部分中指出的任何或所有缺点的实现。在本公开内容的示例中，经由与参与多方视频会议的第一通信设备相关联的第一摄像头捕获第一视频流。所述第一视频流包括多个二维图像帧。在所述第一视频流的每个图像帧内识别与第一人物对象相对应的像素子集。经由与参与所述多方视频会议的第二通信设备相关联的第二摄像头捕获第二视频流。渲染由所述第二视频流的至少一部分和所述第一视频流的所述像素子集形成的复合视频流，并且输出所述复合视频流以在所述第一和/或第二通信设备中的一个或多个通信设备处显示。所述复合视频流可以提供远程放置的参与者在物理上存在于同一视觉场景中的观感。附图说明图1描绘了在由第一用户操作的第一通信设备和由第二用户操作的第二通信设备之间进行的视频会议的示例。图2是描绘示例计算系统的示意图。图3是描绘示例视频会议方法的流程图。图4是描绘示例图形用户界面的示意图。图5是描绘示例计算系统的方面的示意图。具体实施方式图1描绘了在由第一用户112操作的第一通信设备110和由第二用户122操作的第二通信设备120之间进行的视频会议的示例。第一和第二通信设备110、120在参与视频会议时可以是彼此远离放置的。在图1中描绘的示例中，将捕获第一用户112和第二用户122的视频流的一些部分组合成可以经由第一和第二通信设备110、120的显示设备显示的复合视频流。复合视频流可以提供第一用户112和第二用户122在物理上存在于同一视觉场景内的观感。例如，在图1中，第二通信设备120被描绘为经由显示设备126显示复合视频流130，显示设备126包括在132处表示的第一用户112和在134处表示的第二用户122二者。在该示例中，使用平板电脑作为第一通信设备110和大尺寸显示器作为第二通信设备120来进行视频会议。在其他示例中，可以使用适用于视频会议的任何计算设备或电子设备。例如，用户可以使用诸如智能电话之类的移动设备参与视频会议。移动设备可以允许用户访问感兴趣的位置(例如，博物馆、观景点、事件、朋友/家人的房子等)以创建视频会议的远程放置的参与者也出现在感兴趣的位置的观感。通过在视觉上将视频会议的两个或更多个远程放置的参与者置于共同场景或环境中，可以使视频会议的参与更具互动性和愉悦性。如本文中进一步详细描述的，在视频流中捕获的视频会议的一些或全部参与者可以从他们自己的视频流的背景区域中分割并且与另一参与者的视频流的至少一部分组合以获得可以向部分或所有参与者显示的复合视频流。例如，在图1中，可以从场景的背景区域142中分割出在真实世界场景140内由第一通信设备110的摄像头116捕获的第一用户112或其一部分，以获得形成与第一用户相对应的视频流的遮蔽区域144的像素子集。遮蔽区域144可以近似于第一用户112或其一部分的轮廓，并且因此可以具有可以随视频流的帧而变化的不规则形状。与第一用户相对应的遮蔽区域144可以与由包括第二用户122或其一部分的第二通信设备120的摄像头124捕获的第二视频流的至少一部分组合以获得复合视频流。在示例中，复合视频流可以包括从覆盖在第二视频流上的第一视频流分割的一个或多个遮蔽区域。例如，第二视频流可以捕获第二用户122(以134表示)并且可以以第二用户物理地位于其中的真实世界场景136为特征。与第一用户112(以132表示)相对应的遮蔽区域144可以覆盖在包含第二用户(以134表示)和真实世界场景136的第二视频流上以获得复合视频流130。在该示例中，真实世界场景136可以对应于包含第二用户122的沙发的客厅。在另一示例中，复合视频流可以包括从覆盖在背景影像(例如背景图像或视频)上的两个或更多个视频流中分割出的一个或多个遮蔽区域。例如，复合视频流130内的在136处描绘的真实世界场景可以改为采用不表示复合视频流中包括的任何用户的真实世界场景的背景影像的形式，如图4中所描绘的。在该示例中，可以从视频流中捕获的场景的背景区域中分割第二用户122以获得形成与第二用户相对应的视频流的遮蔽区域的像素子集，如先前针对第一用户所描述的。在一些示例中，视频会议的参与者可能能够选择是查看(1)多个远程放置的参与者的复合视频流，(2)参与者的单独视频流，还是(3)它们的某种组合。例如，再次参考图1，通信设备110包括显示设备114，其显示包含由第二通信设备120的摄像头124捕获的第二用户122的视频流以及包含由第一通信设备的摄像头114捕获的第一用户112的视频流。在该示例中，由摄像头114捕获的视频流(即，本地视频流)被呈现为覆盖在由摄像头124捕获的视频流(即，远程视频流)之上或在其旁边呈现的缩略图视图。然而，可以使用其他合适的配置。此外，第一用户112可以替代地选择经由显示设备114观看复合视频流，其在视觉上可以与经由第二通信设备120的显示设备126显示的复合视频流130相同或不同。如前所述，从源视频流中分割出以包含在复合视频流中的一个或多个遮蔽区域可以具有这样的形状：与人物对象或其一部分的形状近似。通过从源视频流中去除背景特征，由遮蔽区域定义的人物对象的视觉表示可以提供人物对象存在于复合视频流的视觉场景中的观感。该特征与使用具有几何或规则形状(例如，矩形窗口)的单独的、预定义的图形窗口来同时呈现两个或更多个视频流(例如由图1中的显示设备114呈现)形成对比。通过提供两个或更多远程放置的参与者位于共同场景中的观感，复合视频流可以增加视频会议参与者之间的交互、有趣和在一起的感觉。图2是描绘示例计算系统200的示意图，其包括经由通信网络230与第二通信设备220通信的第一通信设备210。第一通信设备210是图1的第一通信设备110的示例。第一通信设备210可以与摄像头212、显示设备214和音频系统216相关联，其中每一个都可以与第一通信设备集成或在其外围。类似地，第二通信设备220可以与摄像头222、显示设备224和音频系统226相关联，其中每一个都可以与第二通信设备集成或在其外围。第二通信设备220是图1的第二通信设备120的示例。如先前参考图1所描述的，第一和第二通信设备210、220之间的通信可以采取视频会议的形式，通过该形式，由第一和第二通信设备中的每个通信设备的摄像头捕获的视频流以图形方式显示在第一和第二通信设备中的另一通信设备的显示设备上。另外，由第一和第二通信设备210、220中的每个通信设备的音频系统的麦克风捕获的音频可以被再本文档来自技高网...

【技术保护点】
1.一种由计算系统执行的方法，所述方法包括：/n获得经由与参与多方视频会议的第一通信设备相关联的第一摄像头捕获的第一视频流，所述第一视频流包括多个二维图像帧；/n在所述第一视频流的每个图像帧内识别与第一人物对象相对应的像素子集；/n获得经由与参与所述多方视频会议的第二通信设备相关联的第二摄像头捕获的第二视频流；/n渲染由所述第二视频流的至少一部分和所述第一视频流的所述像素子集形成的复合视频流；以及/n输出所述复合视频流。/n

【技术特征摘要】
【国外来华专利技术】20181221 US 16/230,9831.一种由计算系统执行的方法，所述方法包括：
获得经由与参与多方视频会议的第一通信设备相关联的第一摄像头捕获的第一视频流，所述第一视频流包括多个二维图像帧；
在所述第一视频流的每个图像帧内识别与第一人物对象相对应的像素子集；
获得经由与参与所述多方视频会议的第二通信设备相关联的第二摄像头捕获的第二视频流；
渲染由所述第二视频流的至少一部分和所述第一视频流的所述像素子集形成的复合视频流；以及
输出所述复合视频流。


2.根据权利要求1所述的方法，还包括：
在所述第一视频流的每个图像帧内识别所述第一人物对象；并且
其中，识别每个图像帧内的所述像素子集包括：从所述第一视频流的每个图像帧内与背景区域的像素相对应的另一像素子集分割所述图像帧内与所述第一人物对象的像素相对应的所述像素子集。


3.根据权利要求2所述的方法，其中，所述第一人物对象是通过将计算机视觉应用于所述第一视频流的所述图像帧中的一个或多个图像帧来识别的。


4.根据权利要求1所述的方法，还包括：
通过通信网络从远程计算设备获得针对所述第一视频流的遮蔽数据，所述遮蔽数据指示与所述第一人物对象相对应的所述像素子集；并且
其中，识别所述像素子集是基于所述遮蔽数据的。


5.根据权利要求1所述的方法，其中，输出所述复合视频流包括经由显示设备来呈现所述复合视频流。


6.根据权利要求1所述的方法，其中，输出所述复合视频流包括：通过通信网络将所述复合视频流发送到所述第一通信设备和/或所述第二通信设备中的一个或多个。


7.根据权利要求1所述的方法，其中，所述复合视频流作为经由显示设备呈现的图形用户界面的一部分被输出，其中所述图形用户界面还包括图像捕获选择器；并且
其中，所述方法还包括，响应于对所述图像捕获选择器的用户选择，捕获所述复合视频的图像。


8.根据权利要求1所述的方法，还包括：
根据用户输入来重新缩放和/或重新放置与所述复合视频流之内的所述第一人物对象相对应的所述像素子集。


9.根据权利要求1所述的方法，其中，所述复合视频流是通...

【专利技术属性】
技术研发人员：H·V·特贝尔，M·J·波普，J·C·唐，G·D·维诺利亚，D·Y·赵，K·M·因克佩恩，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US