自动确定移动演示者的适当构图和间距制造技术

本申请公开了自动确定移动演示者的适当构图和间距。覆盖演示者的三分法框架的尺寸以及视频会议相机的缩放和平移是基于演示者的运动的。所述框架的所述尺寸以及因此在所述框架中提供的行走空间随所述演示者的速度而变化。所述演示者越慢，所述框架越小且越紧密。所述演示者越快，所述框架越大且越宽松。如果所述演示者在踱步，则开发踱步框架，所述踱步框架以所述踱步的界限为中心并且大到足以覆盖所述踱步的两端。移动框架和所述踱步框架为观看者提供令人愉悦的体验，其中所述演示者不会显得局促或走出所述框架。显得局促或走出所述框架。显得局促或走出所述框架。

【技术实现步骤摘要】
自动确定移动演示者的适当构图和间距


[0001]本公开涉及视频流处理，并且更具体地涉及移动个体的图像传输。

技术介绍

[0002]在许多教育环境中，演示者(诸如教师、讲师或讲话者)对观众讲话，无论是本地观众、远程观众还是它们的组合。通常，演示者四处走动比站着不动更舒服。正因为如此，视频会议终端包括一种用于演示者跟踪的模式，其中相机平移以跟随演示者。然而，大多数视频会议终端都努力将演示者置于框架的中心。虽然这在演示者不移动的情况下是可接受的，但当演示者移动时，由于演示者跟踪软件中的时间滞后，这通常会导致演示者在演示者移动的方向上看起来非常接近框架的边缘。这导致观看者感到局促和不适，因为演示者看起来将要撞到框架的边缘或走出框架。在某些情况下，演示者跟踪软件足够快，可将演示者保持在框架的中心附近，但这仍然会导致观看者到局促和不适。
附图说明
[0003]图1是演示者和观众的展示。
[0004]图2是根据本专利技术的站立演示者的构图的展示。
[0005]图3是根据本专利技术的行走演示者的构图的展示。
[0006]图4是根据本专利技术的慢跑演示者的构图的展示。
[0007]图5是根据本专利技术的奔跑演示者的构图的展示。
[0008]图6是根据本专利技术的踱步演示者的构图的展示。
[0009]图7A至图7C是根据本专利技术的移动演示者的近端视频会议终端的操作流程图。
[0010]图8是根据本专利技术的编解码器的框图。
[0011]图9是根据本专利技术的相机的框图。
[0012]图10是图8和图9的处理器单元的框图。
[0013]图11是根据本专利技术的相机的前视图的展示。
具体实施方式
[0014]在根据本专利技术的实例中，覆盖演示者的三分法框架的尺寸以及视频会议相机的缩放和平移是基于演示者的运动的。所述框架的所述尺寸以及因此在所述框架中提供的行走空间随所述演示者的速度和姿态而变化。所述演示者越慢，所述框架越小且越紧密。所述演示者越快，所述框架越大且越宽松。如果所述演示者在踱步，则开发踱步框架，所述踱步框架以所述踱步的界限为中心并且大到足以覆盖所述踱步的两端。移动框架和所述踱步框架为观看者提供令人愉悦的体验，其中所述演示者不会显得局促或走出所述框架。
[0015]现在参考图1，演示者P展示为从升高的舞台S向观众A演示。可能有另外的观众成员在线连接到视频会议终端，该视频会议终端具有指向演示者的相机。图2展示了处于静止站立位置且手臂在移动的演示者P。三分法框架F1覆盖在演示者P上方，以指示演示者P处于
站立位置时的期望构图配置。可以看出，演示者P的面部中心位于框架F1的左三分之一竖直线上并且演示者P的面部略高于框架F1的上三分之一水平线。框架F1与演示者P紧密间隔开。这为视频会议的观看者提供了演示者P的令人愉悦的视图。
[0016]在图3中，演示者P开始在舞台S上向右行走。三分法框架F2比图2的框架F1大得多，因为相机已拉远。可以看出，演示者P仍然位于框架F2的三分之一竖直线上并且靠近框架F2的三分之一水平线，但框架F2要大得多以捕获整个演示者P并且这也是因为演示者的移动。框架F2的这一尺寸还基于演示者P的移动提供了期望的宽松度。框架F2更大以允许演示者P有空间走进框架F2。如果框架F2较小(诸如框架F1的尺寸)，则演示者P看起来像要撞到框架F1的右边缘，从而为观看者提供不适的视图。通过使框架F2更大，并使构图如通过缩放量所确定的那样更宽松或更宽，观看者更舒适，因为演示者P不会撞到框架F2的边缘。
[0017]图4展示了演示者P在舞台S上慢跑，在该案例中沿从左到右的方向慢跑。三分法框架F3甚至比图3的框架F2更大并且相机已拉得更远，这是因为演示者P的速度增加，从行走变成了慢跑。速度增加导致构图的进一步宽松化或加宽。
[0018]图5展示了演示者P奔跑穿过舞台S，基于更高的运动速率，具有更大的三分法框架F4。演示者P的速度的进一步增加导致基于相机的更大拉远，构图更宽松或更宽。因此，在图3、图4和图5中可以看出，当演示者P移动时，用于捕获演示者P的框架的尺寸会基于演示者P的速度而改变。当使用三分法或期望宽松度量执行构图时，演示者P的行走空间随后也会基于演示者P的速度而改变尺寸。如果演示者P如图2所示是固定的，则框架处于其最紧密和最窄的尺寸并随着演示者P的速度而增加，如图3、图4和图5所示。
[0019]图6展示了当演示者P在舞台S上来回踱步时使用的三分法踱步框架FP。最左侧踱步位置被确定为左侧演示者位置P
L
的位置L和右侧演示者位置P
R
的位置R。踱步框架FP的尺寸设定成允许捕获每一端具有少量空间的整个踱步距离，从而在已确定演示者P的踱步界限之后不需要重新构图。当演示者P在舞台上来回踱步时，踱步框架FP保持在较大水平上，如在包括位置L和R的踱步框架FP中一样。踱步框架FP以位置L和位置R之间的中心线C为中心。由于观看者理解踱步演示者P实际上不会因为踱步运动而离开踱步框架的任何方向，因此观看者对踱步框架FP感到舒适，即使它不严格遵守三分法或与踱步速度相关的宽松度。
[0020]图7A至图7C是如图3至图6中所展示的移动演示者的构图流程图。在步骤702中，从视频会议终端的相机接收样本视频框架。在一个实例中，该样本视频框架以相对缓慢的速率接收，诸如每100ms至500ms接收一个。这种缓慢的速率是可以接受的，因为通常讲话的参与者不会频繁地改变速度或方向。在步骤704中，在样本视频框架中检测视图中的参与者，并为每个参与者确定姿态关键点。在演示者模式操作的情况下，这通常会导致检测到大多数课堂或讲座中的单个参与者。在小组的情况下，视图中将有多个参与者。示例性关键点是眼睛、鼻子、耳朵、肘部、肩膀、膝盖、臀部、脚部等。在根据本专利技术的一些实例中，使用诸如PoseNet等神经网络来执行参与者检测和姿态关键点确定，但也可使用其他方法。在步骤706中，使用声源定位来确定众多人中哪个人是讲话者或演示者。在步骤708中，使用讲话者的关键点进行姿态估计，以生成感兴趣区域(ROI)以用于跟踪演示者。
[0021]在步骤710中，基于与先前视频框架或后续视频框架的比较来跟踪演示者ROI的移动。在根据本专利技术的一些实例中，跟踪中使用的视频框架是所有视频框架，而不仅仅是样本视频框架。在其他实例中，使用了缩减的一组视频框架，但仍然比样本视频框架频繁得多。
在一些实例中，在少于30ms至50ms内检测到移动。在三个维度上执行跟踪，其中ROI的横向移动提供x方向和y方向，而ROI的宽度变化提供位置向量的z方向。在一些实例中，使用神经网络执行对ROI的跟踪，但也可使用其他方法。
[0022]在步骤712中，确定演示者的躯干是否在移动，演示者是否在移动而不是演示者的手臂在移动。如果ROI变化的向量值在所选数量的视频框架上超过像素的最小移动阈值数量，则确定躯干移动。对于多个视频框架，ROI位置的变化低于静止阈值表示演示者没有移动。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由视频会议终端对视频会议中的演示者进行构图的方法，所述方法包括：由所述视频会议终端检测视频框架中的演示者；由所述视频会议终端跟踪所述演示者的移动；以及由所述视频会议终端开发框架，所述框架具有基于所述演示者的所述移动的尺寸并基于所述演示者的所述移动为所述演示者提供行走空间。2.根据权利要求1所述的方法，其中所述框架尺寸和所述行走空间与所述演示者的速度成比例。3.根据权利要求1所述的方法，其中根据三分法对所述演示者进行构图。4.根据权利要求1所述的方法，其中根据宽松式构图设置对所述演示者进行构图。5.根据权利要求1所述的方法，其中所述演示者的所述移动是踱步。6.根据权利要求5所述的方法，其中所述踱步具有左端和右端，并且所述框架包含所述左端和所述右端。7.根据权利要求6所述的方法，其中所述框架以所述左端和所述右...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：缤特力股份有限公司，
类型：发明
国别省市：