用于视频会议的显示方法及视频会议系统技术方案

本发明专利技术是提供一种用于视频会议的显示方法，用于视频会议系统，其中视频会议系统包括显示器、影像撷取单元、及网络接口单元。该方法包括：利用影像撷取单元的影像传感器以撷取在视频会议中的本地用户的撷取影像；对撷取影像进行前景分离以取得前景对象；将前景对象水平翻转；由翻转后的前景对象辨识出一人脸，并校正在翻转后的前景对象中的人脸的面向角度；决定来自本地使用者在显示器上的互动数据；将互动数据及具有校正后的人脸的翻转后的前景对象分别编码为互动数据流及视频流；将互动数据流及视频流包装为输出数据流；以及透过该网络接口单元传输该输出数据流至远程使用者。本发明专利技术提供的视频会议的显示方法与相关视频会议系统能够提升使用者体验。

【技术实现步骤摘要】
优先权声明本申请主张在2015年2月16日提出申请的美国临时专利申请第62/116，710号的权利，且上述美国专利申请以引用方式并入本文中。
本专利技术是有关于视频会议，特别是有关于用于视频会议的显示方法及其视频会议系统。
技术介绍
近年来，视频会议已成为两个远程用户通讯的重要方式，这要归功于网络技术及视频压缩技术的发展。一般而言，使用者必需拥有专用的视频会议系统以方便与其他用户进行视频会议。在市面上的视频会议系统通常会配备相机、麦克风、及控制器。然而，传统的视频会议系统仅能用来进行视频会议，且在视频会议中的使用者无法通过在其显示器上书写或是画图以与彼此进行互动，这会导致较差的使用者体验且沉浸感不足。因此，需要一种用于视频会议的显示方法及视频会议系统以解决上述问题。
技术实现思路
为了解决上述技术问题，提出以下的视频会议系统与相关的显示
方法。本专利技术一实施例提供一种视频会议系统，包括：显示器；影像撷取单元，包括影像传感器以撷取在视频会议中的本地用户的撷取影像；网络接口单元，用以交换在该视频会议中的该本地使用者及远程用户的输出视频流；以及处理器，用以对该撷取影像进行前景分离以取得前景对象，并将该前景对象水平翻转，其中该处理器更由翻转后的该前景对象辨识人脸，并校正在该前景对象中的该人脸的面向角度以朝向该影像撷取单元，其中该处理器更决定来自该本地使用者在该显示器上的互动数据，并将该互动数据及具有校正后的该人脸的翻转后的前景对象分别编码为互动数据流及视频流，其中该处理器更将该互动数据流及该视频流包装为该输出数据流，并透过该网络接口单元传输该输出数据流至该远程使用者。本专利技术另一实施例更提供一种用于视频会议的显示方法，用于视频会议系统，其中视频会议系统包括显示器、影像撷取单元、及网络接口单元。该方法包括：利用影像撷取单元的影像传感器以撷取在视频会议中的本地用户的撷取影像；对撷取影像进行前景分离以取得前景对象；将前景对象水平翻转；由翻转后的前景对象辨识出人脸，并校正在翻转后的前景对象中的人脸的面向角度以朝向影像撷取单元；决定来自本地使用者在显示器上的互动数据；将互动数据及具有校正后的人脸的翻转后的前景对象分别编码为互动数据流及视频流；将互动数据流及视频流包装为输出数据流；以及透过该网络接口单元传输该输出数据流至远程使用者。本专利技术提供的视频会议的显示方法与相关视频会议系统能够提升使用者体验。附图说明图1是显示本专利技术一实施例中的视频会议系统100的方框图。图2是显示依据本专利技术一实施例中的用于视频会议的显示方法的流程图。图3是显示本专利技术图2中的显示方法的步骤S220的流程图。图4是显示本专利技术图2中的显示方法的步骤S250的流程图。图5A是显示本专利技术图2中的显示方法的步骤S260的流程图。图5B是显示依据本专利技术一实施例中的撷取影像的操作空间的示意图。图6是显示本专利技术图2中的显示方法的步骤S260的另一流程图。图7A是显示本专利技术图2中的显示方法的步骤S280的流程图。图7B是显示依据本专利技术一实施例中的具有前景对象及互动数据的封装视频流的示意图。具体实施方式为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合所附图式，作详细说明如下。图1是显示本专利技术一实施例中的视频会议系统100的方块图。如图1所示，视频会议系统100包括影像撷取单元110、处理器120、存储器单元130、显示器140、及网络接口单元150。影像撷取单元110是用以撷取用户的影像。举例来说，影像撷取单元110包括一或多个影像传感器111及深度传感器112，其中影像传感器111可为互补式金属氧化物半导体(CMOS)传感器或感光耦合组件(CCD)传感器。在一些实施例中，影像传感器111是用以撷取立体影像，其包括左眼影像及右眼影像。在一些实施例中，影像撷取单元110更包括深度传感器
112，其可为包括红外线发射器及红外线接收器的红外线传感器(未绘示)。存储器单元130是包括挥发性存储器131及非挥发性存储器132。举例来说，挥发性存储器131可为静态随机存取存储器(SRAM)、或动态随机存取存储器(DRAM)，但本专利技术并不限于此。非挥发性存储器132可为硬盘、闪存等等。非挥发性存储器是存储用以处理在视频会议中的参加者的撷取影像的视频会议程序，其可处理在视频会议中的参加者的互动动作。处理器120是读取存储于非挥发性存储器132中的视频会议程序的程序代码至挥发性存储器，并对由影像撷取单元110所撷取的影像进行相关的图像处理。在一些实施例中，显示器140可为液晶显示器(LCD)、发光二极管(LED)显示器、或是有机发光二极管(OLED)显示器，但本专利技术并不限于此。在一些实施例中，显示器140可为由LCD或OLED技术所实现的透明显示器(transparent display)。在一些实施例中，视频会议系统100更包括触控模块160，其是整合于显示器140中，即具有触控功能的显示器140，其可称为触控屏幕。需注意的是显示器140可利用本专利
中所熟习的前述技术而实现为透明触控屏幕，故其细节于此不再赘述。网络接口单元150是利用网络封包以交换在视频会议中的本地使用者及远程使用者的输出串流。图2是显示依据本专利技术实施例中的用于视频会议的显示方法的流程图。在步骤S210，影像撷取单元110是用以撷取在视频会议中的本地用户的撷取影像。在步骤S220，依据深度图对所撷取的该撷取影像进行前景分离(foreground segmentation)。举例来说，在影像中的前景对象的像素通常具有类似的深度值，其中深度值可由影像撷取单元110中的深度传感器112所取得、或是利用该撷取影像(例如可为立体影像)
进行深度计算而得。结束在步骤S230，将背景由撷取的该撷取影像中移除。因此，处理器120可对前景对象(例如：使用者)进行后续的图像处理。在步骤S240，将前景对象水平翻转(即左右翻转)。需注意的是，在一些实施例中可省略步骤S240。在步骤S250，由翻转后的前景对象辨识一人脸，并校正该人脸的一面向角度彷如该人脸是注视朝向影像撷取单元110。举例来说，影像撷取单元110是可安置于显示器140的角落、上侧、或下侧。然而，在视频会议中，使用者通常是面向显示器140，意即使用者并不是真正地面向影像撷取单元110，这会导致有些微的面向角度差异。因此，执行步骤S250以校正使用者的人脸的面向角度。在步骤S260，侦测在该视频会议中的参加者所进行的互动动作。举例来说，参加者(例如：发话者及收话者、或是本地使用者及远程使用者)可在显示器140上作画或是书写文字，且处理器120可决定在显示器140上的互动动作。在步骤S270，依据影像传感器111的视角(fieldof view)及显示器140的屏幕尺寸以调整该前景对象。举例来说，在视频会议的过程中，影像传感器111的视角可能无法调整至最佳的视角，意即前景对象可能会过大或是过小。处理器120可依据影像传感器111的视角及显示器140的屏幕尺寸以调整(例如：改变大小或是裁切)该前景对象，使得调整后的前景对象最符合该显示器140。在步骤S280，前景对象(例如调整后的该前景对象)及在该视频会议中与互动动作本文档来自技高网...

【技术保护点】
一种视频会议系统，包括：显示器；影像撷取单元，包括影像传感器以撷取在视频会议中的本地用户的撷取影像；网络接口单元，用以交换在该视频会议中的该本地使用者及远程使用者的输出串流；以及处理器，用以对该撷取影像进行前景分离以取得前景对象；其中该处理器更决定来自该本地使用者在该显示器上的互动数据，并将该互动数据及该前景对象分别编码为互动数据流及视频流，其中该处理器更将该互动数据流及该视频流包装为该输出数据流，并透过该网络接口单元传输该输出数据流至该远程使用者。

【技术特征摘要】
2015.02.16 US 62/116,710;2016.01.21 US 15/002,4481.一种视频会议系统，包括：显示器；影像撷取单元，包括影像传感器以撷取在视频会议中的本地用户的撷取影像；网络接口单元，用以交换在该视频会议中的该本地使用者及远程使用者的输出串流；以及处理器，用以对该撷取影像进行前景分离以取得前景对象；其中该处理器更决定来自该本地使用者在该显示器上的互动数据，并将该互动数据及该前景对象分别编码为互动数据流及视频流，其中该处理器更将该互动数据流及该视频流包装为该输出数据流，并透过该网络接口单元传输该输出数据流至该远程使用者。2.根据权利要求1所述的视频会议系统，其特征在于，该处理器是由该撷取影像计算深度图，并依据该深度图进行该前景分离。3.根据权利要求1所述的视频会议系统，其特征在于，该影像撷取单元更包括深度传感器，用以侦测该本地用户的深度信息，且该处理器更依据该深度信息建立深度图，并依据该深度图执行该前景分离。4.根据权利要求1所述的视频会议系统，其特征在于，该处理器将该前景对象水平翻转，其中该处理器更由翻转后的该前景对象辨识人脸，并校正在该前景对象中的该人脸的一个面向角度以朝向该影像撷取单元，并将该互动数据及具有校正的该人脸的翻转的该前景对象分别编码为该互动数据流及该视频流。5.根据权利要求4所述的视频会议系统，其特征在于，该处理器
\t更计算翻转后的前景对象的该人脸的复数个影像特征，并依据所计算的该复数个影像特征校正该人脸的该面向角度。6.根据权利要求1所述的视频会议系统，其特征在于，该处理器更定义在该撷取影像的一个操作空间中的一个有效区域，且当目标对象进入该有效区域，该处理器是记录该目标对象的轨迹。7.根据权利要求6所述的视频会议系统，其特征在于，当该前景对象进入该有效区域时，该处理器是决定全部或是部分的该前景对象做为该特定对象，并在该显示器上保持显示该特定对象。8.根据权利要求1所述的视频会议系统，其特征在于，该显示器整合触控模块，且当该本地用户的目标对象接触该显示器的表面，该处理器是记录该目标对象的复数个触控点，并将该复数个触控点连接成为线条以做为该目标对象的轨迹。9.根据权利要求1所述的视频会议系统，其特征在于，该互动数据是记录为二元影像，且该处理器是以霍夫曼码对该二元影像执行行程长度编码以得到该互动数据流。10.根据权利要求1所述的视频会议系统，其特征在于，该处理器是定义该前景对象为视频对象平面，并对该前景对象执行形状编码及纹理编码以产生该视频流。11.根据权利要求1所述的视频会议系统，其特征在于，该显示器为透明显...

【专利技术属性】
技术研发人员：张智凯，刘子明，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71