显示方法及其系统技术方案

本发明专利技术提供一种显示方法及其系统，此方法适用于具有图像撷取装置、深度感测器以及荧幕的显示系统并且包括下列步骤。利用图像撷取装置撷取荧幕前方使用者的图像，以产生使用者图像，再利用深度感测器，区分使用者图像中的前景区域以及背景区域。根据荧幕的显示尺寸，于荧幕的显示区域设定虚拟窗框，并且于前景区域中进行人脸检测，以取得人脸位置的平面信息，以及利用深度感测器取得人脸位置的深度信息。根据虚拟窗框、人脸位置的平面信息以及深度信息，利用背景区域产生背景图像，再将前景区域叠合于背景图像，以产生输出图像。通过实施本发明专利技术，可使荧幕所呈现出的图像达到宛如镜面反射的效果。

Display method and its system

The present invention provides a display method and its system, which is suitable for a display system with an image capture device, a depth sensor, and a screen and includes the following steps. The image extraction device is used to extract the user's image in front of the screen to produce the user image, and then use the depth sensor to distinguish the foreground area and the background area in the user's image. According to the display size of the screen, the virtual window frame is set in the display area of the screen, and the face detection is carried out in the foreground area to obtain the plane information of the face position, and the depth information of the face location using the depth sensor. According to the virtual window frame, the plane information of the face position and the depth information, the background image is generated by the background area, then the foreground region is overlapped to the background image to produce the output image. By implementing the invention, the image displayed on the screen can be reflected as mirror reflection.

【技术实现步骤摘要】
显示方法及其系统
本专利技术是有关于一种显示技术，且特别是有关于一种可模拟镜子的显示方法及其系统。
技术介绍
随着信息科技与生活逐渐的密不可分，智能产品的开发已然成为趋势主流。此智能化生活除了针对既有的产品增添数字功能外，更导入人机互动的界面以优化使用者的生活体验。以日常生活中不可或缺的镜子为例，目前已发展出可同时具有镜子与显示功能的镜面显示器，其利用镜面作为反射面并且利用显示面呈现图文信息，而其应用已逐渐着眼于理发店、眼镜行、服饰店等商家市场。一般而言，镜面显示器主要是在显示器前方透明面板涂布反射物质或是加设涂布有反射物质的透明面板。然而穿透与反射两者之间存在取舍关系。显示功能的穿透光的亮度往往会受到前方反射物质影响而降低，其损耗往往超过30％。另一方面，镜面功能的反射光也无法达到如同一般镜面的效果，其反射率往往不超过50％。此外，穿透光与反射光之间会同时呈现以及互相干扰而造成使用者视觉效果上的混淆。
技术实现思路
有鉴于此，本专利技术提供一种显示方法及其系统，其结合图像撷取装置以及深度感测器，计算并且模拟镜面反射图像，以使荧幕所呈现出的图像达到宛如镜面反射的效果。在本专利技术的一实施例中，上述的显示方法适用于具有图像撷取装置、深度感测器以及荧幕的显示系统，并且包括下列步骤。利用图像撷取装置撷取荧幕前方使用者的图像，以产生使用者图像，再利用深度感测器，区分使用者图像中的前景区域以及背景区域。根据荧幕的显示尺寸，于荧幕的显示区域设定虚拟窗框，并且于前景区域中进行人脸检测，以取得出使用者的人脸位置的平面信息，以及利用深度感测器取得使用者的人脸位置的深度信息。之后，根据虚拟窗框、人脸位置的平面信息以及深度信息，利用背景区域产生背景图像，再将前景区域叠合于背景图像，以产生输出图像。在其中一种实施例中，该图像撷取装置具有广角镜头，而利用该图像撷取装置撷取该荧幕前方的该使用者的该图像，以产生该使用者图像的步骤包括：针对该使用者的该图像进行变形校正，以产生该使用者图像。在其中一种实施例中，利用该深度感测器，区分该使用者图像中的该前景区域以及该背景区域的步骤包括：利用该深度感测器，取得该使用者图像中各个像素所对应的深度信息；以及比较各所述像素所对应的该深度信息与预设深度门槛值，据以判定各所素像素属于该背景区域或是该前景区域。在其中一种实施例中，根据该荧幕的该显示尺寸，于该荧幕的该显示区域设定该虚拟窗框的步骤包括：取得该使用者相对于该荧幕的最佳观看位置；设定背景相对于该荧幕的成像位置；根据该最佳观看位置以及该成像位置，取得缩放比例；以及根据该显示尺寸以及该缩放比例，取得该虚拟窗框的尺寸。在其中一种实施例中，根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，利用该背景区域产生该背景图像的步骤包括：根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择背景镜像区域，以产生该背景图像。在其中一种实施例中，根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择该背景镜像区域的步骤包括：计算该人脸位置分别经由该虚拟窗框的两个水平端点投射至该背景的镜像的范围，据以自该背景区域中选择出该背景镜像区域。在其中一种实施例中，更包括：以虚拟背景取代该背景区域。在其中一种实施例中，叠合该前景区域于该背景图像，以产生该输出图像的步骤包括：叠合该前景区域于该背景图像，以产生叠合后的图像；以及调整该叠合后的图像至符合该荧幕的显示区域的大小，以产生该输出图像。在其中一种实施例中，更包括：根据该前景区域于该输出图像的位置，显示其它信息于该荧幕。在其中一种实施例中，更包括：自另一显示系统接收对方图像；以及根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该对方图像产生另一对方图像。在本专利技术的一实施例中，上述的显示系统包括图像撷取装置、深度感测器、荧幕、存储器以及处理器，其中处理器耦接于图像取装置、深度感测器、荧幕以及存储器，并且图像撷取装置以及深度感测器设置于与荧幕同一侧。图像撷取装置用以撷取图像。深度感测器用以检测深度信息。荧幕用以显示画面。存储器用以存储数据。处理器将利用图像撷取装置撷取荧幕前方使用者的图像，以产生使用者图像，再利用深度感测器，区分使用者图像中的前景区域以及背景区域。处理器将根据荧幕的显示尺寸，于荧幕的显示区域设定虚拟窗框，并且于前景区域中进行人脸检测，以取得使用者的人脸位置的平面信息，以及利用深度感测器取得使用者的人脸位置的深度信息。之后，处理器将根据虚拟窗框、人脸位置的平面信息以及深度信息，利用背景区域产生背景图像，再将前景区域叠合于背景图像，以产生输出图像，并且将输出图像显示于荧幕上。在其中一种实施例中，该图像撷取装置具有广角镜头，而该处理器针对该图像撷取装置所撷取到该使用者的该图像进行变形校正，以产生该使用者图像。在其中一种实施例中，该处理器利用该深度感测器，取得该使用者图像中各个像素所对应的深度信息，以及比较各所述像素所对应的该深度信息与预设深度门槛值，据以判定各所素像素属于该背景区域或是该前景区域。在其中一种实施例中，该处理器取得该使用者相对于该荧幕的最佳观看位置并且设定背景相对于该荧幕的成像位置，再根据该最佳观看位置以及该成像位置，取得缩放比例，以及根据该显示尺寸以及该缩放比例，取得该虚拟窗框的尺寸。在其中一种实施例中，该处理器根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择背景镜像区域，以产生该背景图像。在其中一种实施例中，该处理器计算该人脸位置分别经由该虚拟窗框的两个水平端点投射至该背景的镜像的范围，据以自该背景区域中选择出该背景镜像区域。在其中一种实施例中，该存储器更存储虚拟背景，而该处理器以虚拟背景取代该背景区域。在其中一种实施例中，该处理器叠合该前景区域于该背景图像，以产生叠合后的图像，并且调整该叠合后的图像至符合该荧幕的显示区域的大小，以产生该输出图像。在其中一种实施例中，该处理器更根据该前景区域于该输出图像的位置，显示其它信息于该荧幕。在其中一种实施例中，该处理器更自另一显示系统接收对方图像，以及根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该对方图像产生另一对方图像。通过实施本专利技术，可使荧幕所呈现出的图像达到宛如镜面反射的效果。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。附图说明图1是根据本专利技术一实施例所绘示的显示系统的方块图。图2为根据本专利技术的一实施例所绘示的显示方法的流程图。图3根据本专利技术的一实施例所绘示图像撷取装置所撷取到的图像以及变形校正后的图像。图4为根据本专利技术的一实施例所绘示的前景区域以及背景区域的示意图。图5为根据本专利技术的一实施例所绘示的虚拟窗框的设定方法的示意图。图6为根据本专利技术的一实施例所绘示的显示方法的示意图。图7为根据本专利技术的一实施例所绘示的显示方法的示意图。图8为根据本专利技术的一实施例所绘示的显示方法的示意图。图9为根据本专利技术的一实施例所绘示的显示方法的流程图。附图标号100：显示系统110：图像撷取装置120：深度感测器130：荧幕140：存储器150：处理器S202～S212、S901～S917：显示方法的流程310、32本文档来自技高网...

【技术保护点】
一种显示方法，其特征在于，适用于具有图像撷取装置、深度感测器以及荧幕的显示系统，包括下列步骤：利用该图像撷取装置撷取该荧幕前方使用者的图像，以产生使用者图像；利用该深度感测器，区分该使用者图像中的前景区域以及背景区域；根据该荧幕的显示尺寸，于该荧幕的显示区域设定虚拟窗框；于该前景区域中进行人脸检测，以取得出该使用者的人脸位置的平面信息，并且利用该深度感测器取得该使用者的该人脸位置的深度信息；根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该背景区域产生背景图像；以及叠合该前景区域于该背景图像，以产生输出图像。

【技术特征摘要】
2016.10.26 TW 1051344891.一种显示方法，其特征在于，适用于具有图像撷取装置、深度感测器以及荧幕的显示系统，包括下列步骤：利用该图像撷取装置撷取该荧幕前方使用者的图像，以产生使用者图像；利用该深度感测器，区分该使用者图像中的前景区域以及背景区域；根据该荧幕的显示尺寸，于该荧幕的显示区域设定虚拟窗框；于该前景区域中进行人脸检测，以取得出该使用者的人脸位置的平面信息，并且利用该深度感测器取得该使用者的该人脸位置的深度信息；根据该虚拟窗框、该人脸位置的该平面信息以及该深度信息，利用该背景区域产生背景图像；以及叠合该前景区域于该背景图像，以产生输出图像。2.如权利要求1所述的显示方法，其特征在于，该图像撷取装置具有广角镜头，而利用该图像撷取装置撷取该荧幕前方的该使用者的该图像，以产生该使用者图像的步骤包括：针对该使用者的该图像进行变形校正，以产生该使用者图像。3.如权利要求1所述的显示方法，其特征在于，利用该深度感测器，区分该使用者图像中的该前景区域以及该背景区域的步骤包括：利用该深度感测器，取得该使用者图像中各个像素所对应的深度信息；以及比较各所述像素所对应的该深度信息与预设深度门槛值，据以判定各所素像素属于该背景区域或是该前景区域。4.如权利要求1所述的显示方法，其特征在于，根据该荧幕的该显示尺寸，于该荧幕的该显示区域设定该虚拟窗框的步骤包括：取得该使用者相对于该荧幕的最佳观看位置；设定背景相对于该荧幕的成像位置；根据该最佳观看位置以及该成像位置，取得缩放比例；以及根据该显示尺寸以及该缩放比例，取得该虚拟窗框的尺寸。5.如权利要求1所述的显示方法，其特征在于，根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，利用该背景区域产生该背景图像的步骤包括：根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择背景镜像区域，以产生该背景图像。6.如权利要求5所述的显示方法，其特征在于，根据该虚拟窗框的该尺寸、该人脸位置的该平面信息以及该深度信息，于该背景区域中选择该背景镜像区域的步骤包括：计算该人脸位置分别经由该虚拟窗框的两个水平端点投射至该背景的镜像的范围，据以自该背景区域中选择出该背景镜像区域。7.如权利要求1所述的显示方法，其特征在于，更包括：以虚拟背景取代该背景区域。8.如权利要求1所述的显示方法，其特征在于，叠合该前景区域于该背景图像，以产生该输出图像的步骤包括：叠合该前景区域于该背景图像，以产生叠合后的图像；以及调整该叠合后的图像至符合该荧幕的显示区域的大小，以产生该输出图像。9.如权利要求1所述的显示方法，其特征在于，更包括：根据该前景区域于该输出图像的位置，显示其它信息于该荧幕。10.如权利要求1所述的显示方法，其特征在于，更包括：...

【专利技术属性】
技术研发人员：高盟超，林慧珍，杨杰棋，
申请(专利权)人：纬创资通股份有限公司，
类型：发明
国别省市：中国台湾,71