视频处理装置和视频处理方法制造方法及图纸

本发明专利技术公开了一种视频处理装置和视频处理方法。所述视频处理装置具有：观看者检测器，用于使用由摄像部拍摄的视频来识别观看者脸部，以获取观看者的位置信息；子画面显示控制器，用于将由摄像部拍摄的现场视频叠加在显示装置的显示画面的一部分上作为子画面；观看区域框显示控制器，用于在子画面中的现场视频中显示观看区域框，所述观看区域框代表观看者可观看立体视频的观看位置；以及脸部框显示控制器，用于显示表示当观看者位于框内时可观看立体视频的第一脸部框，以及用于显示表示当观看者位于框外时不可观看立体视频的第二脸部框。

【技术实现步骤摘要】

本专利技术的实施方式涉及能够调整可观看立体视频的观看区域的。
技术介绍
能够显示肉眼可观看立体视频的电视机引起人们的关注。然而，对于这样的电视机，根据观看位置的不同而可能不能获得立体效果，并且希望获得充分立体效果的观看者需要移动至可得到立体效果的位置。具体地讲，当存在多个观看者时，各观看者移动至可得到立体效果的位置，这是非常麻烦的。此外，有这样一种可能性，由于各个观看者对于立体效果有不同的感觉，观看者会担心是否位于获得立体效果的最佳位置处。因此，可以想到通过电视机来自动调整观看区域。然而，很难自动调整观看区域，这是因为观看者不会一直待在同一位置处，并且观看者数目并不总是固定的。实际上，很多情况下通过自动调整观看区域不能获得立体效果。在这样的情况下，观看者不得不不必要地移动以寻找合适位置，并且最后可能很难轻松享受立体视频。此外，裸眼式传统三维电视机没有有效的手段来告知各个观看者其是否位于可得到立体效果的位置处。因此，各个观看者过度地移动以寻找更佳位置，并且感觉到很难轻松享受立体视频。
技术实现思路
根据一个实施方式，视频处理装置具有:观看者检测器，配置为使用由摄像部拍摄的视频来识别观看者脸部，以获取脸部已被识别的观看者的位置信息；子画面显示控制器，配置为将由摄像部拍摄的现场视频叠加在显示装置的显示画面的一部分上作为子画面；观看区域框显示控制器，配置为在子画面中的现场视频中显示观看区域框，所述观看区域框代表观看者可观看立体视频的观看位置；以及脸部框显示控制器，配置为显示第一脸部框以及显示第二脸部框，所述第一脸部框表示当观看者位于所述框内时能观看到立体视频的第一脸部框，而所述第二脸部框表示当观看者位于所述框外时不能观看到立体视频的第二脸部框。附图说明图1为根据一个实施方式的视频显示装置100的外观视图。图2为示出视频显示装置100的示意结构的框图。图3为液晶面板I和双凸透镜(lenticular lens) 2的局部顶视图。图4为示出观看区域实例的图。图5为示出由根据本实施方式的视频处理装置5执行的处理操作实例的流程图。图6为示出由观看者操作的遥控器50的实例的平面视图。图7为示出三维观看位置检查画面的实例的图。图8为示出子画面的显示位置的图。图9为示出在调整观看区域后的三维观看位置检查画面的实例的图。图10为示出距离液晶面板I表面的直线距离与观看区域之间关系的示意图。图11为示出测试图案画面35的实例的图。具体实施例方式现在将参考附图解释实施方式。图1为根据一个实施方式的视频显示装置100的外观视图，以及图2为示出其示意结构的框图。视频显示装置100具有:液晶面板1、双凸透镜2、摄像部(camera,摄像头)3、光接收器4和视频处理装置5。液晶面板I可显不视差图像，使得观看者可观看立体视频。例如，液晶面板I为水平方向上具有11520(=1280*9)个像素并且垂直方向上具有720个像素的55英寸面板。此夕卜，各像素由三个子像素组成，即，配置在垂直方向上的R子像素、G子像素和B子像素。液晶面板I利用来自配置在后面的背光装置(未示出)来照射光。具有与从视频处理装置5提供的视差图像信号(将下文解释)相对应的亮度的光透过各像素。双凸透镜2将显示在液晶面板I上的多个视差图像在与视差相对应的方向上输出。双凸透镜2具有配置在液晶面板I的水平方向上的多个凸部，并且凸部数目为配置在液晶面板I水平方向上的像素数目的1/9。双凸透镜2被定位成附接至液晶面板I表面，使得一个凸部对应于配置在水平方向上的九个像素。透过各像素的光具有方向性，并且从凸部的顶部附近朝着特定方向输出。除了常规二维视频，本实施方式的液晶面板I可基于具有三个以上视差的多视差视频显示模式(积分成像法)或者基于二视差视频显示模式来显示立体视频。当显示二维视频时，双凸透镜2的光学效应表面上被取消。因此，可以比全高清更高的分辨率来显示二维视频。下文中，将对多视差视频显示模式被设置为通过将九个像素分配给液晶面板I的各凸部来显示具有九个视差的立体视频的实例给出解释。在此多视差视频显示模式中，通过每九个像素来显示第一至第九视差图像，各个像素对应于一个凸部。第一至第九视差图像为当从配置在液晶面板I的水平方向上的九个视点观看对象时观察到的图像。观看者可通过双凸透镜2利用左眼观看第一至第九视差图像中的一个，同时利用右眼观看另一视差图像来立体观看视频。在多视差视频显示模式中，通过增加视差图像数目，观看区域可制作得更宽。观看区域为当从前方位置观看液晶面板I时可立体观看视频的区域。另一方面，在二视差视频显示模式中，通过九个像素中四个像素来显示右眼视差图像，以及通过其他五个像素来显示左眼视差图像。左眼视差图像和右眼视差图像为当从配置在水平方向上分别作为左视点和右视点的两个视点观看对象时观察到的图像。观看者可通过双凸透镜2利用左眼观看左眼视差图像，同时利用右眼观看右眼视差图像来立体观看视频。在二视差视频显示模式中，与多视差视频显示模式相比，可更加立体地显示视频，但是与多视差视频显示模式相比，观看区域较窄。应当注意，液晶面板I还可通过与各凸部相对应的九个像素来显示相同的图像，从而显示二维图像。在该情况下，虽然分辨率恶化，但是可以在不取消双凸透镜2的光学效应的情况下显示二维图像。因此，可同时显示立体图像以及叠加在其上的二维图像。此外，在本实施方式中，可通过控制双凸透镜2的凸部与待显示视差图像之间的相对位置关系，即，通过控制如何通过与各凸部相对应的九个像素来显示视差图像，来调整观看区域。下文中，将多视差视频显示模式作为实例来解释观看区域控制。图3为液晶面板I和双凸透镜2的局部顶视图。在图3中，阴影区域表示观看区域，并且当从观看区域观看液晶面板I时可立体观看视频。在其他区域中，引起假立体或者串扰现象，这使得很难在这些区域立体观看视频。图3示出液晶面板I与双凸透镜2之间的相对位置关系，更具体地，示出如何根据液晶面板I与双凸透镜2之间的距离或者液晶面板I与双凸透镜2之间在水平方向上的偏移量来改变观看区域。实际上，双凸透镜2高精度地定位为附接至液晶面板1，因此很难物理上改变液晶面板I与双凸透镜2之间的相对位置关系。因此，在本实施方式中，通过偏移通过液晶面板I的各像素显示的第一至第九视差图像的位置以改变液晶面板I与双凸透镜2之间的表面上的相对位置关系，从而调整观看区域。例如，与通过与各凸部相对应的九个像素来分别显示第一至第九视差图像的情况(图3 (a))相比，当使视差图像整体偏移至右边显示时(图3 (b))，观看区域移动至左边。相反，当使视差图像整体偏移至左边显示时，观看区域移动至右边。此外，当在水平方向上中央附近的视差图像不偏移并且更接近液晶面板I外部的视差图像向外大幅偏移时(图3 (c))，观看区域移动至靠近液晶面板I的方向。应当注意，偏移的视差图像与未偏移的视差图像之间或者具有不同偏移量的视差图像之间的各像素应该根据其周围像素来适当内插(interpolate)。此外，与图3 (c)相反，当在水平方向上中央附近的视差图像不偏移并且更接近液晶面板I的外部的视差图像向内大幅偏移时，观看区域移动至远离液晶面板I的方向。以此方式，通过显示整体或者部分偏移的视差图像，观看区域可相对于液晶面板I在右方向本文档来自技高网...

【技术保护点】
一种视频处理装置，包括：观看者检测器，被配置为使用由摄像部获得的视频来识别观看者脸部，以获取观看者的位置信息；子画面显示控制器，被配置为将由所述摄像部获得的现场视频叠加在显示装置的显示画面的一部分上，所述显示画面的所述一部分包括子画面；观看区域框显示控制器，被配置为在所述子画面中的所述现场视频中显示观看区域框，所述观看区域框代表观看者能观看到立体视频的观看位置；以及脸部框显示控制器，被配置为显示第一脸部框以及显示第二脸部框，所述第一脸部框表示当观看者位于所述框内时能够观看到立体视频，而所述第二脸部框表示当观看者位于所述框外时不能观看到立体视频。

【技术特征摘要】
2011.11.04 JP 2011-2426741.一种视频处理装置，包括: 观看者检测器，被配置为使用由摄像部获得的视频来识别观看者脸部，以获取观看者的位置信息； 子画面显示控制器，被配置为将由所述摄像部获得的现场视频叠加在显示装置的显示画面的一部分上，所述显示画面的所述一部分包括子画面； 观看区域框显示控制器，被配置为在所述子画面中的所述现场视频中显示观看区域框，所述观看区域框代表观看者能观看到立体视频的观看位置；以及 脸部框显示控制器，被配置为显示第一脸部框以及显示第二脸部框，所述第一脸部框表示当观看者位于所述框内时能够观看到立体视频，而所述第二脸部框表示当观看者位于所述框外时不能观看到立体视频。2.根据权利要求1所述的装置， 其中，所述摄像部位于所述显示装置的显示画面的下方中央处，并且 所述子画面显示控制器使所述子画面在所述摄像部附近显示。3.根据权利要求1所述的装置， 其中，所述观看区域框的宽度对应于观看者的平均脸部宽度。4.根据权利要求1所述的装置， 还包括: 框存储器，被配置为基于从所述显示装置到观看者的直线距离来存储一个以上类型的观看区域框；以及 距离估计器，被配置为基于由所述摄像部获得的视频来估计从所述显示装置到观看者的直线距离， 其中，所述观看区域框显示控制器从所述框存储器读取与最接近由所述距离估计器估计的直线距离的直线距离相对应的观看区域框，并且将其显示在所述子画面中。5.根据权利要求1所述的装置，还包括: 距离估计器，被配置为基于由所述摄像部获得的视频来估计从所述显示装置到观看者的直线距离， 其中，所述脸部框显示控制器被配置为当由所述距离估计器估计的直线距离在特定范围内时显示所述第一脸部框，以及当由所述距离估计器估计的直线距离不在所述特定范围内时显示所述第二脸部框。6.根据权利要求5所述的装置， 其中，所述脸部框显示控制器在由所述距离估计器估计的直线距离不在所述特定范围内时显示用于指示观看者应该移动的方向的符号。7.根据权利要求1所述的装置， 其中，所述子画面显示控制器通过将无视差信息的二维图像数据提供至与所述子画面的显示范围相对应的所述显示装置的各个像素来描绘所述子画面。8.根据权利要求1所述的装置，还包括: 模式选择器，被配置为选择用于调整在单个观看者位于所述显示装置中央附近时的观看区域的单用户模式，以及选择用于调整在多个观看者位于所述摄像部视场角内时的观看区域的多用户模式， 其中，所述脸部框显示控制器根据由所述模式选择器选择的模式来显示所述第一脸部框或所述第二脸部框。9.根据权利要求8所述的装置，还包括: 视频类型检测器，被配置为检测输入视频数据的视频类型， 其中，所述模式选择器至少部分基于由所述视频类型检测器检测的所述输入视频数据的视频类型来选择所述单用户模式或所述多用户模式。10.根据权利要求9所述的装置， 其中，当通过将使用包括在所述输入视频数据中的视差信息或者深度信息产生的二视差数据提供至所述显示装置的各个像素来显...

【专利技术属性】
技术研发人员：诸星利弘，松原伸三，西冈竜大，
申请(专利权)人：株式会社东芝，
类型：发明
国别省市：