图像处理设备及其控制方法技术

本发明专利技术涉及图像处理设备及其控制方法。该图像处理设备能够以叠加在三维视频图像上的方式适当地显示面部框。在作为图像处理设备的三维摄像设备中，通过拍摄被摄体获取两个视频图像，并在两个视频图像中的各视频图像内检测面部区域。在两个视频图像中的一个视频图像内检测到的面部区域和在两个视频图像中的另一视频图像内检测到的面部区域相关联。三维摄像设备生成包括显示面板上要显示面部区域图像的位置的面部区域相关信息。根据面部区域相关信息生成面部区域图像。将两个视频图像与各面部区域图像合成，并将合成后的视频图像输出至显示面板。

【技术实现步骤摘要】

本专利技术涉及图像处理设备、控制图像处理设备的方法和存储介质，尤其涉及能够显示三维视频图像的图像处理设备、控制该图像处理设备的方法和存储介质。
技术介绍
近年来，作为三维(3D)视频图像提供的电影等的数量增大，并且根据该趋势，正在开发能够进行三维显示的家用TV设置。此外，已知设置有两个摄像光学系统的照相机作为用于拍摄3D视频图像的设备，并且消费型三维拍摄照相机也已经出现。最近的数字照相机和视频照相机均配备有用于在拍摄前检测人物并在照相机的 液晶面板上所显示的面部区域上叠加面部框的功能。照相机使用面部框内的图像控制曝光、聚焦等的拍摄参数，从而照相机能够获得对于人物被摄体最优化的图像。关于上述三维拍摄照相机，通过对照相机主体设置可以观看三维图像的显示部，可以在检查三维效果的同时进行拍摄。在该情况下，三维地显示正在拍摄的被摄体，因此，需要在三维显示的同时在人面部区域上叠加面部框。传统地，提出了以下装置通过在三维图像数据上叠加用于指示三维图像上的预定位置的鼠标指针或要与三维图像一起显示的文字信息来显示三维图像数据(参见例如日本特开 2001-326947)。该三维图像显示装置连接至一般的个人计算机并用于使用鼠标编辑三维图像或使用键盘将文字输入至三维图像。在该装置中，当在三维图像上存在诸如鼠标指针等的指示单元时，进行控制以根据三维图像上放置指示单元的位置处的视差来显示具有视差的指示单元，以提高三维图像上的指示单元的可视性。在该相关
技术介绍
中，当对利用三维拍摄照相机所拍摄的左右视频图像进行面部检测时，面部框的大小和面部框相对于面部区域的相对位置在左右视频图像之间变化。这将参考图22详细说明。在图22中，对三维拍摄照相机所拍摄的左右视频图像1901和1902进行面部检测，并且根据面部检测的结果以在各面部区域上叠加的方式显示面部框1903 1908。由于分别对左右视频图像1901和1902进行面部检测，因而各面部框的大小和面部框相对于相关联的面部区域的相对位直在左视频图像1901和右视频图像1902之间变化。结果，在三维观看时面部框看上去双重模糊，或者导致面部和面部框之间的三维效果的差异，或者左右面部框对相关联的人物被摄体的移动跟随的程度不同，这降低了三维图像的可视性。日本特开2001-326947所公开的技术用于根据诸如鼠标指针等的指示单元的位置来调整指示单元的视差。因此，将鼠标指针的大小等设置为预定值，以使得不在左右图像之间变化。关于左右图像各自上的指针的移动，检测鼠标操作，并且基于检测的结果调整显示位置和视差。因此，不能基于从经由左右摄像系统各自输入的视频图像所检测到的信息而在适当的位置三维地显示诸如面部框等的标记。
技术实现思路
本专利技术提供一种能够以叠加在三维视频图像上的方式适当地显示面部框的图像处理设备、控制图像处理设备的方法和存储介质。在本专利技术的第一方面中，一种图像处理设备，其包括显示单元，所述图像处理设备包括获取单元，用于获取通过拍摄被摄体而获得的两个视频图像；检测单元，用于检测所述获取单元所获取的两个视频图像中的各视频图像内的面部区域；面部区域设置单元，用于将所述检测单元在所述两个视频图像中的一个视频图像内检测到的面部区域与所述检测单元在所述两个视频图像中的另一视频图像内检测到的面部区域相关联，并且设置相关联的面部区域显示在所述显示单元上的位置和大小，以使得所述相关联的面部区域的位置和大小相互一致；面部区域相关信息生成单元，用于生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所述面部区域设置单元所设置的面部区域的面部区域图像的位置；面部区域图像生成单元，用于根据所述面部区域相关信息生成单元所 生成的面部区域相关信息来生成所述面部区域图像；以及输出单元，用于分别将所述两个视频图像与所述面部区域图像生成单元所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。在本专利技术的第二方面中，一种控制图像处理设备的方法，所述图像处理设备包括显示单元，所述方法包括获取通过拍摄被摄体而获得的两个视频图像；检测所获取的两个视频图像中的各视频图像内的面部区域；将在所述两个视频图像中的一个视频图像内检测到的面部区域与在所述两个视频图像中的另一视频图像内检测到的面部区域相关联，并且设置相关联的面部区域显示在所述显示单元上的位置和大小，以使得所述相关联的面部区域的位置和大小相互一致；生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所设置的面部区域的面部区域图像的位置；根据所生成的面部区域相关信息来生成所述面部区域图像；以及分别将所述两个视频图像与所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。在本专利技术的第三方面中，一种非瞬态计算机可读存储介质，其存储用于执行控制图像处理设备的方法的程序，所述图像处理设备包括显示单元，其中，所述方法包括获取通过拍摄被摄体而获得的两个视频图像；检测所获取的两个视频图像中的各视频图像内的面部区域；将在所述两个视频图像中的一个视频图像内检测到的面部区域与在所述两个视频图像中的另一视频图像内检测到的面部区域相关联，并且设置相关联的面部区域显示在所述显示单元上的位置和大小，以使得所述面部区域的位置和大小相互一致；生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所设置的面部区域的面部区域图像的位置；根据所生成的面部区域相关信息来生成所述面部区域图像；以及分别将所述两个视频图像与所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。根据本专利技术，可以提供能够以叠加在三维视频图像上的方式适当地显示面部框的图像处理设备。通过以下参考附图对典型实施例的说明，本专利技术的其它特征将变得明显。附图说明图I是作为根据本专利技术第一实施例的图像处理设备的三维摄像设备的示意框图。图2是图I中出现的右眼观看面部检测部的示意框图。图3是示出图I中的三维摄像设备的显示面板上所显示的视频图像的例子的图。图4是用于说明被摄体图像之间的差的图。图5是投影面上所获得的左视频图像和投影面上所获得的右视频图像的图。图6是示出在左右视频图像之间切换的定时的图。图7是示出左右摄像光学系统正在拍摄人物被摄体的状态的示意图。 图8A是各自包含两个被摄体图像的左右视频图像的示意图。图8B和8C是示出各自的相关值的图。图9是与各自的面部框合成后的左右视频图像的示意图。图10是在左右摄像光学系统正在拍摄被摄体时被摄体移动至箭头所表示的位置的情况下所获得的面部框的示意图。图11是示出根据被摄体的移动而移动被摄体图像和面部框的状态的示意图。图12是示出从面部区域的检测至面部区域的显示的处理的时序图。图13是图I中出现的MPU所执行的面部框绘制处理的流程图。图14是示出校正视差以使得三维视图中的面部框看起来分别与由虚线表示的初始位置相比位于被摄体的更前面的位置处的典型情况的图。图15A、15B和15C是示出面部区域图像的例子的图，其中，图15A示出使用箭头GUI组件的典型情况，图15B示出使用各自具有部分开口的矩形形状的GUI组件的典型情况，以及图15C示出使用符号A和B识别由各面部框所表示的人物的典型情况。图16是作为根据本专利技术第二实施例的图本文档来自技高网...

【技术保护点】
一种图像处理设备，其包括显示单元，所述图像处理设备包括：获取单元，用于获取通过拍摄被摄体而获得的两个视频图像；检测单元，用于检测所述获取单元所获取的两个视频图像中的各视频图像内的面部区域；面部区域设置单元，用于将所述检测单元在所述两个视频图像中的一个视频图像内检测到的面部区域与所述检测单元在所述两个视频图像中的另一视频图像内检测到的面部区域相关联，并且设置相关联的面部区域显示在所述显示单元上的位置和大小，以使得所述相关联的面部区域的位置和大小相互一致；面部区域相关信息生成单元，用于生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所述面部区域设置单元所设置的面部区域的面部区域图像的位置；面部区域图像生成单元，用于根据所述面部区域相关信息生成单元所生成的面部区域相关信息来生成所述面部区域图像；以及输出单元，用于分别将所述两个视频图像与所述面部区域图像生成单元所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。

【技术特征摘要】
2011.05.11 JP 2011-1062121.一种图像处理设备，其包括显示单元，所述图像处理设备包括 获取单元，用于获取通过拍摄被摄体而获得的两个视频图像； 检测单元，用于检测所述获取单元所获取的两个视频图像中的各视频图像内的面部区域； 面部区域设置单元，用于将所述检测单元在所述两个视频图像中的一个视频图像内检测到的面部区域与所述检测单元在所述两个视频图像中的另一视频图像内检测到的面部区域相关联，并且设置相关联的面部区域显示在所述显示单元上的位置和大小，以使得所述相关联的面部区域的位置和大小相互一致； 面部区域相关信息生成单元，用于生成面部区域相关信息，所述面部区域相关信息包括所述显示单元上要显示表示所述面部区域设置单元所设置的面部区域的面部区域图像的位置； 面部区域图像生成单元，用于根据所述面部区域相关信息生成单元所生成的面部区域相关信息来生成所述面部区域图像；以及 输出单元，用于分别将所述两个视频图像与所述面部区域图像生成单元所生成的面部区域图像进行合成，并且将合成后的视频图像输出至所述显示单元。2.根据权利要求I所述的图像处理设备，其特征在于，所述面部区域图像生成单元生成各自表示相关联的面部区域的面部区域图像，其中针对相关联的面部区域中的每个面部区域的面部区域图像为同一面部区域图像。3.根据权利要求I所述的图像处理设备，其特征在于，所述面部区域相关信息生成单元以预定定时更新各面部区域的位置，并且能够计算所述检测单元所检测到的各面部区域的移动量，以及所述面部区域相关信息生成单元根据所计算出的移动量在移动前的位置和移动后的位置之间插值出用于显示面部区域图像的位置，并且以所述预定定时将面部区域的位置更新为所插值出的位置。4.根据权利要求I所述的图像处理设备，其特征在于，所述面部区域设置单元将表示所述检测单元在所述一个视频图像内检测到的面部区域的面部区域图像设置作为参考图像，并且通过使用所述另一视频图像内与所述参考图像的相关值最高的区域，将在所述一个视频图像内检测到的面部区域与在所述另一视频图像内检测到的面部区域...

【专利技术属性】
技术研发人员：片山达嗣，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：