图像处理装置、图像处理方法和程序制造方法及图纸

这里公开了一种图像处理装置，包括：图像处理部分，被配置为在拍摄的用户图像包括构成衣服区域的由所述用户穿着的衣服的图像的情况下，如果要用构成虚拟衣服区域的事先准备的虚拟衣服的图像替换所述衣服的图像，并且如果被所述虚拟衣服区域覆盖的所述衣服区域具有从所述虚拟衣服区域突出的突出区域，则所述图像处理部分进行使所述虚拟衣服区域与所述衣服区域一致的处理。

【技术实现步骤摘要】

本公开涉及一种图像处理装置、图像处理方法和程序。更具体地，本公开涉及一种用于防止在用户的衣服比虚拟衣服大的情况下用户所穿着的并且覆盖有虚拟衣服的衣服的难看的显示的图像处理装置、图像处理方法和程序。
技术介绍
存在被称为AR (增强现实)的技术，用来通过计算机虚拟地增强现实世界。AR的一个应用是衣服的试穿。更具体地，根据该技术，用虚拟衣服替换通过照相机拍摄的用户图像中用户所穿着的真实衣服，从而可以看到用户穿着虚拟衣服(即，虚拟衣服被覆盖在用户的图像上)。用于试穿用途的AR采用动作捕获技术，动作捕获技术使用诸如加速传感器、地磁传感器和范围扫描器的各种传感器来检测用户的动作，以使虚拟衣服配合用户的身体(即，其图像)。具体地，检测用户的动作意味着连续获取作为要识别的目标的用户的关节的位置。动作捕获技术使用两种技术中的任一种使用标记的技术和不使用标记的技术。使用标记的技术涉及向用户的关节附着可容易地检测的标记。检测并获取这些标记的位置使得可以知道作为要识别的目标的用户的关节的位置。另一方面，不使用标记的技术涉及对从各种传感器获得的值进行处理以估计作为要识别的目标的用户的关节的位置。例如，存在用于根据由能够检测对象的深度距离的三维测量照相机拍摄的深度图像(即指示深度信息的图像)来识别用户的姿势(关节位置)的算法(例如参见2011年5月23日在因特网〈URL:http://research. microsoft. com/pubs/145347/BodyPartRecognition. pdef> 上访问的 “Real-Time Human Pose Recognition in Parts from Single Depth Images”，Microsoft Research)o对于不使用标记的技术，准确地估计用户的关节的位置涉及获取关节之间的距离。因此，在开始动作捕获之前，通常进行校准过程以基于通过各种传感器获得的值来计算关节之间的距离。如果预先使用卷尺等测量了关节之间的距离，则省略校准过程。在校准过程中，如果三个或更多个要估计的用户关节排列在直线上，则理论上无法计算关节之间的距离。在这种情况下，请求用户将他或她的关节弯曲为被称为校准姿势的特定姿势。
技术实现思路
在将AR技术应用于衣服试穿的情况下，用户所穿着的衣服可能比覆盖在用户的衣服上的虚拟衣服大。在这种情况下，用户的衣服从所覆盖的虚拟衣服突出，可呈现出难看的显示。鉴于上述情形作出了本公开，本公开提供用于防止用户的衣服比虚拟衣服大的情况下用户所穿着的并且覆盖有虚拟衣服的衣服的难看显示的配置。根据本公开的一个实施例，提供一种图像处理装置，包括图像处理部分，被配置为在拍摄的用户图像包括由所述用户穿着并且构成衣服区域的衣服的图像的情况下，如果要用构成虚拟衣服区域的事先准备的虚拟衣服的图像替换所述衣服的图像，并且如果被所述虚拟衣服区域覆盖的所述衣服区域具有从所述虚拟衣服区域突出的突出区域，则所述图像处理部分进行使所述虚拟衣服区域与所述衣服区域一致的处理。根据本公开的另一实施例，提供一种图像处理方法，包括在拍摄的用户图像包括由所述用户穿着并且构成衣服区域的衣服的图像的情况下，如果要用构成虚拟衣服区域的事先准备的虚拟衣服的图像替换所述衣服的图像，并且如果被所述虚拟衣服区域覆盖的所述衣服区域具有从所述虚拟衣服区域突出的突出区域，则进行使所述虚拟衣服区域与所述衣服区域一致的处理。根据本公开的再一实施例，提供一种使计算机执行处理的程序，所述处理包括在拍摄的用户图像包括由所述用户穿着并且构成衣服区域的衣服的图像的情况下，如果要用构成虚拟衣服区域的事先准备的虚拟衣服的图像替换所述衣服的图像，并且如果被所述虚拟衣服区域覆盖的所述衣服区域具有从所述虚拟衣服区域突出的突出区域，则进行使所述虚拟衣服区域与所述衣服区域一致的处理。根据如上面概述的那样加以实施的本公开，在拍摄的用户图像包括由该用户穿着的并且构成衣服区域的衣服的图像的情况下，如果要用事先准备的并且构成虚拟衣服区域的虚拟衣服的图像替换所述衣服的图像，并且如果被所述虚拟衣服区域覆盖的所述衣服区域具有从所述虚拟衣服区域突出的突出区域，则使所述虚拟衣服区域与所述衣服区域一致。附带地，可以通过经由传输介质传输或者记录在记录介质上来提供本公开的程序。本公开的图像处理装置可以是独立装置或者是构成单个装置的部分的内部块。因此，在实施时，本公开使得能够防止在用户的衣服比虚拟衣服大的情况下用户所穿着的并且与虚拟衣服重叠的衣服的难看显示。附图说明在阅读下面的描述和附图后，本公开的其它优点将变得明显，在附图中图1是示出作为本公开的一个实施例的虚拟试穿系统的典型配置的示意图；图2是示出虚拟试穿系统的典型硬件配置的框图；图3是说明由虚拟试穿系统进行的处理的概要的流程图；图4是说明校准过程的详细流程图；图5是示出校准姿势下的虚拟衣服的典型图像的示意图；图6是说明关节位置估计过程的详细流程图；图7A、7B、7C、7D和7E是详细说明关节位置估计过程的示意图；图8是说明覆盖虚拟衣服的过程的详细流程图；图9是说明突出区域的示意图；图10是说明突出区域的另一示意图11是说明第二突出区域调整过程的流程图；图12是说明尺寸表示呈现过程的流程图；以及图13是说明触摸表示呈现过程的流程图。具体实施例方式图1示出了作为本公开的一个实施例所实现的虚拟试穿系统I的典型配置。在图1中，虚拟试穿系统I将AR (增强现实)技术应用于衣服的试穿。这是对用户进行成像并且显示用虚拟衣服替换用户所穿着的真实衣服的图像的系统。虚拟试穿系统I包括用于对用户进行成像的成像部分11、用于将虚拟衣服覆盖在由成像部分11拍摄的图像上的图像处理部分12以及用于显示表示穿着虚拟衣服的用户的图像的显示部分13。可以通过组合诸如用作成像部分11的成像设备、作为图像处理部分12的图像处理设备以及作为显示部分13的显示设备的不同专用硬件来构成虚拟试穿系统I。可选地，可以使用单个通用个人计算机来构成虚拟试穿系统。图2是示出使用个人计算机构成的虚拟试穿系统I的典型硬件配置的框图。在图2中的附图标记中，已经在图1中使用的附图标记指示相似或相应的部分。在用作虚拟试穿系统I的个人计算机中，CPU (中央处理单元)、R0M (只读存储器)102和RAM (随机存取存储器)103经由总线104互连。输入/输出接口 105也连接到总线104。输入/输出接口 105与成像部分11、输入部分106、输出部分107、存储部分108、通信部分109和驱动器110耦合。例如，成像部分11由诸如CXD (电荷耦合器件)或CMOS (互补金属氧化物半导体)传感器的成像元件以及能够获取构成成像元件的每个像素的深度信息的范围扫描器构成。成像部分11对作为要识别的目标的用户进行成像，并且经由输入/输出接口 105将拍摄的图像和每个构成像素的深度信息(即，数据)馈送到CPU 101和其它部分。输入部分106由键盘、鼠标、麦克风等形成。输入部分106接收输入的信息,并且经由输入/输出接口 105将其传送到CPU 101和其它部分。输出部分107由诸如液晶显示器的显不部分13 (图1)和用于输出声音的扬声器构成。存储部分108由硬盘和本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：图像处理部分，被配置为在拍摄的用户的图像包括由所述用户穿着并且构成衣服区域的衣服的图像的情况下，如果要用事先准备的并且构成虚拟衣服区域的虚拟衣服的图像替换所述衣服的图像，并且如果被所述虚拟衣服区域覆盖的所述衣服区域具有从所述虚拟衣服区域突出的突出区域，则所述图像处理部分进行使所述虚拟衣服区域与所述衣服区域一致的处理。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：铃木诚司，笠原俊一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：