信息处理设备和显示控制方法技术

提供一种信息处理设备，包括：判断单元，用于通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及显示控制单元，用于基于由判断单元判断的前后关系，将其中投影了虚拟物体的虚拟图像重叠显示在拍摄有实际物体的拍摄图像上。

【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】提供一种信息处理设备，包括：判断单元，用于通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及显示控制单元，用于基于由判断单元判断的前后关系，将其中投影了虚拟物体的虚拟图像重叠显示在拍摄有实际物体的拍摄图像上。【专利说明】信息处理设备、显示控制方法和程序
本专利技术涉及信息处理设备、显示控制方法和程序。
技术介绍
提出了作为虚拟试穿系统的用于将其中拍摄有用户的拍摄图像与衣服图像合成的各种试穿图像产生技术。例如，在专利文献I中公开了将用户身体图像与衣服图像合成的处理。具体地说，在专利文献I中描述的图像处理服务器改变衣服图像的大小并基于附加在用户身体图像上的身体轮廓数据(诸如身高和肩宽)和图像中的身体的朝向来调整衣服图像的朝向，并将其合成到身体图像上。文献列表专利文献专利文献I JP2OO6-3CM33IA
技术实现思路
技术问题但是，使用在专利文献I中描述的试穿图像产生技术，衣服图像被合成到用户身体图像上，因此虚拟衣服总是被绘制在实际物体(身体)的前面。例如，此外，当用户的手在躯干前面时，虚拟衣服被绘制在前面，因此手被隐藏在虚拟衣服后面。如上所述，当实际物体与虚拟物体之间的前后关系复杂时，难以适当地产生合成图形。因此，本公开提出一种新颖的、改进的信息处理设备以及显示控制方法和程序，该信息处理设备能够针对每个部分来判断实际物体与虚拟物体之间的前后关系。问题的解决方案根据本公开的实施例，提供一种信息处理设备，包括:判断单元，用于通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及显示控制单元，用于基于由判断单元判断的前后关系，将投影了所述虚拟物体的虚拟图像重叠显示在拍摄了所述实际物体的拍摄图像上。根据本公开实施例，提供一种显示控制方法，包括以下步骤:通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及基于在判断步骤中判断的前后关系，将投影了所述虚拟物体的虚拟图像重叠显示在拍摄了所述实际物体的拍摄图像上。根据本技术实施例，提供一种使得计算机执行如下处理的程序:通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及基于通过判断处理判断的前后关系，将投影了所述虚拟物体的虚拟物体重叠显示在拍摄了所述实际物体的拍摄图像上。本专利技术的有益效果如上所述，根据本公开，可以针对每个部分判断实际物体与虚拟物体之间的前后关系。【专利附图】【附图说明】图1是用于说明根据本公开的一个实施例的AR试穿系统的概要的示图。图2是用于说明示例性覆盖衣服图像的示图。图3是用于说明另一个示例性覆盖衣服图像的示图。图4是示出根据本公开的一个实施例的信息处理设备的结构的框图。图5是用于说明在现实空间中照相机与被摄体之间的位置关系，以及其中拍摄有被摄体的拍摄图像的示图。图6是用于说明根据本公开的一个实施例的骨骼信息的示图。图7是用于说明根据本公开的一个实施例的深度信息的示图。图8是用于说明在虚拟空间中虚拟照相机与虚拟衣服之间的位置关系，以及虚拟衣服被投影到其中的虚拟衣服图像的示图。图9是示出根据本公开的一个实施例的在AR试穿图像显示中的基本显示控制处理的流程图。图10是示出根据本公开的一个实施例的基于深度信息的AR试穿图像绘制控制的流程图。图11是用于说明根据本公开的一个实施例的示例性的绘制的AR试穿图像的示图。图12是用于说明根据本公开的一个实施例的示例性的绘制的AR试穿图像的示图。【具体实施方式】在下文中，将参照附图详细地描述本公开的优选实施例。要注意，在本说明书和附图中，基本上具有相同的功能和结构的元件用相同的附图标记表示，并且省略重复说明。将按照以下顺序进行说明。1.根据本公开的一个实施例的AR试穿系统的概要2.信息处理设备的结构3.显示控制3-1.基本显示控制3-2.根据前后关系绘制AR试穿图像4.总结〈1.根据本公开的一个实施例的AR试穿系统的概要>近年来，一种用于将附加信息重叠在真实世界上并将其呈献给用户的被称为增强现实(augmented reality, AR)的技术受到了关注。在AR技术中要被呈献给用户的信息可通过使用诸如文本、图标或动画的各种形式的虚拟物体被可视化。AR技术应用于的一个主要领域是支持真实世界中的用户的活动。在下文中，AR技术被应用于试穿系统。通过利用AR技术的试穿系统，与用户的活动的协同地，虚拟衣服图像被重叠显示，从而使得可实时地体验虚拟试穿。根据本公开的一个实施例的AR试穿系统判断作为真实物体的被摄体与作为虚拟物体的虚拟衣服之间的前后关系，并且基于判断的前后关系将虚拟图像重叠显示。将参考图1来描述根据本公开的一个实施例的AR试穿系统的概要。如图1所示，根据本公开的一个实施例的AR试穿系统I具有信息处理设备10、照相机15、传感器17和显示装置19。安装AR试穿系统I的场所没有特别的限制。例如，AR试穿系统I可被安装在用户家中或者可被安装在店铺中。在图1中示出的示例中，构成AR试穿系统I的多个单元(信息处理设备10、照相机15、传感器17和显示装置19)被分开构造，但是根据本公开的AR试穿系统I的结构不限于此。构成AR试穿系统I的某些单元的组合可被集成。例如，构成AR试穿系统I的多个单元可被并入到智能电话、PDA(个人数字助理)、移动电话、便携式音乐播放器、便携式视频处理器或便携式游戏机中。照相机15 (拍摄装置)拍摄存在于真实空间中的物体。在真实空间中存在的物体没有特别的限制，并且可以是诸如人或动物的生物，或者除了生物以外的任何东西，诸如车库或电视柜。在图1中示出的示例中，作为真实空间物体的被摄体A(例如，人)由照相机15来拍摄。由照相机15拍摄的图像(可被称为拍摄图像)被显示在显示装置19上。在显示装置19上显示的拍摄图像可以是RGB图像。照相机15将拍摄图像发送到信息处理设备10。传感器17具有检测来自真实空间的参数的功能，并且将检测数据发送到信息处理设备10。例如，当传感器17由红外传感器构成时，传感器17可检测来自真实空间的红外线，并将基于红外线的电信号作为检测数据提供给信息处理设备10。例如，信息处理设备10可基于该检测数据来识别真实空间物体。传感器17的类型并不限于红外传感器。在图1中示出的示例中，假定检测数据被从传感器17供应到信息处理设备10，但是要供应到信息处理设备10的检测数据可以是由照相机15拍摄的图像。信息处理设备10根据对真实空间物体的识别结果将虚拟物体与拍摄图像合成或者修改拍摄图像，从而处理拍摄图像。显示装置19可显示由信息处理设备10处理的图像。例如，如图1所示，信息处理设备10可识别在真实空间中的被摄体A，并且实时地在显示装置19上显示合成了衣服图像的试穿图像。在本文中，用户身体是真实空间视频，要试穿的衣服的图像是要被重叠显示在真实空间视频上的虚拟物体。因此，AR试穿系统I可提供实时的虚拟试穿。在本文中，通过虚拟试穿系统，衣服图像被覆盖在拍摄有被摄体的拍摄图像上，因此虚拟物体(虚拟衣服)总是被绘制在实际物体(被摄体)前面。下面将参考图2和图3来描述由于衣服图像的覆盖而导致的不良效果。图2是用于说明示例性覆盖衣服图像的示图。如图2所示，如果在被摄体本文档来自技高网...

【技术保护点】
一种信息处理设备，包括：判断单元，用于通过使用深度信息，针对每个部分判断拍摄的实际物体与虚拟物体之间的前后关系；以及显示控制单元，用于基于由判断单元判断的前后关系，将其中投影了虚拟物体的虚拟图像重叠显示在拍摄有实际物体的拍摄图像上。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：铃木诚司，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP