未看见的人类姿态中的姿态合成制造技术

本公开涉及未看见的人类姿态中的姿态合成。论述了与合成处于未看见的姿态中的人的图像有关的技术。这种技术包括在第一图像中的该人的表示中检测针对一身体部位的身体部位遮挡，并且响应于检测到的遮挡，将该身体部位的表示从具有不同视图的第二图像投影到第一图像中。基于该人的源姿态和目标姿态的几何变换随后被应用到合并图像以生成包括处于目标姿态中的该人的表示的合成图像。

【技术实现步骤摘要】
未看见的人类姿态中的姿态合成
本公开大体涉及图像处理的领域，具体地涉及看不见的人类姿态中的姿态合成。
技术介绍
在一些情境中，将新姿态转化到输入图像中的具有不同姿态的人是有利的。这种新姿态图像可用于娱乐、用于呈现给观众或者用于多种其他用途。当前，机器学习可用于基于输入图像中的人和期望的新姿态来生成新姿态图像。然而，这种技术只解决具有清洁背景的情境中的一次单个人的转化。希望将新姿态转化到在包括可能彼此遮挡的多于一个人的输入图像中以及在包括复杂背景信息的真实生活情境中的人类。这种新姿态图像可用于很多种情境中。正是考虑到这些和其他考虑事项，所以需要本改进。随着在成像和视频中提供新的沉浸式用户体验的愿望变得更加普遍，这种改进可变得至关重要。
技术实现思路
本公开的一些方面提供了一种用于验证3D模型的装置。该装置包括：存储器，用于存储与在第一图像中表示的人相对应的姿态数据，其中第一图像与包括人的场景的第一视图相对应；以及耦合到存储器的处理器，该处理器用于：至少利用第一图像为人生成第一身体部位图像，其中第一身体部位图像针对第一图像的像素标识可用的一组身体部位中的一个身体部位；从第一视图中检测对人的表示的第一身体部位的身体部位遮挡；识别与场景的第二视图相对应的第二图像，第二图像具有人的第一身体部位的第二表示；将第一身体部位在第二图像中的第二表示投影到第一图像以生成合并图像；并且至少基于姿态数据和目标姿态，将几何变换应用到合并图像以生成合成图像，合成图像包括处于目标姿态中的人的表示。附图说明在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：图1图示了用于生成处于合成姿态中的人的图像的示例装置。图2图示了在图1的装置中实现的示例姿态估计模块。图3图示了在示例场景上训练的示例相机阵列；图4图示了来自示例场景的特定视图的示例输入图像；图5图示了示例背景/前景遮罩；图6图示了与示例输入图像区域中的人的数目相对应的示例姿态数据；图7图示了与示例输入图像部分相对应的示例身体部位图像；图8图示了示例身体部位区域，该身体部位区域具有穿过其一部分的外部遮挡；图9图示了用于检测身体部位图像中的遮挡的示例过程；图10图示了用于确定合成姿态图像的示例几何变换；图11是图示出用于生成处于合成姿态中的人的图像的示例过程的流程图；图12是用于生成处于合成姿态中的人的图像的示例系统的示意图；图13是示例系统的示意图；并且图14图示了全都根据本公开的至少一些实现方式布置的示例设备。具体实施方式现在参考附图描述一个或多个实施例或实现方式。虽然论述了具体配置和布置，但应当理解这么做只是为了说明。相关领域的技术人员将认识到，在不脱离描述的精神和范围的情况下，可以采用其他配置和布置。相关领域的技术人员将会清楚，本文描述的技术和/或布置也可用在与本文所述不同的多种其他系统和应用中。虽然接下来的描述阐述了可在诸如片上系统(system-on-a-chip，SoC)体系结构之类的体系结构中显现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定的体系结构和/或计算系统，而是可由任何体系结构和/或计算系统为类似的目的而实现。例如，采用例如多个集成电路(integratedcircuit，IC)芯片和/或封装的各种体系结构和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消费电子(consumerelectronic，CE)设备可实现本文描述的技术和/或布置。另外，虽然接下来的描述可阐述许多具体细节，例如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等，但要求保护的主题可在没有这种具体细节的情况下实现。在其他情况中，为了避免模糊本文公开的素材，可能没有详细示出一些素材，例如控制结构和完整软件指令序列。本文公开的素材可以用硬件、固件、软件或者其任何组合来实现。本文公开的素材也可实现为存储在机器可读介质上的指令，这些指令可被一个或多个处理器读取和执行。机器可读介质可包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何介质和/或机构。例如，机器可读介质可包括只读存储器(readonlymemory，ROM)；随机访问存储器(randomaccessmemory，RAM)；磁盘存储介质；光存储介质；闪存设备；电的、光的、声的或者其他形式的传播信号(例如，载波、红外信号、数字信号等等)，以及其他。说明书中提及“一个实现方式”、“一实现方式”、“一示例实现方式”等等指示的是描述的实现方式可包括特定的特征、结构或特性，但可能不一定每个实施例都包括该特定特征、结构或特性。另外，这种短语不一定指同一实现方式。另外，当联系一实施例来描述特定的特征、结构或特性时，认为联系其他实现方式(无论本文是否明确描述)来实现这种特征、结构或特性是在本领域技术人员的知识范围内的。术语“基本上”、“接近”、“大致”、“近似”和“大约”一般指在目标值的+/-10％内。例如，除非在其使用的明确上下文中另有指明，否则术语“基本上等于”、“大约等于”和“大致等于”的意思是在这样描述的事物之间没有超过偶然的差异。在本领域中，这种差异通常不超过预定目标值的+/-10％。除非另有指明，否则使用序数形容词“第一”、“第二”和“第三”等等来描述共同对象只是表明相似对象的不同实例被引用，而并不打算暗示这样描述的对象必须在时间上、空间上、排名上或者以任何其他方式处于给定的序列中。本文描述了方法、设备、装置、计算平台和物品，这些方法、设备、装置、计算平台和物品与生成处于合成姿态中的人的图像，并且具体地与纠正处于合成姿态中的人的图像的生成中的身体部位遮挡有关。如上所述，将目标姿态转化到没有以目标姿态成像的人，可能是有利的。例如，处于不是目标姿态的源姿态中的人的图像可用于生成处于目标姿态中的人的合成图像，从而生成处于未看见的姿态中的人的图像。就本文使用的而言，术语未看见的或未看见的姿态指的是不是由图像捕捉设备(例如，相机)获得的而是生成的或者合成的图像。类似地，术语合成姿态或合成图像指的是不是由图像捕捉设备获得的而是生成的姿态或图像。这种合成姿态或合成图像可用在多种情境中。例如，合成姿态或合成图像可出于娱乐目的被呈现给观看者。在一些实施例中，合成姿态或合成图像可用作教练工具来在体育运动情境中向教练提供优势。在一些实施例中，可在视频游戏情境中呈现合成姿态或合成图像。此外，合成姿态或合成图像可用于生成包括未看见的姿态在内的点云以在用于娱乐目的的建模3D环境内生成沉浸式内容(例如，从任何位置的360视图)。本文论述的技术在具有多个人(例如，体育赛事中的多个选手)、动态背景和外部遮挡的复杂场景中提供合成姿态。此外，公本文档来自技高网...

【技术保护点】
1.一种用于验证3D模型的装置，包括：/n存储器，用于存储与在第一图像中表示的人相对应的姿态数据，其中所述第一图像与包括所述人的场景的第一视图相对应；以及/n耦合到所述存储器的处理器，所述处理器用于：/n至少利用所述第一图像为所述人生成第一身体部位图像，其中所述第一身体部位图像针对所述第一图像的像素标识可用的一组身体部位中的一个身体部位；/n从所述第一视图中检测对所述人的表示的第一身体部位的身体部位遮挡；/n识别与所述场景的第二视图相对应的第二图像，所述第二图像具有所述人的第一身体部位的第二表示；/n将所述第一身体部位在所述第二图像中的第二表示投影到所述第一图像以生成合并图像；并且/n至少基于所述姿态数据和目标姿态，将几何变换应用到所述合并图像以生成合成图像，所述合成图像包括处于所述目标姿态中的所述人的表示。/n

【技术特征摘要】
20190620 US 16/447,7001.一种用于验证3D模型的装置，包括：
存储器，用于存储与在第一图像中表示的人相对应的姿态数据，其中所述第一图像与包括所述人的场景的第一视图相对应；以及
耦合到所述存储器的处理器，所述处理器用于：
至少利用所述第一图像为所述人生成第一身体部位图像，其中所述第一身体部位图像针对所述第一图像的像素标识可用的一组身体部位中的一个身体部位；
从所述第一视图中检测对所述人的表示的第一身体部位的身体部位遮挡；
识别与所述场景的第二视图相对应的第二图像，所述第二图像具有所述人的第一身体部位的第二表示；
将所述第一身体部位在所述第二图像中的第二表示投影到所述第一图像以生成合并图像；并且
至少基于所述姿态数据和目标姿态，将几何变换应用到所述合并图像以生成合成图像，所述合成图像包括处于所述目标姿态中的所述人的表示。


2.如权利要求1所述的装置，其中，所述处理器检测对所述第一身体部位的所述身体部位遮挡包括：所述处理器在所述第一身体部位图像中与所述第一身体部位相对应的第一身体部位区域上执行恒定表面检测，以检测所述第一身体部位区域包括非恒定图像表面。


3.如权利要求2所述的装置，其中，所述恒定表面检测包括纹理检测，并且对所述非恒定图像表面的检测包括：检测出所述第一身体部位区域的子区域之间的纹理变化超过阈值。


4.如权利要求2所述的装置，其中，所述恒定表面检测包括颜色检测，并且对所述非恒定图像表面的检测包括：对所述第一身体部位区域的子区域之间的颜色直方图变化的检测。


5.如权利要求2所述的装置，其中，所述恒定表面检测包括法向量变化检测，并且对所述非恒定图像表面的检测包括：对所述第一身体部位区域的子区域之间的平均法向量变化的检测。


6.如权利要求2所述的装置，其中，所述恒定表面检测包括边缘检测，并且对所述非恒定图像表面的检测包括：对所述第一身体部位区域中的一个或多个边缘的检测。


7.如权利要求1到6中任一项所述的装置，所述处理器还用于：
通过向与所述第一图像相对应的输入图像应用卷积神经网络以生成背景和前景遮罩，来对所述输入图像执行背景和前景分割，所述背景和前景遮罩包括针对所述输入图像的背景像素的第一值和针对所述输入图像的前景图像的第二值。


8.如权利要求7所述的装置，所述处理器还用于：
基于所述背景和前景遮罩，向至少所述输入图像的与图像前景相对应的一部分应用第二卷积神经网络，以生成所述姿态数据，其中所述姿态数据至少包括所述人的所述可用的一组身体部位的位置。


9.如权利要求7所述的装置，其中，所述处理器生成所述第一身体部位图像包括：所述处理器将所述图像前景的部分关联到所述可用的一组身体部位。


10.如权利要求1到9中任一项所述的装置，所述处理器还用于：
在所述合成图像的身体部位片段之间执行插补以合并所述身体部位片段，并且将所得到的最终姿态合并到背景中以生成最终合成图像；并且
将所述最终合成图像呈现给用户。


11.一种用于生成处于合成姿态中的人的图像的...

【专利技术属性】
技术研发人员：范妮·妮娜·帕拉维奇诺，詹姆斯·霍尔，丽塔·布鲁加罗拉斯·布鲁福，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US