【技术实现步骤摘要】
用于来自低分辨率图像的人类超分辨率的方法和装置
本申请一般地涉及图像处理领域，更具体地涉及从包括穿戴预定制服的人的低分辨率图像生成精细超分辨率图像。
技术介绍
在各种情境中，由于在场景上训练的一个或多个相机远离人，对于场景中的人获得了人的低分辨率图像。例如，体育赛事或其他活动可使用安装在场地各处的多个相机来获得场景的视频或图像。视频可用于构建场景的体积模型(volumetricmodel)以提供包括来自场景中的任何点的虚拟图像的沉浸式用户体验。即使在高分辨率(例如，5K分辨率)，由于相机可能远离场景中的人(例如，运动员)，所以图像中的人可能被以低分辨率获得，例如高度约为160个像素的图像部分。因此，场景中的人在所构造的点云中是很小的，这转化成投影的虚拟图像中的低分辨率。将人的低分辨率图像的分辨率改进为超分辨率图像以使得例如场景的虚拟视图被改进以获得增强的用户体验，可能是有利的。正是考虑到这些和其他考虑事项，所以需要本改进。随着在诸如专业体育赛事之类的由多个相机获得的场景中提供沉浸式用户体验的愿望变得更普遍，这种改进可...
【技术保护点】
1.一种用于生成超分辨率图像的装置，包括：/n存储器，用于存储包括至少一个人的整体的低分辨率图像；以及/n耦合到所述存储器的处理器，该处理器用于：/n接收所述低分辨率图像；/n利用所述低分辨率图像生成第一超分辨率图像，其中所述第一超分辨率图像具有比所述低分辨率图像更大的分辨率；/n向所述第一超分辨率图像应用第一经预训练的卷积神经网络，以将来自预定标签集合的特定标签关联到所述第一超分辨率图像的像素，其中所述预定标签集合至少包括标签的集合，其中每个标签分别与所述至少一个人的服装的至少一部分或者身体部分相对应；/n利用所述第一超分辨率图像确定与所述至少一个人相对应的姿态信息；/n...
【技术特征摘要】
20190429 US 16/397,9411.一种用于生成超分辨率图像的装置，包括：
存储器，用于存储包括至少一个人的整体的低分辨率图像；以及
耦合到所述存储器的处理器，该处理器用于：
接收所述低分辨率图像；
利用所述低分辨率图像生成第一超分辨率图像，其中所述第一超分辨率图像具有比所述低分辨率图像更大的分辨率；
向所述第一超分辨率图像应用第一经预训练的卷积神经网络，以将来自预定标签集合的特定标签关联到所述第一超分辨率图像的像素，其中所述预定标签集合至少包括标签的集合，其中每个标签分别与所述至少一个人的服装的至少一部分或者身体部分相对应；
利用所述第一超分辨率图像确定与所述至少一个人相对应的姿态信息；
串接多个图像通道以生成堆叠图像，所述多个图像通道包括与以下各项的每一者相对应的至少一个图像通道：所述第一超分辨率图像、所述预定标签集合中的标签、以及所述姿态信息；
通过向所述堆叠图像应用第二经预训练的卷积神经网络来生成第二超分辨率图像；并且
利用所述第二超分辨率图像生成用于向观看者呈现的图像。
2.如权利要求1所述的装置，其中所述标签的集合包括第一标签和第二标签，每个第一标签与所述至少一个人穿戴的预定制服的一部分相对应，每个第二标签与对应于所述预定制服的预定统一暴露身体部分相对应。
3.如权利要求1或2所述的装置，其中所述堆叠图像的所述多个图像通道包括：关于所述第一超分辨率图像的每个颜色通道的通道、关于所述预定标签集合中的每个标签的通道、以及关于由所述姿态信息识别的每个完全身体部分的通道。
4.如权利要求3所述的装置，其中关于所述预定标签集合中的每个标签的每个通道包括二元图像，该二元图像对于与所述预定标签集合中的每个标签相关联的像素具有第一值并且对于不与所述预定标签集合中的每个标签相关联的像素具有第二值。
5.如权利要求4所述的装置，其中关于由所述姿态信息识别的每个完全身体部分的每个通道包括概率地图，所述概率地图具有关于其像素的概率值，每个概率值指示该像素与由所述姿态信息识别的每个完全身体部分相关联的概率。
6.如权利要求1或2所述的装置，其中所述处理器生成所述第一超分辨率图像包括：所述处理器向所述低分辨率图像应用第三经预训练的卷积神经网络。
7.如权利要求6所述的装置，其中所述第一经预训练的卷积神经网络、所述第二经预训练的卷积神经网络和所述第三经预训练的卷积神经网络是基于包括穿戴预定制服的人的整体的图像的训练集合以端到端方式来预训练的。
8.如权利要求1或2所述的装置，其中所述处理器用于：
利用所述低分辨率图像或者所述第一超分辨率图像来检测以下项之一：所述至少一个人的身份或者所述至少一个人的特定特征；
利用所述身份或者所述特定特征从存储器获得预定图像贴片；
从所述预定图像贴片生成子图像；并且
合并所述第二超分辨率图像和所述子图像，其中所述处理器生成用于呈现的图像是基于所合并的图像的。
9.如权利要求8所述的装置，其中所述处理器生成所述子图像包括所述处理器用于：
将所述预定图像贴片投影到图像平面以生成投影图像贴片，所述图像平面由用于获得所述低分辨率图像的相机与所述至少一个人的相对位置定义。
10.如权利要求9所述的装置，其中所述处理器生成所述子图像还包括所述处理器用于：
串接与所述第一超分辨率图像相对应的通道、与所述预定标签集合中的标签相对应的通道、和所述投影图像贴片，以生成第二堆叠图像；
向所述第二堆叠图像应用第三经预训练的卷积神经网络以生成所述子图像，其中所述第三经预训练的卷积神经网络是利用包括预定场景的预定照明条件的训练图像集合与所述第一经预训练的卷积神经网络和所述第二经预训练的卷积神经网络分开预训练的。
11.如权利要求1或2所述的装置，其中所述服装包括预定制服，包括特定体育运动制服，所述至少一个人在与所述特定体育运动制服相对应的体育运动场景中，并且所述低分辨率图像是从多个相机之一获得的完全图像的一部分，所述多个相机的每一者以不小于4k分辨率的分辨率来记录所述场景的图像。
12.一种用于生成超...
【专利技术属性】
技术研发人员：尤里·施帕连斯基，扎奇·阿什肯纳齐，玛丽亚·博特曼，罗兰·米沙耶夫，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。