用于处理图像的方法、装置和记录介质制造方法及图纸

一种由设备处理图像的方法获取包括目标空间中的对象的捕获图像的一个或更多个图像，生成包括关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息的元数据，以及将所述一个或更多个图像和所述元数据发送到终端。

【技术实现步骤摘要】
【国外来华专利技术】用于处理图像的方法、装置和记录介质
与示例性实施例一致的方法和装置涉及用于处理图像的方法和装置，以及其上记录有用于执行处理图像的方法的程序的记录介质。
技术介绍
虚拟现实(VR)可以指示用户与装置之间的界面，这涉及由计算机渲染(render)特定环境或情境并且使得用户能够好像在真实环境或情境中进行交互。能够向用户提供虚拟现实的设备提供用户界面，该用户界面向用户展示用户未直接体验的情境或环境，并且允许用户操纵该情境或环境。随着近来对虚拟现实的关注的增加，已经积极地开发了用于实现VR的技术。特别地，已经积极地进行了对用于处理包括实现VR所需的虚拟空间的图像的技术的研究。
技术实现思路
技术问题本公开提供了一种用于处理图像的方法、装置和记录介质，以防止虚拟现实(VR)图像的质量由于在渲染特定空间的VR图像时可能发生的诸如变形的失真而劣化。问题的解决方案一种由设备处理图像的方法获取包括目标空间中的对象的捕获图像的一个或更多个图像，生成包括关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息的元数据，以及将所述一个或更多个图像和所述元数据发送到终端。附图说明根据以下结合附图对示例性实施例的描述，上述和/或其他方面将变得显而易见并且更容易理解，在附图中：图1是用于描述根据示例性实施例的由设备和终端处理图像的方法的概念图；图2是根据示例性实施例的由设备执行的处理图像的方法的流程图；图3A、图3B、图3C和图3D是用于描述根据示例性实施例的用于获取目标空间的一个或更多个图像的拍摄设备的布置和形式的视图；图4是用于描述根据示例性实施例的从设备发送到终端的一个或更多个图像和元数据的视图；图5是用于描述从设备发送到终端的一个或更多个图像和元数据的视图；图6A、图6B和图6C是用于描述根据另一示例性实施例的从设备发送到终端的一个或更多个图像和元数据的视图；图7A、图7B和图7C是根据示例性实施例的由设备执行的将一个或更多个图像发送到终端的方法的流程图；图8是例示了根据另一示例性实施例的由设备执行的将一个或更多个图像发送到终端的方法的流程图；图9是例示了根据另一示例性实施例的由设备执行的将一个或更多个图像发送到终端的方法的流程图；图10A、图10B和图10C是用于描述根据另一示例性实施例的由设备执行的将一个或更多个图像发送到终端的方法的视图；图11是例示了根据示例性实施例的由设备执行的将一个或更多个图像的一部分发送到终端的方法的流程图；图12是根据第一示例性实施例的由终端执行的处理图像的方法的流程图；图13是根据第二示例性实施例的由终端执行的处理图像的方法的流程图；图14是根据第三示例性实施例的由终端执行的处理图像的方法的流程图；图15是根据第四示例性实施例的由终端执行的处理图像的方法的流程图；图16是根据第五示例性实施例的由终端执行的处理图像的方法的流程图；图17是根据示例性实施例的设备的框图；以及图18和图19是根据示例性实施例的终端的框图。用于实施本专利技术的最佳模式本公开提供了一种用于处理图像的方法、装置和记录介质，以防止虚拟现实(VR)图像的质量由于在渲染特定空间的VR图像时可能发生的诸如变形的失真而劣化。附加方面将在下面的描述中部分地阐述，并且从描述中部分地显得显而易见，或者可以通过实施本专利技术的示例性实施例来学习。根据示例性实施例的一方面，由设备执行的处理图像的方法包括：获取包括目标空间中的对象的捕获图像的一个或更多个图像、生成包括关于一个或更多个图像与用于生成目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息的元数据以及将一个或更多个图像和元数据发送到终端。关于映射的信息可以包括捕获一个或更多个图像的角度、捕获一个或更多个图像中的至少一个的捕获设备的位置、3D网格模型的类型和3D网格模型的分辨率中的至少一个。一个或更多个图像可以是多个图像，并且元数据可以包括用于多个图像的质量校正信息和用于包括在多个图像中的两个图像之间重叠的对象的区域的权重信息中的至少一个。该方法还可以包括：获取关于一个或更多个图像的噪声的信息；以及基于获取的关于噪声的信息，通过校正包括在一个或更多个图像中的多个像素的像素值来校正一个或更多个图像，其中，一个或更多个图像的发送可以包括将经校正的一个或更多个图像与元数据一起发送到终端。一个或更多个图像可以是多个图像，并且该方法还可以包括：从包括在多个图像中的对象中，确定在多个图像中的两个图像之间重叠的重叠对象；通过根据预设值将与包括两个图像中的重叠对象的区域相对应的像素值混合，转换包括重叠对象的图像；以及使用归一化的相机姿势对经转换的图像进行投影，其中，一个或更多个图像的发送可以包括将投影的经转换的图像与元数据一起发送到终端。根据示例性实施例的另一方面，由终端执行的处理图像的方法包括：从设备获取包括目标空间中的对象的捕获图像的一个或更多个图像以及关于一个或更多个图像的元数据；从元数据中获取关于一个或更多个图像与用于生成目标空间的VR图像的3D网格模型之间的映射的信息；通过基于关于该映射的信息渲染一个或更多个图像来生成目标空间的VR图像；以及输出生成的VR图像。关于映射的信息可以包括捕获一个或更多个图像的角度、捕获一个或更多个图像中的至少一个的捕获设备的位置、3D网格模型的类型和3D网格模型的分辨率中的至少一个。一个或更多个图像可以是多个图像，并且元数据可以包括用于多个图像的质量校正信息和用于包括重叠对象的区域的权重信息中的至少一个，该重叠对象在多个图像中的两个图像之间重叠。该方法还可以包括：基于质量校正信息，通过校正包括在多个图像中的多个像素的像素值来校正多个图像，其中，VR图像的生成可以包括通过基于关于映射的信息渲染经校正的多个图像来生成目标空间的VR图像。该方法还可以包括：基于元数据中包括的权重信息，通过根据预设权重值将与包括多个图像中的重叠对象的区域相对应的像素值混合来转换包括重叠对象的图像；以及使用归一化的相机姿势对经转换的图像进行投影，其中，VR图像的生成可以包括通过基于关于映射的信息渲染投影的经转换的图像来生成目标空间的VR图像。根据示例性实施例的又一方面，一种用于处理图像的设备包括：图像获取器，其被配置为获取包括目标空间中的对象的捕获图像的一个或更多个图像；控制器，其被配置为生成包括关于一个或更多个图像与用于生成目标空间的VR图像的3D网格模型之间的映射的信息的元数据；以及通信接口，其被配置为将一个或更多个图像和元数据发送到终端。关于映射的信息可以包括捕获一个或更多个图像的角度、捕获一个或更多个图像的捕获设备的位置、3D网格模型的类型和3D网格模型的分辨率中的至少一个。一个或更多个图像可以是多个图像，并且元数据可以包括用于一个或更多个图像的质量校正信息和用于包括在多个图像中的两个图像之间重叠的对象的区域的权重信息中的至少一个。控制器还可以被配置为获取关于一个或更多个图像的噪声的信息，以及基于所获取的关于噪声的信息，通过校正包括在一个或更多个图像中的多个像素的像素值来校正一个或更多个图像，并且通信接口还可以被配置为将经校正的一个或更多个图像与元数据一起发送到终端。一个或更多个图像可以是多个图像，并且控制器还可以本文档来自技高网...

【技术保护点】
1.一种由终端执行的处理图像的方法，所述方法包括：从设备获取包括目标空间中的对象的一个或更多个捕获图像的一个或更多个图像以及关于所述一个或更多个图像的元数据；从所述元数据中获取关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息；通过基于关于所述映射的所述信息渲染所述一个或更多个图像，生成所述目标空间的VR图像；以及输出所生成的VR图像。

【技术特征摘要】
【国外来华专利技术】2016.06.27 KR 10-2016-0080239;2016.07.15 KR 10-2011.一种由终端执行的处理图像的方法，所述方法包括：从设备获取包括目标空间中的对象的一个或更多个捕获图像的一个或更多个图像以及关于所述一个或更多个图像的元数据；从所述元数据中获取关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息；通过基于关于所述映射的所述信息渲染所述一个或更多个图像，生成所述目标空间的VR图像；以及输出所生成的VR图像。2.根据权利要求1所述的方法，其中，所述一个或更多个图像是多个图像，并且所述元数据包括用于所述多个图像的质量校正信息和用于包括重叠对象的区域的权重信息中的至少一个，所述重叠对象在所述多个图像中的两个图像之间重叠。3.根据权利要求2所述的方法，所述方法还包括：通过基于所述质量校正信息校正所述多个图像中包括的像素的像素值，校正所述多个图像，其中，所述VR图像的生成包括通过基于关于所述映射的所述信息渲染经校正的所述多个图像来生成所述目标空间的VR图像。4.根据权利要求2所述的方法，所述方法还包括：通过基于所述元数据中包括的权重信息根据预设权重值来混合所述多个图像中与包括所述重叠对象的所述区域相对应的像素值，转换包括所述重叠对象的图像；以及使用归一化的相机姿势对经转换的所述图像进行投影，其中，所述VR图像的生成包括通过基于关于所述映射的所述信息渲染所投影的经转换的所述图像来生成所述目标空间的VR图像。5.一种用于处理图像的设备，所述设备包括：图像获取器，所述图像获取器被配置为获取包括目标空间中的对象的一个或更多个捕获图像的一个或更多个图像；控制器，所述控制器被配置为生成包括关于所述一个或更多个图像与用于生成所述目标空间的虚拟现实(VR)图像的三维(3D)网格模型之间的映射的信息的元数据；以及通信接口，所述通信接口被配置为将所述一个或更多个图像和所述元数据发送到终端。6.根据权利要求5所述的设备，其中，关于所述映射的所述信息包括下列中至少一个：捕获所述一个或更多个图像的角度、捕获所述一个或更多个图像的捕获设备的位置、所述3D网格模型的类型和所述3D网格模型的分辨率。7.根据权利要求5所述的设备，其中，所述一个或更多个图像是多个图像，并且所述元数据包括下列中至少一个：用于所述一个或更多个图像的质量校正信息；和用于包括在所述多个图像中的两个图像之间重叠的对象的区域的权重信息。8.根据权利要求5所述的设备，其中，所...

【专利技术属性】
技术研发人员：郑载润，金度完，金容圭，李建熙，李在庆，李振凤，崔大雄，崔贤秀，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR