用于生成虚拟视点图像的设备和方法技术

公开了用于生成虚拟视点图像的设备和方法。所述用于生成虚拟视点图像的设备包括：分段图像生成单元，用于将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；视差计算单元，用于通过计算分段的基础图像和分段的参考图像之间的视差值，来生成基础视差图像和参考视差图像；图像映射单元，用于使用视差值将基础视差图像和参考视差图像映射到虚拟视点；和虚拟视点图像生成单元，用于通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。

Devices and methods for generating virtual view images

A device and method for generating a virtual view image is disclosed. The equipment used to generate the virtual view image includes segmented image generation unit for base and reference images corresponding to different viewpoints of each segment for fragment unit; the disparity computation unit for disparity between basic image segmentation and segmentation by calculating the reference value of the image, to generate parallax images and foundation the reference parallax images; image mapping unit for using the parallax value will be based parallax image and the reference parallax image is mapped to a virtual view; and virtual image generating unit for parallax image is mapped to the image based and the first mapping of the virtual viewpoint the reference parallax image is mapped to the second mapping image of virtual view synthesis through them, and the virtual viewpoint image corresponding to the virtual viewpoint.

【技术实现步骤摘要】
用于生成虚拟视点图像的设备和方法相关申请的交叉引用本申请要求2016年7月7日提交的韩国专利申请第10-2016-0086054号的权益，通过引用由此将其全部合并在该申请中。
本专利技术一般涉及用于生成虚拟视点图像的技术，并且更具体地，涉及用于使用与不同视点对应的基础图像与参考图像之间的几何关系、生成从虚拟视点观看的图像的技术。
技术介绍
“虚拟视点图像”意味着从虚拟视点观看的图像，其不是使用捕获装置实际捕获的，而是使用利用捕获装置所捕获的现有图像生成的。基本上，按照这样的方式生成虚拟视点图像，使得使用利用捕获装置获取的参考图像的几何信息，将点映射到目标虚拟视点的位置，并且使用另一参考图像对没有映射的封闭(occluded)区域中的点进行映射。然后，利用附近的类似信息执行内插，由此最终生成与虚拟视点对应的虚拟视点图像。这里，参考图像的几何信息可包括用于校准捕获装置的信息、关于个别像素的深度或视差的信息、等等。在根据传统技术的方法中，假设参考图像具有相同尺寸，假设用于代表参考图像之间的几何信息的深度信息或视差信息具有其间的一一对应性，并且通过基于像素的映射来合成图像。因为以像素为基础来执行映射，所以任何像素的不精确深度信息或不精确视差值可引起大量像素噪声。一般来说，当使用立体匹配方法基于两个图像之间的所有像素的相似度而获得对应点时，难以获取精确结果。而且，获取所有像素的深度信息或视差值并利用获取的信息生成图像的处理是耗时的。所以，当必须实时生成虚拟视点图像时，可存在质量和计算负荷之间的有问题的折衷。即，必须通过研究除了传统的基于像素的映射方法之外的方法，而开发可降低生成虚拟视点图像所花费的时间量的技术。与此相关，韩国专利申请公开号10-2014-0022300公开了涉及“Methodandapparatusforcreatingmulti-viewimage”的技术。
技术实现思路
本专利技术的目的是提供与没有从中捕获图像的视点对应的虚拟视点图像。本专利技术的另一目的是与传统的基于像素的映射技术相比降低计算负荷。本专利技术的另一目的是通过作为组处理具有区域特性的相邻像素、而生成鲁棒虚拟视点图像。本专利技术的另一目的是防止归因于基于块的映射的成块伪影，以由此生成看上去自然的虚拟视点图像。为了实现以上目的，根据本专利技术的一种用于生成虚拟视点图像的设备包括：分段图像生成单元，用于将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；视差计算单元，用于通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；图像映射单元，用于使用视差值将基础视差图像和参考视差图像映射到虚拟视点；和虚拟视点图像生成单元，用于通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。这里，该图像映射单元可基于基础视差图像和参考视差图像执行后向映射。这里，该图像映射单元可基于块单元执行映射，该块单元的尺寸等于或大于该片段单元的尺寸。这里，该图像映射单元可通过分派取决于基础视差图像或参考视差图像的片段中的中心点与另一像素之间的距离的映射权重，来执行映射。这里，该图像映射单元可使用基础图像、基础视差图像、参考图像、和参考视差图像中的至少两个来执行映射。这里，当使用从基础图像、基础视差图像、参考图像、和参考视差图像中选择的三个图像执行映射时，该图像映射单元可通过向基础图像和参考图像的每一个分派混合权重，来执行映射。这里，可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来计算混合权重。这里，该虚拟视点图像生成单元可通过向第一映射图像和第二映射图像中的每一个分派合成权重，来生成虚拟视点图像。这里，可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来设置合成权重。这里，可使用映射到与同一像素对应的位置的、基础图像中的像素值和参考图像中的像素值之间的误差值，来设置合成权重。这里，该设备可进一步包括图像内插单元，用于填充虚拟视点图像中的洞。这里，该图像内插单元可使用基于与该洞对应的空间轴和时间轴中的至少一个相邻的区域中的像素的值，来填充该洞。这里，该虚拟视点可位于该基础图像的视点和该参考图像的视点之间，并且该虚拟视点可以由用户设置，或者可以是预置值。这里，该分段图像生成单元可通过执行均匀分段和非均匀分段中的至少一个，来对基础图像和参考图像进行分段。而且，根据本专利技术实施例的由用于生成虚拟视点图像的设备执行的用于生成虚拟视点图像的方法包括：将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；使用视差值将基础视差图像和参考视差图像映射到虚拟视点；和通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。这里，映射基础视差图像和参考视差图像可被配置为基于基础视差图像和参考视差图像执行后向映射。这里，映射基础视差图像和参考视差图像可被配置为基于其尺寸等于或大于片段单元的尺寸的块单元来执行映射。这里，映射基础视差图像和参考视差图像可被配置为通过分派取决于基础视差图像或参考视差图像的片段中的中心点与另一像素之间的距离的映射权重，来执行映射。这里，映射基础视差图像和参考视差图像可被配置为使用基础图像、基础视差图像、参考图像、和参考视差图像中的至少两个来执行映射。这里，映射基础视差图像和参考视差图像可被配置为当使用从基础图像、基础视差图像、参考图像、和参考视差图像中选择的三个图像执行映射时，通过向基础图像和参考图像的每一个分派混合权重，来执行映射。这里，可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来计算混合权重。这里，生成虚拟视点图像可被配置为通过向第一映射图像和第二映射图像中的每一个分派合成权重，来生成虚拟视点图像。这里，可以使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来设置合成权重。这里，可以使用映射到与同一像素对应的位置的、基础图像中的像素值和参考图像中的像素值之间的误差值，来设置合成权重。这里，该方法可进一步包括执行内插以填充该虚拟视点图像中的洞。这里，执行内插可被配置为使用基于与该洞对应的空间轴和时间轴中的至少一个相邻的区域中的像素的值，来填充该洞。这里，该虚拟视点可位于该基础图像的视点和该参考图像的视点之间，并且该虚拟视点可以由用户设置，或者可以是预置值。这里，对基础图像和参考图像的每一个进行分段可被配置为通过执行均匀分段和非均匀分段中的至少一个，来对基础图像和参考图像进行分段。附图说明通过结合附图进行的以下详细描述，将更清楚地理解本专利技术的以上和其它目的、特征和优点，其中：图1是示出了根据本专利技术实施例的用于生成虚拟视点图像的设备的配置的框图；图2是用于描述根据本专利技术实施例的用于生成虚拟视点图像的方法的流程图；图3是用于描述根据本专利技术实施例的基础图像和参考图像的分段的图；图4是用于描述根本文档来自技高网...

【技术保护点】
一种用于生成虚拟视点图像的设备，包括：分段图像生成单元，用于将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；视差计算单元，用于通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；图像映射单元，用于使用所述视差值将基础视差图像和参考视差图像映射到虚拟视点；和虚拟视点图像生成单元，用于通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。

【技术特征摘要】
2016.07.07 KR 10-2016-00860541.一种用于生成虚拟视点图像的设备，包括：分段图像生成单元，用于将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；视差计算单元，用于通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；图像映射单元，用于使用所述视差值将基础视差图像和参考视差图像映射到虚拟视点；和虚拟视点图像生成单元，用于通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。2.根据权利要求1的设备，其中该图像映射单元基于基础视差图像和参考视差图像执行后向映射。3.根据权利要求2的设备，其中该图像映射单元基于块单元执行映射，该块单元的尺寸等于或大于该片段单元的尺寸。4.根据权利要求2的设备，其中该图像映射单元通过分派取决于基础视差图像或参考视差图像的片段中的中心点与另一像素之间的距离的映射权重，来执行映射。5.根据权利要求1的设备，其中该图像映射单元使用基础图像、基础视差图像、参考图像、和参考视差图像中的至少两个来执行映射。6.根据权利要求5的设备，其中，当使用从基础图像、基础视差图像、参考图像、和参考视差图像中选择的三个图像执行映射时，该图像映射单元通过向基础图像和参考图像的每一个分派混合权重，来执行映射。7.根据权利要求6的设备，其中使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来计算混合权重。8.根据权利要求2的设备，其中该虚拟视点图像生成单元通过向第一映射图像和第二映射图像中的每一个分派合成权重，来生成虚拟视点图像。9.根据权利要求8的设备，其中使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来设置合成权重。10.根据权利要求8的设备，其中使用映射到与同一像素对应的位置的、基础图像中的像素值和参考图像中的像素值之间的误差值，来设置合成权重。11.根据权利要求1的设备，进一步包括：图像内插单元，用于填充该虚拟视点图像中的洞。12...

【专利技术属性】
技术研发人员：申泓昌，李光淳，李珍焕，许南淏，
申请(专利权)人：韩国电子通信研究院，
类型：发明
国别省市：韩国,KR