立体图像产生方法及使用此方法的电子装置制造方法及图纸

本发明专利技术提供一种立体图像产生方法及使用此方法的电子装置，此电子装置包括适于拍摄立体图像的第一相机与第二相机，且第一相机的解析度大于第二相机的解析度。此方法利用第一相机拍摄第一图像，并利用第二相机拍摄第二图像，接着将第二图像放大至第一相机的解析度，而利用第一图像与放大后的第二图像产生深度图。然后，参考此深度图，将第一图像重新投射以重建第二图像的参考图像。之后则检测参考图像中的遮蔽区域，并利用放大后的第二图像填补此遮蔽区域。最后产生包括第一图像及填补后的参考图像的立体图像。通过对低解析度相机及高解析度相机所拍摄图像进行处理，可产生高解析度的立体图像。

Stereoscopic image generation method and electronic device using this method

The invention provides a stereoscopic image generation method and an electronic device using the method. The electronic device includes a first camera and a second camera suitable for taking stereoscopic images, and the resolution of the first camera is larger than that of the second camera. The first image is captured by the first camera, and the second image is captured by the second camera. Then the second image is enlarged to the resolution of the first camera, and the depth map is generated by the first image and the second image. Then, referring to this depth map, the first image is re projected to reconstruct the reference image of the second image. Then the masking area in the reference image is detected, and the second image is used to fill the covering area. Finally, a stereoscopic image that includes a first image and a filled reference image is produced. A high resolution stereo image can be generated by processing the images taken by a low resolution camera and a high resolution camera.

【技术实现步骤摘要】
立体图像产生方法及使用此方法的电子装置
本专利技术是有关于一种图像处理方法及装置，且特别是有关于一种立体图像产生方法及使用此方法的电子装置。
技术介绍
随着图像获取技术的日益进步，数码相机的像素大幅增加，但相机尺寸则相对缩小，而可配置在手机、平板电脑等便携式电子装置上，让使用者能够随时随地拍摄图像。目前市面上有部分手机还配置有双镜头相机，通过双镜头相机拍摄左右不同视角的图像，可生成立体图像提供使用者观看。此外，根据左右图像中对应物件之间的视差，相机可进一步计算出图像中各个物件的深度信息，并应用于物件检测、景深调整、焦距切换等进阶功能，而增加相机的运用空间。然而，在相机上配置规格相同的双镜头等同增加一倍的成本，此将使得配置双镜头相机的装置成本大幅增加。因此，如何能以最少的成本实现类似上述双镜头相机所提供的功能，实为本领域业者极欲解决的问题之一。
技术实现思路
本专利技术提供一种电子装置及其立体图像产生方法，通过对低解析度相机及高解析度相机所拍摄图像进行处理，可产生高解析度的立体图像。本专利技术的立体图像产生方法适用于包括第一相机与第二相机的电子装置，其中第一相机与第二相机适于拍摄立体图像，且第一相机的解析度大于第二相机的解析度。此方法利用第一相机拍摄第一图像，并利用第二相机拍摄第二图像，并将第二图像放大(upscale)至第一相机的解析度，而利用第一图像与放大后的第二图像产生深度图。然后，参考此深度图，将第一图像重新投射以重建第二图像的参考图像。之后则检测参考图像中的遮蔽区域，并利用放大后的第二图像填补此遮蔽区域。最后产生包括第一图像及填补后的参考图像的立体图像。在本专利技术的一实施例中，上述参考深度图，将该第一图像重新投射以重建第二图像的参考图像的步骤还包括参考深度图中的深度信息及第一相机与第二相机之间的基线(baseline)距离，计算第一图像与第二图像的参考图像之间的视差信息，而根据此视差信息获取重新投射于三维空间中的第一图像的图像数据，以作为第二图像的参考图像。在本专利技术的一实施例中，上述参考深度图，将第一图像重新投射以重建第二图像的参考图像的步骤还包括检测电子装置的使用者的两眼距离，而根据两眼距离及第一相机与第二相机之间的基线距离，计算基线距离调整值，然后参考深度图及此基线距离调整值，将第一图像重新投射以重建第二图像的参考图像，使得参考图像与第一图像之间的视差信息符合所述两眼距离。在本专利技术的一实施例中，上述参考深度图及基线距离调整值，重新投射第一图像以重建第二图像的参考图像的步骤包括根据基线距离调整值，调整第二相机的位置并计算调整后的位置坐标，获取深度图中的深度信息，并转换深度信息的坐标至世界坐标系(worldcoordinatesystem)，以及根据转换后的深度信息及第二相机的调整后的位置坐标，将第一图像重新投射以重建第二图像的参考图像。在本专利技术的一实施例中，上述检测参考图像中的遮蔽区域的步骤包括将参考图像与放大后该第二图像进行匹配，并取参考图像中未与第二图像匹配的区域作为遮蔽区域。在本专利技术的一实施例中，上述检测参考图像中的遮蔽区域的步骤包括将检测参考图像中的空白区域以作为遮蔽区域。在本专利技术的一实施例中，在上述检测参考图像中的遮蔽区域，并利用放大后的第二图像填补遮蔽区域的步骤之后，所述方法还检测第一图像与第二图像中的主要物件，并调整第二图像的参考图像与第一图像之间的视差，使得主要物件聚集于电子装置的显示平面。本专利技术的电子装置包括第一相机、第二相机及图像处理电路。其中，图像处理电路是耦接该第一相机与第二相机，用以处理分别由第一相机与第二相机拍摄的第一图像与第二图像。图像处理电路中包括解析度放大模块、深度产生模块、图像重建模块、遮蔽区域检测模块、遮蔽区域填补模块及立体图像产生模块。其中，第一相机与第二相机用以分别获取产生立体图像所需的左眼图像与右眼图像其中之一，其中第一相机的解析度大于第二相机的解析度。解析度放大模块是用以将第二图像放大至第一相机的解析度。深度产生模块是用以利用第一图像与放大后的第二图像产生深度图。图像重建模块是用以参考深度图，而将第一图像重新投射以重建第二图像的参考图像。遮蔽区域检测模块是用以检测参考图像中的遮蔽区域，遮蔽区域填补模块则是用以利用放大后的第二图像填补遮蔽区域。立体图像产生模块是用以产生包括第一图像及填补后的参考图像的立体图像。在本专利技术的一实施例中，上述的图像重建模块会参考深度图中的深度信息及第一相机与第二相机之间的基线距离，计算第一图像与第二图像的参考图像之间的视差信息，并据此获取重新投射于三维空间中的第一图像的图像数据，以重建第二图像的参考图像。在本专利技术的一实施例中，上述的图像处理电路还包括两眼距离检测模块，其是用以检测电子装置的使用者的两眼距离。而上述的图像重建模块则会根据两眼距离及第一相机与第二相机之间的基线距离，计算基线距离调整值，并参考深度图及基线距离调整值，将第一图像重新投射以重建第二图像的参考图像，使得参考图像与第一图像之间的视差信息符合两眼距离。在本专利技术的一实施例中，上述的图像重建模块还根据基线距离调整值，调整第二相机的位置并计算调整后的位置坐标，获取深度图中的深度信息，并将此深度信息的坐标转换至世界坐标系，以及根据转换后的深度信息及第二相机的调整后的位置坐标，将第一图像重新投射以重建第二图像的参考图像。在本专利技术的一实施例中，上述的遮蔽区域检测模块包括将参考图像与放大后的第二图像进行匹配，并取参考图像中未与第二图像匹配的区域作为遮蔽区域。在本专利技术的一实施例中，上述的遮蔽区域检测模块包括检测参考图像中的空白区域以作为遮蔽区域。在本专利技术的一实施例中，上述的图像处理电路还包括物件检测模块及视差调整模块，其中物件检测模块是用以检测第一图像与第二图像中的主要物件，视差调整模块则是用以调整第二图像的参考图像与第一图像之间的视差，使得主要物件聚集于电子装置的显示平面。基于上述，本专利技术的电子装置及其立体图像产生方法通过将低解析度相机所拍摄的图像放大，并与高解析度相机所拍摄的图像结合以算出图像的深度图，据此重建出与低解析度相机所拍摄图像相对应的高解析度参考图像，而可与高解析度相机所拍摄的高解析度图像结合而生成高解析度的立体图像。为让本专利技术的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明图1是依照本专利技术一实施例所示出的电子装置的方块图。图2是依照本专利技术一实施例所示出的电子装置的立体图像产生方法的流程图。图3A至图3D是依照本专利技术一实施例所示出的遮蔽区域的范例。图4是依照本专利技术一实施例所示出的电子装置的方块图。图5是依照本专利技术一实施例所示出的电子装置的立体图像产生方法的流程图。图6A及图6B是依照本专利技术一实施例所示出的依据基线距离调整值重建参考图像的范例。图7是依照本专利技术一实施例所示出的电子装置的方块图。图8是依照本专利技术一实施例所示出的电子装置的立体图像产生方法的流程图。图9A及图9B是依照本专利技术一实施例所示出的依据主要物件调整图像视差的范例。附图标号说明：10、40、70：电子装置；12、42、72：第一相机；14、44、74：第二相机；16、46、76：图像处理电路；161、461、761：解析度放大模块；162、462、762：深度产生本文档来自技高网...

【技术保护点】
一种立体图像产生方法，适用于包括第一相机与第二相机的电子装置，其中所述第一相机与所述第二相机适于拍摄立体图像，且所述第一相机的解析度大于所述第二相机的解析度，所述方法包括下列步骤：利用所述第一相机拍摄第一图像，并利用所述第二相机拍摄第二图像；放大所述第二图像至所述第一相机的解析度；利用所述第一图像与放大后的所述第二图像产生深度图；参考所述深度图，重新投射所述第一图像以重建所述第二图像的参考图像；检测所述参考图像中的遮蔽区域，并利用放大后的所述第二图像填补所述遮蔽区域；以及产生包括所述第一图像及填补后的所述参考图像的所述立体图像。

【技术特征摘要】
2016.06.17 US 62/351,3071.一种立体图像产生方法，适用于包括第一相机与第二相机的电子装置，其中所述第一相机与所述第二相机适于拍摄立体图像，且所述第一相机的解析度大于所述第二相机的解析度，所述方法包括下列步骤：利用所述第一相机拍摄第一图像，并利用所述第二相机拍摄第二图像；放大所述第二图像至所述第一相机的解析度；利用所述第一图像与放大后的所述第二图像产生深度图；参考所述深度图，重新投射所述第一图像以重建所述第二图像的参考图像；检测所述参考图像中的遮蔽区域，并利用放大后的所述第二图像填补所述遮蔽区域；以及产生包括所述第一图像及填补后的所述参考图像的所述立体图像。2.根据权利要求1所述的方法，其中参考所述深度图，重新投射所述第一图像以重建所述第二图像的所述参考图像的步骤还包括：参考所述深度图中的深度信息及所述第一相机与所述第二相机之间的基线距离，计算所述第一图像与所述第二图像的所述参考图像之间的视差信息；以及根据所述视差信息获取重新投射于三维空间中的所述第一图像的图像数据，以重建所述第二图像的所述参考图像。3.根据权利要求1所述的方法，其中参考所述深度图，重新投射所述第一图像以重建所述第二图像的所述参考图像的步骤还包括：检测所述电子装置的使用者的两眼距离；根据所述两眼距离及所述第一相机与所述第二相机之间的基线距离，计算基线距离调整值；以及参考所述深度图及所述基线距离调整值，重新投射所述第一图像以重建所述第二图像的所述参考图像，使得所述参考图像与所述第一图像之间的视差信息符合所述两眼距离。4.根据权利要求3所述的方法，其中参考所述深度图及所述基线距离调整值，重新投射所述第一图像以重建所述第二图像的所述参考图像的步骤包括：根据所述基线距离调整值，调整所述第二相机的位置并计算调整后的位置坐标；获取所述深度图中的深度信息，并转换所述深度信息的坐标至世界坐标系；以及根据转换后的所述深度信息及所述第二相机的调整后的所述位置坐标，重新投射所述第一图像以重建所述第二图像的所述参考图像。5.根据权利要求1所述的方法，其中检测所述参考图像中的所述遮蔽区域的步骤包括：将所述参考图像与放大后的所述第二图像进行匹配；以及取所述参考图像中未与所述第二图像匹配的区域作为所述遮蔽区域。6.根据权利要求1所述的方法，其中检测所述参考图像中的所述遮蔽区域的步骤包括：检测所述参考图像中的空白区域作为所述遮蔽区域。7.根据权利要求1所述的方法，其中在检测所述参考图像中的遮蔽区域，并利用放大后的所述第二图像填补所述遮蔽区域的步骤之后，还包括：检测所述第一图像与所述第二图像中的主要物件；以及...

【专利技术属性】
技术研发人员：周宏隆，李树仁，
申请(专利权)人：聚晶半导体股份有限公司，
类型：发明
国别省市：中国台湾,71