立体源图像校准方法和设备技术

公开了一种立体源图像校准方法和设备。通过图像处理设备实现的图像处理设备和方法基于来自左源图像和右源图像的特征对应信息的垂直坐标值之间的差，通过回归分析产生垂直视差图。通过在经由深度估计对深度信息进行恢复之前对通过图像扭曲的几何差进行校准。因此，可无需执行对相机模型的最优化的处理，并可减少可通过图像旋转引起的黑色区域的出现。

【技术实现步骤摘要】
【专利说明】立体源图像校准方法和设备本申请要求于2014年5月13日提交到韩国知识产权局的第10-2014-0057443号韩国专利申请的权益，其中，所述专利申请的公开通过引用全部合并于此。
本公开在此涉及用于校准立体源图像的方法和设备。
技术介绍
立体三维(3D)视频图像、多视点3D视频图像或光场3D视频图像可能必须被用于对多视点裸眼3D显示器或光场裸眼3D显示器执行基于真实内容的3D渲染。近年来，很多真实3D视频图像是立体形式的，其中，在立体形式中，图像被划分为左眼图像和右眼图像。对于被广泛用于裸眼3D显示器的多视点产生方法，当输入立体视频图像时，通过深度估计来恢复深度信息，并通过基于恢复的深度图执行基于深度图像的渲染(DIBR)来合成多视点视频图像。
技术实现思路
提供用于对立体源图像进行校准的方法和设备，其中，所述方法和设备用于在无需执行对相机模型最优化的处理的情况下减少可通过图像旋转引起的黑色区域的出现，其中，所述方法和设备基于包括在左源图像和右源图像的特征对应信息中的垂直坐标值之间的差，通过回归分析来产生垂直视差图，进而对通过图像扭曲的几何差进行校准。提供用于对立体源图像进行校准的方法和设备，其中，所述方法和设备用于在根据特征对应信息获得特征的位置处的平均值和方差之后，对整个图像执行颜色校准，随后局部地执行直方图匹配，以对局部误差进行校准。提供用于对立体源图像进行校准的方法和设备，其中，所述方法和设备用于通过使用提取相同的特征并对相同的特征进行匹配而产生的特征对应信息来对几何差和颜色差进行fe准。其它方面将部分地在随后的描述中阐述，并部分地从描述将是清楚的，或者可通过对公开的实施例的实践来获知。根据本公开的一方面，一种立体源图像校准方法可包括:接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；基于来自特征对应信息的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图；通过使用产生的垂直视差图来对左源图像和右源图像之间的差进行校准。垂直视差图可基于垂直坐标值之间的差通过回归分析来产生，并统计地表示针对左源图像和右源图像的垂直坐标值之间的差。对差进行校准的步骤可包括:对左源图像和右源图像中的至少一个源图像执行偏移，以对左源图像和右源图像之间的垂直方向上的差进行校准。所述立体源图像校准方法还可包括:通过使用特征对应信息对左源图像和右源图像执行光度校准。执行光度校准的操作可包括:计算左源图像和右源图像在包括在特征对应信息中的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。统计值可包括从针对左源图像和右源图像的彩色图像强度的平均值的算术平均值和几何平均值选择的统计值。第一颜色校准可包括:对左源图像和右源图像的平均值进行校准以与统计值对应。统计值可包括从左源图像和右源图像的彩色图像强度的方差值的最小值、最大值、算术平均值和几何平均值选择的统计值。第一颜色校准可包括:对左源图像和右源图像的方差值进行校准以与统计值对应。光度校准可在从红蓝绿RGB、CIELab和YCbCr选择的颜色空间中被执行。多个立体源图像可被顺序地输入。针对第一立体源图像的差校准和针对第二立体源图像的差校准可被独立地执行。如果从所述多个立体源图像选择的至少两个立体源图像形成场景，则针对所述至少两个立体源图像的差校准可通过使用相同的垂直视差图被执行。所述立体源图像校准方法还可包括:执行修描处理以对在校准后的左源图像和右源图像的每个边界附近产生的孔洞区域进行填充。回归分析可包括线性回归分析、广义线性回归分析、非线性回归分析、核回归分析、非参数回归分析和稳健回归分析。所述立体源图像校准方法还可包括:在通过使用产生的垂直视差图对左源图像和右源图像之间的差进行校准之后，恢复用于左源图像和右源图像的深度信息。根据本公开的一方面，一种立体源图像校准设备可包括:特征提取单元(特征提取器)，用于接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；特征匹配单元(特征匹配器)，用于通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；几何校准单元(几何校准器)，用于基于来自特征对应信息的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图，并通过使用产生的垂直视差图来对左源图像和右源图像之间的差进行校准。垂直视差图可基于垂直坐标值之间的差通过回归分析来产生，并统计地表示针对左源图像和右源图像的垂直坐标值之间的差。几何校准单元可对从包括左源图像和右源图像的组选择的至少一个源图像执行偏移，以对左源图像和右源图像之间的垂直方向上的差进行校准。所述立体源图像校准设备还可包括:光度校准单元(光度校准器)，用于对通过使用特征对应信息对左源图像和右源图像执行光度校准。光度校准单元可包括:第一颜色校准单元(第一颜色校准器)，用于计算左源图像和右源图像在包括在特征对应信息中的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；第二颜色校准单元(第二颜色校准器)，用于通过对经由执行第一颜色校准所获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。统计值可包括从针对左源图像和右源图像的彩色图像强度的平均值的算术平均值和几何平均值选择的统计值。第一颜色校准单元可对左源图像和右源图像的平均值进行校准以与统计值对应。统计值可包括从针对左源图像和右源图像的彩色图像强度的方差值的最小值、最大值、算术平均值和几何平均值选择的统计值。第一颜色校准单元可对左源图像和右源图像的方差值进行校准以与统计值对应。所述立体源图像校准设备还可包括:修描单元(修描器)，用于对在校准后的左源图像和右源图像的每个边界附近产生的孔洞区域进行填充。特征提取器可依次接收多个立体源图像的输入，几何校准器可独立地执行针对第一立体源图像的差校准和针对第二立体源图像的差校准。所述立体源图像校准设备还可包括:深度估计器，用于在几何校准器通过使用产生的垂直视差图对左源图像和右源图像之间的差进行校准之后，恢复用于左源图像和右源图像的深度信息。根据本公开的一方面，一种立体源图像校准设备可包括:特征提取单元(特征提取器)，用于接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；特征匹配单元(特征匹配器)，用于通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；第一颜色校准单元(第一颜色校准器)，用于计算左源图像和右源图像在来自特征对应信息的位置处的统计值，并基于计算出的统计值对左源图像和右源图像执行第一颜色校准；第二颜色校准单元(第二颜色校准器)，用于通过对经由执行第一颜色校准获得的左源图像和右源图像执行直方图匹配来执行第二颜色校准。根据本公开的一方面，一种图像处理设备可包括:立体源图像校准单元(立体源图像校准器)，用于接收立体源图像的输入，分别从来自立体源图像的左源图像和右源图像提取特征，通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息，基于特征对应信息对从包括左源图像和右源图像之间的本文档来自技高网...

【技术保护点】
一种立体源图像校准方法，包括：接收立体源图像的输入，并分别从来自立体源图像的左源图像和右源图像提取特征；通过将分别从左源图像和右源图像提取的特征相互匹配来产生特征对应信息；基于来自特征对应信息的垂直坐标值之间的差，产生针对左源图像和右源图像的垂直视差图；通过使用产生的垂直视差图来对左源图像和右源图像之间的差进行校准。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：金智元，南东暻，黄孝锡，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR