双视点立体视频的图像匹配方法及装置制造方法及图纸

本发明专利技术公开一种双视点立体视频的图像匹配方法及装置，其中，该方法包括：获取左眼及右眼两路视频，并提取出感兴趣的图像帧；预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。本发明专利技术的技术方案能够获取精确快速的稠密视差图，为用户提供精确的数字信息。

【技术实现步骤摘要】

本专利技术涉及立体图像处理
，尤其涉及一种双视点立体视频的图像匹配方法及装置。
技术介绍
目前，立体视频采集设备通过双目摄像机对两组光学系统中场景进行采集，获取场景的左右视图，并显示在立体显示器上，用户佩戴3D眼镜就可以观看到立体场景。这样可以改善用户的视野，增强观看的立体效果，可以获取更为丰富的场景信息。但是立体视频的应用中，如果要实现数字化功能，获取场景的左右视图后，就不能停留在获取立体观看效果上，需要进一步的对获取的图像进行分析，提取出其中丰富的信息，以为用户提供更为精确的数字信息。现有技术中立体视频的深度信息获取，给视觉应用带来了很大的变化，无论是从工业检测还是在医疗手术的效率及安全性提高上都有了很大的进步。通过立体深度信息，用户在应用中可以获取更好的视觉体验，更逼真的立体画面，进而得到观察区域的精确信息，提高了用户对观察区的了解，也为量化判断提供了更多的支持。该深度信息可通过视场的稠密视差图来获取。稠密的视差图可以用来三维重建。由于当前立体视频图片分辨率较高，在应用中对系统又有实时性需求，立体匹配算法将是三维重建的基础问题，也是一个难点。
技术实现思路
本专利技术的主要目的是提供一种双视点立体视频的图像匹配方法，能够获取精确快速的稠密视差图，为用户提供精确的数字信息。为实现上述目的，本专利技术采用的一个技术方案为：提供一种双视点立体视频的图像匹配方法，包括如下步骤：获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧；预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。优选地，所述获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧的步骤，具体包括：矫正采集的左眼及右眼两路视频；获取矫正的左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧。优选地，所述预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点的步骤，具体包括：预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并从左眼图像中选出一像素点作为目标像素点；计算出根据目标像素点的色彩匹配代价，且当该目标像素点的色彩匹配代价小于视差域值的范围时，并从右眼图像寻找出与目标像素点对应的候选的匹配点。优选地，所述根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价的步骤，具体包括：分别以目标像素点与候选的匹配点的中心域构建支持窗口，并计算支持窗口内的所有像素点的色彩匹配代价；分别以目标像素点与候选的匹配点的中心域构建变换窗口，并计算两个变换窗口的结构差异以得出局部关联匹配代价；分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量，并计算出局部梯度匹配代价；根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并根据总的代价函数计算出匹配代价。优选地，所述找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化的步骤，具体包括：从匹配代价中筛选出匹配代价最小的匹配对，并根据多组最小匹配对的视差值形成稠密视差图；调整局部关联匹配代价以及局部梯度匹配代价的参数，以优化稠密视差图。为实现上述目的，本专利技术采用的另一个技术方案为：提供一种双视点立体视频的图像匹配装置，包括：获取模块，用于获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧；预估模块，用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；函数构造模块，用于根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；优化模块，用于找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。优选地，所述获取模块，包括：矫正单元，用于矫正采集的左眼及右眼两路视频；获取单元，用于获取矫正的左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧。优选地，所述预估模块，包括：预设单元，用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并从左眼图像中选出一像素点作为目标像素点；匹配单元，用于计算出根据目标像素点的色彩匹配代价，且当该目标像素点的色彩匹配代价小于视差域值的范围时，并从右眼图像寻找出与目标像素点对应的候选的匹配点。优选地，所述函数构造模块，包括：第一计算单元，用于分别以目标像素点与候选的匹配点的中心域构建支持窗口，并计算支持窗口内的所有像素点的色彩匹配代价；第二计算单元，用于分别以目标像素点与候选的匹配点的中心域构建变换窗口，并计算两个变换窗口的结构差异以得出局部关联匹配代价；第三计算单元，用于分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量，并计算出局部梯度匹配代价；匹配代价计算单元，用于根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并根据总的代价函数计算出匹配代价。优选地，所述优化模块，包括：筛选单元，用于从匹配代价中筛选出匹配代价最小的匹配对，并根据多组最小匹配对的视差值形成稠密视差图；优化单元，用于调整局部关联匹配代价以及局部梯度匹配代价的参数，以优化稠密视差图。本专利技术的技术方案通过获取左眼及右眼两路视频并提取出感兴趣的图像帧；以及预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并找出与目标像素点对应的候选的匹配点；以及根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；能够得出找出与多组匹配代价最小的匹配对应的稠密视差图，并通过对对稠密视差图进行优化，获取精确快速的稠密视差图，为用户提供精确的数字信息。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术双视点立体视频的图像匹配方法一实施例的方法流程图；图2为图1中步骤S30的具体流程图；图3为本专利技术双视点立体视频的图像匹配装置一实施例的模块方框图；图4为图3中函数构造模块的具体模块方框图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术本文档来自技高网...

【技术保护点】
一种双视点立体视频的图像匹配方法，其特征在于，包括如下步骤：获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧；预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。

【技术特征摘要】
1.一种双视点立体视频的图像匹配方法，其特征在于，包括如下步骤：获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧；预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。2.如权利要求1所述双视点立体视频的图像匹配方法，其特征在于，所述获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧的步骤，具体包括：矫正采集的左眼及右眼两路视频；获取矫正的左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧。3.如权利要求1所述双视点立体视频的图像匹配方法，其特征在于，所述预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点的步骤，具体包括：预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并从左眼图像中选出一像素点作为目标像素点；计算出根据目标像素点的色彩匹配代价，且当该目标像素点的色彩匹配代价小于视差域值的范围时，并从右眼图像寻找出与目标像素点对应的候选的匹配点。4.如权利要求3所述双视点立体视频的图像匹配方法，其特征在于，所述根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价的步骤，具体包括：分别以目标像素点与候选的匹配点的中心域构建支持窗口，并计算支持窗口内的所有像素点的色彩匹配代价；分别以目标像素点与候选的匹配点的中心域构建变换窗口，并计算两个变换窗口的结构差异以得出局部关联匹配代价；分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量，并计算出局部梯度匹配代价；根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并根据总的代价函数计算出匹配代价。5.如权利要求4所述双视点立体视频的图像匹配方法，其特征在于，所述找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化的步骤，具体包括：从匹配代价中筛选出匹配代价...

【专利技术属性】
技术研发人员：张新，张希飞，
申请(专利权)人：深圳市捷视飞通科技股份有限公司，深圳凯澳斯科技有限公司，
类型：发明
国别省市：广东;44