立体图像的处理方法、检测分割方法及相关装置和设备制造方法及图纸

本申请公开了一种立体图像的处理方法、检测分割方法及相关装置和设备，包括：从输入的立体图像中检测后期加入物体(PIO)，并从所述立体图像中分割提取出所述PIO；对所述分割提取出所述PIO的立体图像进行立体校正处理；在所述经过校正处理后的立体图像中重新加入所述分割提取出的PIO。本发明专利技术可以纠正含有PIO的立体图像在进行立体校正时的立体误差，提高立体显示质量。

Method for processing stereo image, detection and segmentation method, related apparatus and apparatus

The invention discloses a stereo image processing method, detection method and related apparatus and equipment, including: from the late detection of stereo image input into the object (PIO), and from the stereo image segmentation to extract the PIO; the segmented three-dimensional stereoscopic image by correction the PIO; in the stereo image correction processing of re joining the segmented PIO. The invention can correct the stereoscopic error of the stereoscopic image containing PIO in stereo correction and improve the quality of stereoscopic display.

【技术实现步骤摘要】
立体图像的处理方法、检测分割方法及相关装置和设备
本申请涉及立体图像显示处理
，尤其涉及一种立体图像的处理方法、检测分割方法及相关装置和设备。
技术介绍
立体显示技术包括显示内容生成技术和显示设备技术。为了高质量地显示立体图像内容，立体显示设备可以集成对立体图像内容进行处理的技术，通过软件处理的方式，提升三维图像的视觉显示效果。在现有技术中，一种比较有效的立体图像处理技术是立体图像校正技术。立体图像校正技术的目的是消除立体图像对之间在竖直方向上的视差。这些视差往往是在立体图像拍摄时，所采用的立体摄像机的两台相机之间的参数调整误差造成的。这些参数误差可能包括两台相机之间位置上的错位，成像参数的不一致等等。立体图像校正过程通过估计这些误差，得到对立体图像进行变换的参数，使得变换后的立体图像对在竖直方向上的视差消除，只保留在水平方向上的视差。即，相同物体在立体校正之后的立体图像对的左右两图之间的图像点，位于相同的图像行坐标，其位置差异仅仅出现在列坐标上。现有的立体显示设备对立体图像内容误差的处理技术，主要集中在对相机拍摄的真实三维世界的二维影像的处理。三维世界中的物体被不同视点的左右两台相机拍摄，得到的立体图像对满足对极线(EpipolarLine)几何约束。因此，按照多视角几何理论，只要通过对两幅图像分别进行全局的二维透视投影变换(或者单应变换)，就可以将两幅图像的对极线对齐。如果考虑到镜头成像误差引起的非线性畸变，由于光学镜头引起的畸变是局部平滑的，可以使用局部平滑变换来进行进一步的校正。但是，对于后期加入物体(PIO，PostInsertedObject)，它们在立体图像中的左右两幅图像之中通常位于相同的水平位置。当立体图像内容本身存在立体误差时，后期加入物体和场景中真实三维物体的立体几何关系不同，这导致在后期加入物体区域中和周围图像内容的立体几何关系的非平滑不连续变化。因此，现有技术的主要技术问题是：使用现有技术，对立体图像进行一个全局变换或局部平滑的变换，对于具有后期加入物体的立体图像进行校正时，其中的后期加入物体部分将产生立体误差，即竖直方向上的视差，从而对立体图形的视觉效果产生影响，且后期加入物体通常具有比较明显的视觉特征，在这些位置出现的误差极大地影响着用户对立体图像的观看质量。下面采用附图进一步介绍现有技术的主要缺陷：图1为一种立体图像的左图和右图形成的图像对的示意图。其中包括立体图像对的左图11和右图12。其中场景中真实物体在左图中的图像为111和112，场景中真实物体在右图中的图像为121和122。在理想的立体图像对的情况下，真实物体在左右两图之间的图像应该对齐在同一条水平线上。由于含有立体误差，如图1所示，真实物体在左右两图之间的图像没有对齐在同一条水平线上。立体图像对中有在后期编辑时加入的物体，即后期加入物体PIO，如电视台的标志和字幕。电视台标志在左右两图中的图像分别为113和123。字幕在左右两图中的图像分别为114和124。后期加入物体通常符合标准的立体几何关系，即它们的图像在左右两图上位于相同的水平线上，如图1所示。如图1所示，场景中物体的立体图像包含立体图像误差，需要进行立体图像校正。现有的立体图像校正算法分别对两图进行全局变换或者局部平滑的变换，经过变换得到的立体图像对如图2所示。由图2可见，场景中的真实物体在左右两图中的图像对，如211和221，212和222，对齐到相同的水平线上，符合标准的立体几何关系。与此同时，后期加入物体在左右两图中的图像对，如213和223，214和224，由于随着图像进行了变换，引入了立体图像误差，没有对齐到相同的水平线上。这将导致视觉质量的下降。值得注意的是，后期加入物体通常具有增强图像内容信息的目的，因此具有比较明显的视觉特征。在这些位置出现的误差极大地影响着用户对立体图像的观看质量。
技术实现思路
有鉴于此，本专利技术的主要目的是提供一种立体图像的处理方法、检测分割方法及相关装置和设备，以纠正含有后期加入物体的立体图像在进行立体校正时的立体误差，提高立体显示质量。本专利技术的技术方案是这样实现的：一种立体图像的处理方法，包括：从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO；对所述分割提取出所述PIO后的立体图像进行立体校正处理；在经过校正处理后的立体图像中重新加入所述分割提取出的PIO。在所述方法的一种优选实施例中，在所述输入立体图像之后，检测PIO之前，进一步包括：判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行检测PIO及其后续步骤；或者，判断所述立体图像所属的当前帧是否为视频段边界帧，如果是则进一步判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行检测PIO及其后续步骤；如果所述立体图像所在的当前帧不是视频段边界帧，则采用与上一帧相同的处理方式处理当前帧的立体图像。在所述方法的一种优选实施例中，所述判断所述立体图像所属的当前帧是否为视频段边界帧，具体包括：确定当前帧的图像特征向量和上一帧的图像特征向量；通过比较所述当前帧的图像特征向量和上一帧的图像特征向量，计算当前帧和上一帧之间的图像特征变化分数；判断所述图像特征变化分数是否超过指定的阈值，如果超过则判定当前帧为视频段边界帧，否则判定当前帧不是视频段边界帧。在所述方法的一种优选实施例中，所述判断所述立体图像是否存在立体视差，具体包括：分别从所述立体图像中的左图和右图之中提取图像特征点，分别对所述左图的图像特征点和右图的图像特征点计算特征向量；根据所述左图和右图的特征向量的相似性，在所述左图和右图的图像特征点之间建立匹配对应关系；统计所述左图和右图中相互匹配的图像特征点对在竖直方向上的图像坐标距离，计算所述图像坐标距离的分布直方图；判断所述分布直方图的最大的峰值的位置是否大于指定阈值，如果大于则判定当前处理的立体图像存在立体视差，否则判定当前处理的立体图像不存在立体视差。在所述方法的一种优选实施例中，该方法进一步在从所述立体图形中分割提取出所述PIO之后，所述重新加入所述分割提取出的PIO之前，进一步包括：对所述立体图像中分割提取出所述PIO的部位进行填充。在所述方法的一种优选实施例中，所述对所述立体图像中分割提取出所述PIO的部位进行填充，具体包括：在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的列的方向，向上或向下搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满；或者，在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的行的方向，向左或向右搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满；或者，对所述分割提取出PIO的立体图像进行下采样，再对最底层的图像进行高斯卷积扩大填充至原来图像的大小；或者，利用所述立体图像中左图和右图之间的互补信息，对所述PIO物体进行填充。在所述方法的一种优选实施例中，所述在经过校正处理后的立体图本文档来自技高网...

【技术保护点】
一种立体图像的处理方法，其特征在于，包括：从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO；对所述分割提取出所述PIO后的立体图像进行立体校正处理；在经过校正处理后的立体图像中重新加入所述分割提取出的PIO。

【技术特征摘要】
1.一种立体图像的处理方法，其特征在于，包括：从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO；对所述分割提取出所述PIO后的立体图像进行立体校正处理；在经过校正处理后的立体图像中重新加入所述分割提取出的PIO。2.根据权利要求1所述的方法，其特征在于，在所述输入立体图像之后，检测PIO之前，进一步包括：判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行检测PIO及其后续步骤；或者，判断所述立体图像所属的当前帧是否为视频段边界帧，如果是则进一步判断所述立体图像是否存在立体视差，在存在立体视差的情况下执行检测PIO及其后续步骤；如果所述立体图像所在的当前帧不是视频段边界帧，则采用与上一帧相同的处理方式处理当前帧的立体图像。3.根据权利要求2所述的方法，其特征在于，所述判断所述立体图像所属的当前帧是否为视频段边界帧，具体包括：确定当前帧的图像特征向量和上一帧的图像特征向量；通过比较所述当前帧的图像特征向量和上一帧的图像特征向量，计算当前帧和上一帧之间的图像特征变化分数；判断所述图像特征变化分数是否超过指定的阈值，如果超过则判定当前帧为视频段边界帧，否则判定当前帧不是视频段边界帧。4.根据权利要求2所述的方法，其特征在于，所述判断所述立体图像是否存在立体视差，具体包括：分别从所述立体图像中的左图和右图之中提取图像特征点，分别对所述左图的图像特征点和右图的图像特征点计算特征向量；根据所述左图和右图的特征向量的相似性，在所述左图和右图的图像特征点之间建立匹配对应关系；统计所述左图和右图中相互匹配的图像特征点对在竖直方向上的图像坐标距离，计算所述图像坐标距离的分布直方图；判断所述分布直方图的最大的峰值的位置是否大于指定阈值，如果大于则判定当前处理的立体图像存在立体视差，否则判定当前处理的立体图像不存在立体视差。5.根据权利要求1所述的方法，其特征在于，该方法进一步在从所述立体图形中分割提取出所述PIO之后，所述重新加入所述分割提取出的PIO之前，进一步包括：对所述立体图像中分割提取出所述PIO的部位进行填充。6.根据权利要求5所述的方法，其特征在于，所述对所述立体图像中分割提取出所述PIO的部位进行填充，具体包括：在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的列的方向，向上或向下搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满；或者，在所述立体图像上的所述PIO的部位上，针对该PIO部位中的像素，在所述立体图像上沿着该像素的行的方向，向左或向右搜索与其距离最近的非PIO像素，将该非PIO像素的颜色值赋予该PIO的像素，通过该方式遍历处理所述PIO部位的像素，直到所述PIO的部位被填满；或者，对所述分割提取出PIO的立体图像进行下采样，再对最底层的图像进行高斯卷积扩大填充至原来图像的大小；或者，利用所述立体图像中左图和右图之间的互补信息，对所述PIO物体进行填充。7.根据权利要求1所述的方法，其特征在于，所述在经过校正处理后的立体图像中重新加入所述分割提取出的PIO，具体包括：在所述经过校正处理后的立体图像中的原分割提取PIO的位置，直接加入所述原分割提取出的PIO；或者，根据当前三维场景对所述原分割提取PIO进行校正变换，在所述经过校正处理后的立体图像中的原分割提取PIO的位置，重新加入所述经过校正变换后的所述PIO。8.根据权利要求1所述的方法，其特征在于，该方法进一步包括：确定PIO模型；在所述从输入的立体图像中检测PIO之后，针对所述检测出的PIO，进一步利用所述PIO模型去除所检测出的PIO中的非PIO区域。9.根据权利要求8所述的方法，其特征在于，所述确定PIO模型，具体包括：采集PIO样本和非PIO样本，提取样本中的特征，针对所述样本特征，通过离线学习算法得到PIO模型。10.根据权利要求1至9任一项所述的方法，其特征在于，所述从输入的立体图像中检测后期加入物体PIO，并从所述立体图像中分割提取出所述PIO，具体包括：字幕框的检测过程，包括：从输入的图像中检测文字笔画特征；对检测出的文字笔画特征向图像的X方向和Y方向分别进行投影分析；通过检测超过一定阈值的峰值区域，提取包含文字笔画特征的字幕框；确定所述字幕框的字幕深度；去除所述字幕框中字幕深度不位于场景前方的字幕误检测；字幕PIO的分割提取过程，包括：在所述检测出的字幕框中，根据颜色分布直方图提取文字的颜色；根据文字颜色对文字像素进行分割，将所述分割的结果作为字幕PIO分割结果并提取分割出的字幕PIO。11.根据权利要求10所述的方法，其特征在于，该方法在字幕框的检测过程中，在得到所述字幕框之后，进一步包括：对图像进行边缘检测，并将边缘强度值小于某一特定阈值的边缘强度置0；对所述检测出的字幕框及其上下指定范围内的区域水平投影，检测超过特定阈值的投影区域，根据检测到的所述投影区域进一步精确定位字幕框。12.根据权利要求10所述的方法，其特征在于，该方法在字幕框的检测过程中，在得到所述字幕框之后，进一步包括：计算所述字幕框的截断边缘图像；计算所述截断边缘图像的水平投影，寻找该水平投影的最大值，搜索所述水平投影最大值上下指定范围内的最小值，得到字幕区域的上下边界；计算所述截断边缘图像的垂直投影，得到字幕区域的左右边界；按照所述字幕区域的上下边界和左右边界重新定位字幕框。13.根据权利要求10所述的方法，其特征在于，该方法进一步包括：采集字幕样本和非字幕样本，提取样本中的特征，针对所述样本特征，通过离线学习算法得到字幕模型；在所述字幕框的检测过程之后，针对所述字幕框，进一步利用所述字幕模型去除所述字幕框中的非字幕区域。14.根据权利要求10所述的方法，其特征在于，所述字幕PIO的分割提取过程，具体包括如下处理：将所述检测出的字幕框分成R、G、B通道的灰度图，包括R图、G图、B图；将所述字幕框转换成灰度图；计算...

【专利技术属性】
技术研发人员：刘志花，王再冉，赵良鎬，李炜明，周明才，南东暻，洪涛，王海涛，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11