基于感兴趣区域的幅型比变换方法技术

本发明专利技术公开了一种基于感兴趣区域的幅型比变换方法，主要解决现有方法变换后运 动目标失真的缺陷。其步骤为：利用光流场信息和模糊聚类技术进行运动区域检测，同 时采用均值偏移算法实现图像空域分割，并将空间分隔后的图像与运动区域检测后的运 动区域进行投影计算，得到精确的运动目标；利用图像修复技术修补被运动目标遮掩的 背景区域，获得完整的背景；利用图像插值算法，对修复后的背景和运动目标分别采用 不同的变换比例进行变换；将变换后的背景和目标物相叠加合成相应幅型比的视频图 像。本发明专利技术既保证了变换后运动目标的无失真性，又很好地保持了画面的和谐和视频的 连续，提高了变换后的视觉效果，适用于视频图像处理的格式转换。

【技术实现步骤摘要】

本专利技术属于视频图像处理领域，涉及一种在不同幅型比的视频图像之间进行格式转换的方法，可以应用于高清电视的格式转换，窄屏幕电视画面与宽屏幕电视画面之间的转换等。
技术介绍
随着新的多媒体技术和视频显示设备的产生，在播放视频图像时，为了满足不同比例显示设备的播放要求，需要对视频图像的空间尺寸进行缩放。幅型比就是指电视画面宽度和高度的比值。幅型比变换技术就是试图对视频图像的空间尺寸进行縮放处理以适应不同显示设备的格式，从而获得较好的播放效果。由于在相当长的时间内会存在不同幅型比混合处理的问题，因此，该技术已成为视频图像处理领域中的一个研究热点，并己广泛应用于电视、电影及视频多媒体等需要对视频信号进行格式转换的多个领域。虽然幅型比变换技术已经取得了迅速的发展，但在目前的技术水平下仍需要在方法的设计中做出某些改进，改进后的方法将会提高变换后的图像与人类视觉感知的一致性，使转换后图像的视觉效果更好。目前幅型比变换的方法主要有两大类 一类是无图像失真而损失图像的部分内容或浪费屏幕部分资源的方式，另一类是保证了图像内容的完整但引起图像失真的方式。第一类方法主要有贴黑边，裁减和移位，贴黑边和裁减组合。贴黑边的处理方式是在图像的左右或上下两侧填加黑边，保证原有幅型比的图像在不同幅型比的显示设备上能够完整地显示出来，不损失原图像的内容，并且没有变形失真。但这种方式对于显示器的显示区域会造成一部分空耗，且观看效果不佳。裁减和移位的方式是将图像的左右或上下裁去两条，并根据画面的内容对图像进行上下或左右移位处理，尽量使原图像的主景或重要内容保持在变换后的画面中。这种方式没有引起图像的失真，但损失图像的内容，并且需耗费大量的人工。贴黑边和裁减组合的方式是结合贴黑边和裁剪两种处理方式，是为了平衡保留图像内容和提高新画面利用率这两种互相矛盾的需求，不会造成图像失真，但仍然损失图像内容和浪费屏幕资源。第二类方法可分为线性变形的变换法和非线性变形的变换法。线性变形变换就是利用插值算法直接变换图像的宽高比，以达到所需幅型比的要求。线性变形变换由于实现起来较简单，所以目前被大部分的高清电视所采用。但是，由于图像的宽与高的变换比例不一致，此变换方法使得变换后的整体图像有明显的失真，影响视觉效果。非线性变形的变换方式是基于人的视觉感知特性进行变换的，且综合考虑幅型比变换前后的比例要求和变换后观看效果之间的平衡。Zhang Guanglie等人提出了利用序列的运动重心来划分不同区域并进行非均匀比率扩展的非线性变形变换方法Zhang Guanglie， Zheng Nanning， Chen Qian， et al. Motion adaptivevideo format conversion :from 4:3 to 16:9 images[C] 〃 Proceeding of International Conference onIntelligent Information Technology, Beijing, China, Sep.2002: 181-184.,该方法对于简单运动的视频序列效果较好，但是不适用具有多个运动目标的视频序列，且易造成变换后的视频序列在视觉上的抖动现象，视觉效果明显下降。Shih-Chang Hsia等人提出了基于中心区域的非线性变形的变换方法HsiaS C， LiuBD， Yang J F， et al. A parallel video converter for displaying4:3 images on 16:9 HDTV receivers [J]. IEEE Transactions on Circuits and Systems for VideoTechnology, 1996， 6(6): 695-699.，该方法对于目标物集中在中心区域的序列，有较好的视觉效果，但是对于目标物并不全集中在中心区域的序列，该方法会使处于边缘区域的目标物产生更大的失真，影响画面的和谐。从保持原视频的完整性、屏幕资源的利用率以及画面的和谐度等几个因素来综合考虑，现有幅型比变换的方法均有一定的缺陷。
技术实现思路
本专利技术的目的在于解决第一类方法中保持图像内容完整和提高新画面利用率之间的矛盾，提供一种及装置，利用人的视觉特性，避免线性变形引起的视频帧的整体失真，保持画面的和谐和视频的连续，改善变换后的视觉效果。实现本专利技术目的的技术方案是综合视频序列的时空信息，提取每一帧的运动目标，修补提取目标物后的背景，并对修复后的背景和运动目标分别进行幅型比变换及合成，完成相应幅型比的转换。具体实现步骤如下(1) 综合时空信息进行运动目标提取。利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；(2) 利用图像修复技术修补被运动目标遮掩的背景区域，获得完整的背景；(3) 利用图像插值算法，分别对目标和修复后的背景进行幅型比变换；(4) 将幅型比变换后的背景和目标进行叠加，合成相应幅型比的图像。步骤(3)所述的分别对目标和修复后的背景进行幅型比变换是利用图像插值算法分别对背景采用宽高变换比非一致的方式进行线性变形变换，对运动目标采用无失真度的比例进行变换。步骤(4)所述的将幅型比变换后的背景和目标进行叠加是根据运动目标在原图像中的位置，确定其在变换后的背景图像中的位置，并结合变换后的背景和目标物，合成变换后的视频帧。本专利技术的装置包括A. 运动目标提取装置用于利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；B. 背景修复装置用于修补被运动目标遮掩的背景区域，获得完整的背景；C. 图像幅型比变换装置用于分别对目标物和修复后的背景进行幅型比变换；D. 图像合成装置用于将变换后的背景和目标进行叠加，合成相应幅型比的图像。所述的运动目标提取装置包括运动区域检测子装置用于检测视频序列前一帧与当前帧之间的相对运动区域，以及后一帧与当前帧之间的相对运动区域，并将这两个相对运动区域进行与操作，得到当前帧的运动区域；均值偏移矢量计算子装置用于计算当前帧各个像素的均值偏移矢量-式中，^表示以矢量;f为中心，以r为半径的颜色空间的超球体，f为超球体内其余矢量，PO))为在矢量f处的颜色概率密度分布；图像空域分割子装置用于确定当前帧的主要颜色类及各类的中心色彩，并结合图像中每个像素的空间位置信息完成图像的空域分割；投影计算子装置用于将空域分隔后的图像与运动区域检测后的运动区域进行投影计算1,去So，去Z椒力〈r式中，S(x,力为运动区域检测后的二值掩模图像，fi(;c,力-l表示像素点Oc，力属于运动区域，5(;c，力-o表示像素点(jc,力属于静止区域，4 (z、o,i,…,w-i)为空域分割后的w个区域，M为4内像素的个数，r为给定的阈值，《(;c,力是第z'个区域的投影计算结果，《(^力=1表示该区域属于运动区域，=0表示该区域属于静止区域；运动掩膜子装置用于根据投影计算子装置得到的投影计算结果，计算当前帧的运动掩膜图像5。力=1本文档来自技高网...

【技术保护点】
一种基于感兴趣区域的幅型比变换方法，包括如下步骤：　（１）利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；　（２）利用图像修复技术修补被运动目标遮掩的背景区域，获得完整的背景；　（３）利用图像插值算法，分别对目标和修复后的背景进行幅型比变换；　（４）将幅型比变换后的背景和目标进行叠加，合成相应幅型比的图像。

【技术特征摘要】
1、一种基于感兴趣区域的幅型比变换方法，包括如下步骤(1)利用前后帧之间的光流场信息和当前帧的空间相关性进行运动区域检测和图像空域分割，并将空间分隔后的图像与运动区域检测后的运动区域进行投影计算，得到精确的运动目标；(2)利用图像修复技术修补被运动目标遮掩的背景区域，获得完整的背景；(3)利用图像插值算法，分别对目标和修复后的背景进行幅型比变换；(4)将幅型比变换后的背景和目标进行叠加，合成相应幅型比的图像。2、 如权利要求l所述的方法，其中步骤(l)所述的将空间分隔后的图像与运动区 域检测后的运动区域进行投影计算按如下步骤进行(2a)采用光流计算的方法和模糊聚类方法得到视频序列前一帧与当前帧之间的 相对运动区域，以及后一帧与当前帧之间的相对运动区域，并将这两个相对运动区域 进行与操作，得到当前帧的运动区域；(2b)计算当前帧各个像素的均值偏移矢量<formula>formula see original document page 2</formula>式中，^表示以矢量^为中心，以r为半径的颜色空间的超球体，》为超球体内其余矢量，p(刃为在矢量j 处的颜色概率密度分布；(2c)利用均值偏移矢量确定当前帧的主要颜色类及各类的中心色彩，并结合图像 中每个像素的空间位置信息完成图像的空域分割；(2d)将空域分隔后的图像与运动区域检测后的运动区域进行投影计算<formula>formula see original document page 2</formula>式中，50c,力为运动区域检测后的二值掩模图像，5(x,力表示像素点(;c,力属于 运动区域，5(w)二0表示像素点(;c,力属于静止区域，4KU…,AM)为空域分割后的w个区域，iv,为4内像素的个数，r为给定的阈值，《(x,力是第/个区域的投影运算结果，=1表示该区域属于运动区域，=0表示该区域属于静止区域;(2e)由投影计算结果计算当前帧的运动掩膜图像5。力=|]>:(、力式中，《(x，力是第/个区域的投影运算结果，《(;c,力^l表示该区域属于运动区 域，《(;c，力^0表示该区域属于静止区域，5。(x，力为整幅图像的投影结果，B。(;c,力二 1表示像素点(;c,力属于运动区域，5。(x,力^0表示像素点0c，力属于静止区域；(2f)将运动目标掩模图像映射到原图像，得到当前帧的精确的运动目标。3、 如权利要求l所述的方法，其中步骤(3)所述的分别对目标和修复后的背景进 行幅型比变换是利用图像插值算法分别对背景采用宽高变换比非一致的方式进行线 性变形变换，...

【专利技术属性】
技术研发人员：高新波，路文，高飞，张花，何力火，
申请(专利权)人：高新波，路文，高飞，张花，何力火，
类型：发明
国别省市：87