一种基于精准图像拼接的摄像机镜头去污方法技术

一种基于精准图像拼接的摄像机镜头去污方法。摄像机镜头存在污迹会对拍摄图像质量造成很大影响，且摄像机如：视频监控设备等很容易在镜头表面附着污渍。手动方法去除这些污渍有可能比较的费力，而且也无法改变已经拍摄好的视频和图像。本发明专利技术提出了一种利用精准全景图像拼接的方法去除污迹的方法。对于一个镜头有污迹的摄像机，和用该镜头拍摄的一段视频(连续图像)。为了去除拍摄视频或图像中的污渍，本方法首先利用图像累加的方法找出污迹范围，然后用高精度匹配方法利用污渍图像前后帧的相关信息填补污渍区域，从而得到没有污迹的图像。通过本方法得到的复原图像或视频和真实图像无污染原始图像有最大的相似度，实验效果表现优异，算法耗时不高。

Camera lens decontamination method based on precise image stitching

Camera lens decontamination method based on precise image stitching. The presence of stains in the camera lens can have a great impact on the quality of the captured image, and cameras, such as video surveillance equipment, are easy to attach stains to the lens surface. Manual methods to remove these stains can be more laborious and can not change the captured video and images. The invention provides a method for removing stains by precise panoramic image stitching. A camera with a smudge of a lens and a video (continuous image) taken with that lens. In order to remove the video or image stains, firstly, using the method of image accumulation to find out the stain range, and then use the high precision matching method using stains images before and after frame correlation information to fill the area to get the image of stains, no stains. The restored image or video and the real image obtained by the method have no pollution, and the original image has the greatest similarity, and the experimental effect is excellent, and the algorithm is not time-consuming.

【技术实现步骤摘要】

本专利技术涉及数字图像与视频的修复和图像匹配与拼接，属于数字图像处理领域。
技术介绍
在拍摄数字视频或图像时，机头表面存在的污迹会对拍摄图像质量造成较大的影 响。尤其是在户外拍摄时，更容易出现这种状况。在得到有污迹的数字视频或图像后，解决 问题的一个有效的方法是利用图像复原技术对有损的图像区域进行复原。然而照相设备镜 头污迹引起的图像噪音和一般的图像噪音有很大的不同。首先，其噪音分布无规律，不同污 迹对图像造成的影响也不同，无法用简单的数学方法描述。其次，由污迹引起的噪音一般较 集中，经常集中在一个或几个范围内。鉴于以上原因，现今的图像去污方法主要有两种一种方法是利用图像修描、纹理 合成等技术，对图像的污迹范围进行填充。这种方法最大的问题就是还原的图像与真实图 像有较大偏差。另一种方法是通过建立污迹引起图像噪音的数学模型，模拟噪声，进一步去 除噪音。这种方法的相比前一种方法，效果和效率较差，但是保证了和真实图像的相近性。近年来，在图像修描、纹理合成等技术方面在"CRIMINISI，A.，PEREZ,P.，AND Τ0ΥΑΜΑ, K. 2003. Object removal byexemplar-based inpainting. In In IEEE Conference on Computer Vision and PatternRecognition”中，Criminisi等人公开了一种基于纹理模型的图像复原方法。该方 法结合了纹理合成与图像修描的技术。该方法可以填补图像中一定区域，但是填补区域需 要事先指定，而且复原图像不能保证与真实图像完全一致。因此无法很好的解决因摄像头 污迹引起的图像受损问题。在"LIU,Y.，BELKINA, T.，HAYS, J. H.，AND LUBLINERMAN, R. 2008. Imagede-fencing.In IEEE Conference on Computer Vision and Pattern Recognition (CVPR). ”中，LIU等人公开了一种自动寻找并修描结构化物体的方法。该方法 通过图像统计和聚类的方法，自动找出图像中成结构化的物体，之后通过纹理合成的方法 进行去除。但是此方法要求被去除物体有较强的结构上的重复性，如类似栅栏的物体。因 此该方法无法实用于去除形状随机的物体的情况。在"SUN，J.，YUAN,L.，JIA, J.，AND SHUM, H. -Y. 2005. Image completion withstructure propagation. ACM Transactions on Graphics(SIGGRAPH)24,3,861-868.，， 中，SUN等人公开了一种利用结构传播修描图像的方法。该方法利用修描区域周围的物体 的结构信息修复图像。该方法对修描区域周围的图像信息有一定的要求，要求修描区域周 围对修描区域内部提供一定的结构信息。因此在要求修描区域周围无结构信息的情况下， 不能很好的填充被修描区域。在模型化污迹图像方面在‘‘TALVALA，Ε.-V.，ADAMS, Α.，HOROWITZ, Μ.，AND LEVOY, Μ. 2007. Veilingglare in high dynamic range imaging. ACM Transactions on Graphics (SIGGRAPH)26,3,37 1-37 10. ”中，TALVALA等人公开了一种模型化的方法，用于解决强光引起的图像对比度不 足。但是该方法无法给不确定区域的摄像头污迹引起的图像受损建立模型。在"J Gu, R Ramamoorthi, P Belhumeur, S Nayar.2009. Removing Image ArtifactsDue to Dirty Camera Lenses and Thin Occluders-ACM Transactions on Graphics (SIGGRAPH). ”中，Gu等人对照相机镜头污迹引起的图像伪影做了模型化处理。该 方法利用图像统计方法，计算模型的参数。但该方法在进行图像统计时需要极大量的图像， 因此比较耗时，而且每次利用模型修复图像时需要人工指定一些参数来优化效果。
技术实现思路
本专利技术解决的技术问题是克服现有技术的不足，提供一种基于精准图像拼接的 摄像机镜头去污方法，该方法可以自动发现需要修复的区域，并且去污过程的耗时要远小 于利用图像统计建立模型的方法，最终所得的复原图像的与真实图像的吻合度相比其他方法要尚O本专利技术的技术解决方案，包括以 下步骤(1)对于一个镜头表面存在污迹的照相设备，采用此镜头表面存在污迹的照相设 备拍摄的一组图像或一段视频；(2)该有污渍的一组图像或视频中的每一帧组成的输入图像序列为I1;I2，. . .,In, 其中Ik(l<k<n)为上述有污渍的一组图像中的一幅图像或视频中的一帧图像，η为图像 序列中的图像总数。对于输入图像序列，分RGB三通道逐像素点计算输入图像序列的方差， 得到方差矩阵D (x, y，ρ)，其中x，y为坐标位置，ρ为通道数(1彡ρ彡3)；(3)采用步骤( 求得的RGB三通道的输入图像序列的方差为每一个图像坐标位 置Px, y建立一个三维的描述向量。对所有的坐标位置进行聚类，找出污迹范围礼。其中污 迹范围Rtl用与输入图像等大的二值矩阵表示，用1表示不存在污迹，0表示存在污迹；(4)对步骤(3)求得的污迹范围Rtl进行放大，确保Rtl大于真实污迹范围；(5)提取输入图像序列I1, 12，. . .，In的特征，然后对提取的输入图像序列的特征 进行匹配，之后建立输入图像间的匹配关系，即任意两幅图像是否匹配；(6)根据步骤( 所得的输入图像间的匹配关系，计算每两幅图像间的3x3透视变 换矩阵(单应性矩阵)；(7)利用步骤⑷得到的放大后的污迹范围Rtl,剔除掉图像序列中的污迹部分，得 到新的图像序列I' I' 2，...，Γ 共11幅图像，其中图像Γ k(l<k<n)为图像Ik 根据污迹范围将有污迹区域剪裁掉所得；(8)对步骤(7)得到的一幅图像Γ k(l < k < η)，根据步骤(5)所得的输入图像 间的匹配关系，可以找到与图像Ik匹配的图像所有图像，共m幅。将这些图像记为Ikl，Ik2,Ik3，......Ikm，其中(1 < ki < n，1 < i < m)。将 Ikl，Ik2, Ik3,......Ikm 所对应的利用步骤(7)所得到的图像记为I' kl, I' k2, I' k3，......Γ km。利用步骤(6)得到的Ik与Ikl，Ik2，Ik3，......！km 间的变换矩阵将图像Γ kl，i k2，I k3，......I km 变换到Γ k所在平面，然后利用图像Γ kl，I' k2, I' k3，……I' km中的图像区域填补r k的被剔除部 分，即可得到图像Ik的复原图像；(9)对每幅要进行去污工作的图像执行步骤(8)，即可得到相应的复原图像。所述的步骤O)的逐点计算图像序列的方差D(x，y, ρ)的过程为对图像序列的本文档来自技高网...

【技术保护点】
一种基于精准图像拼接的摄像机镜头去污方法，其特征在于实现步骤如下：（１）对于一个镜头表面存在污迹的照相设备，采用此镜头表面存在污迹的照相设备拍摄的一组图像或一段视频；（２）该有污渍的一组图像或视频中的每一帧组成的输入图像序列为Ｉ↓［１］，Ｉ↓［２］，．．．，Ｉ↓［ｎ］，其中Ｉｋ（１＜ｋ＜ｎ）为上述有污渍的一组图像中的一幅图像或视频中的一帧图像，ｎ为图像序列中的图像总数；对于输入图像序列，分ＲＧＢ三通道逐像素点计算输入图像序列的方差，得到方差矩阵Ｄ（ｘ，ｙ，ｐ），其中ｘ，ｙ为坐标位置，ｐ为通道数，１≤ｐ≤３；（３）采用步骤（２）求得的ＲＧＢ三通道的输入图像序列的方差矩阵为每一个图像坐标位置Ｐ↓［ｘ，ｙ］建立一个三维的描述向量；对所有的坐标位置进行聚类，找出污迹范围Ｒ↓［０］；（４）对步骤（３）求得的污迹范围Ｒ↓［０］进行放大，确保Ｒ↓［０］大于真实污迹范围；（５）提取输入图像序列Ｉ↓［１］，Ｉ↓［２］，．．．，Ｉ↓［ｎ］的特征，然后对提取的输入图像序列的特征进行匹配，之后建立输入图像间的匹配关系，即任意两幅图像是否匹配；（６）根据步骤（４）所得的输入图像间的匹配关系，计算每两幅图像间的３×３透视变换矩阵，即单应性矩阵；（７）利用步骤（４）得到的放大后的污迹范围Ｒ０，剔除掉图像序列中的污迹部分，得到新的图像序列Ｉ′↓［１］，Ｉ′↓［２］，．．．，Ｉ′↓［ｎ］共ｎ幅图像，其中图像Ｉ′↓［ｋ］（１＜ｋ＜ｎ）为图像Ｉｋ根据污迹范围将有污迹区域剪裁掉所得；（８）对步骤（６）得到的一幅图像Ｉ′↓［ｋ］（１＜ｋ＜ｎ），根据步骤（５）所得的输入图像间的匹配关系，找到与图像Ｉｋ匹配的图像所有图像，共ｍ幅，将这些图像记为Ｉ↓［ｋ１］，Ｉ↓［ｋ２］，Ｉ↓［ｋ３］，．．．．．．Ｉ↓［ｋｍ］，其中（１＜ｋｉ＜ｎ，１＜ｉ＜ｍ）；将Ｉ↓［ｋ１］，Ｉ↓［ｋ２］，Ｉ↓［ｋ３］，．．．．．．Ｉ↓［ｋｍ］所对应的利用步骤（７）所得到的图像记为Ｉ′↓［ｋ１］，Ｉ′↓［ｋ２］，Ｉ′↓［ｋ３］，．．．．．．Ｉ′↓［ｋｍ］，利用步骤（６）得到的Ｉ↓［ｋ］与Ｉ↓［ｋ１］，Ｉ↓［ｋ２］，Ｉ↓［ｋ３］，．．．．．．Ｉ↓［ｋｍ］间的变换矩阵将图像Ｉ′↓［ｋ１］，Ｉ′↓［ｋ２］，Ｉ′↓［ｋ３］，．．．．．．Ｉ′↓［ｋｍ］变换到Ｉ′↓［ｋ］所在平面，然后利用图像Ｉ′↓［ｋ１］，Ｉ′↓［ｋ２］，Ｉ′↓［ｋ３］，．．．．．．Ｉ′↓［ｋｍ］中的图像区域填补Ｉ′↓［ｋ］的被剔除部分，即可得到图像Ｉ↓［ｋ］的复原图像；（９）对每幅要进行去污工作的图像执行步骤（７），即可得到相应的复原图像。...

【技术特征摘要】

【专利技术属性】
技术研发人员：百晓，郑肖，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11