一种多视角拍摄进行孔径合成成像方法技术

本发明专利技术公开了一种多视角拍摄进行孔径合成成像方法，属于图像处理技术领域，包括以下几个步骤：步骤一：采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；步骤二：根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面∏的像点；步骤三：根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换；步骤四：综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像；本发明专利技术通过多次平面射影变换的方法，准确地对感兴趣目标平面进行透视成像，校正了平面相机阵列的安装误差，提高了感兴趣目标的对比度和清晰度。

【技术实现步骤摘要】

本专利技术涉及一种多视角拍摄进行准确孔径合成图像的方法，属于图像处理

技术介绍
在传统成像系统中，相机的景深随对焦距离的增加而增加，随光圈的增加而减小。为了达到某些特殊拍摄效果，如突出表现某一感兴趣的物体，需要采用较小的景深成像系统。而相机和目标物体间的距离往往是 不能改变的，即对焦距离固定，这种情况下，可以采用大光圈(孔径)的相机获取小景深成像效果。相机的光圈越大就越能更多的记录从不同方向发出的光线。但是相机的光圈不能过大，过大的光圈将使镜头的像差畸变等急剧增加。为了解决这个问题，可以利用普通相机多视角拍摄目标物体，对拍摄得到的图像进行计算合成，达到孔径合成成像的效果。在这种多视角拍摄的孔径合成成像系统中，成像景深范围极小。如果感兴趣的物体位于成像系统对焦面上，则其合成孔径图像清晰，而处于景深外的物体，由于其弥散斑直径正比于孔径大小，将会离焦虚化，从而达到突出感兴趣目标的目的。这种孔径合成成像系统中，一般采用单相机或者相机阵列对目标场景进行多视角拍摄的图像采集。为提高合成孔径图像的清晰度和准确度，需要对每个相机采集的图像进行几何校正，因为拍摄过程中各相机视角存在位置偏差。之后将几何校正之后的图像用于目标图像合成的重采样。在已有技术中，孔径合成的主要方法是利用平面相机阵列获取多视角图像。假设所有相机的光心都位于同一平面上，利用平面视差法标定相机间的相对位置。根据视差和目标深度及相机间相对位置的关系，对图像进行整像素平移，以抵消目标在不同视角拍摄造成的视差，即将所有图像对焦至目标平面。将所有对焦至目标平面的图像进行叠加和平均，这样位于对焦平面上的物体清晰，而处在对焦平面外的物体由于视差将会虚化弥散，达到突出感兴趣目标的效果。因此，在现有的多视角拍摄进行孔径合成成像的技术中，存在以下缺点在实际安装中难以严格达到所有拍摄角度的相机光心位于同一平面；对原始图像序列进行整像素的平移以对焦到感兴趣的平面忽略了其视差存在非整像素的可能性，降低了合成孔径图像的清晰度；对所有对焦后的图像进行叠加平均相当于对原始图像进行低通滤波，损失了目标图像的高频细节信息。
技术实现思路
本专利技术的目的是为了解决上述问题，提出，提高感兴趣目标图像的对比度和清晰度。—种多视角拍摄进行孔径合成成像方法，包括以下几个步骤步骤一采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；步骤二 根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面Π的像点；步骤三根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换；步骤四综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像；本专利技术的优点在于(I)本专利技术通过多次平面射影变换的方法，准确地对感兴趣目标平面进行透视成像，校正了平面相机阵列的安装误差，提高了感兴趣目标的对比度和清晰度。(2)本专利技术通过采用对多张图像重采样的方法，尽量保留了感兴趣目标的高频细节信息，进一步提高感兴趣目标的图像清晰度。附图说明图I是本专利技术的具体实施方式提供的多视角成像系统示意图；图2是本专利技术的具体实施方式提供的多视角拍摄的原始图像序列其中的一张；图3是本专利技术的具体实施方式提供的采用现有技术方案的孔径合成图像；图4是本专利技术的具体实施方式提供的采用本专利技术技术方案的孔径合成图像图；图5是本专利技术的具体实施方式提供的多视角拍摄进行孔径合成成像算法的流程图。具体实施例方式下面将结合附图和实施例对本专利技术作进一步的详细说明。，流程如图5所示，包括以下几个步骤步骤一采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；对不同视角的原始图像序列进行平面射影变换，将所有图像对焦到非感兴趣目标平面Π上,具体为权利要求1.，其特征在于，包括以下几个步骤 步骤一采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列； 对不同视角的原始图像序列进行平面射影变换，将所有图像对焦到非感兴趣目标平面Π上，具体为 3 =Hm* y, I J |_ I 其中7是相机阵列中第i个相机所获得的包含感兴趣目标场景的原始图像齐次坐标，其坐标单位为像素，Hni是原始图像对焦到非感兴趣平面Π的平面射影矩阵，T是原始图像坐标，Τ为经平面射影变换Hni对应的齐次坐标； 取第i张原始图像，将平面射影变换后的坐标τ进行双线性重采样，得到·原始图像对焦到非感兴趣目标平面Π的图像Ini ； 同理，对其它原始图像序列进行上述操作，得到对焦到非感兴趣目标平面的图像序列； 步骤二 根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面Π的像点； 采用方差阈值法判断非感兴趣目标平面Π的坐标在对焦到非感兴趣目标平面Π的图像序列Ipi的坐标τ;则非感兴趣目标平面Π的坐标在第i张原始图像的坐标T 为—λ·; =Hw· y c i J L1 其中在原图1中将坐标7的邻域整像素全部剔除，即灰度设置为0，生成在原图基础上去除非感兴趣目标平面Π的图像Γ i； 当非感兴趣目标为覆盖了一定的深度范围时，判断所有深度非感兴趣平面是否全部去除，如果是，则进入步骤三，否则，返回步骤一，在合成目标图像之前，反复使用步骤一、二，逐次消除各深度平面内的非感兴趣目标； 步骤三根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换； 对去除非感兴趣目标的图像Γ i进行平面射影变换，对焦到目标平面上； _χ·] Γχ-；jw =Hobll* y't I J I 其中Htjbji是图像I' 3寸焦到目标的平面射影矩阵，τ是图像Γ i坐标 T经目标平面射影变换对应的齐次坐标；步骤四综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像；通过上述步骤得到N组去除非感兴趣目标且对焦到目标平面的坐标Tr··T，··· T，对这N组坐标数据进行双线性重采样,合成对焦到目标平面的图像，最后，得到目标图像； 当目标物体有一定的深度范围时，判断感兴趣目标物体各个深度平面的目标图像是否全部获取，如果是，得到目标物体在各深度处的合成孔径切片图像，对各切片图像进行图像融合，得到被遮拦目标物体的完整合成大孔径图像；否则，返回步骤三。2.根据权利要求I所述的，其特征在于，所述的步骤一中，Hni由第i个相机的视角和对焦到非感兴趣目标平面的视角的相对位置共同决定，计算Hni采用计算机视觉中的直接线性变换。全文摘要本专利技术公开了，属于图像处理
，包括以下几个步骤步骤一采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；步骤二根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面∏的像点；步骤三根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换；步骤四综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像；本专利技术通过多次平面射影变换的方法，准确地对感兴趣目标平面进行透视成像，校正了平面相机阵列的安装误差，提高了感兴趣目标的对比度和清晰度。文档编号G06T7/00GK102968784SQ201210393本文档来自技高网...

【技术保护点】
一种多视角拍摄进行孔径合成成像方法，其特征在于，包括以下几个步骤：步骤一：采用平面射影变换，对原始图像序列进行坐标变换，重采样合成对焦到非感兴趣平面的图像序列；对不同视角的原始图像序列进行平面射影变换，将所有图像对焦到非感兴趣目标平面∏上，具体为：xΠiyΠi1=HΠi·xiyi1其中：[xi？yi？1]T是相机阵列中第i个相机所获得的包含感兴趣目标场景的原始图像齐次坐标，其坐标单位为像素，H∏i是原始图像对焦到非感兴趣平面∏的平面射影矩阵，[x∏i？y∏i？1]T是原始图像坐标，[xi？yi？1]T为经平面射影变换H∏i对应的齐次坐标；取第i张原始图像，将平面射影变换后的坐标[x∏i？y∏i？1]T进行双线性重采样，得到原始图像对焦到非感兴趣目标平面∏的图像I∏i；同理，对其它原始图像序列进行上述操作，得到对焦到非感兴趣目标平面的图像序列；步骤二：根据方差阈值法，对对焦到非感兴趣平面的像点进行识别，并在原始图像序列里去除非感兴趣目标平面∏的像点；采用方差阈值法判断非感兴趣目标平面∏的坐标在对焦到非感兴趣目标平面∏的图像序列Ipi的坐标[xoc？yoc？1]T；则非感兴趣目标平面∏的坐标在第i张原始图像的坐标[xoci？yoci？1]T为：xociyoci1=HΠi-1·xocyoc1其中：在原图Ii中将坐标[xoci？yoci？1]T的邻域整像素全部剔除，即灰度设置为0，生成在原图基础上去除非感兴趣目标平面∏的图像I′i；当非感兴趣目标为覆盖了一定的深度范围时，判断所有深度非感兴趣平面是否全部去除，如果是，则进入步骤三，否则，返回步骤一，在合成目标图像之前，反复使用步骤一、二， 逐次消除各深度平面内的非感兴趣目标；步骤三：根据平面射影变换，对去除非感兴趣目标的原始图像序列进行坐标变换；对去除非感兴趣目标的图像I′i进行平面射影变换，对焦到目标平面上；xobjiyobji1=Hobji·xi′yi′1其中：Hobji是图像I′i对焦到目标的平面射影矩阵，[xobji？yobji？1]T是图像I′i坐标[xi？yi？1]T经目标平面射影变换对应的齐次坐标；步骤四：综合所有经变换后的图像坐标，重采样合成感兴趣目标平面，得的目标图像；通过上述步骤得到N组去除非感兴趣目标且对焦到目标平面的坐标[xobj1？yobj1？1]T，…[xobji？yobji？1]T，…[xobjN？yobjN？1]T，对这N组坐标数据进行双线性重采样，合成对焦到目标平面的图像，最后，得到目标图像；当目标物体有一定的深度范围时，判断感兴趣目标物体各个深度平面的目标图像是否全部获取，如果是，得到目标物体在各深度处的合成孔径切片图像，对各切片图像进行图像融合，得到被遮拦目标物体的完整合成大孔径图像；否则，返回步骤三。...

【技术特征摘要】

【专利技术属性】
技术研发人员：袁艳，颜玉慧，苏丽娟，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：