【技术实现步骤摘要】
一种光场图像的反射分离方法及系统
[0001]本专利技术属于图像处理领域，具体涉及一种光场图像的反射分离方法和系统。
技术介绍
[0002]光场相机，在主镜头和成像传感器之间增加了微透镜阵列。微透镜阵列是一个由许多微透镜单元组成的二维阵列，其与主镜头、成像传感器成共轭关系，因此一束光的位置和方向可以被微透镜平面和成像传感器平面确定，从而使得光场相机能够同时记录光的强度、位置和方向。与传统的相机相比具有先拍照、再对焦的特点，在多视角信息采集方面具有巨大的优势。
[0003]反射现象是一种常见的图像干扰，当透过玻璃等透明平面拍摄照片时，相机这一侧的物体也会被摄入，不仅在视觉上不美观，更会影响一些其他计算机视觉任务的性能，例如：目标检测和目标跟踪。光场相机所拍摄的光场图像同样存在这样的问题。因此，一般需要通过分离方法对图像进行分离，以获得实际场景图像。
[0004]现有的技术中，单图像的反射分离方法通常需要假设反射层比较微弱或者假设反射层比较模糊，这些假设严重限制了这些方法在实际复杂场景下的使用；同时，基于假设条件...
【技术保护点】
【技术特征摘要】
1.一种光场图像的反射分离方法，其特征在于，所述反射分离方法包括如下步骤：步骤S1，获取原始光场图像，进行多尺度空间角度卷积，获取多尺度空间角度特征；步骤S2，通过对原始的光场图像进行重聚焦操作，获取重聚焦图像；步骤S3，对所述的重聚焦图像进行动态卷积操作，分别生成初步背景图像和初步反射图像；步骤S4，分别对所述的初步背景图像和初步反射图像进行卷积，获得背景边缘图、背景重聚焦特征、反射边缘图、反射重聚焦特征；步骤S5，基于空间注意力机制，利用所述背景边缘图生成背景空间注意力权重，利用所述反射边缘图生成反射空间注意力权重；步骤S6，合并所述的多尺度空间角度特征和背景重聚焦特征，获取背景重构特征，合并所述的多尺度空间角度特征和反射重聚焦特征，获取反射重构特征；步骤S7，基于通道注意力机制，利用所述的背景重构特征生成背景通道注意力权重，利用所述的反射重构特征生成反射通道注意力权重；步骤S8，利用所述的背景空间注意力权重和背景通道注意力权重调整背景重构特征，获取调整后的背景重构特征；利用所述的反射空间注意力权重和反射通道注意力权重调整反射重构特征，获取调整后的反射重构特征；步骤S9，利用U型网络从调整后的背景重构特征重构背景图像，利用U型网络从调整后的反射重构特征重构反射图像。2.根据权利要求1所述的光场图像反射分离方法，其特征在于，所述步骤S1多尺度空间角度卷积，具体包含如下步骤：利用空间2D卷积进行下采样操作，分别使用1次和2次，获取1/2原始分辨率和1/4原始分辨率的图像；将原始、1/2原始分辨率和1/4原始分辨率图像分别进行4次空间2D卷积和4次角度2D卷积，获取不同尺度的特征；将所述不同尺度的特征利用空间2D卷积进行融合，获取多尺度空间角度特征。3.根据权利要求1所述的光场图像反射分离方法，其特征在于，所述步骤S2重聚焦操作的公式为：式(1)中，d表示重聚焦操作的数值，L表示光场图像，u，v表示角度维，x，y表示空间维，u
c
，v
c
表示中心视角的角度坐标，u∈[0，U]，v∈[0，V]，U和V是两个常数，I
d
(x，y)表示使用数值进行重聚焦操作后的重聚焦图像。4.根据权利要求1所述的光场图像反射分离方法，其特征在于，所述步骤S3动态卷积，具体包含如下步骤：将重聚焦图像输入2组不同的3D卷积中，分别生成背景动态卷积核和反射动态卷积核；利用背景动态卷积核从所述重聚焦图像中生成初步背景图像；利用反射动态卷积核从所述重聚焦图像中生成初步反射图像。5.根据权利要求4所述的光场图像反射分离方法，其特征在于，所述步骤S3利用动态卷积生成初步的背景图像和初步的反射图像的操作，采用如下公式表示：
B
inter
(x，y)＝∑
d
I(d，x，y)*W
B
(d，x，y)
ꢀꢀꢀꢀ
(2)R
inter
(x，y)＝∑
d
I(d，x，y)*W
R
(d，x，y)
ꢀꢀꢀꢀ
(3)式(2)、(3)中，d表示重聚焦操作的数值，x，y表示空间维，I(d，x，y)表示所有重聚焦图像，B
inter
(x，y)表示初步的背景图像，W
B
(d，x，y)表示背景动态卷积核，R
inter
(x，y)表示初步的反射图像，W
R
(d，x，y)表示反射动态卷积核。6.根据权利要求1所述的光场图像反射分离方法，其特征在于，所述步骤S5基于空间注意力机制，利用所述背景边缘图生成背景空间注意力权重，利用所述反射边缘图生成...
【专利技术属性】
技术研发人员：张硕，韩升，吕凯，林友芳，沈泽琪，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。