一种聚焦式全光图像压缩的方法技术

本发明专利技术公开了一种聚焦式全光图像压缩的方法，包括如下步骤：对聚焦式全光图像数据进行预处理，获取网格规则排列的聚焦式全光图像的微透镜图像，同时渲染得到无损的子孔径图像；使用像素级矢量相关性的全局注意力模块，在端到端网络的重采样过程中紧凑表示聚焦式全光图像的冗余特征；采用全局注意力端到端图像压缩网络对聚焦式全光图像进行有效压缩。通过舍弃子孔径图像无效像素，减少了聚焦式全光图像的像素总数，从而有利于全光图像压缩；规则化的聚焦式全光图像有利于裁剪后的图像块只包含完整的微透镜图像，图像块与全分辨率图像之间保持了内容连续性；显著提升聚焦式全光图像的压缩效率，推动聚焦式全光图像的应用。推动聚焦式全光图像的应用。推动聚焦式全光图像的应用。

【技术实现步骤摘要】
一种聚焦式全光图像压缩的方法


[0001]本专利技术涉及图像压缩
，特别是涉及一种聚焦式全光图像压缩的方法。

技术介绍

[0002]聚焦式全光相机是一种基于4D光场理论的光场数据采集设备，它在单反相机内采用插入微透镜阵列采集光场数据，具有体积小、便携性好、采集简单、实时性强等优点，广泛应用于各种光场采集和应用场景。聚焦式全光相机一次成像拍摄得到的聚焦式全光图像能够同时记录场景光线的空间角度信息，因此在图像重聚焦、去遮挡、3D重建、深度估计、虚拟现实等领域都得到广泛的应用。聚焦式全光图像已经成为表示6自由度的沉浸式应用中最为重要的数据存储格式之一。由于微透镜阵列再次成像，聚焦式全光图像使用更多像素额外记录角度信息并具有特殊的数据分布，传统的图像压缩方法难以有效去除其中的冗余。因此，为克服聚焦式全光图像的超高分辨率和特殊数据分布带来的带宽和存储挑战，设计针对聚焦式全光图像的高效压缩方法成为学术和产业界共同关注的焦点。联合图像专家组JPEG以及国际标准组织MPEG分别成立了JPEG PLENO(信息技术.全光图像编码系统)和透镜视频压缩项目，致本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聚焦式全光图像压缩的方法，其特征在于，包括如下步骤：S1：对聚焦式全光图像数据进行预处理，获取网格规则排列的聚焦式全光图像的微透镜图像，同时渲染得到无损的子孔径图像；S2：使用像素级矢量相关性的全局注意力模块，在端到端网络的重采样过程中紧凑表示聚焦式全光图像的冗余特征；S3：采用全局注意力端到端图像压缩网络对聚焦式全光图像进行有效压缩。2.如权利要求1所述的方法，其特征在于，步骤S1中，所述对聚焦式全光图像数据进行预处理，包括如下步骤：S1
‑
1、微透镜图像裁剪；S1
‑
2、微透镜图像对齐。3.如权利要求2所述的方法，其特征在于，步骤S1
‑
1中，所述微透镜图像裁剪是在每个完整微透镜图像中选取包含子孔径图像有效像素区域的正方形图像块，作为预处理聚焦式全光图像的基本单元；所述微透镜图像裁剪中，聚焦式全光图像的每个完整的微透镜被处理成d
×
d的图像块，d应该满足其中d，d
min
，m和R分别代表微透镜图像的包含子孔径图像有效像素的裁剪大小，微透镜图像的包含子孔径图像有效像素的最小裁剪大小，光场有效像素区域半径系数和微透镜像素半径。4.如权利要求3所述的方法，其特征在于，所述d需要通过比较预处理后的聚焦式全光图像以及原始聚焦式全光图像的子孔径图像失真，确定子孔径图像无损的最小值；确定d取16的整数倍。5.如权利要求2所述的方法，其特征在于，步骤S1
‑
2中，所述微透镜图像对齐是指垂直平移被裁剪微透镜图像的偶数列或者水平平移被裁剪微透镜图像的偶数行，使所有被裁剪微透镜图像与矩形网格对齐；所述垂直平移距离d
vd
或水平平移距离d
hd
＝d/2。6.如权利要求1所述的方法，其特征在于，步骤S2中，所述全局注意力模块通过使用下采样网络层进行说明，具体为：全局注意力模块的输入是特征图其中C，H，W分别代表实数域，特征图的通道数，高度和宽度；f经过下采样网络结构后得到下采样特征图然后对f和f
d
分别使用合并特征图空间信息然后交换空间和通道的重排操作得到重排特征图和其中
fr
和
fdr
分别是
f
和
fd
经过重排操作后得到的特征图；全局注意力计算用于探索重排特征图之间的相关性从而生成更加...

【专利技术属性】
技术研发人员：金欣，童科登，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：