基于编码的双路视频压缩装置及压缩视频重建方法制造方法及图纸

本发明专利技术公开了一种基于编码的双路视频压缩装置及压缩视频重建方法。基于编码的双路视频压缩装置包括场景压缩模块、编码调制模块、压缩采集模块、压缩视频重建模块。通过双光路实现边信息和编码信息的采集，其中视频重建模块采用基于梭形网络结构的压缩视频重建方法。将边信息、编码信息和编码模板序列进行拼接操作后，经过梭形网络中的通道注意力，空间注意力和残差机制等深层特征提取，快速重建得到高质量的视频图像序列。本发明专利技术提高重建视频的图像质量；采用梭形网络结构，通过双注意力残差机制提取深层的空间特征和时间特征，提高了视频重建的速度和质量。频重建的速度和质量。频重建的速度和质量。

【技术实现步骤摘要】
基于编码的双路视频压缩装置及压缩视频重建方法


[0001]本专利技术涉及视频压缩和重建领域，尤其是涉及了一种基于编码的双路视频压缩装置及压缩视频重建方法。

技术介绍

[0002]伴随视频信息量的增长、需求增大，终端处理水平也有所提升，但便携式无线视频采集等设备的储存和处理面临着诸多困难和挑战。视频存储设施工具体积容量不能从根本上解决海量数据量的问题，视频信号仍然存在着时间、空间和视觉等多种冗余之间矛盾仍然存在。
[0003]以传统的采样策略同时获取和存储动态场景的空间时间信息内容是一项非常具有挑战性的工作。现代相机在较低的帧频下具有足够的带宽来捕捉百万像素的空间分辨率，然而对于高帧频的动态场景，传统的成像方式对数据的获取和传输带来了困难。由于传统的成像方式忽略了视频数据立方体沿空间和时间维度的高度相关性，而压缩感知可以利用这一特性，通过空间的多路复用将高维视频数据投影到低维空间上。相较于传统的采样方式遵循奈奎斯特采样定理，压缩感知框架能够将高维数据映射到低维测量中，使得数据的获取和存储更加方便。最终通过视频重建算法从压缩测量中恢复出原始的视频数据。因此通过编码压缩技术来去除数据冗余的方式成为了当前解决视频信息中海量数据量的最有效途径之一。

技术实现思路

[0004]本专利技术针对现有技术中的不足，提供一种基于编码的双路视频压缩装置及压缩视频重建方法。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]基于编码的双路视频压缩装置，包括场景压缩模块、编码调制模块、压缩采集模块及压缩视频重建模块；
[0007]所述场景压缩模块，用于通过前置镜头将视频场景信息收集后经过分光器进行分光，第一路信息成像到反射式空间光调制器的靶面上；第二路信息直接由面阵CCD延时曝光进行成像作为边信息；
[0008]所述编码调制模块，用于通过反射式空间光调制器加载二值随机编码模板序列，对成像到反射式空间光调制器的靶面上的第一路信息进行空间编码调制；
[0009]所述压缩采集模块，用于通过面阵CCD延时曝光采集经过编码调制模块调制后的第一路信息压缩图像；
[0010]所述压缩视频重建模块，用于通过空间
‑
光谱注意力机制的压缩视频重建方法将采集到的第一路信息压缩图像信息与直接由面阵CCD延时曝光进行成像的第二路信息融合恢复得到多帧视频图像序列。
[0011]为优化上述技术方案，采取的具体措施还包括：
[0012]进一步地，所述编码调制模块采用的反射式空间光调制器为数字微镜阵列(DMD)，其分辨率为M
×
N，M为行微镜个数，N为列微镜个数；编码模板序列显示的帧频等于视频场景帧频.fHz，即每个编码模板对应于视频场景的每一帧进行空间编码。
[0013]进一步地，所述压缩采集模块采用的面阵CCD的空间分辨率为
[0014][0015]其中，T为任意实数。
[0016]进一步地，面阵CCD帧频和反射式空间光调制器显示编码模板帧频的关系为
[0017]f
d
＝1/fHz
[0018]其中，f
d
为面阵CCD帧频；通过这种方式采集的压缩视频信号为空间混叠的二维图像。
[0019]本专利技术还采用以下技术方案：
[0020]一种基于编码的双路视频压缩装置的压缩视频重建方法，包括如下步骤：
[0021]步骤一、将视频压缩成像系统采集的经过编码调制模块调制后的第一路信息压缩图像、直接由面阵CCD延时曝光进行成像的第二路信息及所用编码模板进行拼接操作；
[0022]步骤二、将拼接的数据经过3个双注意力残差块DARB组成的主干网络完成初步特征提取；初步特征提取过程可由下式所示：
[0023][0024]式中，F0为经过步骤一拼接得到的数据立方体，H
DARB1
为经过第一个双注意力残差块DARB的特征提取操作，H
DARB2
为经过第二个双注意力残差块DARB的特征提取操作，H
DARB3
为经过第三个双注意力残差块DARB的特征提取操作，F
G
为经过三个双注意力残差块DARB进行特征提取后得到的特征图。
[0025]步骤三、再将初步特征提取结果进行拼接后进行分组，表示为F
G
＝{F
G(1)
，F
G(2)
，...，F
G(S)
}；再通过双注意力残差块DARB组成的分组网络进行深层特征提取；各组网络采用权值共享的方式来减少训练参数量；该步骤的特征提取过程可表示为：
[0026]F
B(S)
＝H
Branch
(F
G(S)
)，S＝1，...11
[0027]式中，S为分组网络所分组数；F
G(S)
为第S组特征图，H
Branch
为经过分组网络的特征提取操作；F
B(S)
为经过分组网络进行特征提取后得到的第S组特征图；
[0028]步骤四、将分组网络得到的多组特征进行通道数拼接，表示为F
BG
＝{F
B(1)
，F
B(2)
，...，F
B(11)
}，然后通过DARB组成的主干网络获得最终的视频重建结果；该步骤的重建过程可表示为：
[0029][0030]式中，H
DARB1
为经过第一个双注意力残差块DARB的特征提取操作，H
DARB2
为经过第二个双注意力残差块DARB的特征提取操作，H
DARB3
为经过第三个双注意力残差块DARB的特征提取操作，F
rec
为经过三个双注意力残差块DARB进行特征提取后得到的特征图。
[0031]进一步地，步骤一具体为：编码模板为加载在DMD上的二值随机图像T＝[Φ1，Φ2，...Φ
F
]，T∈R
M
×
N
×
F
，Φ
F
为第F张二值随机图像，用于编码视频图像；全采样图像为第二路边信息未经过编码直接由相机延时曝光采集的图像Q，Q∈R
M
×
N
×1；压缩图像为第一路信息经过编码由相机延时曝光采集的编码图像G，G∈R
M
×
N
×1；通过拼接得到网络输入H＝[Φ1，
Φ2，...，Φ
F
，Q，G]，H∈R
M
×
N
×
(F+2)
。
[0032]进一步地，所述分组网络含组，其中C为视频帧数，O为相邻组的重叠数，P为每组的帧数，g函数为取结果最接近的整数值；
[0033]各组网络权值共享从而减少训练参数量。
[0034]进一步地，DARB由空间注意力残差模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于编码的双路视频压缩装置，其特征在于，包括场景压缩模块、编码调制模块、压缩采集模块及压缩视频重建模块；所述场景压缩模块，用于通过前置镜头将视频场景信息收集后经过分光器进行分光，第一路信息成像到反射式空间光调制器的靶面上；第二路信息直接由面阵CCD延时曝光进行成像作为边信息；所述编码调制模块，用于通过反射式空间光调制器加载二值随机编码模板序列，对成像到反射式空间光调制器的靶面上的第一路信息进行空间编码调制；所述压缩采集模块，用于通过面阵CCD延时曝光采集经过编码调制模块调制后的第一路信息压缩图像；所述压缩视频重建模块，用于通过空间
‑
光谱注意力机制的压缩视频重建方法将采集到的第一路压缩图像信息与直接由面阵CCD延时曝光进行成像的第二路边信息融合恢复得到多帧视频图像序列。2.根据权利要求1所述的双路视频压缩装置，其特征在于，所述编码调制模块采用的反射式空间光调制器为数字微镜阵列，其分辨率为M
×
N，M为行微镜个数，N为列微镜个数；编码模板序列显示的帧频等于视频场景帧频f Hz，即每个编码模板对应于视频场景的每一帧进行空间编码。3.根据权利要求2所述的双路视频压缩装置，其特征在于，所述压缩采集模块采用的面阵CCD的空间分辨率为其中，T为任意实数。4.根据权利要求3所述的双路视频压缩装置，其特征在于，面阵CCD帧频和反射式空间光调制器显示编码模板帧频的关系为f
d
＝1/f Hz其中，f
d
为面阵CCD帧频；通过这种方式采集的压缩视频信号为空间混叠的二维图像。5.一种根据权利要求1
‑
4任意一项所述的基于编码的双路视频压缩装置的压缩视频重建方法，其特征在于，包括如下步骤：步骤一、将视频压缩成像系统采集的经过编码调制模块调制后的第一路压缩图像、直接由面阵CCD延时曝光进行成像的第二路边信息及所用编码模板进行拼接操作；步骤二、将拼接的数据经过3个双注意力残差块DARB组成的主干网络完成初步特征提取；初步特征提取过程可由下式所示：式中，F0为经过步骤一拼接得到的数据立方体，H
DARB1
为经过第一个双注意力残差块DARB的特征提取操作，H
DARB2
为经过第二个双注意力残差块DARB的特征提取操作，H
DARB3
为经过第三个双注意力残差块DARB的特征提取操作，F
G
为经过三个双注意力残差块DARB进行特征提取后得到的特征图。步骤三、再将初步特征提取结果进行拼接后进行分组，表示为F
G
＝{F
G(1)
，F
G(2)
，...，F
G(S)
}，S＝1，...11；再通过双注意力残差块DARB组成的分组网络进行深层特征提取；各组网
络采用权值共享的方式来减少训练参数量；该步骤的特征提取...

【专利技术属性】
技术研发人员：赵东，杨硕闻，李晖，王青，汪磊，王新蕾，唐刘，李子雄，葛良厅，李跃，顾雨倩，贺文轩，
申请(专利权)人：南京信息工程大学滨江学院，
类型：发明
国别省市：