【技术实现步骤摘要】
本专利技术涉及视频和图像处理领域，特别是涉及一种基于时间特征的分层双目融合的立体视频质量评价方法。
技术介绍
1、随着立体成像技术的不断快速发展，立体视频(3d视频)可以为观众提供更加直观、生动的观看体验，已被广泛应用于娱乐、教育、安保、医疗等领域。立体视频质量的优劣很大程度上决定了用户的体验效果，而在立体视频的产生、处理、传输等过程中会产生不同程度的失真，比如：压缩失真、色彩失真、噪声失真等。这些失真问题会导致立体视频质量的退化，影响视频的流畅、清晰程度和观众的观看体验。严重时还可能导致观众出现头晕、恶心等不适现象，因此对立体视频进行质量评价显得至关重要。
2、立体视频质量评价方法根据对原始立体视频信息的依赖程度可分为全参考法、简化参考法和无参考法。由于现实生活中难以获得原始视频，限制了全参考法和简化参考法的应用。因此，人们提出了许多无参考立体视频质量评价方法来解决这个问题。zhou等人[1]建立了双流网络模型，将左右视频帧的切块作为输入，利用卷积神经网络(cnn)进行特征提取再进行质量回归。此方法在最后一步结合了左右质量，将左右视点进行简单的“加和”，然后像2d视频一样处理得到质量分数，这种处理方式忽略了左视图和右视图之间的相关性。ma等人[2]将计算得到的立体视频显著图作为cnn的输入，模拟人类的视觉通路。然而，上述两种无参考立体视频质量评价方法主要侧重于立体视频中空间特征(纹理、边缘等)的提取，忽略了视频中时间特征的重要性。
3、yang等人[3]构建了一个基于3d卷积的深度学习网络来捕获立体视频
4、参考文献：
5、[1]w.zhou,z.chen,and w.li,“stereoscopic video quality predictionbased on end-to-end dual stream deep neural networks,”multimedia informationprocessing,pp.482-492,2018.
6、[2]s.ma,s.li,j.xue,y.ding,and g.yue,“stereoscopic video qualityassessment based on the two-step-training binocular fusion network,”vcip2019.
7、[3]j.yang,y.zhu,c.ma,w.lu,and q.meng,“stereoscopic video qualityassessment bas ed on 3d convolutional neural networks,”neurocomputing,vol.309,pp.83-93,2018.
8、[4]y.feng,s.li,and y.chang,“multi-scale feature-guided stereoscopicvideo quality asse ssment based on 3d convolutional neural network,”inicassp,2021.
9、[5]h.imani,m.b.islam,and n.arica,"three-stream 3d deep cnn for no-reference stereosco pic video quality assessment,"intelligent systems withapplications,vol.13,2022.
技术实现思路
1、本专利技术的目的在于避免无参考立体视频质量评价方法中对于时间特征的提取不够充分以及最后的特征融合方式单一的不足而提出的一种基于时间特征的分层双目融合的立体视频质量评价方法。此评价方法能极大提高立体视频评价的准确性，更符合观众的主观评价，同时在一定程度上能够推动立体成像技术发展。
2、本专利技术解决其技术问题是采取以下技术方案实现的：
3、步骤一：构建基于时间特征的分层双目融合的立体视频质量评价网络。在分层双目融合分支中，分别将左视点和右视点的视频块输入到所提出的分层双目融合分支中进行左右视点单目特征的提取并进行分层双目融合。然后，在时间特征提取分支中，将立体视频块输入到由三维可分离卷积组成的时间特征提取模块中提取立体视频的时间特征。并将得到的时间特征与空间特征融合。最后用全连接层将高维的综合特征映射到输出域，得到立体视频的质量分数。
4、步骤二：在分层双目融合分支中左通道与右通道分别包含四个卷积模块和一个新颖多尺度特征提取模块(idc)。左通道用于提取左视点特征，右通道用于提取右视点特征，左右通道中的多尺度特征提取模块可以分别提取左右视点中不同尺度的单目特征。基于人类视觉系统中双目信息在大脑皮层要进行由浅到深的多次融合的结论，构建了一个进行了四次融合的分层左右视点特征融合结构，对于每次融合，先顺序地级联(concat)来自左右通道的特征图。为了减少前三层双目融合中的特征冗余，提出了一个部分通道空间注意模块(pcsa)来对融合特征图进行加权。再将加权过的前三层融合特征图和最后一层的融合特征图通过平均池化之后输出为一维向量。
5、步骤三：在时间特征提取分支中，包含五个三维可分离卷积和一个自适应三维平均池化，将立体视频块输入经过多次的三维可分离卷积之后提取时间特征。将提取的时间特征经过自适应三维平均池化后输出为一维向量。
6、步骤四：分层双目融合分支中输出的四个包含立体视频空间特征的一维向量和时间特征提取分支中输出包含立体视频时间特征的一维向量进行级联得到最终的时空特征。最后，时空特征经过全连接层映射得到立体视频的质量。
7、本专利技术的有益效果是：
8、本专利技术所提出的基于时间特征的分层双目融合的立体视频质量评价方法显式地提取了立体视频中的时间特征，相比现有的方法，结果的准确性得到了有效的提升。在分别提取左右视点的单目特征时，本专利技术设计多尺度特征提取模块能够更加充分的提取不同尺度的特征信息。还构建了符合人类视觉系统的双目特征从低层到高层的多次融合，在融合之后采用部分通道空间注意模块有效的减少了双目融合中的特征冗余，减少了网络的参数量，再次提高了网络性能。本专利技术提出的基于时间特征的分层双目融合的立体视频质量评价方法在两个公开立体视频库上进行了多次实验，得到的实验结果的准确性和可靠性都高于本文档来自技高网...
【技术保护点】
1.一种基于时间特征的分层双目融合的立体视频质量评价方法，其特征在于，首先，构建基于时间特征的分层双目融合的立体视频质量评价网络，在分层双目融合分支中，分别将左视点和右视点的视频块输入到所提出的分层双目融合分支中提取立体视频的空间特征；然后，在时间特征提取分支中，将立体视频块输入到由三维可分离卷积组成的时间特征提取模块中提取立体视频的时间特征；然后，将得到的时间特征与空间特征融合。最后用全连接层将高维的综合特征映射到输出域，得到立体视频的质量分数。
2.如权利要求1所述的一种基于时间特征的分层双目融合的立体视频质量评价方法，其特征在于，在分层双目融合分支中左通道与右通道分别包含四个卷积模块和一个多尺度特征提取模块(IDC)。左通道用于提取左视点特征，右通道用于提取右视点特征，左右通道中的四分支深度卷积模块可以分别提取左右视点中不同尺度的单目特征。基于人类视觉系统中双目信息在大脑皮层要进行由浅到深的多次融合的结论，构建了一个进行了四次融合的分层左右视点特征融合结构，对于每次融合，先顺序地级联(Concat)来自左右通道的特征图。为了减少前三层双目融合中的特征冗余，提出了
3.如权利要求1所述的一种基于时间特征的分层双目融合的立体视频质量评价方法，其特征在于，在时间特征提取分支中，包含五个三维可分离卷积和一个自适应三维平均池化，将立体视频块输入经过多次的三维可分离卷积之后提取时间特征。将提取的时间特征经过自适应三维平均池化后输出为一维向量。
4.如权利要求1所述的一种基于时间特征的分层双目融合的立体视频质量评价方法，其特征在于，分层双目融合分支中输出的四个包含立体视频空间特征的一维向量和时间特征提取分支中输出包含立体视频时间特征的一维向量进行级联得到最终的时空特征。最后，时空特征经过全连接层得到立体视频的质量。
5.如权利要求2所述的多尺度特征提取模块(IDC)，其特征在于，由卷积核大小为3×3的深度卷积支路、卷积核大小为1×11支路和卷积核大小为11×1的深度条带卷积支路、自映射支路的四支路组成，能够获得更丰富的单目特征。
6.如权利要求2所述的部分通道空间注意模块(PCSA)，其特征在于，选择初始特征图中通道维度中的K个通道。对K个通道的特征图进行分别做最大池化和平均池化的操作后进行级联，然后使用激活函数对经过卷积之后的级联特征激活得到空间注意力图。之后将空间注意力图与初始特征图进行级联得输出。与使用所有通道的映射乘法相比，使用K个通道进行注意力操作的策略减少了计算工作量。
...【技术特征摘要】
1.一种基于时间特征的分层双目融合的立体视频质量评价方法，其特征在于，首先，构建基于时间特征的分层双目融合的立体视频质量评价网络，在分层双目融合分支中，分别将左视点和右视点的视频块输入到所提出的分层双目融合分支中提取立体视频的空间特征；然后，在时间特征提取分支中，将立体视频块输入到由三维可分离卷积组成的时间特征提取模块中提取立体视频的时间特征；然后，将得到的时间特征与空间特征融合。最后用全连接层将高维的综合特征映射到输出域，得到立体视频的质量分数。
2.如权利要求1所述的一种基于时间特征的分层双目融合的立体视频质量评价方法，其特征在于，在分层双目融合分支中左通道与右通道分别包含四个卷积模块和一个多尺度特征提取模块(idc)。左通道用于提取左视点特征，右通道用于提取右视点特征，左右通道中的四分支深度卷积模块可以分别提取左右视点中不同尺度的单目特征。基于人类视觉系统中双目信息在大脑皮层要进行由浅到深的多次融合的结论，构建了一个进行了四次融合的分层左右视点特征融合结构，对于每次融合，先顺序地级联(concat)来自左右通道的特征图。为了减少前三层双目融合中的特征冗余，提出了一个部分通道空间注意模块(pcsa)来对融合特征图进行加权。再将加权过的前三层融合特征图和最后一层的融合特征图通过平均池化之后输出为一维向量。
3.如...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。