基于丢失块修复的分布式多视点视频解码的方法和装置制造方法及图纸

本发明专利技术一种基于丢失块修复的分布式多视点视频解码的方法和装置，本发明专利技术涉及视频解码领域，所述方法包括：针对接收到的关键帧码流进行帧内解码并判断是否出现丢失，在出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；采用融合算法，计算得到时域边信息的质量；计算得到空域边信息的质量；在时域边信息的质量高于空域边信息的质量的情况下，以第一修复关键帧作为解码结果；在时域边信息的质量低于空域边信息的质量的情况下，以第二修复关键帧作为解码结果。本发明专利技术很好地解决了DMVC系统关键帧在无线网络中传输时出现的丢失问题，且具有保持关键帧压缩性的优势。

Method and device of distributed multi view video decoding based on lost block repair

【技术实现步骤摘要】
基于丢失块修复的分布式多视点视频解码的方法和装置
本专利技术涉及视频解码领域，特别是一种基于丢失块修复的分布式多视点视频解码的方法和装置。
技术介绍
分布式多视点视频编码(DistributedMulti-viewVideoCoding，DMVC)为无线环境下密集低功耗终端的多视点视频编解码带来了新的曙光，其采用独立编码-联合解码的方式，具有编码复杂度低、误码鲁棒性高等特点。然而，编码后数据量大、无线带宽有限且波动大、无线信道传输误码率高等问题对DMVC数据的无线传输带来了新的挑战，使得开展针对DMVC视频数据无线传输技术的研究有着十分重要的学术价值和现实意义。DMVC系统是独立编码-联合解码，视频数据中的关键帧的正确解码有助于生成高质量的边信息，而边信息直接关系到整个DMVC系统的数据压缩率以及视频的恢复效果。因此，在易丢失无线网络环境下，出现关键帧丢失如何修复，从而得到质量稳定、可靠的关键帧是DMVC系统中的一个亟待解决的问题。
技术实现思路
鉴于上述问题，本专利技术提供一种基于丢失块修复的分布式多视点视频解码的方法和装置，解决了上述问题。本专利技术实施例提供了一种基于丢失块修复的分布式多视点视频解码的方法，所述方法应用于解码端，所述方法包括：针对接收到的关键帧码流进行帧内解码，并判断所述关键帧码流是否出现丢失，所述关键帧码流由编码端发送；在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；采用融合算法，计算所述第一修复关键帧的时域边信息的峰值信噪比，得到所述第一修复关键帧的时域边信息的质量；采用所述融合算法，计算所述第二修复关键帧的空域边信息的峰值信噪比，得到所述第二修复关键帧的空域边信息的质量；在所述时域边信息的质量高于所述空域边信息的质量的情况下，以所述第一修复关键帧作为所述丢失的关键帧的解码结果；在所述时域边信息的质量低于所述空域边信息的质量的情况下，以所述第二修复关键帧作为所述丢失的关键帧的解码结果。可选地，在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法修复丢失的关键帧，包括：提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图；根据打包方式，获取已正确解码的所述丢失的关键帧的前一关键帧中对应所述丢失宏块位置的第一宏块及其附近的所有宏块，在所述丢失的关键帧的前一关键帧中以所述第一宏块为中心，提取出宽度为m的方形基准图像；基于所述方形基准图像，利用匹配算法寻找最佳匹配子图；通过所述最佳匹配子图的像素点位置确定所述丢失宏块对应的运动矢量；利用第一宏块和所述运动矢量填充所述丢失宏块，以修复所述丢失的关键帧。可选地，在所述关键帧码流出现丢失的情况下，根据视点间差错隐藏算法修复丢失的关键帧，包括：根据所述视点内差错隐藏算法获得所述第一宏块，所述第一宏块由t-1时刻的关键帧获得；通过计算得到左右相邻视点帧间的基础矩阵，利用对极几何关系分别求得所述t-1时刻时所述第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线；分别在所述第一对极线、所述第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量；根据第一视差矢量、第二视差矢量以及所述丢失宏块的位置，分别在t时刻所述丢失宏块的第二左相邻视点帧、第二右相邻视点帧中，确定所述丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块；根据所述最佳左匹配宏块、所述最佳右匹配宏块生成所述丢失宏块的估计宏块，并用所述估计宏块填充所述丢失宏块，以修复所述丢失的关键帧。可选地，提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图，包括：提取所述丢失的关键帧中丢失宏块左边及上边宽度为n的相邻区域为待匹配子图；或者，提取所述丢失的关键帧中丢失宏块右边及下边宽度为n的相邻区域为待匹配子图。可选地，所述待匹配子图是宽度为n的L型，所述方形基准图像的宽度m大于所述待匹配子图的宽度n。本专利技术还提供了一种基于丢失块修复的分布式多视点视频解码的装置，所述装置应用于解码端，所述装置包括：解码判断模块，用于针对接收到的关键帧码流进行帧内解码，并判断所述关键帧码流是否出现丢失，所述关键帧码流由编码端发送；修复模块，用于在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；计算时域质量模块，用于采用融合算法，计算所述第一修复关键帧的时域边信息的峰值信噪比，得到所述第一修复关键帧的时域边信息的质量；计算空域质量模块，用于采用所述融合算法，计算所述第二修复关键帧的空域边信息的峰值信噪比，得到所述第二修复关键帧的空域边信息的质量；第一结果模块，用于在所述时域边信息的质量高于所述空域边信息的质量的情况下，以所述第一修复关键帧作为所述丢失的关键帧的解码结果；第二结果模块，用于在所述时域边信息的质量低于所述空域边信息的质量的情况下，以所述第二修复关键帧作为所述丢失的关键帧的解码结果。可选地，所述修复模块包括：提取待匹配子图模块，用于提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图；获取基准图像模块，用于根据打包方式，获取已正确解码的所述丢失的关键帧的前一关键帧中对应所述丢失宏块位置的第一宏块及其附近的所有宏块，在所述丢失的关键帧的前一关键帧中以所述第一宏块为中心，提取出宽度为m的方形基准图像；寻找匹配子图模块，用于基于所述方形基准图像，利用匹配算法寻找最佳匹配子图；确定运动矢量模块，用于通过所述最佳匹配子图的像素点位置确定所述丢失宏块对应的运动矢量；修复关键帧模块，用于利用第一宏块和所述运动矢量填充所述丢失宏块，以修复所述丢失的关键帧。可选地，所述修复模块还包括：获得宏块模块，用于根据所述视点内差错隐藏算法获得所述第一宏块，所述第一宏块由t-1时刻的关键帧获得；计算对极线模块，用于通过计算得到左右相邻视点帧间的基础矩阵，利用对极几何关系分别求得所述t-1时刻时所述第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线；获得视差矢量模块，用于分别在所述第一对极线、所述第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量；确定匹配宏块模块，用于根据第一视差矢量、第二视差矢量以及所述丢失宏块的位置，分别在t时刻所述丢失宏块的第二左相邻视点帧、第二右相邻视点帧中，确定所述丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块；估计宏块修复关键帧模块，用于根据所述最佳左匹配宏块、所述最佳右匹配宏块生成本文档来自技高网...

【技术保护点】
1.一种基于丢失块修复的分布式多视点视频解码的方法，其特征在于，所述方法应用于解码端，所述方法包括：/n针对接收到的关键帧码流进行帧内解码，并判断所述关键帧码流是否出现丢失，所述关键帧码流由编码端发送；/n在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；/n采用融合算法，计算所述第一修复关键帧的时域边信息的峰值信噪比，得到所述第一修复关键帧的时域边信息的质量；/n采用所述融合算法，计算所述第二修复关键帧的空域边信息的峰值信噪比，得到所述第二修复关键帧的空域边信息的质量；/n在所述时域边信息的质量高于所述空域边信息的质量的情况下，以所述第一修复关键帧作为所述丢失的关键帧的解码结果；/n在所述时域边信息的质量低于所述空域边信息的质量的情况下，以所述第二修复关键帧作为所述丢失的关键帧的解码结果。/n

【技术特征摘要】
1.一种基于丢失块修复的分布式多视点视频解码的方法，其特征在于，所述方法应用于解码端，所述方法包括：
针对接收到的关键帧码流进行帧内解码，并判断所述关键帧码流是否出现丢失，所述关键帧码流由编码端发送；
在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；
采用融合算法，计算所述第一修复关键帧的时域边信息的峰值信噪比，得到所述第一修复关键帧的时域边信息的质量；
采用所述融合算法，计算所述第二修复关键帧的空域边信息的峰值信噪比，得到所述第二修复关键帧的空域边信息的质量；
在所述时域边信息的质量高于所述空域边信息的质量的情况下，以所述第一修复关键帧作为所述丢失的关键帧的解码结果；
在所述时域边信息的质量低于所述空域边信息的质量的情况下，以所述第二修复关键帧作为所述丢失的关键帧的解码结果。


2.根据权利要求1所述的方法，其特征在于，在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法修复丢失的关键帧，包括：
提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图；
根据打包方式，获取已正确解码的所述丢失的关键帧的前一关键帧中对应所述丢失宏块位置的第一宏块及其附近的所有宏块，在所述丢失的关键帧的前一关键帧中以所述第一宏块为中心，提取出宽度为m的方形基准图像；
基于所述方形基准图像，利用匹配算法寻找最佳匹配子图；
通过所述最佳匹配子图的像素点位置确定所述丢失宏块对应的运动矢量；
利用第一宏块和所述运动矢量填充所述丢失宏块，以修复所述丢失的关键帧。


3.根据权利要求2所述的方法，其特征在于，在所述关键帧码流出现丢失的情况下，根据视点间差错隐藏算法修复丢失的关键帧，包括：
根据所述视点内差错隐藏算法获得所述第一宏块，所述第一宏块由t-1时刻的关键帧获得；
通过计算得到左右相邻视点帧间的基础矩阵，利用对极几何关系分别求得所述t-1时刻时所述第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线；
分别在所述第一对极线、所述第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量；
根据第一视差矢量、第二视差矢量以及所述丢失宏块的位置，分别在t时刻所述丢失宏块的第二左相邻视点帧、第二右相邻视点帧中，确定所述丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块；
根据所述最佳左匹配宏块、所述最佳右匹配宏块生成所述丢失宏块的估计宏块，并用所述估计宏块填充所述丢失宏块，以修复所述丢失的关键帧。


4.根据权利要求2所述的方法，其特征在于，提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图，包括：
提取所述丢失的关键帧中丢失宏块左边及上边宽度为n的相邻区域为待匹配子图；
或者，提取所述丢失的关键帧中丢失宏块右边及下边宽度为n的相邻区域为待匹配子图。


5.根据权利要求4所述的方法，其特征在于，所述待匹配子图是宽度为n的L型，所述方形基准图像的宽度m大于所述待匹配子图的宽度n。

【专利技术属性】
技术研发人员：杨红，卿粼波，何小海，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51