基于神经网络的预测块生成方法及装置制造方法及图纸

本发明专利技术提供一种基于神经网络的预测块生成方法，包括：至少将以下信息输入到卷积神经网络：待预测区域的参考块集合，所述参考块集合包括两个以上参考块；以及所述参考块集合中的至少一个参考块与所述待预测区域的相似度图；使用卷积神经网络处理输入信息；由以下方法之一得到所述待预测区域的预测块：直接由所述卷积神经网络的输出得到；或者由所述卷积神经网络的输出与所述待预测区域的第一预测块相加得到，所述第一预测块由参考块集合中的部分或全部参考块线性加权得到。本发明专利技术通过增加待预测区域与参考像素的相似度距离，能够有效学习预测值与原始值的映射关系，从而提高预测值的预测效率。值的预测效率。值的预测效率。

【技术实现步骤摘要】
基于神经网络的预测块生成方法及装置


[0001]本专利技术涉及图像处理技术，尤其涉及一种基于神经网络的预测块生成方法和装置。

技术介绍

[0002]随着高清视频、多视点视频的广泛应用，网络传输带宽的挑战也越来越严峻。因而对高效视频压缩的需求日益增长。降低视频帧间、视点间的冗余度，提高视频编码效率是亟须解决的问题。
[0003]在视频预测技术中，多假设预测相对于单假设预测能在遮挡、光照变化的情况下更充分的挖掘空间相关性。相关研究表明运动矢量、视差矢量的精确度和多假设参考块的高效组合是决定多假设预测效率的关键信息。
[0004]相关研究中提出线性加权方案提高多假设参考的组合效率。第一类研究，编码器从预设的权重集合中选择使得编码率失真代价最小的权重值进行加权预测，并将权重值的索引传递到解码端，确保解码器选择正确的权重值进行线性加权。第二类研究，基于像素间的空间相关性，通过当前块的空间相邻像素与参考块的空间相邻像素估计当前块和参考块的线性关系进行加权预测。
[0005]线性加权预测对于视频在时域发生平动时，能高效提高预测效率。然本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的预测块生成方法，其特征在于包括：至少将以下信息输入到卷积神经网络：待预测区域的参考块集合，所述参考块集合包括两个以上参考块；以及所述参考块集合中的至少一个参考块与所述待预测区域的相似度图；使用卷积神经网络处理输入信息；由以下方法之一得到所述待预测区域的预测块：直接由所述卷积神经网络的输出得到；或者由所述卷积神经网络的输出与所述待预测区域的第一预测块相加得到，所述第一预测块由参考块集合中的部分或全部参考块线性加权得到。2.如权利要求1所述的基于神经网络的预测块生成方法，其特征在于，使用卷积神经网络处理输入信息包括：使用所述卷积神经网络的第一子网络处理至少包含参考块集合的输入信息；使用所述卷积神经网络的第二子网络处理至少包含第一子网络未处理的输入信息；以及使用所述卷积神经网络的混合处理网络联合处理所述第一子网络的输出和第二子网络的输出。3.如权利要求1所述的基于神经网络的预测块生成方法，其特征在于，将以下信息之一作为所述的相似度图：所述的参考块所在帧与待预测区域所在帧的时域播放距离；或所述的参考块与待预测区域每个像素对应位置的质量距离；或所述的参考块与待预测区域的视差。4.如权利要求1所述的基于神经网络的预测块生成方法，其特征在于，输入到卷积神经网络的信息还包括以下信息之一：所述待预测区域的空间相邻像素；或者所述待预测区域的空间相邻像素和所述参考块集合中的至少一个参考块的空间相邻像素。5.如权利要求1所述的基于神经网络的预测块生成方法，其特征在于，输入到卷积神经网络的信息还包括：所述待预测区域的第二预测块，所述第二预测块由参考块集合中的部分或全部参考块线性加权得到。6.一种基于神经网络的预测块生成装置，其特征在于包括：神经网络处理模块：其用于使用卷积神经网络模型，处理以下输入信息：待预测区域的参考块集合，所述...

【专利技术属性】
技术研发人员：虞露，毛珏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：