一种视频编码方法、装置及终端设备制造方法及图纸

本发明专利技术适用于视频压缩技术领域，提供了一种视频编码方法、装置及终端设备，所述方法包括：计算当前帧与前一帧重构帧的第一光流，计算前一帧重构帧和前前帧重构帧的第二光流；将所述第一光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第一特征信息；将所述第二光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第二特征信息；将所述第一特征信息和第二特征信息进行融合后，输入超参网络计算得到所述第一特征信息的正态分布概率参数；基于所述正态分布概率参数对所述第一特征信息进行熵编码。本发明专利技术通过在视频压缩网络中的特征层面对当前MV进行时域预测，有效降低了MV所需码字，对视频压缩性能有较大增益。

A video coding method, device and terminal equipment

【技术实现步骤摘要】
一种视频编码方法、装置及终端设备
本专利技术属于视频压缩
，尤其涉及一种视频编码方法、装置及终端设备。
技术介绍
目前，公开的技术中没有出现对MV时域预测有效的方法。因此有必要提出一种新的技术方案，以解决上述问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种视频编码方法、装置终端设备，以解决现有技术中视频压缩性能不高的问题。本专利技术实施例的第一方面提供了一种视频编码方法，包括：计算当前帧与前一帧重构帧的第一光流，计算前一帧重构帧和前前帧重构帧的第二光流；将所述第一光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第一特征信息；将所述第二光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第二特征信息；将所述第一特征信息和第二特征信息进行融合后，输入超参网络计算得到所述第一特征信息的正态分布概率参数；基于所述正态分布概率参数对所述第一特征信息进行熵编码。本专利技术实施例的第二方面提供了一种视频编码装置，包括：光流计算模块，用于计算当前帧与前一帧重构帧的第一光流，计算前一帧重构帧和前前帧重构帧的第二光流；第一特征模块，用于将所述第一光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第一特征信息；第二特征模块，用于将所述第二光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第二特征信息；特征融合模块，用于将所述第一特征信息和第二特征信息进行融合后，输入超参网络计算得到所述第一特征信息的正态分布概率参数；熵编码模块，用于基于所述正态分布概率参数对所述第一特征信息进行熵编码。本专利技术实施例的第三方面提供了一种视频编码终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术通过在视频压缩网络中的特征层面对当前MV进行时域预测，有效降低了MV所需码字，对视频压缩性能有较大增益。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的视频编码方法的实现流程示意图；图2是本专利技术实施例提供的视频编码装置的示意图；图3是本专利技术实施例提供的视频编码终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一图1示出了本专利技术实施例一提供的视频编码方法的实现流程，该方法的执行主体可以是终端设备，详述如下：步骤S101，计算当前帧与前一帧重构帧的第一光流，计算前一帧重构帧和前前帧重构帧的第二光流。可选地，视频压缩网络在对视频编码时已经产生了每一帧的重构帧，在视频压缩网络中获取前一帧重构帧和前前帧重构帧，其中前一帧为当前帧的前一帧，前前帧为当前帧的前一帧的前一帧。进一步地，计算当前帧图像的像素与前一帧重构帧图像的像素的空间位置映射关系，得到第一光流；计算前一帧重构帧图像的像素与前前帧重构帧图像的像素的空间位置映射关系，得到第二光流。具体地，光流是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性查找相邻两帧之间的相关性，从而计算出相邻帧之间物体的运动信息：将相邻的两帧输入预先设定的光流网络，得到光流信息。进一步地，上述光流网络包括两种网络结构：FlowNetS(FlowNetSimple)和FlowNetC(FlowNetCorr)。其中上述光流网络FlowNetS是直接将两张图像按照通道维重叠后输入，FlowNetS的网络结构中只有卷积层；上述光流网络FlowNetC是先分别提取输入的两张图像的特征，再计算特征的相关性，即两张图像的特征在空间维做卷积运算。步骤S102，将所述第一光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第一特征信息。可选地，将所述第一光流输入运动补偿网络即MV网络后，提取瓶颈层的特征参数作为第一特征信息，其中瓶颈层为运动补偿网络中尺寸最小的卷积层。步骤S103，将所述第二光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第二特征信息。可选地，将所述第二光流输入运动补偿网络即MV网络后，提取瓶颈层的特征参数作为第二特征信息，其中瓶颈层为运动补偿网络中尺寸最小的卷积层。步骤S104，将所述第一特征信息和第二特征信息进行融合后，输入超参网络计算得到所述第一特征信息的正态分布概率参数。可选地，将所述第一特征信息和第二特征信息输入融合网络进行融合得到融合特征信息，并将所述融合特征信息输入超参网络得到超参网络输出，所述超参网络输出即为所述第一特征信息的正态分布概率参数。步骤S105，基于所述正态分布概率参数对所述第一特征信息进行熵编码。可选地，基于拉普拉斯分布，根据所述正态分布概率参数对所述第一特征信息进行熵编码。其中拉普拉斯分布的表达式如公式(1)所示：P＝Laplace(mu,sigma)(1)其中mu是均值，sigma是方差。可选地，对需要进行编码的第一特征信息来说，需要估计一个概率值，并用这个概率值进行算术编码，其中mu与sigma是用来进行概率估计的，mu是均值，sigma是方差，每个位置的参数mu与sigma带入拉普拉斯函数，就可以算出对应的一个概率值。本实施例中，通过在视频压缩网络中的特征层面对当前MV进行时域预测，有效降低了MV所需码字，对视频压缩性能有较大增益。应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。实施例二图2示出了本专利技术实施例提供的视频编码装置的结构框图，为了便于说明，仅示出了与本专利技术实施例相关的部分。该视频编码装置2包括：光流计算模块21、第一特征模块22、第二特征模块23、特征融合模块24、熵编码模块25。其中，光流计算模块21，用于计算当前帧与前一帧重构帧的第一光流，计算前一帧重构帧和前前帧重构帧的第二光流；...

【技术保护点】
1.一种视频编码方法，其特征在于，包括：/n计算当前帧与前一帧重构帧的第一光流，计算前一帧重构帧和前前帧重构帧的第二光流；/n将所述第一光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第一特征信息；/n将所述第二光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第二特征信息；/n将所述第一特征信息和第二特征信息进行融合后，输入超参网络计算得到所述第一特征信息的正态分布概率参数；/n基于所述正态分布概率参数对所述第一特征信息进行熵编码。/n

【技术特征摘要】
1.一种视频编码方法，其特征在于，包括：
计算当前帧与前一帧重构帧的第一光流，计算前一帧重构帧和前前帧重构帧的第二光流；
将所述第一光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第一特征信息；
将所述第二光流输入运动补偿网络后，提取所述运动补偿网络瓶颈层的参数作为第二特征信息；
将所述第一特征信息和第二特征信息进行融合后，输入超参网络计算得到所述第一特征信息的正态分布概率参数；
基于所述正态分布概率参数对所述第一特征信息进行熵编码。


2.如权利要求1所述的视频编码方法，其特征在于，所述计算当前帧与前一帧重构帧的第一光流，计算前一帧重构帧和前前帧重构帧的第二光流包括：
在视频压缩网络中获取前一帧重构帧和前前帧重构帧，其中前一帧为当前帧的前一帧，前前帧为当前帧的前一帧的前一帧；
计算当前帧图像的像素与前一帧重构帧图像的像素的空间位置映射关系，得到第一光流；
计算前一帧重构帧图像的像素与前前帧重构帧图像的像素的空间位置映射关系，得到第二光流。


3.如权利要求1所述的视频编码方法，其特征在于，所述将所述第一特征信息和第二特征信息进行融合后，输入超参网络计算得到所述第一特征信息的正态分布概率参数包括：
将所述第一特征信息和第二特征信息输入融合网络进行融合得到融合特征信息；
将所述融合特征信息输入超参网络得到一个参数分布矩阵，所述参数分布矩阵即为所述第一特征信息的正态分布概率参数。


4.如权利要求1所述的视频编码方法，其特征在于，所述基于所述正态分布概率参数对所述第一特征信息进行熵编码包括：
基于拉普拉斯分布，根据所述正态分布概率参数对所述第一特征信息进行熵编码。


5.一种视频编码装置，其特征在于，包括：
光流计算模块，用于计算当前帧与前一帧重构帧的第一光流，计算前一...

【专利技术属性】
技术研发人员：李东阳，
申请(专利权)人：合肥图鸭信息科技有限公司，
类型：发明
国别省市：江苏;32