混合视频以及特征编码和解码制造技术

本公开公开涉及混合视频和特征编码和解码，图像特征的编码和解码被独立地或差分地执行。在单独的层(例如，基础层和增强层)中对视频和特征进行编码和解码。提取视频帧的特征，提供基于帧的特征视频关联。从在增强层中编码的未压缩视频中将特征提取为特征比特流。将视频编码为视频比特流，通过将两个流多路复用为输出比特流，特征比特流嵌入到视频比特流中。可以是差分图像特征的图像特征被包括在视频的帧头信息的序列增强信息SEI消息中。将输出比特流作为输入比特流提供给解码器，使用帧头的SEI消息将输入比特流解复用为视频比特流和特征比特流。将两个比特流在各自的层中进行解码，并且使用基于帧的特征视频关联将图像特征定位在视频中。定位在视频中。定位在视频中。

【技术实现步骤摘要】
【国外来华专利技术】混合视频以及特征编码和解码


[0001]本公开公开涉及视频图像和视频图像的图像特征的混合编码和解码。

技术介绍

[0002]视频编码(视频编码和解码)广泛用于各种数字视频应用，例如，广播数字电视、互联网和移动网络上的视频传输，实时对话应用例如视频聊天，视频会议，DVD和蓝光光盘，视频内容获取和编辑系统，以及安全应用的摄录机。
[0003]自1990年在H.261标准中开发基于块的混合视频编码方法以来，新的视频编码技术和工具得到了发展，并且形成了新视频编码标准的基础。大多数视频编码标准的一个目标是将比特率降低到低于之前产品的水平，而不牺牲图片质量。进一步地，视频编码标准包括MPEG
‑
1视频、MPEG
‑
2视频、ITU
‑
T H.262/MPEG
‑
2、ITU
‑
T H.263、ITU
‑
T H.264/MPEG
‑
4、Part 10、高级视频编码(advanced video coding，AVC)、ITU
‑
T H.265、高效视频编码(high efficiency video coding，HEVC)以及上述标准的扩展，例如，可伸缩性和/或三维(three
‑
dimensional，3D)扩展。
[0004]视频图像的编码和解码(即，压缩和解压缩)也与应用相关，例如，在视频监控中，需要检测和标识静止和/或运动目标对象。在目前的视频监控方案中，视频在终端侧(用户或客户端)(例如，在摄像机等处)被压缩，并且被传输到服务器，该服务器可以是云端的一部分。然后，在云端重建压缩视频并进行进一步分析。视频的编码和解码可以由标准视频编码器和解码器执行，如图1至图4所示，例如，与H.264/AVC或HEVC(H.265)或下一代兼容的标准视频编码器和解码器。
[0005]一方面，计算机视觉(computer vision，CV)算法(例如，对象检测或面部识别)用于从视频(即，视频图像)中提取有用的信息。典型的检测和识别CV算法基本上基于从视频提取的特征，或更准确地说，从视频序列的各个帧中提取的特征。特征包括常规特征，例如，尺度不变特征变换(scale invariant feature transform，SIFT)、加速鲁棒特征(speeded up robust feature，SURF)和二进制鲁棒独立基本特征(binary robust independent elementary feature，BRIEF)，或者近年来基于卷积神经网络(convolutional neural network，CNN)的特征。后一种类型的特征通常被称为机器学习特征，即，机器学习模型提取和/或分类的特征(包括CNN等)。另一方面，为寻找CV算法可能丢失的信息，或者为了证明CV算法结果的正确性，人们也被雇佣来观看视频。然而，人们并不了解用于执行视频图像分析的CV算法的特征，因此人们实际上是在服务器侧(云端)观看视频的。因此，在视频监控中，视频被编码和传输(例如，上传到云服务器)，并且CV算法也采用高质量特征，以提供快速准确的图像分析结果。

技术实现思路

[0006]独立权利要求的特征定义了本申请的实施方式，从属权利要求的特征定义了实施方式的进一步有利实现。
[0007]根据本公开公开的一个方面，提供了一种用于对视频进行编码的装置，包括处理电路，该处理电路被配置为将该视频编码为视频比特流；从该视频中提取图像特征；将该图像特征编码为特征比特流；以及将该特征比特流和该视频比特流多路复用为输出比特流。
[0008]从未压缩视频(即，原始视频)中提取图像特征，具有高质量特征的优点，可用于视频监控中的主体和对象标识。具体地，使用高质量特征可以提高对象检测和标识的准确性和可靠性，这是计算机视觉算法执行的关键任务，并且应用于视频监控、计算机视觉驱动特征编码和自动驾驶系统。
[0009]在编码器侧(即，终端侧)从无损未压缩视频中提取一个或多个图像特征，可以进一步在终端侧执行计算机视觉任务，从而加快解码器侧(云端)的最终计算机视觉分析。
[0010]根据本公开公开的一个方面，装置的处理电路还被配置为提取该视频的帧的图像特征。
[0011]根据本公开公开的一个方面，该处理电路还被配置为将该特征比特流和该视频比特流多路复用为该输出比特流，其中，该多路复用定义与视频帧有关的该视频比特流和与该帧有关的该特征比特流之间的关联。
[0012]逐帧特征提取以及特征比特流与视频比特流的基于帧的关联，允许基于提取特征的帧在重建视频中定位特征。这意味着无需解码整个视频，只需解码包含特征的视频帧。
[0013]在一个示例性实施方式中，该多路复用包括将该视频的图像特征包括在序列增强信息(sequence enhancement information,SEI)消息中，该SEI消息属于该视频的帧头信息。
[0014]这提供了视频(即，输出比特流)结构紧凑的优点，包括特征比特流和视频比特流。具体地，将图像特征嵌入到视频的SEI报头具有以下优点：视频比特流还包括关于特征本身、特征类型和帧索引等信息。由此，可以同步特征比特流和视频比特流，并在不同的层中对两者进行编码。
[0015]根据本公开公开的一个方面，该处理电路还被配置为通过差分编码对该图像特征进行编码，包括：从该视频比特流重建该视频；从重建视频提取该图像特征；通过从该视频的提取图像特征中减去该重建视频的提取图像特征来确定差分图像特征；以及将该差分图像特征编码为该特征比特流。
[0016]差分编码的可能性提供了通过使用从重建视频中提取的图像特征作为预测因子提高特征压缩率的优点。换句话说，差分特征编码非常有效。
[0017]在一个示例性实施方式中，该图像特征是尺度不变特征变换SIFT、加速鲁棒特征SURF、二进制鲁棒独立基本特征BRIEF或基于机器学习模型提取的特征中的任意一个。
[0018]由于特征的多样性，使用不同类型的特征及其可能的不同表示形式(浮点数、整数或二进制数)可以提高执行计算机视觉任务的准确性和可靠性。
[0019]根据本公开公开的一个方面，提供了一种用于对视频进行重建的装置，装置包括处理电路，该处理电路被配置为将编码视频的输入比特流解复用为视频比特流和特征比特流；从该视频比特流解码该视频；从该特征比特流解码该视频的图像特征；以及定位该视频中的该图像特征。
[0020]根据一个示例性实施方式，所述图像特征用于该视频的帧。
[0021]根据本公开公开的一个方面，该输入比特流以多路复用的方式包括该特征比特流
和该视频比特流，其中，该多路复用定义与视频帧有关的该视频比特流和与该帧有关的该特征比特流之间的关联，该装置的处理电路还被配置为根据该帧将该输入比特流解复用为该视频比特流和该特征比特流。
[0022]在本公开公开的一个示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对视频进行编码的装置(500、600)，其特征在于，包括：处理电路被配置为：将所述视频编码(100)为视频比特流；从所述视频中提取(510)图像特征；将所述图像特征编码(520)为特征比特流；以及将所述特征比特流和所述视频比特流多路复用(530)为输出比特流。2.根据权利要求1所述的装置，其特征在于，其中，所述处理电路还被配置为提取所述视频的帧的所述图像特征。3.根据权利要求1和2所述的装置，其特征在于，其中，所述处理电路还被配置为将所述特征比特流和所述视频比特流多路复用为所述输出比特流，其中，所述多路复用定义与视频帧有关的所述视频比特流和与所述帧有关的所述特征比特流之间的关联。4.根据权利要求1至3所述的装置，其特征在于，其中，所述多路复用包括将所述视频的图像特征包括在序列增强信息SEI消息中，所述SEI消息属于所述视频的帧头信息。5.根据权利要求1至4所述的装置，其特征在于，其中，所述处理电路还被配置为通过差分编码对所述图像特征进行编码，包括：从所述视频比特流重建(200)所述视频；从所述重建视频提取(510)所述图像特征；通过从所述视频的提取图像特征中减去所述重建视频的提取图像特征来确定差分图像特征；以及将所述差分图像特征编码(520)为所述特征比特流。6.根据权利要求1至5所述的装置，其特征在于，其中，所述图像特征是尺度不变特征变换SIFT、加速鲁棒特征SURF、二进制鲁棒独立基本特征BRIEF或基于机器学习模型提取的特征中的任意一个。7.一种用于对视频进行重建的装置(700，800)，其特征在于，所述装置包括：处理电路被配置为将编码视频的输入比特流解复用(710)为视频比特流和特征比特流；从所述视频比特流解码(200)所述视频；从所述特征比特流解码(720)所述视频的图像特征；以及定位(734)所述视频中的所述图像特征。8.根据权利要求7所述的装置，其特征在于，其中，所述图...

【专利技术属性】
技术研发人员：安东，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：