【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及视频编码和解码领域。具体地，本专利技术涉及用于机器视频编码(video coding for machine，vcm)的编码器和解码器。
技术介绍
1、视频编解码器可以包括用于压缩或解压缩数字视频的电子电路或软件。它可以将未压缩的视频转换为压缩格式，反之亦然。在视频压缩的背景下，对视频进行压缩(和/或执行其某些功能)的设备通常可以称为编码器，并且对视频进行解压缩(和/或执行其某些功能)的设备可以称为解码器。
2、压缩数据的格式可以符合标准视频压缩规范。压缩可能是有损的，因为压缩的视频缺少存在于原始视频中的一些信息。这种结果可能包括解压缩的视频将具有比原始未压缩的视频更低的质量，因为没有足够的信息来准确地重构原始视频。
3、在视频质量、用于表示视频的数据量(例如，由比特率确定的)、编码和解码算法的复杂性、对数据丢失和错误的敏感性、编辑容易度、随机访问、端到端延迟(例如，等待时间)等之间可能存在复杂的关系。
4、运动补偿可以包括通过考虑相机和/或视频中的对象的运动来预测针对给定参考帧(例如先前和/或未来帧)的视频帧或其部分的方法。它可以用于视频数据的编码和解码以用于视频压缩，例如用于使用运动图像专家组(mpeg)的高级视频编码(avc)标准(也称为h.264)的编码和解码。运动补偿可以根据参考图片到当前图片的变换来描述图片。与当前图片比较时，参考图片可以在时间上是先前的图片，或与当前图片比较时，参考图片可以在时间上是将来的图片。当可以根据先前传输和/或存储的图像精确地合成图像时
5、视频在传统上是用于人类消费的媒体，并且视频压缩方法侧重于在解压缩之后保持由人类观看者感知的视频的保真度。然而，目前，大量的视频正由机器分析。因此，对开发和优化针对机器分析而优化的视频压缩方法有越来越多的需求。根据应用，机器将不需要根据视频内容的相同信息来执行分析和功能。相反，视频信号中的某些特征将是足够的。机器视频编码(vcm)是通过压缩传统视频流以及从其中提取的非常适于机器分析的特征两者来生成压缩的比特流的方法。
技术实现思路
1、提供了一种用于包括编码器和解码器的机器视频编码(vcm)的系统。vcm编码器包括第一视频编码器，其优选地配置成将输入视频信号编码成比特流。vcm编码器还包括特征提取器，其配置成检测输入视频中的至少一个特征。第二编码器配置成根据输入视频和至少一个特征来编码特征比特流。
2、在一些实施例中，视频解码器耦合到特征提取器以从其接收特征信号。优选地，机器模型可以包括在特征提取器中或提供给特征提取器。可以提供多路复用器以将编码的视频和特征信号组合成比特流以传输到解码器。
3、在一些优选实施例中，特征提取器还包括配置成输出至少一个特征图的机器学习模型。仍然优选地，机器学习模型还可以包括卷积神经网络。在一些实施例中，卷积神经网络包括多个卷积层和多个池化层。
4、特征提取器还可以包括分类器，其配置成将机器学习模型的输出分类为至少一个特征。在某些实施例中，分类器是深度神经网络。
5、特征提取器可以配置成生成多个特征图并且在编码之前在空间上布置多个特征图的至少一部分。可以基于特征图的参数(例如纹理)在空间上布置特征图。
6、在又一实施例中，第二编码器还可以配置成根据至少一个特征的分类对特征图进行分组。
7、一种vcm解码器，其配置成接收编码的混合比特流。vcm解码器包括接收混合比特流并提供视频比特流和来自混合比特流的特征比特流的解复用器。提供特征解码器。该特征解码器从解复用器接收经编码的特征比特流，并提供用于机器处理的经解码的特征集合。机器模型优选地耦合到特征解码器。提供视频解码器以从解复用器接收经编码的视频比特流并提供适于人类消耗的经解码视频信号。
8、在一些实施例中，vcm解码器可以配置成接收包括多个空间性布置的特征图的比特流，对空间性布置的特征图解码，以及重构特征图的原始序列。
9、本领域技术人员在结合附图参考本专利技术的特定非限制性实施例的以下描述时，本专利技术的非限制性实施例的这些以及其它方面和特征将变得明了。
本文档来自技高网...【技术保护点】
1.一种机器视频编码(VCM)编码器，所述VCM编码器包括：
2.根据权利要求1所述的VCM编码器，其中，所述特征提取器还包括配置成输出至少一个特征图的机器学习模型。
3.根据权利要求2所述的VCM编码器，其中，所述机器学习模型还包括卷积神经网络。
4.根据权利要求3所述的VCM编码器，其中，所述卷积神经网络包括：多个卷积层和多个池化层。
5.根据权利要求2所述的VCM编码器，其中，所述特征提取器还包括分类器，所述分类器配置成将所述机器学习模型的输出分类为至少一个特征。
6.根据权利要求5所述的VCM编码器，其中，所述分类器还包括深度神经网络。
7.根据权利要求5所述的VCM编码器，其中，所述第二编码器还配置成根据对所述至少一个特征的分类将所述至少一个特征图的特征图进行分组。
8.根据权利要求1所述的VCM编码器，其中，所述第二编码器还包括特征编码器。
9.根据权利要求1所述的VCM编码器，其中，所述第二编码器还包括视频编码器。
10.根据权利要求1所述的VCM编码器，其中
11.根据权利要求1所述的VCM编码器，还包括多路复用器，所述多路复用器配置成将所述视频比特流和所述特征比特流组合。
12.根据权利要求1所述的VCM编码器，其中，所述特征提取器配置成生成多个特征图，并且其中，所述特征图在编码之前被空间性地布置。
13.根据权利要求12所述的VCM编码器，其中，所述特征图至少部分地基于所述特征图的纹理分量被空间性地布置。
14.一种VCM解码器，其配置成接收编码的混合比特流，所述解码器包括：
15.根据权利要求14所述的VCM解码器，其中，所述特征解码器配置成接收包括多个空间性布置的特征图的比特流，对所述空间性布置的特征图解码，以及重构所述特征图的原始序列。
...【技术特征摘要】
【国外来华专利技术】
1.一种机器视频编码(vcm)编码器，所述vcm编码器包括：
2.根据权利要求1所述的vcm编码器，其中，所述特征提取器还包括配置成输出至少一个特征图的机器学习模型。
3.根据权利要求2所述的vcm编码器，其中，所述机器学习模型还包括卷积神经网络。
4.根据权利要求3所述的vcm编码器，其中，所述卷积神经网络包括：多个卷积层和多个池化层。
5.根据权利要求2所述的vcm编码器，其中，所述特征提取器还包括分类器，所述分类器配置成将所述机器学习模型的输出分类为至少一个特征。
6.根据权利要求5所述的vcm编码器，其中，所述分类器还包括深度神经网络。
7.根据权利要求5所述的vcm编码器，其中，所述第二编码器还配置成根据对所述至少一个特征的分类将所述至少一个特征图的特征图进行分组。
8.根据权利要求1所述的vcm编码器，其中，所述第二编码器还包括特征编码器。
9....
【专利技术属性】
技术研发人员：哈利·卡瓦，博里沃耶·福尔特，菲力博·阿兹克，
申请(专利权)人：OP解決方案公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。