面向人机混合的视频编码与解码方法、系统、设备及介质技术方案

本公开提供了一种面向人机混合的视频编码与解码方法、系统、设备及介质，涉及视频编码技术领域。该方法在对采集的原始视频图像执行编码前预处理后，对预处理视频图像进行编码，一方面将预处理视频图像的编码后的二进制码流作为数据流传输到解码端，另一方面，在编码端对预处理视频图像的二进制码流进行解码、后处理，并将后处理后的视频图像与原始视频图像产生的残差进行编码，形成增强流传输到解码端，使得解码端根据数据流和增强流的解码结果合成高质量视频图像，能够在满足机器视觉任务的基础上，满足人眼视觉任务等高保真需求场景。景。景。

【技术实现步骤摘要】
面向人机混合的视频编码与解码方法、系统、设备及介质


[0001]本公开涉及视频编码
，尤其涉及一种面向人机混合的视频编码与解码方法、系统、设备及介质。

技术介绍

[0002]随着机器学习应用的增长，车联网、视频监控、智慧城市等领域已经采用了许多智能平台，这些平台与大量传感器之间产生了海量的数据通信。数据量的增长直接导致先前面向人类视觉的编码方法效率降低，在延时和规模上也难以满足现实，面向智能机器的特征编码提上议程。
[0003]在机器视觉任务中，解码端往往需要对输入机器视觉任务模型的视频图像进行维度、尺寸、对比度等方面的变换操作，这些变换操作统称为图像预处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。
[0004]相关技术中，为了降低视频图像传输过程中数据量，编码端会对采集的视频图像进行压缩编码，在解码端解压缩恢复出原始尺寸信息的视频图像，为了满足机器视觉任务的需求，可能需要通过解码端的图像预处理对解码端的视频图像进行尺寸调整，若此时也是需要缩小视频图像的尺寸，则信源与下游视觉任务模型输入层之间的大小之差会带来冗余。为了消除这种冗余，可以考虑将解码端的图像预处理前移到编码端执行，从而实现消除冗余的同时尽可能保留后续机器视觉任务的精度。
[0005]这种将图像预处理前移的方案，虽然能够在消除冗余的尽可能保留后续机器视觉任务的精度，但对于解码端的人眼视觉任务来说，可能出现视频图像保真度比较低的问题。
[0006]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0007]本公开提供一种面向人机混合的视频编码与解码方法、系统、设备及介质，至少在一定程度上克服相关技术中将图像预处理前移到编码端的方案可能导致人眼视觉任务效果较差的技术问题。
[0008]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0009]根据本公开的一个方面，提供了一种面向人机混合的视频编码方法，该方法包括：对采集的原始视频图像执行编码前图像预处理，得到第一视频图像；对第一视频图像进行编码，得到第一二进制码流；对第一二进制码流进行解码，得到第二视频图像；对第二视频图像执行编码前图像后处理，得到第三视频图像；根据第三视频图像和原始视频图像生成残差视频图像；对残差视频图像进行编码，得到第二二进制码流；将第一二进制码流和第二二进制码流分别传输至解码端，其中，解码端用于：对接收到的第一二进制码流进行解码得
到第四视频图像，并对第四视频图像执行图像后处理得到第五视频图像；对接收到的第二二进制码流进行解码得到第六视频图像；根据第五视频图像和第六视频图像，合成待输入到人眼视觉任务模型的第七视频图像。
[0010]在一些实施例中，对采集的原始视频图像执行编码前图像预处理，得到第一视频图像包括：在采集视频图像之前或在采集视频图像的过程中，向解码端请求待执行视觉任务信息；根据待执行视觉任务信息，判断原始视频图像是否满足编码前图像预处理条件；若原始视频图像满足编码前图像预处理条件，则对原始视频图像执行编码前图像预处理，得到第一视频图像。
[0011]在一些实施例中，采用传统编码器对第一视频图像或残差视频图像进行编码。
[0012]在一些实施例中，采用端到端神经网络编码器对第一视频图像或残差视频图像进行编码。
[0013]根据本公开的另一个方面，还提供了一种面向人机混合的视频解码方法，包括：接收到第一二进制码流，并对第一二进制码流进行解码得到第四视频图像，其中，第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；对第四视频图像执行图像后处理得到第五视频图像；接收到第二二进制码流，并对第二二进制码流进行解码得到第六视频图像，其中，第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，残差视频图像为编码端根据第三视频图像和原始视频图像生成的视频图像，第三视频图像为编码端对第二视频图像执行编码前图像后处理得到的视频图像，第二视频图像为编码端对第一二进制码流进行解码得到的视频图像；根据第五视频图像和第六视频图像，合成待输入到人眼视觉任务模型的第七视频图像。
[0014]在一些实施例中，在接收到第一二进制码流，并对第一二进制码流进行解码得到第四视频图像之后，方法还包括：根据待执行视觉任务信息，判断待执行视觉任务是否为机器视觉任务；若待执行视觉任务为人眼视觉任务，则将第四视频图像输入到人眼视觉任务模型；若待执行视觉任务为机器视觉任务，则将第四视频图像输入到机器视觉任务模型。
[0015]在一些实施例中，将第四视频图像输入到机器视觉任务模型：判断编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式是否一致；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式一致时，将第四视频图像直接输入到机器视觉任务模型；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式不一致时，对第四视频图像执行图像预处理后输入到机器视觉任务模型。
[0016]在一些实施例中，采用传统解码器对第一二进制码流或第二二进制码流进行解码。
[0017]在一些实施例中，采用端到端神经网络解码器对第一二进制码流或第二二进制码流进行解码。
[0018]根据本公开的另一个方面，还提供了一种编码设备，包括：图像预处理模块，用于对采集的原始视频图像执行编码前图像预处理，得到第一视频图像；第一编码模块，用于对第一视频图像进行编码，得到第一二进制码流；第一解码模块，用于对第一二进制码流进行解码，得到第二视频图像；第一图像后处理模块，用于对第二视频图像执行编码前图像后处
理，得到第三视频图像；残差视频图像生成模块，用于根据第三视频图像和原始视频图像生成残差视频图像；第二编码模块，用于对残差视频图像进行编码，得到第二二进制码流；传输模块，用于将第一二进制码流和第二二进制码流分别传输至解码端，其中，解码端用于：对接收到的第一二进制码流进行解码得到第四视频图像，并对第四视频图像执行图像后处理得到第五视频图像；对接收到的第二二进制码流进行解码得到第六视频图像；根据第五视频图像和第六视频图像，合成待输入到人眼视觉任务模型的第七视频图像。
[0019]根据本公开的另一个方面，还提供了一种解码设备，包括：第二解码模块，用于接收到第一二进制码流，并对第一二进制码流进行解码得到第四视频图像，其中，第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；第二图像后处理模块，用于对第四视频图像执行图像后处理得到第五视频图像；第三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向人机混合的视频编码方法，其特征在于，包括：对采集的原始视频图像执行编码前图像预处理，得到第一视频图像；对第一视频图像进行编码，得到第一二进制码流；对第一二进制码流进行解码，得到第二视频图像；对第二视频图像执行编码前图像后处理，得到第三视频图像；根据第三视频图像和原始视频图像生成残差视频图像；对残差视频图像进行编码，得到第二二进制码流；将所述第一二进制码流和所述第二二进制码流分别传输至解码端，其中，所述解码端用于：对接收到的第一二进制码流进行解码得到第四视频图像，并对所述第四视频图像执行图像后处理得到第五视频图像；对接收到的第二二进制码流进行解码得到第六视频图像；根据所述第五视频图像和所述第六视频图像，合成待输入到人眼视觉任务模型的第七视频图像。2.根据权利要求1所述的面向人机混合的视频编码方法，其特征在于，所述对采集的原始视频图像执行编码前图像预处理，得到第一视频图像包括：在采集视频图像之前或在采集视频图像的过程中，向解码端请求待执行视觉任务信息；根据所述待执行视觉任务信息，判断所述原始视频图像是否满足编码前图像预处理条件；若所述原始视频图像满足编码前图像预处理条件，则对所述原始视频图像执行编码前图像预处理，得到所述第一视频图像。3.根据权利要求1或2所述的面向人机混合的视频编码方法，其特征在于，采用传统编码器对第一视频图像或残差视频图像进行编码。4.根据权利要求1或2所述的面向人机混合的视频编码方法，其特征在于，采用端到端神经网络编码器对第一视频图像或残差视频图像进行编码。5.一种面向人机混合的视频解码方法，其特征在于，包括：接收到第一二进制码流，并对第一二进制码流进行解码得到第四视频图像，其中，所述第一二进制码流为编码端对第一视频图像进行编码得到的二进制码流，所述第一视频图像为对原始视频图像执行编码前图像预处理得到的视频图像；对所述第四视频图像执行图像后处理得到第五视频图像；接收到第二二进制码流，并对第二二进制码流进行解码得到第六视频图像，其中，所述第二二进制码流为编码端对残差视频图像进行编码得到的二进制码流，所述残差视频图像为编码端根据第三视频图像和原始视频图像生成的视频图像，所述第三视频图像为编码端对第二视频图像执行编码前图像后处理得到的视频图像，所述第二视频图像为编码端对第一二进制码流进行解码得到的视频图像；根据所述第五视频图像和所述第六视频图像，合成待输入到人眼视觉任务模型的第七视频图像。6.根据权利要求5所述的面向人机混合的视频解码方法，其特征在于，在接收到第一二进制码流，并对第一二进制码流进行解码得到第四视频图像之后，所述方法还包括：根据待执行视觉任务信息，判断待执行视觉任务是否为机器视觉任务；
若待执行视觉任务为人眼视觉任务，则将第四视频图像输入到人眼视觉任务模型；若待执行视觉任务为机器视觉任务，则将第四视频图像输入到机器视觉任务模型。7.根据权利要求6所述的面向人机混合的视频解码方法，其特征在于，所述将第四视频图像输入到机器视觉任务模型：判断编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式是否一致；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式一致时，将第四视频图像直接输入到机器视觉任务模型；当编码端对原始视频图像执行的编码前图像预处理模式与待执行机器视觉任务要求的图像预处理模式不一致时，对第四视频图像执行图像预处理后输入到机器视觉任务模型。8.根据权利要求5～7中任意一项所述的面向人机混合的视频解码方法，其特征在...

【专利技术属性】
技术研发人员：王慧芬，张园，杨明川，韩韬，王翰铭，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：