一种智能编解码方法、装置、设备及介质制造方法及图纸

本申请公开了一种智能编解码方法、装置、设备及介质，首先基于图像分割模型确定待编码的图像中的各个前景对象和各个背景对象，针对图像中的各个宏块，确定宏块对应的对象，然后为不同对象的宏块配置不同的编码参数。宏块的编码参数不同，码率也不同。前景对象的宏块的编码参数对应的码率高于背景对象的宏块的编码参数对应的码率。这样可以降低背景对象的宏块的码率，并且保证前景对象的宏块的图像质量。根据各个宏块的编码参数，对各个宏块进行编码处理，实现了兼顾待编码的图像的码率大小和图像质量。和图像质量。和图像质量。

【技术实现步骤摘要】
一种智能编解码方法、装置、设备及介质


[0001]本申请涉及视频编解码
，尤其涉及一种智能编解码方法、装置、设备及介质。

技术介绍

[0002]视频编解码技术旨在将对采集到的视频信号压缩成不同的标准格式的数据，用于传输或存储。视频编解码的标准有H.264/AVC、H.265/HEVC、H.266/VVC、VP8/VP9/AV1等。其中视频编解码的性能主要由视频的质量，如峰值信噪比PSNR(Peak Signal to Noise Ratio)、结构相似性SSIM(Structural Similarity index)，以及压缩率码率等作为评价指标。
[0003]压缩率越高，代表码率越低，编码器输出的视频文件占用的存储空间越小，视频客观质量就越差；而视频客观质量越好，一定程度上代表着用户在视频观看体验上会对视频画面感受更清晰，但同时伴随着码率的上升。现有技术存在的问题是，在编码过程中无法兼顾码率大小和图像质量。

技术实现思路

[0004]本申请实施例提供了一种智能编解码方法、装置、设备及介质，用以解决现有技术在编码过程中无法兼顾码率大小和图像质量的问题。
[0005]第一方面，本申请提供了一种视频编码方法，所述方法包括：
[0006]获取待编码的图像，将所述图像输入已训练的图像分割模型，基于所述图像分割模型确定所述图像中的各个前景对象和各个背景对象；
[0007]针对所述图像中的各个宏块，确定所述宏块对应的对象，根据所述宏块对应的对象确定所述宏块的编码参数；其中，前景对象的宏块的编码参数对应的码率高于背景对象的宏块的编码参数对应的码率；
[0008]根据所述各个宏块的编码参数，对所述各个宏块进行编码处理。
[0009]进一步地，所述针对所述图像中的各个宏块，确定所述宏块对应的对象包括：
[0010]针对所述图像中的各个宏块，确定所述宏块中包含的前景对象的像素点的第一数量和背景对象的像素点的第二数量；根据所述第一数量和所述第二数量，确定所述宏块对应的对象。
[0011]进一步地，所述根据所述宏块对应的对象确定所述宏块的编码参数包括：
[0012]根据所述宏块对应的对象确定所述宏块的量化参数QP值和跳过skip倾向性值中的至少一个编码参数，其中，所述跳过skip倾向性值用于指导skip模式的选择。
[0013]进一步地，所述根据所述宏块对应的对象确定所述宏块的量化参数QP值和跳过skip倾向性值中的至少一个编码参数包括：
[0014]获取当前的编码模式，所述编码模式包括帧间预测模式和帧内预测模式；
[0015]若所述编码模式为帧内预测模式，根据所述宏块对应的对象确定所述宏块的量化
参数QP值；
[0016]若所述编码模式为帧间预测模式，根据所述宏块对应的对象确定所述宏块的量化参数QP值和跳过skip倾向性值。
[0017]进一步地，所述根据所述宏块对应的对象确定所述宏块的量化参数QP值包括：
[0018]若所述宏块为前景对象的宏块，确定所述宏块的初始量化参数QP值，根据所述初始量化参数QP值与第一量化参数步长的差值，确定所述宏块的目标量化参数QP值；
[0019]若所述宏块为背景对象的宏块，确定所述宏块的初始量化参数QP值，根据所述初始量化参数QP值与第二量化参数步长的和值，确定所述宏块的目标量化参数QP值。
[0020]进一步地，所述根据所述宏块对应的对象确定所述宏块的跳过skip倾向性值包括：
[0021]若所述宏块为前景对象的宏块，确定所述宏块的跳过skip倾向性值为第一skip倾向性值；若所述宏块为背景对象的宏块，确定所述宏块的跳过skip倾向性值为第二skip倾向性值；其中，所述第一skip倾向性值高于所述第二skip倾向性值。
[0022]进一步地，所述方法还包括：
[0023]基于所述图像分割模型确定所述前景对象的第一类别，根据预设的各个类别的前景对象的关注度，确定所述前景对象的第一目标关注度，根据所述第一目标关注度确定所述第一量化参数步长；其中，所述第一目标关注度越高，所述第一量化参数步长越大；
[0024]基于所述图像分割模型确定所述背景对象的第二类别，根据预设的各个类别的背景对象的关注度，确定所述背景对象的第二目标关注度，根据所述第二目标关注度确定所述第二量化参数步长；其中，所述第二目标关注度越低，所述第二量化参数步长越大。
[0025]进一步地，所述方法还包括：
[0026]根据所述前景对象的第一目标关注度确定所述第一skip倾向性值；其中，所述第一目标关注度越高，所述第一skip倾向性值越大；
[0027]根据所述背景对象的第二目标关注度确定所述第二skip倾向性值；其中，所述第二目标关注度越低，所述第二skip倾向性值越小。
[0028]进一步地，所述图像分割模型包括第一结构、第二结构和第三结构；所述第一结构包括卷积层，所述第二结构和第三结构分别包括卷积层和膨胀卷积层；
[0029]所述图像分割模型的训练过程包括：
[0030]将样本集中的样本图像和对应的标注图像输入所述图像分割模型中的第一结构，依次基于所述第一结构、第二结构和第三结构确定所述样本图像对应的预测图像，根据所述预测图像和所述标注图像对所述第一结构、第二结构和第三结构的参数进行训练。
[0031]第二方面，本申请提供了一种视频解码方法，所述方法包括：
[0032]获取编码后的图像；
[0033]对所述编码后的图像进行解码处理。
[0034]第三方面，本申请提供了一种视频编码装置，所述装置包括：
[0035]第一确定模块，用于获取待编码的图像，将所述图像输入已训练的图像分割模型，基于所述图像分割模型确定所述图像中的各个前景对象和各个背景对象；
[0036]第二确定模块，用于针对所述图像中的各个宏块，确定所述宏块对应的对象，根据所述宏块对应的对象确定所述宏块的编码参数；其中，前景对象的宏块的编码参数对应的
码率高于背景对象的宏块的编码参数对应的码率；
[0037]编码模块，用于根据所述各个宏块的编码参数，对所述各个宏块进行编码处理。
[0038]进一步地，所述第二确定模块，具体用于针对所述图像中的各个宏块，确定所述宏块中包含的前景对象的像素点的第一数量和背景对象的像素点的第二数量；根据所述第一数量和所述第二数量，确定所述宏块对应的对象。
[0039]进一步地，所述第二确定模块，具体用于根据所述宏块对应的对象确定所述宏块的量化参数QP值和跳过skip倾向性值中的至少一个编码参数，其中，所述跳过skip倾向性值用于指导skip模式的选择。
[0040]进一步地，所述第二确定模块，具体用于获取当前的编码模式，所述编码模式包括帧间预测模式和帧内预测模式；若所述编码模式为帧内预测模式，根据所述宏块对应的对象确定所述宏块的量化参数QP值；若所述编码模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频编码方法，其特征在于，所述方法包括：获取待编码的图像，将所述图像输入已训练的图像分割模型，基于所述图像分割模型确定所述图像中的各个前景对象和各个背景对象；针对所述图像中的各个宏块，确定所述宏块对应的对象，根据所述宏块对应的对象确定所述宏块的编码参数；其中，前景对象的宏块的编码参数对应的码率高于背景对象的宏块的编码参数对应的码率；根据所述各个宏块的编码参数，对所述各个宏块进行编码处理。2.如权利要求1所述的方法，其特征在于，所述针对所述图像中的各个宏块，确定所述宏块对应的对象包括：针对所述图像中的各个宏块，确定所述宏块中包含的前景对象的像素点的第一数量和背景对象的像素点的第二数量；根据所述第一数量和所述第二数量，确定所述宏块对应的对象。3.如权利要求1所述的方法，其特征在于，所述根据所述宏块对应的对象确定所述宏块的编码参数包括：根据所述宏块对应的对象确定所述宏块的量化参数QP值和跳过skip倾向性值中的至少一个编码参数，其中，所述跳过skip倾向性值用于指导skip模式的选择。4.如权利要求3所述的方法，其特征在于，所述根据所述宏块对应的对象确定所述宏块的量化参数QP值和跳过skip倾向性值中的至少一个编码参数包括：获取当前的编码模式，所述编码模式包括帧间预测模式和帧内预测模式；若所述编码模式为帧内预测模式，根据所述宏块对应的对象确定所述宏块的量化参数QP值；若所述编码模式为帧间预测模式，根据所述宏块对应的对象确定所述宏块的量化参数QP值和跳过skip倾向性值。5.如权利要求3或4所述的方法，其特征在于，所述根据所述宏块对应的对象确定所述宏块的量化参数QP值包括：若所述宏块为前景对象的宏块，确定所述宏块的初始量化参数QP值，根据所述初始量化参数QP值与第一量化参数步长的差值，确定所述宏块的目标量化参数QP值；若所述宏块为背景对象的宏块，确定所述宏块的初始量化参数QP值，根据所述初始量化参数QP值与第二量化参数步长的和值，确定所述宏块的目标量化参数QP值。6.如权利要求5所述的方法，其特征在于，所述根据所述宏块对应的对象确定所述宏块的跳过skip倾向性值包括：若所述宏块为前景对象的宏块，确定所述宏块的跳过skip倾向性值为第一skip倾向性值；若所述宏块为背景对象的宏块，确定所述宏块的跳过skip倾向性值为第二skip倾向性值；其中，所述第一skip倾向性值高于所述第二skip倾向性值。7.如权利要求6所述的方法，其特征在于，所述方法还包括：基于所述图像分割模型确定所述前景对象的第一类别，根据预设的各个类别的前景对象的关注度，确定所述前景对象的第一目标关注度，根据所述第一目标关注度确定所述第一量化参数步长；其中，所述第一目标关注度越高，所述第一量化参数步长越大；基于所述图像分割模型确定所述背景对象的第二类别，根据预设的各个类别的背景对
象的关注度，确定所述背景对象的第二目标关注度，根据所述第二目标关注度确定所述第二量化参数步长；其...

【专利技术属性】
技术研发人员：李若愚，林聚财，江东，李曾，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：