一种基于智能数字视网膜的视频编解码方法和装置制造方法及图纸

本发明专利技术公开了一种基于智能数字视网膜的视频编解码方法和装置，其中，视频编码方法包括：对第一预测残差进行熵编码，得到对应的第一特征增强流；以及将第一基础流和第一特征增强流进行复用处理，得到编码后的视频图像。本申请实施例提供的视频编码方法，通过引入第一预设深度模型对视频图像进行处理，由于第一预设深度模型能够对图像特征进行特征提取，精准地确定出视频图像的特征区域，并基于第一预测残差进行熵编码，得到第一特征增强流，并基于第一特征增强流和第一基础流得到编码后的视频图像；这样，编码后的视频图像具有较佳的画面品质；此外，该第一预设深度模型还能够优化视频的压缩性能以及回放性能。视频的压缩性能以及回放性能。视频的压缩性能以及回放性能。

【技术实现步骤摘要】
一种基于智能数字视网膜的视频编解码方法和装置


[0001]本专利技术涉及视频编码
，特别涉及一种基于智能数字视网膜的视频编解码方法和装置。

技术介绍

[0002]自从数字视网膜概念提出以来，在视频编解码、视频监控等领域引起了较大的关注。在传统的图像处理领域，视频压缩和视频分析分属不同的两个领域，数字视网膜技术受人类视网膜的生物学功能启发，率先提出了视频压缩、视频分析一体化的智能图像传感器。具体而言，数字视网膜的特点在于能够同时获得视频压缩数据和视频特征数据，并通过数据流传送至云端，便于后期的回放和检索。为了获取图像的特征流，数字视网膜技术引入了模型流的概念，也就是说图像采集前端可以根据需求应用不同的特征提取模型，这些模型可以通过云端存储和反向传输的方式发送到图像采集前端。在视频压缩方面，基本的理念是通过计算压缩视频的时空冗余信息。视频压缩的基本范式在过去数十年来没有发生较大的改变，基于分块的视频压缩编解码技术发展得非常成熟，其具有计算复杂度适中、压缩率高、重建质量高等特点，因此，在过去的数十年里得到了非常广泛的应用，目前主流的编解码技术包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能数字视网膜的视频编码方法，其特征在于，所述方法包括：获取基于采集的视频数据得到的原始视频图像；将所述原始视频图像输入至第一预设深度模型中进行图像处理，得到对应的用于进行图像检索的特征序列、第一特征区域的第一特征区域图像、所述第一特征区域的位置信息和具有第一预设分辨率的第一预测图像，所述特征序列包括关注特征区域的特征序列；将所述第一特征区域图像和所述具有第一预设分辨率的所述第一预测图像进行求残差值计算，得到第一预测残差；对所述第一预测残差进行熵编码，得到对应的第一特征增强流；以及将第一基础流和所述第一特征增强流进行复用处理，得到编码后的视频图像。2.根据权利要求1所述的方法，其特征在于，所述将第一基础流和所述第一特征增强流进行复用处理，得到编码后的视频图像包括：对所述原始视频图像进行降采样处理，得到具有第二预设分辨率的处理后视频图像；对所述处理后视频图像进行视频编码，得到所述第一基础流；将所述第一基础流和所述第一特征增强流进行复用处理，得到所述编码后的视频图像。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：从第一帧缓存器中读取所述特征区域的所述位置信息和所述特征区域图像；将所述位置信息和所述特征区域图像进行同步编码。4.一种基于智能数字视网膜的视频解码方法，其特征在于，所述方法包括：响应于用户回放目标视频的回放指令，第二帧缓存器读取目标视频图像的第二特征区域，并生成对应的第二特征区域图像；将所述第二特征区域图像输入至第二预设深度模型中进行图像处理，得到对应的具有第三预设分辨率的第三特征区域图像；对与所述第二特征区域对应的第二特征增强流进行熵解码，得到对应的第二预测残差；以及基于所述第二预测残差和所述第三特征区域图像进行图像合成，生成具有所述第三预设分辨率的第一解码后的目标视频图像。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：对所述第二预设深度模型进行优化，得到优化后的深度模型，所述优化后的深度模型包括对目标视频图像的非特征区域进行图像优化处理的第三预设深度模型；基于所述优化后的深度模型，对所述目标视频图像进行解码处理，生成具有所述第三预设分辨率的第二解码后的目标视频图像。6.根据权利要求5所述的方法，其特征在于，所述基于所述优化后的深度模型，对所述目标视频图像进行解码处理，生成具有所述第三预设分辨率的第二解码后的目标...

【专利技术属性】
技术研发人员：滕波，洪一帆，向国庆，张羿，焦立欣，陆嘉瑶，
申请(专利权)人：浙江智慧视频安防创新中心有限公司，
类型：发明
国别省市：