一种面向资源约束下人机协同场景的深度学习图像编码方法技术

本发明专利技术公开了一种面向资源约束下人机协同场景的深度学习图像编码方法，该方法将输入图像编码为包含可视分析层和高质量重建层的分层码流，通过自适应地传输与解码，大幅提高在能量有限和带宽有限的场景下人机协同图像应用的效率。包括以下步骤：1)搭建面向人机协同场景的深度图像编码网络框架；2)对于搭建好的深度图像编码网络框架，设置不同的损失函数权重参数，分步依次训练其中的可分析图像压缩网络和特征域分析网络、预览图像生成网络、特征残差压缩网络和高质量重建网络，获取满足不同压缩比的多个网络模型；3)使用得到的网络模型对测试图片进行编码，评估压缩码流的分析质量和重建质量，并测试在资源约束的人机协同场景下的应用效率。景下的应用效率。景下的应用效率。

【技术实现步骤摘要】
一种面向资源约束下人机协同场景的深度学习图像编码方法


[0001]本专利技术属于图像编码
，具体涉及一种面向资源约束下人机协同场 景的深度学习图像编码方法。

技术介绍

[0002]随着城市的智能化发展，日益增长的图像应用需求以及图像分辨率的进一 步提升使得原始图像数据量急剧增长。同时，由于近年来机器视觉分析技术的高 速发展，基于深度学习的分类、检测等技术已经展现出相当优越的性能，图像应 用的目标也不仅是满足人眼视觉的需求，更应考虑到机器视觉分析的质量和效 率。因此，大数据时代下人机协同的图像应用对图像编解码系统提出了新的要求 和挑战。
[0003]具体地，基于人机协同机制的图像应用有两个阶段：机器分析和人类决策。 第一个阶段的目标是通过机器提供辅助人类后续判别的预筛选结果。考虑到系 统资源的限制，前端设备采集到的图像应被压缩成一个低码率的数据流，满足在 有限传输带宽下的实时传输，同时编码过程应具有较低的复杂度以节省计算能 耗和运算时间。后端的机器分析算法能够基于这种轻量级的码流来提供分析结 果，同时提供预览图像作为视觉反馈。如果检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向资源约束下人机协同场景的深度学习图像编码方法，其特征在于，包括以下步骤：1)搭建面向人机协同场景的深度图像编码网络框架；2)对于搭建好的深度图像编码网络框架，设置不同的损失函数权重参数，分步依次训练其中的可分析图像压缩网络和特征域分析网络、预览图像生成网络、特征残差压缩网络和高质量重建网络，获取满足不同压缩比的多个网络模型；3)使用得到的网络模型对测试图片进行编码，评估压缩码流的分析质量和重建质量，并测试在资源约束的人机协同场景下的应用效率。2.根据权利要求1所述的一种面向资源约束下人机协同场景的深度学习图像编码方法，其特征在于，步骤1)的具体实现方法为：采用分层编码结构搭建深度图像编码网络框架，框架整体包括可视分析层和高质量重建层两个层次，由分析驱动的图像压缩模块、视觉驱动的特征残差压缩模块、可视化分析模块和高质量重建模块四个模块组成，其中共包含可分析图像压缩网络、特征域分析网络、预览图像生成网络、特征残差压缩网络、高质量重建网络五个不同的子网络；编码得到的分层压缩码流包含由分析驱动的图像压缩模块生成的可视分析层子码流和由视觉驱动的特征残差压缩模块生成的高质量重建层子码流。3.根据权利要求1所述的一种面向资源约束下人机协同场景的深度学习图像编码方法，其特征在于，步骤2)的具体实现方法如下：201)设置损失权重参数设置λ和μ两个初始的损失函数权重参数，其中λ控制可视分析层子码流的码率与机器分析质量的权重分配，μ控制高质量重建层子码流的码率与最终重建质量的权重分配；202)训练可分析图像压缩网络和特征域分析网络在上述步骤确定好权重参数λ后，使用损失函数对可分析图像压缩网络和特征域分析网络进行联合训练，其中表示输出向量与真实标签的交叉熵，采用信息熵I估计可视分析层子码流的压缩码率；203)训练预览图像生成网络在上述步骤得到可分析图像压缩网络和特征域分析网络的网络模型后，冻结其网络参数，使用损失函数L
p
＝d(x,p)单独对预览图像生成网络进行训练，最小化预览图像的重建损失；204)训...

【专利技术属性】
技术研发人员：李凡，王子溪，张云飞，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：