一种面向多机器视觉任务的高效编码方法、装置及介质制造方法及图纸

技术编号:41146442 阅读:28 留言:0更新日期:2024-04-30 18:14
本发明专利技术公开了一种面向多机器视觉任务的高效编码方法、装置及介质,涉及图像处理技术领域,包括步骤:根据当前机器视觉任务,通过语义提取网络进行目标先验信息的获取;通过在中间层插入内部适配器的编码器,结合目标先验信息对当前图像进行码率重分配下的图像编码;通过在中间层插入内部适配器的解码器,对图像编码后的图像进行重建以获取解码图像;基于解码图像,通过预训练的机器视觉网络进行任务推断。本发明专利技术在原有编解码器的基础上增加内部适配器,并结合外部先验信息,从而使得机器视觉任务类型发生改变时,无需改变原始的编解码器参数,只需对适配器与机器视觉网络的头部进行适应性训练即可,大大提高了编码的效率。

【技术实现步骤摘要】

本专利技术涉及图像处理,具体涉及一种面向多机器视觉任务的高效编码方法、装置及介质


技术介绍

1、机器视觉模型需要大量的训练数据,特别是最近流行的大型模型如clip、sam、blip等。这样大量的数据的传输和存储对机器视觉应用的进一步发展提出了重大挑战。特别是在边缘设备上,算力以及网络带宽存在一定限制。因此,压缩数据以减少存储和传输成本已成为一个迫切的任务。传统的标准化有损编码方法,如jpeg、hevc和vvc,已经被广泛用于日常数据压缩。近年来,快速发展的基于学习的编解码器也在速率失真性能方面表现出了强大的能力。但随着深度学习应用相关研究工作的逐步深入和成熟,图像或者视频信息在越来越多的场合会被用作机器智能分析任务(如自动驾驶、元宇宙、远程医疗等)的输入,现有的压缩主要致力于对视觉保真度进行优化,忽视了机器和人类对图像的不同感知。因此,这些方法产生的压缩图像常常在下游机器视觉任务中产生次优结果。因此如果能够设计一种面向多智能任务的高效编码框架,提高对于智能任务的率失真性能,将极大地降低所需传输带宽、存储空间,以及算力需求,推动智能多媒体技术的发展。...

【技术保护点】

1.一种面向多机器视觉任务的高效编码方法,其特征在于,包括步骤:

2.如权利要求1所述的一种面向多机器视觉任务的高效编码方法,其特征在于,所述S1步骤中机器视觉任务包括图像分类、语义分割和目标检测。

3.如权利要求1所述的一种面向多机器视觉任务的高效编码方法,其特征在于,所述S1步骤中,目标先验信息包括目标检测框、边缘信息、灰度图、深度信息。

4.如权利要求1所述的一种面向多机器视觉任务的高效编码方法,其特征在于,所述内部适配器由两个深度卷积层和一个零卷积层组成,所述零卷积层为初始权重为零的卷积层。

5.如权利要求1所述的一种面向多机器视觉...

【技术特征摘要】

1.一种面向多机器视觉任务的高效编码方法,其特征在于,包括步骤:

2.如权利要求1所述的一种面向多机器视觉任务的高效编码方法,其特征在于,所述s1步骤中机器视觉任务包括图像分类、语义分割和目标检测。

3.如权利要求1所述的一种面向多机器视觉任务的高效编码方法,其特征在于,所述s1步骤中,目标先验信息包括目标检测框、边缘信息、灰度图、深度信息。

4.如权利要求1所述的一种面向多机器视觉任务的高效编码方法,其特征在于,所述内部适配器由两个深度卷积层和一个零卷积层组成,所述零卷积层为初始权重为零的卷积层。

5.如权利要求1所述的一种面向多机器视觉任务的高效编码方法,其特征在于,所述内部适配器通过改变特征分布实现不同机器视觉任务之间的迁移学习。

6....

【专利技术属性】
技术研发人员:金鑫刘津铭曾文军
申请(专利权)人:宁波东方理工大学暂名
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1