System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像特征处理方法、图像编码方法、图像解码方法及装置制造方法及图纸_技高网

图像特征处理方法、图像编码方法、图像解码方法及装置制造方法及图纸

技术编号:41198424 阅读:4 留言:0更新日期:2024-05-07 22:26
本申请公开了一种图像特征处理方法、图像编码方法、图像解码方法、装置以及计算机存储介质,该方法包括:获取待处理的原始图像特征;将所述原始图像特征分别输入信息增强模块的全局注意力网络,提取所述原始图像特征的全局注意力权重;利用所述全局注意力权重对所述原始图像特征进行信息增强,得到目标图像特征;其中,图像编码或图像解码中的变换、反变换、辅变换、辅反变换、编解码模块、概率模型、上下文预测器、预测器中的至少一种包括所述信息增强模块,以实现图像特征处理功能。本申请通过使用具有全局信息指导的全局注意力网络,增强图像特征的重要信息,提取紧凑的信息,提高图像特征的判别能力和处理能力。

【技术实现步骤摘要】

本申请涉及特征处理,特别是涉及一种图像特征处理方法、图像编码方法、图像解码方法、装置以及计算机存储介质。


技术介绍

1、传统的图像编解码技术是针对人类视觉特性设计的,而随着深度神经网络在各项机器视觉任务中展现出的优越性能,例如图像分类、目标检测、语义分割等,涌现出大量基于机器视觉的人工智能应用。为了保证机器视觉任务的性能不因图像编码过程而受损,采取先分析后编码的模式应对机器视觉需求,即在图像获取端直接将无损的图像通过神经网络进行特征提取,然后对所提取的特征进行编码传输,解码端直接利用解码后的特征输入到后续网络结构中完成不同的机器视觉任务。因此,为了节省传输带宽资源,需要研究针对机器视觉的图像编码方法。

2、然而,目前的图像编解码过程中特征处理算法上存在一定的缺陷,没有注意力模块,对所有特征信息平等对待,不利于特征的判别能力,网络的特征处理能力有效,编码的码率可能会较高。


技术实现思路

1、本申请提供一种图像特征处理方法、图像编码方法、图像解码方法、装置以及计算机存储介质。

2、本申请采用的一个技术方案是提供一种图像特征处理方法,所述图像特征处理方法包括:

3、获取待处理的原始图像特征;

4、将所述原始图像特征分别输入信息增强模块的全局注意力网络,提取所述原始图像特征的全局注意力权重;

5、利用所述全局注意力权重对所述原始图像特征进行信息增强,得到目标图像特征;

6、其中,图像编码或图像解码中的变换、反变换、辅变换、辅反变换、编解码模块、概率模型、上下文预测器、预测器中的至少一种包括所述信息增强模块,以实现图像特征处理功能。

7、其中,所述全局注意力网络包括第一分支和第二分支;

8、所述将所述原始图像特征分别输入信息增强模块的全局注意力网络,提取所述原始图像特征的全局注意力权重,包括:

9、将所述原始图像特征输入所述第二分支的全局信息提取网络,提取所述原始图像特征的全局信息;

10、将所述全局信息输入所述第二分支的激活函数,获取所述原始图像特征的全局注意力权重;

11、所述利用所述全局注意力权重对所述原始图像特征进行信息增强,得到目标图像特征,包括:

12、将所述原始图像特征输入所述第一分支,将所述原始图像特征进行特征提取;

13、将所述全局注意力权重和特征提取后的原始图像特征进行相乘,得到全局注意力特征;

14、将所述原始图像特征和所述全局注意力特征进行融合,得到所述目标图像特征。

15、其中,所述全局注意力网络包括通道注意力网络;

16、所述提取所述原始图像特征的全局注意力权重,包括:

17、将所述原始图像特征输入所述通道注意力网络,对所述原始图像特征进行池化处理,获取所述原始图像特征的每个通道特征的全局信息;

18、基于所述原始图像特征所有通道特征的全局信息的相关性,获取每个通道特征的通道级缩放因子。

19、所述利用所述全局注意力权重对所述原始图像特征进行信息增强,得到目标图像特征,包括:

20、利用所述通道级缩放因子对所述原始图像特征进行通道信息增强处理,得到所述目标图像特征。

21、其中,所述全局注意力网络还包括空间特征转换网络;

22、所述利用所述全局注意力权重对所述原始图像特征进行信息增强,得到目标图像特征,包括:

23、利用所述通道级缩放因子对所述原始图像特征进行通道信息增强处理,得到通道增强图像特征;

24、将所述通道增强图像特征输入所述空间特征转换网络,分别获取像素级缩放因子和移位因子;

25、利用所述缩放因子和所述移位因子对所述通道增强图像特征进行空间信息增强处理,得到所述目标图像特征。

26、其中,所述全局注意力网络包括卷积网络以及若干堆叠的注意力网络;期其中,所述卷积网络用于对原始图像特征进行特征提取,所述若干堆叠的注意力网络用于提取特征提取后的原始图像特征的全局注意力权重,所述全局注意力网络将所述原始图像特征与所述全局注意力权重进行融合,得到所述目标图像特征。

27、其中,所述信息增强模块包括卷积网络和激活函数,所述卷积网络用于提取所述原始图像特征的全局信息,所述激活函数用于将所述全局信息转化为全局注意力权重;

28、所述图像特征处理方法,还包括:

29、将所述卷积网络的网络输入,网络权重和/或网络偏置从浮点数量化为整数。

30、其中,所述图像特征处理方法,还包括:

31、将所述激活函数的函数输入和函数输出从浮点数量化为整数。

32、本申请采用的另一个技术方案是提供一种图像编码方法,所述图像编码方法包括:

33、获取变换网络输出的变换图像特征,以及辅反变换网络输出的辅反变换图像特征;

34、将所述变换图像特征和所述辅反变换图像特征输入上下文预测器;

35、利用所述上下文预测器中预测网络根据所述辅反变换图像特征输出的预测特征和所述变换图像特征,获取原始残差信息;

36、利用所述预测特征,生成调制权重;

37、按照所述调制权重对所述原始残差信息进行优化,得到优化残差信息;

38、将所述优化残差信息输入所述上下文预测器的上下文模型,获取概率模型参数;

39、按照所述概率模型参数对所述优化残差信息进行编码,得到特征码流;

40、其中,所述变换图像特征,和/或所述辅反变换图像特征通过上述的图像特征处理方法处理所得。

41、其中,所述按照所述调制权重对所述原始残差信息进行优化,得到优化残差信息,包括:

42、将所述调制权重与所述原始残差信息相乘,得到调制残差信息;

43、将所述调制残差信息与所述原始残差信息融合,得到所述优化残差信息。

44、本申请采用的另一个技术方案是提供一种图像解码方法,所述图像解码方法包括:

45、获取解码模块输出的解码残差,以及上下文预测器输出的预测特征;

46、利用所述预测特征,生成调制权重;

47、按照所述调制权重对所述解码参数进行反优化,得到反优化残差信息;

48、按照所述反优化残差信息对特征码流进行解码,得到解码图像;

49、其中,所述解码残差,和/或所述预测特征通过上述的图像特征处理方法处理所得。

50、本申请采用的另一个技术方案是提供一种图像编码装置,所述图像编码装置包括存储器以及与所述存储器耦接的处理器;

51、其中,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如上述的图像特征处理方法,和/或图像编码方法。

52、本申请采用的另一个技术方案是提供一种图像解码装置,所述图像解码装置包括存储器以及与所述存储器耦接的处理器;

本文档来自技高网...

【技术保护点】

1.一种图像特征处理方法,其特征在于,所述图像特征处理方法包括:

2.根据权利要求1所述的图像特征处理方法,其特征在于,

3.根据权利要求1所述的图像特征处理方法,其特征在于,

4.根据权利要求3所述的图像特征处理方法,其特征在于,

5.根据权利要求1所述的图像特征处理方法,其特征在于,

6.根据权利要求1所述的图像特征处理方法,其特征在于,

7.根据权利要求6所述的图像特征处理方法,其特征在于,

8.一种图像编码方法,其特征在于,所述图像编码方法包括:

9.根据权利要求8所述的图像编码方法,其特征在于,

10.一种图像解码方法,其特征在于,所述图像解码方法包括:

11.一种图像编码装置,其特征在于,所述图像编码装置包括存储器以及与所述存储器耦接的处理器;

12.一种图像解码装置,其特征在于,所述图像解码装置包括存储器以及与所述存储器耦接的处理器;

13.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序数据,所述程序数据在被计算机执行时,用以实现如权利要求1至7任一项所述的图像特征处理方法、权利要求8至9任一项所述的图像编码方法,和/或权利要求10所述的图像解码方法。

...

【技术特征摘要】

1.一种图像特征处理方法,其特征在于,所述图像特征处理方法包括:

2.根据权利要求1所述的图像特征处理方法,其特征在于,

3.根据权利要求1所述的图像特征处理方法,其特征在于,

4.根据权利要求3所述的图像特征处理方法,其特征在于,

5.根据权利要求1所述的图像特征处理方法,其特征在于,

6.根据权利要求1所述的图像特征处理方法,其特征在于,

7.根据权利要求6所述的图像特征处理方法,其特征在于,

8.一种图像编码方法,其特征在于,所述图像编码方法包括:

9.根据权利要...

【专利技术属性】
技术研发人员:施晓迪粘春湄江东林聚财殷俊
申请(专利权)人:浙江大华技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1