基于视觉大模型的高分辨率图像处理方法及相关系统技术方案

技术编号:45855827 阅读:5 留言:0更新日期:2025-07-19 11:15
本发明专利技术属于图像处理领域,公开了基于视觉大模型的高分辨率图像处理方法及相关系统,本发明专利技术通过将图像分块并转码映射(得到第一特征图),将全图处理问题转化为对较小局部块的处理,有效减少直接对高分辨率整图进行全局自注意力计算所带来的计算量。本发明专利技术对第一特征图和后续特征进行层归一化处理,确保各层特征具有统一的均值和方差,有助于缓解梯度消失和内部协变量偏移,进而使训练过程更加稳定。本发明专利技术通过将第二特征图按预设尺寸划分为若干小块,在每个小块内进行局部自注意力计算,能够专注于局部区域的细节与语义关系,减少全局自注意力带来的高计算成本,同时保持局部信息的充分表达。

【技术实现步骤摘要】

本专利技术属于图像处理领域,具体涉及基于视觉大模型的高分辨率图像处理方法及相关系统


技术介绍

1、随着电力无人机在电力线路及设备巡视中的大规模应用,对巡检图像的智能分析、目标检测和缺陷隐患识别等任务的要求不断提高。这就要求能够快速、准确地处理高分辨率图像,并从中提取有用信息,确保巡检效率和安全性。

2、近年来,视觉大模型的出现,如视觉模型vit(vision transformer)和自注意力模型swin transformer,为图像目标检测和分类等任务提供了全新的思路和方法。这些模型通过自注意力机制和分层特征提取,不仅提升了模型的语义理解能力,同时也为高分辨率图像处理提供了可能。

3、除了电力行业,视觉大模型在其他高分辨率图像应用领域(如卫星图像、医学影像等)中也显示出巨大潜力,因此对其性能优化和适应性提升具有重要实际意义。

4、vit将图像划分为固定尺寸的图像块patch,通过自注意力机制对图像块patch进行处理。尽管在低分辨率(如224×224)图像上效果良好,但当图像分辨率增大时,计算复杂度大致呈图像边长的本文档来自技高网...

【技术保护点】

1.基于视觉大模型的高分辨率图像处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,将输入的图像进行分块,将分块后的图像进行转码映射,得到第一特征图的具体方法如下:

3.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,对第一特征图进行层归一化处理,得第二特征图的具体方法如下:

4.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,根据预设的尺寸,将第二特征图划分为若干小块,对每个小块进行局部自注意力计算,得到第三特征图的具体方法如下

5....

【技术特征摘要】

1.基于视觉大模型的高分辨率图像处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,将输入的图像进行分块,将分块后的图像进行转码映射,得到第一特征图的具体方法如下:

3.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,对第一特征图进行层归一化处理,得第二特征图的具体方法如下:

4.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,根据预设的尺寸,将第二特征图划分为若干小块,对每个小块进行局部自注意力计算,得到第三特征图的具体方法如下:

5.根据权利要求4所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,对每个小块进行局部自注意力计算的具体方法如下:

6.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,对第四特征图的各个特征进行处理,捕获各位特征之间的相互关系,形成第五特征图的具体方法如下:

7.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,形成第五特征图后,将第五特征图重新进行层归一化处理,直至得到能够作为最终特征图的第五特征图。

8.根据权利要求1所述的基于视觉大模型的高分辨率图像处理方法,其特征在于,将第五特征图作为最终特征图根据预设的所需信息进行检测,得到最终特征图的检测结果时,最终特征图的检测结果包括...

【专利技术属性】
技术研发人员:陈江琦王博张希张国梁周飞石聪聪王进
申请(专利权)人:中国电力科学研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1