一种基于轻量化注意力的城市街景实时实例分割方法技术

本发明专利技术公开了一种基于轻量化注意力的城市街景实时实例分割方法，包括如下步骤：步骤1、读取城市街景数据集并进行预处理及数据增强；步骤2、经步骤1处理后的图像作为输入，通过骨干网络进行特征提取并输出特征图；步骤3、所述特征图输入至有聚焦函数的聚焦线性注意力模块进一步提取特征使其聚焦到目标实例上；步骤4、将所述聚焦注意力模块提取的特征图和骨干网络提取的不同尺寸的特征图进行融合；步骤5、基于解耦头得到检测分支以及掩码分支，将融合后的特征分别输入检测分支和掩码分支得到检测结果和分割掩码，最后将检测结果和分割掩码合成得到目标的实例分割结果。相对于传统的纯卷积神经网络和Transformer模型，它有效地平衡了性能和速度。

【技术实现步骤摘要】

本专利技术涉及图像实例分割，具体指一种基于轻量化注意力的城市街景实时实例分割方法。

技术介绍

1、图像分割技术对自动驾驶和智慧城市的发展至关重要。自动驾驶系统通过集成先进的感知、决策和执行技术，使得车辆能够实时适应各种复杂的交通环境，准确识别和分离城市中的各类对象(如车辆、行人等)。这一技术不仅提高了自动驾驶车辆的环境感知能力，也在智慧城市的智能监控及交通管理中发挥重要作用，通过识别行人、车辆等对象，提高监控的准确性和响应速度，优化交通流量管理，减少交通拥堵。然而，现有的城市街景实例分割技术面临着诸多挑战。例如城市环境的复杂性、设备的计算性能、等问题，都对算法的准确性、效率、鲁棒性提出了更高的要求。

2、传统实例分割通常采用两阶段方法：先检测目标边界框，再在框内进行像素级分割。尽管如mask r-cnn模型准确度高，但速度慢。为提高实时性，一些工作减少网络层数和参数，但又会大幅降低分割精度。近些年来，transformer架构在视觉任务上的成功把注意力机制引入实例分割任务，这是因为transformer依赖于自注意力机制，该机制需要对输入序列中本文档来自技高网...

【技术保护点】

1.一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，所述预处理方法包括将城市街景数据集进行letterbox缩放操作，并将图片大小统一至640×640。

3.根据权利要求1所述的一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，所述数据增强的方法包括HSV增强、MixUp增强、翻转。

4.根据权利要求1所述的一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，所述步骤3中，对于输入聚焦线性注意力模块的特征图需先进行下采样。<...

【技术特征摘要】

1.一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，所述预处理方法包括将城市街景数据集进行letterbox缩放操作，并将图片大小统一至640×640。

3.根据权利要求1所述的一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，所述数据增强的方法包括hsv增强、mixup增强、翻转。

4.根据权利要求1所述的一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，所述步骤3中，对于输入聚焦线性注意力模块的特征图需先进行下采样。

5.根据权利要求1所述的一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，所述聚焦函数为针对聚焦能力引入映射函数fp，表达式如下：

6.根据权利要求1所述的一种基于轻量化注意力的城市街景实时实例分割方法，其特征在于，所述聚焦线性注意力模块的注意力矩阵中集...

【专利技术属性】
技术研发人员：张建辉，张新琦，颜力琦，管昉立，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：