基于混合扩张网络的实时分割系统与方法技术方案

本发明专利技术涉及一种基于混合扩张网络的实时分割系统与方法，属于计算机视觉领域；包括主干网MobileNet v2和轻量级的混合空洞卷积模块；轻量级的混合空洞卷积模块通过多尺度信息和有效的注意机制，在准确性和高效率方面实现全面的权衡；轻量级的混合空洞卷积模块主要包括深度可分离注意力模块和混合多尺度模块；深度可分离注意模块为单层混合卷积设计。一方面，它可以通过增加网络的深度来增强信息的表达。另一方面，深度可分离卷积对每个信道分别执行卷积分离，从而减少了参数大小和计算成本。

【技术实现步骤摘要】
基于混合扩张网络的实时分割系统与方法
本专利技术涉及计算机视觉领域，具体的说，涉及一种基于混合扩张网络的实时分割系统与方法。
技术介绍
目前，各类传感器应用图像分割技术，具备了对环境感知的能力，能够分割识别图片中的各项信息，传感器通过对周围的场景感知决定后续工作，其应用的图像分割模型通常分为两种，一种是端到端的语义分割模型，另一种是实时分割模型。为了提高分割图片的准确性，以往的端到端的方法往往设计出更为复杂的语义分割结构，如多尺度、密集连接策略等。Chen等人提出了DeepLab系列，主要提出利用不同采样率的扩展卷积来捕获多尺度信息的金字塔池化模块(ASPP)。ASPP在分割精度方面取得了显著的提高，但通常模型繁琐，计算代价较为高昂。由于硬件设备存储的局限性，这些方法不适用于小型和实时设备。为了解决上述问题，目前的工作主要集中在设计有效的特征重用和卷积分解等策略上。AndrewHoward等人，提出了MobileNet系列模型，利用了深度可分离卷积，它将一个传统卷积分解一个深度卷积和一个1×1的逐点卷积，对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1×1的卷积操作来结合所有深度卷积得到的输出，此操作可以减少参数和模型大小。然而这些实时模型存在信息提取能力不足、丢失详细信息等问题，导致精度性能下降，难以满足实际应用中对于复杂路况的分割需求。
技术实现思路
本专利技术针对上述现有技术的缺失，利用语义分割技术实现对图片进行实时分割识别的系统与方法，提出一种既能较为精准又能做到实时的分割的模型；具体涉及一种基于混合扩张网络的实时分割系统与方法。本专利技术通过以下技术方案实现，包括轻量化主干网络MobileNetv2、混合空洞卷积模块；混合空洞卷积模块由轻量级的空间金字塔注意模块、全局信息增强模块组成；所述的轻量级的空间金字塔注意模块通过多尺度信息和有效的注意机制，在准确性和高效率方面实现全面的权衡；轻量级的空间金字塔注意模块主要包括深度可分离注意力模块和混合多尺度模块；深度可分离注意力模块为单层混合卷积设计；还包括与空间金字塔注意模块连接的全局信息增强模块，通过增加全局信息增强模块的两个有效的远程快捷连接，补充关键信息和扩展空间金字塔注意模块输出特征映射的维数；最后，形成采样输出特征图。所述的空间金字塔注意模块主要包括深度可分离注意力模块和混合多尺度模块；深度可分离注意力模块为单层混合卷积设计，采用多层混合深度卷积连接方法，能增强关键信息表示、降低参数量，大卷积核能提升卷积对信息的捕捉能力，利用小核捕捉细节信息，利用大核捕捉更为全局的信息，然后再把这些已增强的信息输入到混合多尺度模块。混合多尺度模块，使用混合卷积核，利用小核捕捉细节信息，利用大核捕捉更为全局的信息，增强信息；使用混合空洞率，分别在每个卷积的核的可承受范围内，增大每个卷积的感受野，使信息更全；使用深度可分离卷积，能降低模型的参数，提升模型的精度和效率。本专利技术包括以下步骤：步骤1，执行轻量级的混合空洞卷积模块，将主干网络MobileNetv2的尾部输出的语义特征，输入到深度可分离注意力模块中，以增加信息表示；步骤2，将基于步骤1得到的多尺度特征图输入到混合多尺度模块中；步骤3，执行全局信息增强模块，通过增加全局信息增强模块的两个有效的远程快捷连接，补充关键信息和扩展空间金字塔注意模块输出特征映射的维数；步骤4，形成采样输出特征图，主干网络MobileNetv2输出的特征图经过深度可分离注意力模块轻量化的增强信息，并形成了四个不同尺寸的信息，多尺度信息再经由混合多尺度模块轻量化的增强信息的精细度和全局性，最后结合输出特征图。本专利技术的有益效果在于，1、提出了一种用于计算机视觉语义分割任务的轻量级网络混可扩张网络。与其他方法相比，本方法在速度、精度和内存方面拥有更平衡的性能；2、提出了一种有效的混合多尺度模块，该模块在深度扩张可分离卷积中混合多个核大小，并探索出了核大小与扩张规模的最佳匹配方案。提高了卷积核对信息的捕捉能力，扩展了感受野，提高了模型的精度；3、设计了一种高效的深度可分离注意力模块，该模块采用多层混合深度卷积连接方式来增强信息的表征能力。该注意力机制在略微增加计算量的情况下，有效地提高了模型的精度。附图说明图1为本专利技术结构流程图。图2为空间金字塔注意模块结构图。具体实施方式下面结合附图1对本专利技术的优选实施例作进一步说明，本专利技术包括包括轻量化主干网络MobileNetv2、混合空洞卷积模块；混合空洞卷积模块由轻量级的空间金字塔注意模块、全局信息增强模块组成；所述的轻量级的混合空洞模块通过多尺度信息和有效的注意机制，在准确性和高效率(例如，执行速度、内存占用或计算复杂性)方面实现全面的权衡；如图1所示，给定一个输入，首先将其输入我们的骨干网络以获得语义特征。对于高分辨率数据集，编码器的输出步长(OS)合理地设置为8，是本领域人员常用的缩小图片尺寸的技术，这样使得特征图能够下采样到原图的1/8大小，以节省内存资源，并在训练过程中保留更多的空间细节。此外通过膨胀卷积替换最后四个亚采样操作，并交替应用一组混合膨胀率{2、3、5、7}来保持视野。所述的空间金字塔注意模块主要包括深度可分离注意力模块和混合多尺度模块；深度可分离注意力模块为单层混合卷积设计，采用多层混合深度卷积连接方法，能增强关键信息表示、降低参数量，大卷积核能提升卷积对信息的捕捉能力，利用小核捕捉细节信息，利用大核捕捉更为全局的信息，然后再把这些已增强的信息输入到混合多尺度模块。具体地，使用卷积核为{3,5,7,9}深度空洞可分离卷积。此种设计有两个优点，一方面，它可以通过增加网络的深度来增强信息的表达。另一方面，深度可分离卷积对每个信道分别执行卷积分离，从而减少了参数大小和计算成本。混合多尺度模块，使用混合卷积核，利用小核捕捉细节信息，利用大核捕捉更为全局的信息，增强信息；使用混合空洞率，分别在每个卷积的核的可承受范围内，增大每个卷积的感受野，使信息更全；使用深度可分离卷积，能降低模型的参数，提升模型的精度和效率。具体的地，采用卷积核为{3,5,7,9}，空洞率为{1,2,4,8}的深度可分离卷积。还包括与空间金字塔注意模块连接的全局信息增强模块，通过增加全局信息增强模块的两个有效的远程快捷连接，补充关键信息和扩展空间金字塔注意模块输出特征映射的维数；最后，形成采样输出特征图。本专利技术包括以下步骤：步骤1，执行轻量级的混合空洞卷积模块，将从主干网MB的尾部输出的语义特征，输入到深度可分离注意力模块中，以增加信息表示；步骤2，将基于步骤1得到的多尺度特征图输入到混合多尺度模块中；混合多尺度模块结合了多个内核大小的优点，以不同的分辨率捕获不同的模式，并使用多个空洞卷积来增加有效的感受野。这些方法大大提高了模型的效率和准确性。步骤3，执行全局信息增强模块，通本文档来自技高网...

【技术保护点】
1.基于混合扩张网络的实时分割系统，其特征在于：包括轻量化的主干网络MobileNetv2和混合空洞卷积模块；/n混合空洞卷积模块由轻量级的空间金字塔注意模块、全局信息增强模块组成；/n轻量级的空间金字塔注意模块通过多尺度信息和有效的注意机制，在准确性和高效率方面实现全面的权衡；轻量级的空间金字塔注意模块主要包括深度可分离注意力模块和混合多尺度模块；深度可分离注意力模块为单层混合卷积设计；/n还包括与空间金字塔注意模块连接的全局信息增强模块，通过增加与全局信息增强模块的两个有效的远程快捷连接，补充关键信息和扩展空间金字塔模块输出特征映射的维数；最后，形成采样输出特征图。/n

【技术特征摘要】
1.基于混合扩张网络的实时分割系统，其特征在于：包括轻量化的主干网络MobileNetv2和混合空洞卷积模块；
混合空洞卷积模块由轻量级的空间金字塔注意模块、全局信息增强模块组成；
轻量级的空间金字塔注意模块通过多尺度信息和有效的注意机制，在准确性和高效率方面实现全面的权衡；轻量级的空间金字塔注意模块主要包括深度可分离注意力模块和混合多尺度模块；深度可分离注意力模块为单层混合卷积设计；
还包括与空间金字塔注意模块连接的全局信息增强模块，通过增加与全局信息增强模块的两个有效的远程快捷连接，补充关键信息和扩展空间金字塔模块输出特征映射的维数；最后，形成采样输出特征图。


2.根据权利要求1所述的基于混合扩张网络的实时分割系统，其特征在于：
所述的空间金字塔注意模块主要包括深度可分离注意力模块和混合多尺度模块；
深度可分离注意力模块为单层混合卷积设计，利用小核捕捉细节信息，利用大核捕捉更为全局的信息，然后再把这些已增强的...

【专利技术属性】
技术研发人员：蒋斌，何建凯，杨超，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43