时频域联合全景分割卷积神经网络及应用制造技术

时频域联合全景分割卷积神经网络及应用，属于深度学习图像处理领域，包括频域变换网络，将输入变换为频域信息，提取图像的高低频特征；时域变换网络，将输入变换为时域信息，提取图像中的实例特征和语义特征；时频域联合网络，为频域变换网络和时域变换网络分别对应输出的高频特征、低频特征、实例特征和语义特征依次分配乘积系数；分割融合网络，融合前背景分割结果，生成全景分割结果，效果是能够应用于自主汽车、辅助驾驶、机器人以及公共安全天眼监控系统等多个领域。眼监控系统等多个领域。眼监控系统等多个领域。

【技术实现步骤摘要】
时频域联合全景分割卷积神经网络及应用


[0001]本专利技术属于深度学习图像处理领域，具体的说是一种联合了时域和频域两种视角分析全景分割算法的卷积神经网络，适用于无人驾驶和自主机器人场景。

技术介绍

[0002]近年来，无人驾驶和机器人领域由于深度学习的快速发展而取得重大突破，基于强大的场景理解功能，全景分割技术逐渐成为计算机视觉环境感知的重要手段。然而，传统的时域卷积神经网络只能从空间域角度出发对图像进行无差别的特征提取，忽略了图像中由于频率不同而形成的前、背景显著程度的差异性，导致图像前景分割精度不佳；普通的频域卷积神经网络主要观察图像像素的振动变化，有利于分割图像中频率变化差异较大的目标，而对图像背景的空间位置关系分析不足。
[0003]专利《一种带有双向连接和遮挡处理的全景分割方法》(公开号：CN111242954A)提出了一种空间域连接的全景分割方法，通过在语义分割和实例分割间建立双向连接，使得任务间特征相互加强。专利《一种基于卷积实现的图像全景分割预测优化方法》(公开号：CN109801297A)公开了一种基于时域全景分割卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时频域联合全景分割卷积神经网络，其特征在于，包括频域变换网络，将输入变换为频域信息，提取图像的高低频特征；时域变换网络，将输入变换为时域信息，提取图像中的实例特征和语义特征；时频域联合网络，为频域变换网络和时域变换网络分别对应输出的高频特征、低频特征、实例特征和语义特征依次分配乘积系数；分割融合网络，融合前背景分割结果，生成全景分割结果。2.如权利要求1所述的时频域联合全景分割卷积神经网络，其特征在于，高频特征的系数为a，0≦a≦1，低频特征的系数为b，0≦b≦1，实例特征的系数为c，0≦c≦1，语义特征的系数为d，0≦d≦1，系数分配原则是系数组(a，b)中只有一个零系数、系数组(c，d)中只有一个零系数。3.如权利要求2所述的时频域联合全景分割卷积神经网络，其特征在于，系数分配组合范围C6如公式所示：C6(a,b,c,d)＝{0.7～1,0～0.3,0～0.3,0.7～1}。4.如权利要求1所述的时频域联合全景分割卷积神经网络，其特征在于，频域变换网络由预处理结构和一个频域变换模块构成，频域变换模块包括一个高通链路和一个低通链路，高通链路由两个完全相同的高通卷积层和一个反卷积层构成；低通链路由一个低通卷积层和一个上采样层构成；时域变换网络由预处理结构和一个时域变换模块构成，时域变换模块包括一个实例链路和一个语义链路，实例链路由一层反卷积层构成，语义链路由一层上采样层构成。5.如权利要求1所述的时频域联合全景分割卷积神经网络，其特征在于，分割融合网络包括前景分割网络，由三层3*3的卷积层和一层反卷积层构成；背景分割网络，由三层可变形卷积层和相应的上采样结构组成；全景融合网络，融合前背景分割结果。6.如权利要求1所述的时频域联合全景分割卷积神经网络，其特征在于，前景分割网络接收高频特征H，通过卷积网络处理后，得到相应的前景分割结果H＇；背景分割网络结构语义特征S，通过可变形卷积网络处理后，得到相应的背景分割结果S＇，全景融合网络融合前景分割结果H＇和背景分割结果S＇，生成全...

【专利技术属性】
技术研发人员：毛琳，任凤至，杨大伟，张汝波，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：