时频域联合全景分割方法、系统和介质技术方案

时频域联合全景分割方法、系统和介质，属于深度学习图像处理领域，输入图像，响应于输入图像，时频域联合全景分割卷积神经网络执行分割步骤，获取全景风格，效果是能够应用于自主汽车、辅助驾驶、机器人以及公共安全天眼监控系统等多个领域。控系统等多个领域。控系统等多个领域。

【技术实现步骤摘要】
时频域联合全景分割方法、系统和介质


[0001]本专利技术属于深度学习图像处理领域，具体的说是一种联合了时域和频域两种视角分析全景分割算法的卷积神经网络、时频域联合全景分割方法、系统和介质，适用于无人驾驶和自主机器人场景。

技术介绍

[0002]近年来，无人驾驶和机器人领域由于深度学习的快速发展而取得重大突破，基于强大的场景理解功能，全景分割技术逐渐成为计算机视觉环境感知的重要手段。然而，传统的时域卷积神经网络只能从空间域角度出发对图像进行无差别的特征提取，忽略了图像中由于频率不同而形成的前、背景显著程度的差异性，导致图像前景分割精度不佳；普通的频域卷积神经网络主要观察图像像素的振动变化，有利于分割图像中频率变化差异较大的目标，而对图像背景的空间位置关系分析不足。
[0003]专利《一种带有双向连接和遮挡处理的全景分割方法》(公开号：CN111242954A)提出了一种空间域连接的全景分割方法，通过在语义分割和实例分割间建立双向连接，使得任务间特征相互加强。专利《一种基于卷积实现的图像全景分割预测优化方法》(公开号：CN109801297A)公开了一种基于时域全景分割卷积神经网络，网络从空间关系出发，对实例目标进行遮挡优先级的排序，解决了实例间存在的遮挡问题，但该专利没有考虑到全景图像的频率特性，丢失了实例对象所具有的高频信息，可能导致网络对实例目标的识别精度受到限制。

技术实现思路

[0004]为了解决以双重视角进行网络分析的问题，本专利技术提出如下技术方案：一种时频域联合全景分割方法，包括如下步骤：
[0005]输入图像，
[0006]响应于输入图像，时频域联合全景分割卷积神经网络执行分割步骤，
[0007]获取全景风格。
[0008]进一步的，所述分割包括如下步骤：
[0009]第1步：读取数据集图像，得到四层残差特征；
[0010]第2步：对所述四层残差特征实施高低频特征分离，得到高频特征和低频特征；对所述四层残差特征实施实例特征和语义特征分离，得到实例特征和语义特征；
[0011]第3步：高频特征、低频特征、实例特征和语义特征分配乘积系数，得到时频域特征组合；
[0012]第4步：将时频域特征组合进行拆分，分别送入前景分割网络、背景分割网络，进行分割预测，得到前景分割结果和背景分割结果。
[0013]进一步的，所述分割包步骤中，
[0014]第1步：读取数据集图像，经由预处理结构得到四层残差特征R(R1,R2,R3,R4)；
[0015]第2步：在频域变换网络中，对四层残差特征R(R1,R2,R3,R4)进行必要的特征维度调整后，实施高低频特征分离，得到高频特征H(H1,H2,H3,H4)和低频特征L(L1,L2,L3,L4)；在时域变换网络中，对所述四层残差特征R(R1,R2,R3,R4)进行必要的特征维度调整后，实施实例特征和语义特征分离，得到实例特征I(I1,I2,I3,I4)和语义特征S(S1,S2,S3,S4)。
[0016]进一步的，所述分割包步骤中，
[0017]第3步：将得到的高频特征H、低频特征L、实例特征I和语义特征S传递到时频域联合网络分配乘积系数，得到时频域特征组合{a*H,b*L,c*I,d*S}，高频特征的系数为a，0≦a≦1，低频特征的系数为b，0≦b≦1，实例特征的系数为c，0≦c≦1，语义特征的系数为d，0≦d≦1；
[0018]第4步：将第3步得到的时频域特征组合进行拆分，将{a*H,c*I}(a+c＝1)送入前景分割网络、将{b*L,d*S}(b+d＝1)送入背景分割网络，进行分割预测，得到前景分割结果和背景分割结果。
[0019]进一步的，所述获取全景风格包括步骤：将得到的前景分割结果和背景分割结果传递到全景融合网络得到全景分割结果。
[0020]进一步的，系数分配组合范围C6，如公式(6)所示：
[0021]C6(a,b,c,d)＝{0.7～1,0～0.3,0～0.3,0.7～1}
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0022]进一步的，高频特征H(H1,H2,H3,H4)：
[0023][0024][0025][0026][0027]低频特征L(L1,L2,L3,L4)：
[0028][0029][0030][0031][0032]实例特征I(I1,I2,I3,I4)：
[0033][0034][0035][0036][0037]语义特征S(S1,S2,S3,S4)：
[0038][0039][0040][0041][0042]在公式(7)～(22)中，F
r
(k*k)表示卷积核为k*k、扩张率为r的卷积，F
‑1(k*k)表示卷积核为k*k的反卷积，U(n)表示扩大n倍的双线性插值，表示特征向量X的通道数为a、长为b、宽为c，A＝{F,F
‑1,U}，表示经过A＝{F,F
‑1,U}的计算后，特征向量的通道数由h1变为h2、长l、宽w没有变化；表示经过A＝{F,F
‑1,U}的计算后，特征向量的通道数h没有变化、长由l1变为l2、宽由w1变为w2。
[0043]一种计算机系统，包括：处理器；以及存储器，其中，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令以实现任一项所述的方法的步骤。
[0044]一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被处理器执行时，实现任一项所述的方法的步骤。
[0045]有益效果：
[0046](1)时频域联合，组合时域特征和频域特征
[0047]本专利技术从时域和频域两个层面分析全景分割卷积神经网络，解决了传统时域网络对目标显著性差异的忽视问题，弥补了频域网络在目标空间逻辑分析上的缺陷，通过时域特征和频域特征的组合完美实现了前景分割和背景分割质量的共同提升，提高了全景分割的性能。
[0048](2)频域变换，高低频特征分离
[0049]本专利技术的频域变换网络能够将传统卷积神经网络变换为频域网络，以频域视角分析网络，根据图像的频率特点分离图像高低频特征。
[0050](3)时域变换，实例特征和语义特征分离
[0051]本专利技术的时域变换网络能够将卷积神经网络变换为时域网络，根据图像的空间位置关系分离图像的实例特征和语义特征。
[0052](4)适用于无人驾驶技术
[0053]本专利技术为计算机视觉环境感知技术，适用于无人驾驶领域。本专利技术联合时域特征和频域特征，能够有效提高图像前景和背景的分割精度，精准分割行人、行驶车辆等前景目标和道路、建筑物等背景目标，有利于视觉环境的准确分析，避免交通事故的发生。
[0054](5)适用于工业机器人技术
[0055]本专利技术为计算机视觉环境感知技术，适用于机器人领域，本专利技术联合时域特征和频域特征，能够有效提高图像前景和背景的分割精度，精准分割人、零件等前景目标和道路、厂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时频域联合全景分割方法，其特征在于，包括如下步骤：输入图像，响应于输入图像，时频域联合全景分割卷积神经网络执行分割步骤，获取全景风格。2.如权利要求1所述的时频域联合全景分割方法，其特征在于，所述分割包括如下步骤：第1步：读取数据集图像，得到四层残差特征；第2步：对所述四层残差特征实施高低频特征分离，得到高频特征和低频特征；对所述四层残差特征实施实例特征和语义特征分离，得到实例特征和语义特征；第3步：高频特征、低频特征、实例特征和语义特征分配乘积系数，得到时频域特征组合；第4步：将时频域特征组合进行拆分，分别送入前景分割网络、背景分割网络，进行分割预测，得到前景分割结果和背景分割结果。3.如权利要求2所述的时频域联合全景分割方法，其特征在于，所述分割包步骤中，第1步：读取数据集图像，经由预处理结构得到四层残差特征R(R1,R2,R3,R4)；第2步：在频域变换网络中，对四层残差特征R(R1,R2,R3,R4)进行必要的特征维度调整后，实施高低频特征分离，得到高频特征H(H1,H2,H3,H4)和低频特征L(L1,L2,L3,L4)；在时域变换网络中，对所述四层残差特征R(R1,R2,R3,R4)进行必要的特征维度调整后，实施实例特征和语义特征分离，得到实例特征I(I1,I2,I3,I4)和语义特征S(S1,S2,S3,S4)。4.如权利要求2所述的时频域联合全景分割方法，其特征在于，所述分割包步骤中，第3步：将得到的高频特征H、低频特征L、实例特征I和语义特征S传递到时频域联合网络分配乘积系数，得到时频域特征组合{a*H,b*L,c*I,d*S}，高频特征的系数为a，0≦a≦1，低频特征的系数为b，0≦b≦1，实例特征的系数为c，0≦c≦1，语义特征的系数为d，0≦d≦1；第4步：将第3步得到的时频域特征组合进行拆分，将{a*H,c*I}(a+c＝1)送入前景分割网络、将{b*L,d*S}(...

【专利技术属性】
技术研发人员：杨大伟，任凤至，毛琳，张汝波，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：