一种交通场景弱监督视频实例分割方法及系统技术方案

本发明专利技术公开了一种交通场景弱监督视频实例分割方法及系统，涉及弱监督视频实例分割领域，其中，所述方法包括：构建弱监督损失模块；基于位置特征细化模块，构建多尺度定位特征金字塔；构建分组调控模块；基于弱监督损失模块、多尺度定位特征金字塔和分组调控模块，构建交通场景弱监督视频实例分割模型；基于交通场景数据集提取交通场景实例；将所述交通场景实例输入所述交通场景弱监督视频实例分割模型，通过所述交通场景弱监督视频实例分割模型对所述交通场景实例进行分割。解决了目前由于弱监督视频实例分割网络像素级标注信息匮乏，而边界框信息监督强度不足，导致网络分割时获取目标位置信息存在误差、掩码分割质量较低的技术问题。问题。问题。

【技术实现步骤摘要】
一种交通场景弱监督视频实例分割方法及系统


[0001]本专利技术涉及弱监督视频实例分割领域，具体地，涉及一种交通场景弱监督视频实例分割方法及系统。

技术介绍

[0002]环境感知技术是无人驾驶汽车安全的保障，为无人驾驶系统在交通场景下的路径规划和决策执行提供重要判断依据。载有无人驾驶系统的车辆在行驶过程中需要对路况环境以及周围目标进行精确感知，以使无人驾驶系统能够实时掌控周围环境对各种情况做出正确的决策，目前常见的环境感知技术有多线激光雷达传感器、毫米波雷达、单线激光雷达、超声波雷达、多传感器信息融合和视觉识别的方法。但由于雷达技术所需设备成本较高，且只能获取到场景目标的深度信息，对于其颜色及纹理信息无法处理。而多传感器信息融合需要用到多个传感器的采样数据进行融合，成本更高且技术难度大。视觉识别作为无人驾驶环境感知技术的新星，其成本低并且能够有效处理环境中目标颜色纹理等信息，随着深度学习的快速发展视觉识别作为环境感知技术具有广阔的研究和应用价值。
[0003]目前作为视觉识别技术所用到的视频实例分割方法训练过程所需精细掩码标签成本过大，将弱监督视频实例分割网络作为无人驾驶系统的视觉识别技术方法可解决此问题，但现有技术中存在由于弱监督视频实例分割网络像素级标注信息匮乏，而边界框信息监督强度不足，导致网络分割时获取目标位置信息存在误差、掩码分割质量较低的技术问题。

技术实现思路

[0004]本申请提供了一种交通场景弱监督视频实例分割方法及系统。解决了目前由于弱监督视频实例分割网络像素级标注信息匮乏，而边界框信息监督强度不足，导致网络分割时获取目标位置信息存在误差、掩码分割质量较低的技术问题。
[0005]鉴于上述问题，本申请提供了一种交通场景弱监督视频实例分割方法及系统。
[0006]第一方面，本申请提供了一种交通场景弱监督视频实例分割方法，其中，所述方法应用于一种交通场景弱监督视频实例分割系统，所述方法包括：基于投影损失函数和颜色相似性损失函数，构建弱监督损失模块；构建位置特征细化模块；基于所述位置特征细化模块，构建多尺度定位特征金字塔；构建分组调控模块，并将所述分组调控模块置于掩码分支后，其中，所述分组调控模块通过通道分组、赋权调控对输入特征进行深度语义解析；基于所述弱监督损失模块、所述多尺度定位特征金字塔和所述分组调控模块，构建交通场景弱监督视频实例分割模型；获得交通场景数据集，并基于所述交通场景数据集提取交通场景实例；将所述交通场景实例输入所述交通场景弱监督视频实例分割模型，通过所述交通场景弱监督视频实例分割模型对所述交通场景实例进行分割。
[0007]第二方面，本申请还提供了一种交通场景弱监督视频实例分割系统，其中，所述系统包括：第一构建模块，所述第一构建模块用于基于投影损失函数和颜色相似性损失函数，
构建弱监督损失模块；第二构建模块，所述第二构建模块用于构建位置特征细化模块；第三构建模块，所述第三构建模块用于基于所述位置特征细化模块，构建多尺度定位特征金字塔；第四构建模块，所述第四构建模块用于构建分组调控模块，并将所述分组调控模块置于掩码分支后，其中，所述分组调控模块通过通道分组、赋权调控对输入特征进行深度语义解析；第五构建模块，所述第五构建模块用于基于所述弱监督损失模块、所述多尺度定位特征金字塔和所述分组调控模块，构建交通场景弱监督视频实例分割模型；场景实例提取模块，所述场景实例提取模块用于获得交通场景数据集，并基于所述交通场景数据集提取交通场景实例；分割模块，所述分割模块用于将所述交通场景实例输入所述交通场景弱监督视频实例分割模型，通过所述交通场景弱监督视频实例分割模型对所述交通场景实例进行分割。
[0008]第三方面，本申请还提供了一种交通场景弱监督视频实例分割设备，包括：总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请提供的一种交通场景弱监督视频实例分割方法。
[0009]本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0010]基于投影损失函数和颜色相似性损失函数，构建弱监督损失模块；基于位置特征细化模块，构建多尺度定位特征金字塔；构建分组调控模块；基于弱监督损失模块、多尺度定位特征金字塔和分组调控模块，构建交通场景弱监督视频实例分割模型；基于交通场景数据集提取交通场景实例；将交通场景实例输入交通场景弱监督视频实例分割模型，通过交通场景弱监督视频实例分割模型对交通场景实例进行分割。达到了通过交通场景弱监督视频实例分割模型对交通场景实例进行分割，提高分割定位准确性，提高掩码分割精度，提升交通场景弱监督视频实例分割质量的技术效果。
[0011]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0012]为了更清楚地说明本公开实施例的技术方案,下面将对本公开实施例的附图作简单地介绍。明显地，下面描述中的附图仅仅涉及本公开的一些实施例,而非对本公开的限制。
[0013]图1为本申请一种交通场景弱监督视频实例分割方法的流程示意图；
[0014]图2为本申请一种交通场景弱监督视频实例分割方法中投影损失的示意图；
[0015]图3为本申请一种交通场景弱监督视频实例分割方法中颜色相似性损失的示意图；
[0016]图4为本申请一种交通场景弱监督视频实例分割方法中多尺度定位特征金字塔的架构图；
[0017]图5为本申请一种交通场景弱监督视频实例分割方法中分组调控模块的架构图；
[0018]图6为本申请一种交通场景弱监督视频实例分割方法中获得实例掩码的架构图；
[0019]图7为本申请一种交通场景弱监督视频实例分割方法中位置特征细化模块的架构图；
[0020]图8为本申请一种交通场景弱监督视频实例分割系统的结构示意图；
[0021]图9为本申请一种交通场景弱监督视频实例分割设备的结构示意图。
[0022]附图标记说明：第一构建模块11，第二构建模块12，第三构建模块13，第四构建模块14，第五构建模块15，场景实例提取模块16，分割模块17，电子设备300，总线301，处理器302，收发器303，总线接口304，存储器305，操作系统306，应用程序307和用户接口308。
具体实施方式
[0023]本申请通过提供一种交通场景弱监督视频实例分割方法及系统。解决了目前由于弱监督视频实例分割网络像素级标注信息匮乏，而边界框信息监督强度不足，导致网络分割时获取目标位置信息存在误差、掩码分割质量较低的技术问题。达到了通过交通场景弱监督视频实例分割模型对交通场景实例进行分割，提高分割定位准确性，提高掩码分割精度，提升交通场景弱监督视频实例分割质量的技术效果。
[0024]实施例一
[0025]请参阅附图1，本申请提供一种交通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通场景弱监督视频实例分割方法，其特征在于，所述方法包括：基于投影损失函数和颜色相似性损失函数，构建弱监督损失模块；构建位置特征细化模块；基于所述位置特征细化模块，构建多尺度定位特征金字塔；构建分组调控模块，并将所述分组调控模块置于掩码分支后，其中，所述分组调控模块通过通道分组、赋权调控对输入特征进行深度语义解析；基于所述弱监督损失模块、所述多尺度定位特征金字塔和所述分组调控模块，构建交通场景弱监督视频实例分割模型；获得交通场景数据集，并基于所述交通场景数据集提取交通场景实例；将所述交通场景实例输入所述交通场景弱监督视频实例分割模型，通过所述交通场景弱监督视频实例分割模型对所述交通场景实例进行分割。2.如权利要求1所述的方法，其特征在于，所述投影损失函数包括：2.如权利要求1所述的方法，其特征在于，所述投影损失函数包括：L
XY
＝L
X
+L
Y
其中，W和H代表图像的宽和高；x
n
和y
n
分别表示真实边界框在x轴和y轴的最大值投影向量；s
n
代表在对应方向像素点为前景概率的最大值投影；L
X
和L
Y
分别表示在x轴和y轴的投影损失；L
XY
为最终的投影损失。3.如权利要求1所述的方法，其特征在于，所述颜色相似性损失函数包括：P(y
e
＝1)＝m
c,d
·
m
e,f
+(1
‑
m
c,d
)
·
(1
‑
m
e,f
)其中，y
e
表示以图像像素点建立的无向图中某一个边e；m
c,d
表示边e其中一个端点为前景目标的概率；m
e,f
表示边e另一端点为前景目标的概率；P(y
e
＝1)则代表边e标签为1的概率，其中无向图中边标签为1表示两端点类别保持一致性，反之则为0；E
in
表示框中至少包含一个像素的边的集合；N为框内E
in
的边数；L
cs
为颜色相似性损失。4.如权利要求1所述的方法，其特征在于，构建位置特征细化模块，包括：所述位置特征细化模块包括子模块一、子模块二和子模块三；基于所述子模块一、所述子模块二和所述子模块三，分别对低层特征进行特征提取，获得第一特征图、第二特征图和第三特征图；将所述第一特征图、所述第二特征图和所述第三特征图分别进行激活函数和批归一化后映射到高层特征图上，获得输出结果。5.如权利要求1所述的方法，其特征在于，基于所述位置特征细化模块，构建多尺度定位特征金字塔，包括：将ResNet50设置为骨干网络，获取骨干网络中的C1层、C2层、C3层、C4层和C5层；
通过卷积将C3层、C4层和C5层进行通道数压缩；将C1层输入所述位置特征细化模块中，获取多尺度信息特征一、多尺度信息特征二和多尺度信息特征三；将通道数压缩后的C5层设置为P5层；将所述P5层进行双线性插值上采样后与C4层融合得到P4层；将所述P4层进行双线性插值上采样后与C3层融合得到P3层；将所述多尺度信息特征一、所述多尺度信息特征二、所述多尺度信息特征三输入所述P3层、所述P4层、所述P5层，获得具有多尺度空间位置信息的P'3层、P'4层、P'5层；对P'3层、P'4层、P'5层进行卷积，获得F3层、F4层、F5层；对所述F5层进行连续两次卷积，获得F6层...

【专利技术属性】
技术研发人员：张印辉，刘姚敏，何自芬，邓云楠，黄滢，海维琪，张枫，徐林，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：