【技术实现步骤摘要】
一种事件语义分割方法及事件语义分割网络
[0001]本专利技术涉及计算机视觉
，具体而言，涉及一种事件语义分割方法及事件语义分割网络。
技术介绍
[0002]语义分割是计算机视觉中的一项基础任务，在自动驾驶领域有着不可忽视的作用。现如今，许多代表性的方法在有着白天清晰图像的情况下取得了高精度的突破。然而，传统相机由于动态范围小，在弱光场景下无法输出清晰的图像。与之不同的是，事件相机是一种新型传感器，可以异步检测每像素亮度变化，并输出一系列事件，因此与传统相机相比具有一些优势：高动态范围(140dB vs 60dB)和高时间分辨率(μs级)。利用高动态范围属性，事件数据能够在的弱光场景中取得语义分割的有效性。
[0003]当前，主要有以下两种方法利用事件数据进行语义分割：基于伪标签的直接训练方法和基于教师学生网路的跨模态知识蒸馏方法。其中基于伪标签的直接训练方法，主要通过数据集中提供的伪标签作为监督信号，使用交叉熵损失函数训练事件语义分割网络。
[0004]相较于基于伪标签的直接训练方法，基于教师学生网路...
【技术保护点】
【技术特征摘要】
1.一种事件语义分割方法，其特征在于，包括：采用第一数据集训练教师网络；其中，所述第一数据集具有多个图像
‑
标签对；采用第二数据集并利用所述教师网络的输出监督训练第一学生网络和第二学生网络；其中，所述第二数据集具有多对灰度图
‑
事件数据；所述教师网络的输入为所述灰度图，所述第一学生网络的输入为所述事件数据，所述第二学生网络的输入为所述事件数据转换得到的伪图像数据；融合所述第一学生网络以及所述第二学生网络的输出，生成语义分割结果。2.根据权利要求1所述的事件语义分割方法，其特征在于，还包括将所述事件数据转换为伪图像数据的步骤，且所述步骤包括：构建模态转换网络；通过所述模态转换网络将所述事件数据转换为伪图像数据；其中，所述模态转换网络与所述第二学生网络同步进行训练。3.根据权利要求2所述的事件语义分割方法，其特征在于，所述模态转换网络的转换损失函数为：失函数为：其中，L
EFIT
为模态转换网络的转换损失；λ
pw
为平衡损失项的超参数；x
i
为灰度图数据；x
e
为事件数据；D为欧式距离函数用来计算两特征之间的距离；L
mckd
‑
fi
为教师网络到第二学生网络的损失。4.根据权利要求1所述的事件语义分割方法，其特征在于，利用所述教师网络的输出监督训练第一学生网络的步骤中，所述教师网络到所述第一学生网络的损失函数为：其中，n为层数；λ
j
为平衡不同层损失项的超参数；D为欧式距离函数用来计算两特征之间的距离；为第j层教师网络输出的特征；为第j层第一学生网络的输出；所述教师网络的输出包括5.根据权利要求1所述的事件语义分割方法，其特征在于，利用所述教师网络的输出监督训练第二学生网络的步骤中，所述教师网络到所述第二学生网络的损失函数为：其中，n为层数；λ
j
为平衡不同层损失项的超参数；D为欧式距离函数用来计算两特征之间的距离；为第j层教师网络输出的特征；为第j层第二学生网络的输出；所述教师网络的输出包括6.根据权利要求1所述的事件语义分割方法，其特征在于，所述融合所述第一学生网络
以及所述第二学生网络的输出，生成语义分割结果的步骤包括：将所述第一学生网络和所述第二学生网络分别划分为n层，形成n个第一学生网络层和n个第二学生网络层；通过融合模块将一所述第一学生网络层的输出与对应的所述第二学生网络层的输出重新加权，并输出加权特征；其中，融合模块的数量为n，所述加权特征作为下一所述第一学生网络层和下一所述第二学生网络层的输入；将融合最终的所述第一学生网络层和所述第二学生网络层的融合模块输出的加权特征的平均值输入到全连接层；所述全连接层生成语义分割结果。7.根据权利要求6所述的事件语义分割方法，其特征在于，将一所述第一学生网络层的输出与对应的所述第二学生网络层的输出重新加权的步骤包括：根据所述第一学生网络层的输出和对应的所述第二学生网络层的输出获得注意值；其中，所述注意值包括沿高度方向的事件特征注意值e
h
、沿宽度方向的事件特征注意值e
w
、沿高度方向的伪图像特征注意值i
h
和沿宽度方向的伪图像特征注意值i
w
；根据加权公式对所述第一学生网络层的输出与对应的所述第二学生网络层的输出重新加权，所述加权公式为：f
e
′
＝f
e
+f
i
×
i
h
×
i
w<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。