【技术实现步骤摘要】
本申请涉及自动驾驶，尤其涉及一种可通行区域检测方法、语义分割网络模型训练方法及相关装置。
技术介绍
1、图像语义分割在自动驾驶等领域中起着非常重要的作用，近些年来随着深度学习特别是全卷积网络的发展，语义分割任务在很多应用场景取得了较大突破。
2、目前，现有的可通行区域检测方法是以语义分割为基础，给车载相机抓拍的每一帧图像中的每个像素赋一个带有通行语义属性的标签，从而实现单帧图像中可通行区域和非可通行区域的分割，实现可通行区域的检测功能。但由于现有的可通行区域检测方法没有考虑不同帧图像之间的时序相关性，因而容易导致帧间分割结果的流畅性和稳定性较差。因此，如何提高可通行区域检测中帧间分割结果的流畅性和稳定性，成为亟待解决的技术问题。
技术实现思路
1、本申请提供了一种可通行区域检测方法、语义分割网络模型训练方法及相关装置，以解决现有的可通行区域检测方法没有考虑不同帧图像之间的时序相关性，导致帧间分割结果的流畅性和稳定性较差的问题。
2、第一方面，本申请实施例提供了一种可通行区域检测方法，所述方法包括：
3、获取当前帧图像；
4、确定当前帧图像与前一帧图像之间的第一光流图像；
5、获取前一帧合成图像的语义分割结果；
6、对前一帧合成图像的语义分割结果、当前帧图像以及所述第一光流图像进行合成处理，得到当前帧合成图像；
7、采用预先训练得到的语义分割网络模型对所述当前帧合成图像进行语义分割，得到所述当前帧合成
8、基于所述当前帧合成图像的语义分割结果，确定当前帧可通行区域。
9、可选地，确定当前帧图像与前一帧图像之间的第一光流图像，具体包括：
10、基于前一帧图像和当前帧图像，通过稠密反向搜索方法生成第一光流图像。
11、可选地，获取前一帧合成图像的语义分割结果，具体包括：
12、判断当前帧图像是否为首帧图像；
13、若是，则将预置的初始语义分割结果作为前一帧合成图像的语义分割结果。
14、可选地，所述语义分割网络模型包括第一编码层和第一解码层；
15、采用预先训练得到的语义分割网络模型对所述当前帧合成图像进行语义分割得到所述当前帧合成图像的语义分割结果，具体包括：
16、将所述当前帧合成图像输入至所述第一编码层，输出得到所述当前帧合成图像的深度特征，其中，所述深度特征满足帧间特征损失函数的约束条件，所述帧间特征损失函数用于利用前一帧合成图像的深度特征对所述当前帧合成图像的深度特征进行约束；
17、将所述当前帧合成图像的深度特征输入至所述第一解码层，输出得到所述当前帧合成图像的语义分割结果，其中，所述当前帧合成图像的语义分割结果满足帧间分割损失函数的约束条件，所述帧间分割损失函数用于利用前一帧合成图像的语义分割结果对所述当前帧合成图像的语义分割结果进行约束。
18、第二方面，本申请实施例还提供了一种语义分割网络模型训练方法，所述方法包括：
19、获取连续的多帧样本图像；
20、基于所述多帧样本图像，确定训练样本集，其中，所述训练样本集包括多帧样本合成图像以及每帧所述样本合成图像标注的语义分割真值，每帧所述样本合成图像是基于前一帧样本合成图像的语义分割真值、所述多帧样本图像中的当前帧样本图像、所述多帧样本图像中的当前帧样本图像与前一帧样本图像之间的第二光流图像合成得到；
21、利用所述训练样本集对待训练网络模型进行迭代训练，得到语义分割网络模型。
22、可选地，所述待训练网络模型包括第二编码层和第二解码层，所述第二编码层设置有帧间特征损失函数，所述第二解码层设置有帧间分割损失函数和真实分割损失函数；
23、利用所述训练样本集对待训练网络模型进行迭代训练，得到语义分割网络模型，具体包括：
24、将所述训练样本集中的当前帧样本合成图像输入至所述第二编码层，输出得到所述当前帧样本合成图像的深度特征，并基于所述帧间特征损失函数，计算得到所述当前帧样本合成图像与前一帧样本合成图像之间的帧间特征损失值；
25、将所述当前帧样本合成图像的深度特征输入至所述第二解码层，输出得到所述当前帧样本合成图像的语义分割预测值，并基于所述帧间分割损失函数，计算得到所述当前帧样本合成图像与前一帧样本合成图像之间的帧间分割损失值，以及基于所述真实分割损失函数，计算得到所述当前帧样本合成图像的语义分割预测值与语义分割真值之间的真实分割损失值；
26、基于所述帧间特征损失值、所述帧间分割损失值和所述真实分割损失值和预设权重值，确定所述当前帧样本合成图像的总损失值；
27、若所述总损失值大于或等于预设阈值，则对所述第二编码层和所述第二解码层的模型参数进行修正，并将所述当前帧样本合成图像的下一帧样本合成图像输入至所述待训练网络模型继续训练，直至计算得到的总损失值小于所述预设阈值，停止训练，得到所述语义分割网络模型。
28、可选地，基于所述帧间特征损失函数，计算得到所述当前帧样本合成图像与前一帧样本合成图像之间的帧间特征损失值，具体包括：
29、获取前一帧样本合成图像的深度特征；
30、基于所述第二光流图像，对所述前一帧样本合成图像的深度特征进行空间变换，得到空间变换后的前一帧样本合成图像深度特征；
31、基于所述帧间特征损失函数，计算所述空间变换后的前一帧样本合成图像深度特征与所述当前帧样本合成图像的深度特征之间的损失值，得到所述帧间特征损失值。
32、可选地，基于所述帧间分割损失函数，计算得到所述当前帧样本合成图像与前一帧样本合成图像之间的帧间分割损失值，具体包括：
33、获取前一帧样本合成图像的语义分割预测值；
34、基于所述第二光流图像，对所述前一帧样本合成图像的语义分割预测值进行空间变换，得到空间变换后的前一帧样本合成图像语义分割预测值；
35、基于所述帧间分割损失函数，计算所述空间变换后的前一帧样本合成图像语义分割预测值与所述当前帧样本合成图像的语义分割预测值之间的损失值，得到所述帧间分割损失值。
36、可选地，基于所述多帧样本图像，确定训练样本集，具体包括：
37、获取所述多帧样本图像中的当前帧样本图像；
38、确定所述多帧样本图像中的当前帧样本图像与前一帧样本图像之间的所述第二光流图像；
39、获取前一帧样本合成图像对应的语义分割预测值；
40、对前一帧样本合成图像对应的语义分割预测值、所述多帧样本图像中的当前帧样本图像以及所述第二光流图像进行合成处理，得到当前帧样本合成图像；
41、获取所述当前帧样本合成图像标注的语义分割真值；
42、基于所述当前帧样本合成图像和所述语义分割真值，得到训练样本，形成所述训练样本集。
4本文档来自技高网...
【技术保护点】
1.一种可通行区域检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，确定当前帧图像与前一帧图像之间的第一光流图像，具体包括：
3.根据权利要求1所述的方法，其特征在于，获取前一帧合成图像的语义分割结果，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述语义分割网络模型包括第一编码层和第一解码层；
5.一种语义分割网络模型训练方法，其特征在于，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，所述待训练网络模型包括第二编码层和第二解码层，所述第二编码层设置有帧间特征损失函数，所述第二解码层设置有帧间分割损失函数和真实分割损失函数；
7.根据权利要求6所述的方法，其特征在于，基于所述帧间特征损失函数，计算得到所述当前帧样本合成图像与前一帧样本合成图像之间的帧间特征损失值，具体包括：
8.根据权利要求6所述的方法，其特征在于，基于所述帧间分割损失函数，计算得到所述当前帧样本合成图像与前一帧样本合成图像之间的帧间分割损失值，具体包括：
9.根据权利
10.一种可通行区域检测装置，其特征在于，所述装置包括：
11.一种语义分割网络模型训练装置，其特征在于，所述装置包括：
12.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的可通行区域检测方法的步骤，或者实现权利要求5-9任一项所述的语义分割网络模型训练方法的步骤。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行时实现权利要求1-4任一项所述的可通行区域检测方法的步骤，或者实现权利要求5-9任一项所述的语义分割网络模型训练方法的步骤。
16.一种移动工具，其特征在于，包括权利要求12所述的电子设备。
...【技术特征摘要】
1.一种可通行区域检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，确定当前帧图像与前一帧图像之间的第一光流图像，具体包括：
3.根据权利要求1所述的方法，其特征在于，获取前一帧合成图像的语义分割结果，具体包括：
4.根据权利要求1所述的方法，其特征在于，所述语义分割网络模型包括第一编码层和第一解码层；
5.一种语义分割网络模型训练方法，其特征在于，所述方法包括：
6.根据权利要求5所述的方法，其特征在于，所述待训练网络模型包括第二编码层和第二解码层，所述第二编码层设置有帧间特征损失函数，所述第二解码层设置有帧间分割损失函数和真实分割损失函数；
7.根据权利要求6所述的方法，其特征在于，基于所述帧间特征损失函数，计算得到所述当前帧样本合成图像与前一帧样本合成图像之间的帧间特征损失值，具体包括：
8.根据权利要求6所述的方法，其特征在于，基于所述帧间分割损失函数，计算得到所述当前帧样本合成图像与前一帧样本合成图像之间的帧间分割损失值，具体包括：
9.根据权利要求5所述的方法，其特征在于，基于所述多帧样本图像，确定训练样本集，具体包...
【专利技术属性】
技术研发人员：邵枭虎，李涛，张哲，赵凭，王肖，
申请(专利权)人：重庆兰德适普信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。