【技术实现步骤摘要】
本专利技术属于计算机视觉，尤其涉及一种基于掩码映射的工地路面状态异常检测方法及系统。
技术介绍
1、近年来，基于卷积神经网络的语义分割模型由于可以提供对周围环境的像素级解释，这在安全性要求较高的场景中，比如地园区自动驾驶、车路协同等，发挥着越来越重要的作用。在复杂的工地驾驶场景下，基于强监督深度学习方法对数据集中预先定义的类别进行高精度像素级分类是不可靠的。这是由于面对未知的路面异常状态，如道路抛洒物、障碍物等，基于卷积神经网络的语义分割模型不仅可能无法识别它，甚至会过于自信地将其分类为预先定义的类别，这种情况造成了严重的安全隐患，极大地限制了图像语义分割在工地园区自动驾驶关键应用的部署。此外，道路障碍物是指在道路上出现的影响工地园区交通、阻碍行车的物体，它没有具体的特征，这意味着预定义道路上可能出现的所有类型障碍物是无法完成的，因此，训练语义分割网络使其具有工地道路路面状态异常掩码映射的能力是至关重要的。
2、当前，已有一些工作提出了模型检测工地道路路面状态异常的解决方案。fishyscapes是一个首先被提出公共基准，它用于评估驾驶环境语义分割现实世界任务。基于该数据集，标准化最大逻辑(standardized max logits,sml)是一种不确定性估计方法，它通过设计函数来计算不确定性概率来获得异常分数。然而，由于基于该方法的分割模型对路面状态异常仍过于自信，因此检测结果是嘈杂和不准确的，另一类方法通过添加额外的训练任务或利用外部分布外(out of detection,ood)数据集作为异常类中的样本来
技术实现思路
1、为了解决上述提到的问题，本专利技术提供一种基于掩码映射的路面状态异常检测方法及系统。
2、第一方面，本专利技术提供的一种基于掩码映射的路面状态异常检测方法，采用如下的技术方案：
3、一种基于掩码映射的路面状态异常检测方法，包括：
4、s1.获取已知类的工地道路环境图像；
5、s2.将所述已知类的工地道路环境图像的类别映射为对应的采用像素值表示的掩码；
6、s3.构建语义分割模型，利用所述采用像素值表示的掩码对语义分割模型进行训练，得到能够识别已知类工地道路环境的第一语义分割模型，冻结所述第一语义分割模型分类块以外的所有参数；
7、s4.构建联合损失函数，使用所述联合损失函数微调第一语义分割模型分类块，优化损失函数值得到第二语义分割模型；
8、s5.利用所述第二语义分割模型对待检测的工地道路环境图像进行检测，得到包含掩码信息的分割掩码，将所述分割掩码和道路路面状态异常类别的掩码比较，得到检测结果。
9、进一步地，所述将已知类的工地道路环境图像的类别映射为对应的采用像素值表示的掩码包括：对已知类的工地道路环境图像的类别采用掩码进行定义，将每个像素分配给特定的类别，以实现图像中不同对象的分割。
10、进一步地，所述联合损失函数包括分割损失、警觉损失和平滑损失，所述联合损失函数计算公式为：
11、ltotal＝lseg+λ1lvem+λ2lreg，其中lseg表示分割损失、lvem表示警觉损失，lreg表示平滑损失，λ1表示警觉损失影响因子，λ2表示平滑损失影响因子。
12、进一步地，所述警觉损失计算公式为：
13、
14、其中，与分别表示像素正常状态与异常状态，min与mout分别表示正常样本与异常样本警觉阈值；
15、所述平滑损失计算公式为：
16、其中，β1和β2分别是相临像素超参数与拉普拉斯平滑超参数，表示水平和垂直方向上的相邻像素，ldice表示带有拉普拉斯平滑项的细节损失。
17、进一步地，所述使用所述联合损失函数微调第一语义分割模型分类块，包括通过pytorch中的内置函数dataloader()加载新的包含异常状态信息数据的数据集，同时定义工地道路路面状态异常类别；通过pytorch库中内置函数torch.optim.sgd()作为优化器对象optimizer保存第一语义分割模型当前的参数状态；通过pytorch中的内置函数forword()得到第一语义分割模型已知类的预测概率值。
18、进一步地，所述优化损失函数值得到第二语义分割模型，包括使用优化器对象，计算损失函数的损失值，其中，调用pytorch中内置的自动求导函数loss.backward()，计算损失函数对模型参数的梯度，调用pytorch中内置的优化器对象optimizer.step()更新模型的参数，最小化损失函数值，得到第二语义分割模型。
19、第二方面，一种基于掩码映射的工地路面状态异常检测系统，包括：
20、图像获取模块，被配置为，获取已知类的工地道路环境图像；
21、掩码处理模块，被配置为，将所述已知类的工地道路环境图像的类别映射为对应的采用像素值表示的掩码；
22、初始训练模块，被配置为，构建语义分割模型，利用所述采用像素值表示的掩码对语义分割模型进行训练，得到能够识别已知类工地道路环境的第一语义分割模型，冻结所述第一语义分割模型分类块以外的所有参数；
23、微调训练模块，被配置为，构建联合损失函数，使用所述联合损失函数微调第一语义分割模型分类块，优化损失函数值得到第二语义分割模型；
24、异常检测模块，被配置为，利用所述第二语义分割模型对待检测的工地道路环境图像进行检测，得到包含掩码信息的分割掩码，将所述分割掩码和道路路面状态异常类别的掩码比较，得到检测结果。
25、第三方面，本专利技术提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行一种基于掩码映射的工地路面状态异常检测方法。
26、第四方面，本专利技术提供一种计算机设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于掩码映射的工地路面状态异常检测方法。
27、综上所述，本专利技术具有如下的有益技术效果：
28、1、本专利技术面向安全性要求较高的工地园区自动驾驶、车路协同等驾驶场景，提出了一种路面状态异常掩码映射方法，通过改进的语义分割模型与模型二次训练方法，实现了在不影响原本语义分割模型内部正常类别分割性能的情况下，对非常规情形或物体的精准映射。
29、2、本专利技术提出的联合损失函数与模型微调方法，通过冻结语义分割模型分类块以外的所有参数，修改语义分割模型损失函数，实现了在不显著增加计算量和训练难度的情况下，正常像素和异常像素差异的拓宽，提高了对路面异常状态的映射能力本文档来自技高网...
【技术保护点】
1.一种基于掩码映射的工地路面状态异常检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述将已知类的工地道路环境图像的类别映射为对应的采用像素值表示的掩码包括：对已知类的工地道路环境图像的类别采用掩码进行定义，将每个像素分配给特定的类别，以实现图像中不同对象的分割。
3.如权利要求1所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述联合损失函数包括分割损失、警觉损失和平滑损失，所述联合损失函数计算公式为：Ltotal＝Lseg+λ1Lvem+λ2Lreg，其中Lseg表示分割损失、Lvem表示警觉损失，Lreg表示平滑损失，λ1表示警觉损失影响因子，λ2表示平滑损失影响因子。
4.如权利要求3所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述分割损失计算公式为：其中，表示像素处的类别，表示内类中不分类的警觉反馈因子，表示像素处的内点警觉值，为y类在像素处的logit，Y表示分割网络中的像素级标签种类数。
5.如权利要求3所述的一种基于
6.如权利要求1所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述使用所述联合损失函数微调第一语义分割模型分类块，包括通过pytorch中的内置函数DataLoader()加载新的包含异常状态信息数据的数据集，同时定义工地道路路面状态异常类别；通过pytorch库中内置函数torch.optim.SGD()作为优化器对象Optimizer保存第一语义分割模型当前的参数状态；通过pytorch中的内置函数forword()得到第一语义分割模型已知类的预测概率值。
7.如权利要求1所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述优化损失函数值得到第二语义分割模型，包括使用优化器对象，计算损失函数的损失值，其中，调用pytorch中内置的自动求导函数loss.backward()，计算损失函数对模型参数的梯度，调用pytorch中内置的优化器对象optimizer.step()更新模型的参数，最小化损失函数值，得到第二语义分割模型。
8.一种基于掩码映射的工地路面状态异常检测系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述指令适于由终端设备的处理器加载并执行一种基于掩码映射的工地路面状态异常检测方法。
10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行所述的一种基于掩码映射的工地路面状态异常检测方法中的步骤。
...【技术特征摘要】
1.一种基于掩码映射的工地路面状态异常检测方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述将已知类的工地道路环境图像的类别映射为对应的采用像素值表示的掩码包括：对已知类的工地道路环境图像的类别采用掩码进行定义，将每个像素分配给特定的类别，以实现图像中不同对象的分割。
3.如权利要求1所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述联合损失函数包括分割损失、警觉损失和平滑损失，所述联合损失函数计算公式为：ltotal＝lseg+λ1lvem+λ2lreg，其中lseg表示分割损失、lvem表示警觉损失，lreg表示平滑损失，λ1表示警觉损失影响因子，λ2表示平滑损失影响因子。
4.如权利要求3所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述分割损失计算公式为：其中，表示像素处的类别，表示内类中不分类的警觉反馈因子，表示像素处的内点警觉值，为y类在像素处的logit，y表示分割网络中的像素级标签种类数。
5.如权利要求3所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述警觉损失计算公式为：
6.如权利要求1所述的一种基于掩码映射的工地路面状态异常检测方法，其特征在于，所述使用所述联合损失函数微调第一语义分割模型分类块，包括...
【专利技术属性】
技术研发人员：温德政，刘轶鹏，王帅，吴建清，许之友，田源，李权，杜聪，
申请(专利权)人：中建八局第二建设有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。