落石检测模型训练方法、落石检测方法及相关装置制造方法及图纸

本发明专利技术的实施例提供了落石检测模型训练方法、落石检测方法及相关装置，方法包括：计算第一损失惩罚项信息，计算第二损失惩罚项信息；将第一损失惩罚项信息和损失第二惩罚项信息分别输入至图像分割网络和落石检测网络中，得到更新后的目标图像的区域标识和更新后的目标图像的目标落石信息；返回执行计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息的步骤，直至最新的第一惩罚项信息和最新的第二惩罚项信息满足落石检测条件。本申请通过图像分割网络，将落石的注意力放在高速道路上，从而减少高速道路外的误判情况。高速道路的落石检测对于提高山区驾驶安全有着重要作用。

【技术实现步骤摘要】
落石检测模型训练方法、落石检测方法及相关装置
本专利技术涉及模型训练领域，具体而言，涉及一种落石检测模型训练方法、落石检测方法及相关装置。
技术介绍
落石检测通常都采用雷达或其他传感器进行检测，但通过传感器所采集的信息易受到外界因素干扰，影响判断准确率。随着近年来计算机视觉的发展，越来越多的人采用计算机视觉的方式对落石进行检测。通过雷达与视频分析技术，对铁路落石进行检测，综合帧间差与雷达信号降低误报率。或者采用机器视觉的方法对隧道内的落石进行检测，采用划分检测区域规避误报。可以发现，在对落石检测采用计算机视觉的方法时，大多数研究者都采用了视频帧间差作为依据，为了规避其他变化带来的误差，甚至划分了检测区域，但这些方法都不适用与高速道路的落石检测。若使用帧间法进行检测，高速道路上运动的车辆会直接影响结果，且检测区域与车辆运动区域重叠，无法通过划分区域规避误报。
技术实现思路
本专利技术的目的包括，例如，提供了一种落石检测模型训练方法、落石检测方法及相关装置，其能够提高落石检测的精确度。为了实现上述目的，本申请实施例采用的技术方案如下：第一方面，本申请实施例提供了一种落石检测模型训练方法，所述方法包括：计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息，其中，所述目标图像的区域标识由图像分割网络输出，所述标准图像的区域标识由人工标注，所述区域标识指示所述目标图像或所述标准图像中的高速道路区域和非高速道路区域，所述第一损失惩罚信息为目标图像中的区域标识与标准图像中的区域标识的差异；计算所述目标图像中目标落石信息与所述标准图像中标准落石信息的第二损失惩罚项信息，其中，所述第二损失惩罚项信息为目标图像中的目标落石信息与所述标准图像的标准落石信息的差异，所述标准图像的标准落石信息由人工标注；将所述第一损失惩罚项信息和所述损失第二惩罚项信息分别输入至图像分割网络和落石检测网络中，得到更新后的目标图像的区域标识和更新后的所述目标图像的目标落石信息；返回执行所述计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息的步骤，直至最新的第一惩罚项信息和最新的第二惩罚项信息满足落石检测条件。在可选的实施方式中，所述计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息包括：计算二分类损失函数Lseg；其中，y为样本标签，当标准图像的像素属于高速道路时取值为1，否则为0，y′为模型预测为高速道路类的概率，N为像素点数量。在可选的实施方式中，所述计算所述目标图像中目标落石信息与所述标准图像中标准落石信息的第二损失惩罚项信息包括：计算中心坐标误差La,b；其中，a,b为目标框的中心的横坐标和纵坐标，K*K代表网格数量，M为每个网格所产生的候选框，ai,bi为真实目标框的中心的横坐标和纵坐标，a′i,b′i为目标框的中心的横坐标和纵坐标的预测值，表示第i个网格的第j个候选框是否和真实值进行计算，若是否则为0，obj表示网格产生的候选框中与真实目标框的交并比大于指定阈值的预测框，i是K*K的网格的遍历，j是每个格子上的M个候选框的遍历；计算宽高误差Lw,h；其中，w,h为目标框的宽度和高度，wi，hi为目标框的真实宽度和高度，w′i，h′i为目标框宽度和高度的预测值；计算置信度误差Lconf：其中，为存在落石的目标框的置信度误差，为不存在落石的目标框的置信度误差，表示i个网格的第j个候选框是否负责和真实值进行计算，不负责为1，负责为0，是否和真实值进行计算由候选框与真实值的IOU是否大于阈值决定，IOU为候选框与真实目标框的交并比，C′i表示真实值，若第i个网格的候选框负责目标，则C′i为1，若否则为0，Ci为预测值，λnoobj表示非目标的背景的目标框的权重系数；计算分类误差Lclass；p′i(c)为类别为c的真实标签，pi(c)为类别为c的预测值，c为类别为落石的值；将L＝La,b+Lw,h+Lconf+Lclass作为第二损失函数惩罚项。在可选的实施方式中，所述图像分割网络的输出作为所述落石检测网络的输入。在可选的实施方式中，所述图像分割网络由四个卷积层与残差结构组成。在可选的实施方式中，所述方法还包括：计算所述落石检测网络的第一平均精度和第二平均精度；所述计算所述落石检测网络的第一平均精度和第二平均精度的步骤包括：计算第一平均精度；其中，p和r分别代表精准度与召回率；所述精准度所述召回率TP表示目标框对应的图像区域的实际值标签为落石，算法预测的类别是落石的目标框个数，FP表示目标框对应的图像区域的实际值标签为非落石，算法预测的类别是落石的目标框个数，FN表示目标框对应的图像区域的实际值标签为落石，算法预测的类别是非落石的目标框个数；计算第二平均精度；根据所述第一平均精度和所述第二平均精度对所述落石检测模型进行评价。第二方面，本申请实施例提供了一种落石检测方法，所述方法包括：将目标图像输入至图像分割网络；所述图像分割网络检测所述目标图像中的区域标识，其中，所述区域标识指示所述目标图像的高速道路区域和非高速道路区域；将携带有区域标识输入的所述目标图像输入至落石检测网络中；所述落石检测网络对所述目标图像以及所述目标图像对应的标识信息进行检测；所述落石检测网络输出高速道路区域的落石信息和非高速道路的落石信息。第三方面，本申请提供了一种落石检测模型训练装置，所述装置包括：第一计算模块，用于计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息，其中，所述目标图像的区域标识由图像分割网络输出，所述标准图像的区域标识由人工标注，所述区域标识指示所述目标图像或所述标准图像中的高速道路区域和非高速道路区域，所述第一损失惩罚信息为目标图像中的区域标识与标准图像中的区域标识的差异；第二计算模块，用于计算所述目标图像中目标落石信息与所述标准图像中标准落石信息的第二损失惩罚项信息，其中，所述第二损失惩罚项信息为目标图像中的落石信息与所述标准图像的标准落石信息的差异；输入模块，用于将所述第一损失惩罚项信息和所述损失第二惩罚项信息分别输入至图像分割网络和落石检测网络中，得到更新后的目标图像和更新后的所述目标图像的目标落石信息；执行模块，用于返回执行所述计算目标图像和标准图像的第一损失惩罚项信息的步骤，直至最新的第一惩罚项信息和最新的第二惩罚项信息满足落石检测条件。第四方面，本申请实施例提供了一种落石检测设备，所述设备包括：第一输入模块，用于将目标图像输入至所述的图像分割网络；第一检测模块，用于所述图像分割网络检测所述目标图像中的区域标识，其中，所述区域标识指示所述目标图像的高速道路区域和非高速道路区域；第二输入模块，用于将携带有区域本文档来自技高网...

【技术保护点】
1.一种落石检测模型训练方法，其特征在于，所述方法包括：/n计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息，其中，所述目标图像的区域标识由图像分割网络输出，所述标准图像的区域标识由人工标注，所述区域标识指示所述目标图像或所述标准图像中的高速道路区域和非高速道路区域，所述第一损失惩罚信息为目标图像中的区域标识与标准图像中的区域标识的差异；/n计算所述目标图像中目标落石信息与所述标准图像中标准落石信息的第二损失惩罚项信息，其中，所述第二损失惩罚项信息为目标图像中的目标落石信息与所述标准图像的标准落石信息的差异，所述标准图像的标准落石信息由人工标注；/n将所述第一损失惩罚项信息和所述损失第二惩罚项信息分别输入至图像分割网络和落石检测网络中，得到更新后的目标图像的区域标识和更新后的所述目标图像的目标落石信息；/n返回执行所述计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息的步骤，直至最新的第一惩罚项信息和最新的第二惩罚项信息满足落石检测条件。/n

【技术特征摘要】
1.一种落石检测模型训练方法，其特征在于，所述方法包括：
计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息，其中，所述目标图像的区域标识由图像分割网络输出，所述标准图像的区域标识由人工标注，所述区域标识指示所述目标图像或所述标准图像中的高速道路区域和非高速道路区域，所述第一损失惩罚信息为目标图像中的区域标识与标准图像中的区域标识的差异；
计算所述目标图像中目标落石信息与所述标准图像中标准落石信息的第二损失惩罚项信息，其中，所述第二损失惩罚项信息为目标图像中的目标落石信息与所述标准图像的标准落石信息的差异，所述标准图像的标准落石信息由人工标注；
将所述第一损失惩罚项信息和所述损失第二惩罚项信息分别输入至图像分割网络和落石检测网络中，得到更新后的目标图像的区域标识和更新后的所述目标图像的目标落石信息；
返回执行所述计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息的步骤，直至最新的第一惩罚项信息和最新的第二惩罚项信息满足落石检测条件。


2.根据权利要求1所述的方法，其特征在于，所述计算目标图像的区域标识和标准图像的区域标识的第一损失惩罚项信息包括：
计算二分类损失函数Lseg；



其中，y为样本标签，当标准图像的像素属于高速道路时取值为1，否则为0，y′为模型预测为高速道路类的概率，N为像素点数量。


3.根据权利要求1所述的方法，其特征在于，所述计算所述目标图像中目标落石信息与所述标准图像中标准落石信息的第二损失惩罚项信息的步骤包括：
计算中心坐标误差La,b；



其中，a,b为目标框的中心的横坐标和纵坐标，K*K代表网格数量，M为每个网格所产生的候选框，ai,bi为真实目标框的中心的横坐标和纵坐标，a′i,b′i为目标框的中心的横坐标和纵坐标的预测值，表示第i个网格的第j个候选框是否和真实值进行计算，若是则否则为0，obj表示网格产生的候选框中与真实目标框的交并比大于指定阈值的预测框，i是K*K的网格的遍历，j是每个格子上的M个候选框的遍历；
计算宽度和高度误差Lw,h；



其中，w,h为目标框的宽度和高度，wi，hi为目标框的真实宽度和高度，w′i，h′i为目标框宽度和高度的预测值；
计算置信度误差Lconf；



其中，为存在落石的目标框的置信度误差，为不存在落石的目标框的置信度误差，表示i个网格的第j个候选框是否和真实值进行计算，不计算为1，计算为0，是否和真实值进行计算由候选框与真实值的IOU是否大于阈值决定，IOU为候选框与真实目标框的交并比，C′i表示真实值，若第i个网格的候选框负责目标，则C′i为1，若否则为0，Ci为预测值，λnoobj表示非目标的背景的目标框的权重系数；
计算分类误差Lclass；



p′i(c)为类别为c的真实标签，pi(c)为类别为c的预测值，c为类别为落石的值；
将L＝La,b+Lw,h+Lconf+Lclass作为第二损失函数惩罚项。


4.根据权利要求1所述的方法，其特征在于，所述图像分割网络的输出作为所述落石检测网络的输入。


5.根据权利要求1所述的方法，其特征在于，所述图像分割网络由四个卷积层与残差结构组成。


6.根据权利要求1所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：龙学军，高枫，毛河，陈志超，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川;51