四边形物体检测、模型训练方法、装置、设备及存储介质制造方法及图纸

本申请提供一种四边形物体检测、模型训练方法、装置、设备及存储介质，检测方法包括：获取包含待检测的四边形物体的待检测图像；使用预先训练好的神经网络模型对待检测图像进行处理，得到包含四边形物体的目标检测框，以及目标检测框的四个顶点对应的偏移变量值；将目标检测框的各顶点按照各顶点对应的偏移变量值进行偏移，得到四边形物体的预测顶点。这样得到的四边形物体的预测顶点，相对于相关技术而言，不受到目标检测框的边的限制，是基于目标检测框的四个顶点，来预测四边形物体顶点的偏移，即使在四边形物体倾斜超过45度或是四边形物体倾斜角度特别小时，检测效果也能保持准确与稳定。

【技术实现步骤摘要】
四边形物体检测、模型训练方法、装置、设备及存储介质
本申请涉及图像处理
，具体而言，涉及一种四边形物体检测、模型训练方法、装置、设备及存储介质。
技术介绍
在图像检测领域，常常需要对图片中的四边形物体(如图片中的车牌、车位、房屋、中文句子等)进行准确定位。目前，常规的检测方式输出的是包含该四边形物体的一个水平的矩形框(即检测框)。在实际应用中，四边形物体确实存在在图片中是水平的情况，但是，也存在着四边形物体在图片中是倾斜着的情况，这时，输出的矩形框是无法与四边形物体的轮廓相重合的，即无法实现对于四边形物料的准确检测。对此，在论文《glidingvertexonthehorizontalboundingboxformulti-orientedobjectdetection》中，提出了一种可以实现对于四边形物体的准确定位的方案。其首先检测一个包含四边形物体的大的矩形方框(即检测框)，然后通过在这个矩形方框的4个点构成的边上做顺时针滑动，重新确定四边形物体的四个顶点位置，从而得到物体的四边形框。但这种方法在四边形物体倾斜超过45度时，效果不好。而当四边形物体倾斜角度特别小时，检测效果不稳定。
技术实现思路
本申请实施例的目的在于提供一种四边形物体检测、模型训练方法、装置、设备及存储介质，用以实现对于四边形物体的位置检测。本申请实施例提供了一种四边形物体检测方法，包括：获取待检测图像；所述待检测图像中包含待检测的四边形物体；使用预先训练好的神经网络模型对所述待检测图像进行处理，得到包含所述四边形物体的目标检测框，以及所述目标检测框的四个顶点对应的偏移变量值；将所述目标检测框的各顶点按照各顶点对应的偏移变量值进行偏移，得到所述四边形物体的预测顶点。在本申请实施例中，通过神经网络模型直接输出包含四边形物体的目标检测框，以及目标检测框的四个顶点对应的偏移变量值，进而将目标检测框的各顶点按照各顶点对应的偏移变量值进行偏移，得到四边形物体的预测顶点。这样得到的四边形物体的预测顶点，相对于相关技术而言，不受到目标检测框的边的限制，不限定四边形物体的顶点必然在目标检测框的边上。也即不是基于目标检测框的边来预测四边形物体顶点的偏移，而是基于目标检测框的四个顶点，来预测四边形物体顶点的偏移，使得即使在四边形物体倾斜超过45度或是四边形物体倾斜角度特别小时，检测效果也能保持准确与稳定。进一步地，所述顶点具有x坐标值和y坐标值；所述顶点对应的偏移变量值包括：所述顶点的x坐标值对应的x轴偏移变量值，和所述顶点的y坐标值对应的y轴偏移变量值；将所述目标检测框的各顶点按照各顶点对应的偏移变量值进行偏移，得到所述四边形物体的预测顶点，包括：确定所述目标检测框的宽和高；根据所述宽，以及所述目标检测框的各顶点的x坐标值以及对应的x轴偏移变量值，确定所述四边形物体的各预测顶点的x坐标预测值；根据所述高，以及所述目标检测框的各顶点的y坐标值以及对应的y轴偏移变量值，确定所述四边形物体的各预测顶点的y坐标预测值。进一步地，根据所述宽，以及所述目标检测框的各顶点的x坐标值以及对应的x轴偏移变量值，确定所述四边形物体的各预测顶点的x坐标预测值；以及，根据所述高，以及所述目标检测框的各顶点的y坐标值以及对应的y轴偏移变量值，确定所述四边形物体的各预测顶点的y坐标预测值，包括：按照下述公式确定所述四边形物体的各预测顶点的x坐标预测值和y坐标预测值：其中：x0和y0构成一个预测顶点的坐标，x1和y1构成一个预测顶点的坐标值，x2和y2构成一个预测顶点的坐标值，x3和y3构成一个预测顶点的坐标值；rw为所述目标检测框的宽，rh为所述目标检测框的高，xmin为所述目标检测框的各顶点中的最小x坐标值，xmax为所述目标检测框的各顶点中的最大x坐标值，ymin为所述目标检测框的各顶点中的最小y坐标值，ymax为所述目标检测框的各顶点中的最大y坐标值；为顶点(xmin，ymin)对应的x轴偏移变量值，为顶点(xmin，ymin)对应的y轴偏移变量值；为顶点(xmax，ymin)对应的x轴偏移变量值，为顶点(xmax，ymin)对应的y轴偏移变量值；为顶点(xmax，ymax)对应的x轴偏移变量值，为顶点(xmax，ymax)对应的y轴偏移变量值；为顶点(xmin，ymax)对应的x轴偏移变量值，为顶点(xmin，ymax)对应的y轴偏移变量值。进一步地，使用预先训练好的神经网络模型对所述待检测图像进行处理，得到包含所述四边形物体的目标检测框，以及所述目标检测框的四个顶点对应的偏移变量值，包括：将所述待检测图像输入至所述神经网络模型中，得到所述待检测图像中感兴趣区域的候选检测框以及各候选检测框对应的类别得分以及偏移变量值；确定出类别得分高于预设得分阈值的所述候选检测框；所述类别得分高于预设得分阈值的所述候选检测框为所述目标检测框。应理解，在实际检测过程中，神经网络模型得到的候选检测框可能会有多个，因此需要从这多个候选检测框中确定出实际所需的目标检测框，从而才能进一步执行本申请实施例的方案。而基于神经网络分类思想，通过神经网络模型输出各候选检测框对应的类别得分，从而可以有效实现对于目标检测框的确定。进一步地，在确定出类别得分高于预设得分阈值的所述候选检测框之前，所述方法还包括：对所述候选检测框进行去冗余处理。应理解的是，在实际应用过程中，神经网络模型得到的候选检测框通常数量很多，为了提高处理效率，可以先对候选检测框进行去冗余处理，从而降低候选检测框的数量，提高确定出目标检测框的效率。本申请实施例提供了一种模型训练方法，包括：获取训练图像集；所述训练图像集中的各训练图像包含待检测的四边形物体，且标注有所述四边形物体的准确顶点；使用所述训练图像集对待训练的神经网络模型进行训练，得到各训练图像中的包含所述四边形物体的目标检测框，以及所述目标检测框的四个顶点对应的偏移变量值；将所述目标检测框的各顶点按照各顶点对应的偏移变量值进行偏移，得到所述四边形物体的预测顶点；计算所述四边形物体的预测顶点与准确顶点之间的回归损失值；根据所述回归损失值确定所述神经网络模型是否训练完毕；若未训练完毕，则更新所述神经网络模型的参数，重新进行训练，直至根据所述回归损失值确定所述神经网络模型训练完毕为止。通过上述方式训练得到的神经网络模型，对于四边形物体的顶点的预测，是基于目标检测框的四个顶点，来预测四边形物体顶点的偏移。因此预测得到的偏移较相关技术而言偏差更小，训练时更易收敛。而使用该神经网络模型进行四边形物体的检测时，也是输出目标检测框的各顶点以及各顶点对应的偏移变量值，因此检测时也是基于目标检测框的四个顶点，来预测四边形物体顶点，使得即使在四边形物体倾斜超过45度或是四边形物体倾斜角度特别小时，检测效果也能保持准确与稳定。进一步地，所述训练图像集中的各训练图像本文档来自技高网...

【技术保护点】
1.一种四边形物体检测方法，其特征在于，包括：/n获取待检测图像；所述待检测图像中包含待检测的四边形物体；/n使用预先训练好的神经网络模型对所述待检测图像进行处理，得到包含所述四边形物体的目标检测框，以及所述目标检测框的四个顶点对应的偏移变量值；/n将所述目标检测框的各顶点按照各顶点对应的偏移变量值进行偏移，得到所述四边形物体的预测顶点。/n

【技术特征摘要】
1.一种四边形物体检测方法，其特征在于，包括：
获取待检测图像；所述待检测图像中包含待检测的四边形物体；
使用预先训练好的神经网络模型对所述待检测图像进行处理，得到包含所述四边形物体的目标检测框，以及所述目标检测框的四个顶点对应的偏移变量值；
将所述目标检测框的各顶点按照各顶点对应的偏移变量值进行偏移，得到所述四边形物体的预测顶点。


2.如权利要求1所述的四边形物体检测方法，其特征在于，所述顶点具有x坐标值和y坐标值；所述顶点对应的偏移变量值包括：所述顶点的x坐标值对应的x轴偏移变量值，和所述顶点的y坐标值对应的y轴偏移变量值；
将所述目标检测框的各顶点按照各顶点对应的偏移变量值进行偏移，得到所述四边形物体的预测顶点，包括：
确定所述目标检测框的宽和高；
根据所述宽，以及所述目标检测框的各顶点的x坐标值以及对应的x轴偏移变量值，确定所述四边形物体的各预测顶点的x坐标预测值；
根据所述高，以及所述目标检测框的各顶点的y坐标值以及对应的y轴偏移变量值，确定所述四边形物体的各预测顶点的y坐标预测值。


3.如权利要求2所述的四边形物体检测方法，其特征在于，根据所述宽，以及所述目标检测框的各顶点的x坐标值以及对应的x轴偏移变量值，确定所述四边形物体的各预测顶点的x坐标预测值；以及，根据所述高，以及所述目标检测框的各顶点的y坐标值以及对应的y轴偏移变量值，确定所述四边形物体的各预测顶点的y坐标预测值，包括：
按照下述公式确定所述四边形物体的各预测顶点的x坐标预测值和y坐标预测值：
























其中：
x0和y0构成一个预测顶点的坐标，x1和y1构成一个预测顶点的坐标值，x2和y2构成一个预测顶点的坐标值，x3和y3构成一个预测顶点的坐标值；
rw为所述目标检测框的宽，rh为所述目标检测框的高，xmin为所述目标检测框的各顶点中的最小x坐标值，xmax为所述目标检测框的各顶点中的最大x坐标值，ymin为所述目标检测框的各顶点中的最小y坐标值，ymax为所述目标检测框的各顶点中的最大y坐标值；

为顶点(xmin，ymin)对应的x轴偏移变量值，为顶点(xmin，ymin)对应的y轴偏移变量值；

为顶点(xmax，ymin)对应的x轴偏移变量值，为顶点(xmax，ymin)对应的y轴偏移变量值；

为顶点(xmax，ymax)对应的x轴偏移变量值，为顶点(xmax，ymax)对应的y轴偏移变量值；

为顶点(xmin，ymax)对应的x轴偏移变量值，为顶点(xmin，ymax)对应的y轴偏移变量值。


4.如权利要求1至3任一项所述的四边形物体检测方法，其特征在于，使用预先训练好的神经网络模型对所述待检测图像进行处理，得到包含所述四边形物体的目标检测框，以及所述目标检测框的四个顶点对应的偏移变量值，包括：
将所述待检测图像输入至所述神经网络模型中，得到所述待检测图像中感兴趣区域的候选检测框以及各候选检测框对应的类别得分以及偏移变量值；
确定出类别得分高于预设得分阈值的所述候选检测框；所述类别得分高于预设得分阈值的所述候选检测框为所述目标检测框。


5.如权利要求4所述的四边形物体检测方法，其特征在于，在确定出类别得分高于预设得分阈值的所述候选检测框之前，所述方法还包括：
对所...

【专利技术属性】
技术研发人员：张发恩，张建伟，
申请(专利权)人：创新奇智北京科技有限公司，
类型：发明
国别省市：北京;11