一种基于无人机的无牌渣土车识别方法及系统技术方案

本申请提供一种基于无人机的无牌渣土车识别方法及系统，涉及道路监控技术领域。通过多角度拍摄的车辆图像构建目标车辆的三维模型，并基于目标车辆的三维模型对目标车辆的类型进行识别，相对于采用二维图像中的目标车辆进行识别可以确保目标车辆类型识别的准确性。另外，在目标车辆为渣土车时，通过对多个位置方向的车辆图像进行车牌检测，以避免车牌漏检的问题。在检测不到车牌后将车辆图像及车辆地点发送给通信终端便于手持该通信终端的巡警及时进行现场处理，避免无牌渣土车造成严重交通事故，确保交通参与方的交通安全。确保交通参与方的交通安全。确保交通参与方的交通安全。

【技术实现步骤摘要】
一种基于无人机的无牌渣土车识别方法及系统


[0001]本申请涉及道路监控
，具体而言，涉及一种基于无人机的无牌渣土车识别方法及系统。

技术介绍

[0002]渣土车又叫拉土车或运渣车，是指车辆用途为运输沙石等建筑材料的卡车，渣土车体积庞大，驾驶室高，存在很多视觉盲区，同时，由于转弯时存在内轮差，特别容易导致事故。
[0003]渣土车司机为了逃避道路电子监控一般会无牌上路或采用遮挡车牌等方式，这给其他交通参与方（比如，小轿车及行人等）带来的极大的安全隐患。

技术实现思路

[0004]为了至少克服现有技术中的上述不足，本申请的目的在于提供一种基于无人机的无牌渣土车识别方法及系统，首先，获取无人机拍摄的目标车辆的多个位置方向的车辆图像；接着，基于多个位置方向的车辆图像构建得到所述目标车辆的三维模型；再接着，将目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；然后，若车辆类型识别模型识别目标车辆的类型为渣土车，则从多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；最后，若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。在上述方案中，通过多角度拍摄的车辆图像构建目标车辆的三维模型，并基于目标车辆的三维模型对目标车辆的类型进行识别，相对于采用二维图像中的目标车辆进行识别可以确保目标车辆类型识别的准确性。另外，在目标车辆为渣土车时，通过对多个位置方向的车辆图像进行车牌检测，以避免车牌漏检的问题。在检测不到车牌后将车辆图像及车辆地点发送给通信终端便于手持该通信终端的巡警及时进行现场处理，避免无牌渣土车造成严重交通事故，确保交通参与方的交通安全。
[0005]第一方面，本申请提供一种基于无人机的无牌渣土车识别方法，应用于分别与无人机及通信终端通信连接的控制中心，所述方法包括：获取所述无人机拍摄的目标车辆的多个位置方向的车辆图像，其中，所述车辆图像包括车头图像，车尾图像及车身两侧图像；基于所述多个位置方向的车辆图像构建得到所述目标车辆的三维模型；将所述目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；若所述车辆类型识别模型识别所述目标车辆的类型为渣土车，则从所述多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。
[0006]在一种可能的实现方式中，所述基于所述多个位置方向的车辆图像构建得到所述目标车辆的三维模型的步骤，包括：
识别所述目标车辆的不同部位在所述多个位置方向的车辆图像中的二维位置坐标以及所述多个位置方向的车辆图像对应的拍摄角度；获取与所述多个位置方向的车辆图像对应的三维位置坐标集合，根据所述三维位置坐标集合与所述多个位置方向的车辆图像中目标车辆对应位置点之间的对应关系，获取所述目标车辆中各位置点对应的三维位置坐标；基于所述多个位置方向的车辆图像得到多个目标车辆方位图，基于车辆检测模型中的特征识别层对所述多个位置方向的车辆图像进行特征识别处理，得到与每个目标车辆方位图对应的目标车辆位置特征信息；识别与所述目标车辆位置特征信息对应的位置坐标，将在所述多个位置方向的车辆图像中与所述位置坐标对应的区域作为车辆方位区域；基于所述车辆方位区域以及对应的拍摄角度，将所述车辆方位区域中相同三维位置坐标的位置进行拼接得到所述目标车辆的三维模型。
[0007]在一种可能的实现方式中，所述将所述目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别的步骤，包括：获取待进行车辆类型识别的目标车辆的三维模型及车辆样本模型；调用车辆类型识别模型中的三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果；调用车辆类型识别模型中的车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配，其中，所述特征参数包括车头与车身占比、车身的长度与车身的高度占比、翻斗车箱与车身占比及翻斗的高度与车身的高度占比；若所述目标车辆的三维模型与所述车辆样本模型不匹配，则识别所述目标车辆的三维模型及车辆样本模型对应的模型类别，根据所述模型类别选择车辆类型识别模型中的深度学习子模型对所述目标车辆的三维模型及车辆样本模型进行类型识别处理；其中，所述深度学习子模型的模型结构相较于所述三维模型识别子模型及所述车辆类型匹配子模型的模型结构复杂；其中，将所述第一车辆类型结果对应的模型区域及所述第二车辆类型结果对应的模型区域进行尺寸归一化处理；将归一化处理后的第一车辆类型结果对应的模型区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域作为第二目标模型区域；或者，将归一化处理后的第一车辆类型结果对应的模型区域中的设定部分区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域中的设定部分区域作为第二目标模型区域。
[0008]在一种可能的实现方式中，所述三维模型识别子模型包括至少一个参数提取层、至少一个参数筛选层及至少一个参数分类层；调用三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述
车辆样本模型的第二车辆类型结果的步骤，包括：采用三维模型识别子模型中的参数提取层分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，将提取的模型参数输入到所述三维模型识别子模型中的参数筛选层中；采用所述三维模型识别子模型中的参数筛选层分别对所述目标车辆的三维模型及车辆样本模型的模型参数进行参数筛选处理，将参数筛选处理后的参数输入所述三维模型识别子模型中的参数分类层；采用所述三维模型识别子模型中的参数分类层根据所述目标车辆的三维模型及车辆样本模型对应的参数筛选处理后的参数进行分类，得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果；所述车辆类型匹配子模型包括至少一个参数提取层、至少一个参数筛选层及至少两个参数分类层，所述调用车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配的步骤，包括：采用车辆类型匹配子模型中的参数提取层分别对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行参数提取，将提取的参数输入所述车辆类型匹配子模型中的参数筛选层；采用所述车辆类型匹配子模型中的参数筛选层对所述参数提取层提取的参数进行参数筛选处理，参数筛选处理后的参数输入所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机的无牌渣土车识别方法，其特征在于，应用于分别与无人机及通信终端通信连接的控制中心，所述方法包括：获取所述无人机拍摄的目标车辆的多个位置方向的车辆图像，其中，所述车辆图像包括车头图像，车尾图像及车身两侧图像；基于所述多个位置方向的车辆图像构建得到所述目标车辆的三维模型；将所述目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别；若所述车辆类型识别模型识别所述目标车辆的类型为渣土车，则从所述多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息；若检测不到满足车牌字符规则的车牌信息则将获取的车辆图像及所述无人机的拍摄地点发送给通信终端。2.如权利要求1所述的无牌渣土车识别方法，其特征在于，所述基于所述多个位置方向的车辆图像构建得到所述目标车辆的三维模型的步骤，包括：识别所述目标车辆的不同部位在所述多个位置方向的车辆图像中的二维位置坐标以及所述多个位置方向的车辆图像对应的拍摄角度；获取与所述多个位置方向的车辆图像对应的三维位置坐标集合，根据所述三维位置坐标集合与所述多个位置方向的车辆图像中目标车辆对应位置点之间的对应关系，获取所述目标车辆中各位置点对应的三维位置坐标；基于所述多个位置方向的车辆图像得到多个目标车辆方位图，基于车辆检测模型中的特征识别层对所述多个位置方向的车辆图像进行特征识别处理，得到与每个目标车辆方位图对应的目标车辆位置特征信息；识别与所述目标车辆位置特征信息对应的位置坐标，将在所述多个位置方向的车辆图像中与所述位置坐标对应的区域作为车辆方位区域；基于所述车辆方位区域以及对应的拍摄角度，将所述车辆方位区域中相同三维位置坐标的位置进行拼接得到所述目标车辆的三维模型。3.如权利要求1所述的无牌渣土车识别方法，其特征在于，所述将所述目标车辆的三维模型输入到训练好的车辆类型识别模型中进行识别的步骤，包括：获取待进行车辆类型识别的目标车辆的三维模型及车辆样本模型；调用车辆类型识别模型中的三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果；调用车辆类型识别模型中的车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配，其中，所述特征参数包括车头与车身占比、车身的长度与车身的高度占比、翻斗车箱与车身占比及翻斗的高度与车身的高度占比；若所述目标车辆的三维模型与所述车辆样本模型不匹配，则识别所述目标车辆的三维模型及车辆样本模型对应的模型类别，根据所述模型类别选择车辆类型识别模型中的深度学习子模型对所述目标车辆的三维模型及车辆样本模型进行类型识别处理；
其中，所述深度学习子模型的模型结构相较于所述三维模型识别子模型及所述车辆类型匹配子模型的模型结构复杂；其中，将所述第一车辆类型结果对应的模型区域及所述第二车辆类型结果对应的模型区域进行尺寸归一化处理；将归一化处理后的第一车辆类型结果对应的模型区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域作为第二目标模型区域；或者，将归一化处理后的第一车辆类型结果对应的模型区域中的设定部分区域作为第一目标模型区域，将归一化处理后的第二车辆类型结果对应的模型区域中的设定部分区域作为第二目标模型区域。4.如权利要求3所述的无牌渣土车识别方法，其特征在于，所述三维模型识别子模型包括至少一个参数提取层、至少一个参数筛选层及至少一个参数分类层；调用三维模型识别子模型分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，并对提取的模型参数进行参数筛选处理，根据参数筛选处理后的参数得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果的步骤，包括：采用三维模型识别子模型中的参数提取层分别对所述目标车辆的三维模型及车辆样本模型进行模型参数提取，将提取的模型参数输入到所述三维模型识别子模型中的参数筛选层中；采用所述三维模型识别子模型中的参数筛选层分别对所述目标车辆的三维模型及车辆样本模型的模型参数进行参数筛选处理，将参数筛选处理后的参数输入所述三维模型识别子模型中的参数分类层；采用所述三维模型识别子模型中的参数分类层根据所述目标车辆的三维模型及车辆样本模型对应的参数筛选处理后的参数进行分类，得到所述目标车辆的三维模型的第一车辆类型结果及所述车辆样本模型的第二车辆类型结果；所述车辆类型匹配子模型包括至少一个参数提取层、至少一个参数筛选层及至少两个参数分类层，所述调用车辆类型匹配子模型对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行特征参数提取，并将提取的两者特征参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配的步骤，包括：采用车辆类型匹配子模型中的参数提取层分别对所述第一车辆类型结果对应的第一目标模型区域及所述第二车辆类型结果对应的第二目标模型区域进行参数提取，将提取的参数输入所述车辆类型匹配子模型中的参数筛选层；采用所述车辆类型匹配子模型中的参数筛选层对所述参数提取层提取的参数进行参数筛选处理，参数筛选处理后的参数输入所述车辆类型匹配子模型中的参数分类层；采用所述车辆类型匹配子模型中的参数分类层将经过参数筛选处理后的参数进行比对，根据比对结果识别所述目标车辆的三维模型与所述车辆样本模型是否匹配。5.如权利要求1所述的无牌渣土车识别方法，其特征在于，所述从所述多个位置方向的车辆图像中检测是否存在满足车牌字符规则的车牌信息的步骤，包括：从所述多个位置方向的车辆图像中识别得到车牌图像区域；通过边缘检测提取出所述车牌图像区域中的字符；检测提取的字符的排列顺序是否满足车牌字符规则；
若字符的排列顺序是满足车牌字符规则，通过字符识别模型进行识别确定对应的目标字符，并在识别后将目标字符按照其在所述车牌图像中的顺序进行组合，得到所述目标车辆的车牌信息；其中，所述通过字符识别模型...

【专利技术属性】
技术研发人员：杨翰翔，杨德润，
申请(专利权)人：深圳联和智慧科技有限公司，
类型：发明
国别省市：