一种基于目标检测的行李破损分析方法及系统技术方案

本发明专利技术公开了一种基于目标检测的行李破损分析方法及系统，行李破损分析方法基于目标检测模型训练得到的八个检测模型，能够实现对目标行李的分析，识别出目标行李是否为行李箱，以及行李箱是否存在脚轮破损、把手破损、拉杆破损、锁破损、裂痕破损、刮痕破损和变形破损该七种破损形式。行李破损分析系统，通过在自助行李值机环节和旅客提取行李环节该两个关键节点，采用行李破损分析方法对旅客托运行李进行自动的破损分析，能够优化行李赔付流程，减少人力成本的消耗，实现服务质量、人力成本和旅客满意度之间的平衡。和旅客满意度之间的平衡。和旅客满意度之间的平衡。

【技术实现步骤摘要】
一种基于目标检测的行李破损分析方法及系统


[0001]本专利技术涉及用于行李破损分析的图像识别技术，具体的说是一种基于目标检测的行李破损分析方法及系统。

技术介绍

[0002]目前航空业关于旅客行李破损的分析一般都是依靠人工进行分析，这会消耗大量的人力资源进行行李破损部位的分析以及赔付。其次行李破损赔付的过程本身存在两个问题，一是旅客托运行李时行李已经存在破损，却以此向航空公司索要赔偿，导致航空公司成本上升。二是旅客托运行李破损后，特别是离开隔离区后，发现行李存在破损，提出投诉时，存在人工审核标准不明确、人工恰谈赔付耗时长，导致二次投诉，影响公司品牌形象。
[0003]利用目标检测算法进行图片中物体的检测，在学术界和工业界都有广泛的研究和应用，而且目标检测算法更新迭代也很快，每年都有更加优化或者甚至跨越式的模型发表。常用的目标检测算法按照目前的发展大致可以分为两类。一类是以faster
‑
RCNN为代表的Two
‑
stage网络，另一类是以YOLO系列代表的One
‑
stage网络。两种网络都各有各的优点，需要根据针对问题使用对应的算法以及网络结构。
[0004]YOLOv5是YOLO系列目前最成熟的版本，作为Ultralytics应用出身的YOLOv5，本身就具备很高的商用性，对于目前许多的目标检测应用，YOLOv5都可以覆盖得到。YOLOv5的整体网络结构分为输入端、Backone，Neck、Prediction四个部分，根据网络的深度以及宽度，由小到大依次分四个模型为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。随着深度以及宽度的增加，模型的学习能力越强，目标检测的AP精度越高，但同时模型的处理速度也在增加，即需要的花费的训练时间以及推理时间也会变长。与其它的深度学习算法、目标检测算法一样，YOLOv5给出的许多测试数据都是基于目前网上开源的经典数据集进行训练推理的，对于真实场景中的实际应用效果还需要进行测试。YOLOv5相对较好的是，因为本身有应用支持，所以它的源码非常具有结构性，对于模型训练以及推理来说十分方便。具体YOLOv5在行李破损分析这个场景中的检测准确率是否符合业务人员的需求，仍然需要本领域技术人员进行调试与优化。

技术实现思路

[0005]本专利技术所要解决的技术问题是：提供一种基于目标检测的行李破损分析方法。
[0006]解决上述技术问题，本专利技术所采用的技术方案如下：
[0007]一种基于目标检测的行李破损分析方法，其特征在于，包括：训练阶段和应用阶段；
[0008]在所述训练阶段，通过用历史数据对目标检测模型进行训练和测试，得到以下八个检测模型：行李类型检测模型、脚轮破损检测模型、把手破损检测模型、拉杆破损检测模型、锁破损检测模型、裂痕破损检测模型、刮痕破损检测模型和变形破损检测模型；
[0009]在所述应用阶段，首先，获取目标行李的目标行李图片；然后，用所述行李类型检
测模型对目标行李图片进行处理，以判断所述目标行李是否为行李箱；最后，如果判断所述目标行李为行李箱，则用所述脚轮破损检测模型、把手破损检测模型、拉杆破损检测模型、锁破损检测模型、裂痕破损检测模型、刮痕破损检测模型和变形破损检测模型分别对目标行李图片进行处理，以依次判断所述目标行李是否存在脚轮破损、把手破损、拉杆破损、锁破损、裂痕破损、刮痕破损和变形破损该七种破损形式。其中，所述脚轮破损表示行李箱的脚轮存在损坏或丢失的破损，所述把手破损、拉杆破损、锁破损依次表示行李箱的把手、拉杆、锁存在损坏的破损，所述裂痕破损、刮痕破损和变形破损依次表示行李箱存在出现裂痕、刮痕和变形的破损。
[0010]优选的：在所述训练阶段，通过以下步骤训练和测试得到所述八个检测模型：
[0011]步骤S1、获取旅客行李图片的历史数据，并从中筛选出数据格式符合预设要求、非重复的有效行李图片；其中，所述历史数据可以通过过拍摄旅客破损的行李以及收集旅客反馈的行李破损图片这两种方式收集得到；收集得到的历史数据需要进行数据清洗，将数据格式出错的图片进行修复或删除，并剔除一些不属于行李范畴的图片，以及删除重复的图片，以筛选出所述有效行李图片。
[0012]步骤S2、通过数据标注平台上创建行李类型和所述七种破损形式的标签，以在数据标注平台上，对所述步骤S1筛选出的有效行李图片进行行李类型的标签标注，且对行李类型为行李箱的有效行李图片进行所述七种破损形式的标签标注；
[0013]步骤S3、对步骤S2获得的数据进行切割，也即：
[0014]将所述步骤S1筛选出的有效行李图片及其行李类型的标签划分出有效行李图片训练集和有效行李图片测试集；
[0015]将每一种破损形式的标签及其对应的有效行李图片均划分出训练集和测试集，分别记为：行李箱脚轮破损训练集和行李箱脚轮破损测试集，行李箱把手破损训练集和行李箱把手破损测试集，行李箱拉杆破损训练集和行李箱拉杆破损测试集，行李箱锁破损训练集和行李箱锁破损测试集，行李箱裂痕破损训练集和行李箱裂痕破损测试集，行李箱刮痕破损训练集和行李箱刮痕破损测试集，行李箱变形破损训练集和行李箱变形破损测试集；
[0016]步骤S4、分别将所述有效行李图片训练集、行李箱脚轮破损训练集、行李箱把手破损训练集、行李箱拉杆破损训练集、行李箱锁破损训练集、行李箱裂痕破损训练集、行李箱刮痕破损训练集和行李箱变形破损训练集放入目标检测模型中进行训练，以依次得到以下八个识别模型：行李类型识别模型、脚轮破损识别模型、把手破损识别模型、拉杆破损识别模型、锁破损识别模型、裂痕破损识别模型、刮痕破损识别模型和变形破损识别模型；其中，在初次训练时，采用YOLOv5s模型作为所述目标检测模型；
[0017]步骤S5、分别用所述有效行李图片测试集、行李箱脚轮破损测试集、行李箱把手破损测试集、行李箱拉杆破损测试集、行李箱锁破损测试集、行李箱裂痕破损测试集、行李箱刮痕破损测试集和行李箱变形破损测试集对步骤S4得到的八个识别模型进行测试，以得到所述八个识别模型的识别准确率；
[0018]其中，所述八个识别模型均预设有对应的识别准确率阈值，如果某一个所述识别模型的识别准确率低于对应的识别准确率阈值，则判定这一个识别模型不合格；
[0019]步骤S6、对于步骤S5判定为不合格的识别模型，通过优化手段对该识别模型和/或该识别模型对应的训练集及测试集进行优化，以优化后的识别模型作为所述目标检测模
型，以优化后的训练集及测试集替代所述步骤S4和步骤S5中对应的训练集及测试集，重复所述步骤S4至步骤S6，直至所述八个识别模型的识别准确率均在对应的识别准确率阈值以上时，判定所述八个识别模型均合格；
[0020]步骤S7、将步骤S6判定为合格的八个识别模型，作为所述行李类型检测模型、脚轮破损检测模型、把手破损检测模型、拉杆破损检测模型、锁破损检测模型、裂痕破损检测模型、刮痕破损检测模型和变形破损检测模型。
...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的行李破损分析方法，其特征在于，包括：训练阶段和应用阶段；在所述训练阶段，通过用历史数据对目标检测模型进行训练和测试，得到以下八个检测模型：行李类型检测模型、脚轮破损检测模型、把手破损检测模型、拉杆破损检测模型、锁破损检测模型、裂痕破损检测模型、刮痕破损检测模型和变形破损检测模型；在所述应用阶段，首先，获取目标行李的目标行李图片；然后，用所述行李类型检测模型对目标行李图片进行处理，以判断所述目标行李是否为行李箱；最后，如果判断所述目标行李为行李箱，则用所述脚轮破损检测模型、把手破损检测模型、拉杆破损检测模型、锁破损检测模型、裂痕破损检测模型、刮痕破损检测模型和变形破损检测模型分别对目标行李图片进行处理，以依次判断所述目标行李是否存在脚轮破损、把手破损、拉杆破损、锁破损、裂痕破损、刮痕破损和变形破损该七种破损形式。2.根据权利要求1所述基于目标检测的行李破损分析方法，其特征在于：在所述训练阶段，通过以下步骤训练和测试得到所述八个检测模型：步骤S1、获取旅客行李图片的历史数据，并从中筛选出数据格式符合预设要求、非重复的有效行李图片；步骤S2、对所述步骤S1筛选出的有效行李图片进行行李类型的标签标注，且对行李类型为行李箱的有效行李图片进行所述七种破损形式的标签标注；步骤S3、对步骤S2获得的数据进行切割，也即：将所述步骤S1筛选出的有效行李图片及其行李类型的标签划分出有效行李图片训练集和有效行李图片测试集；将每一种破损形式的标签及其对应的有效行李图片均划分出训练集和测试集，分别记为：行李箱脚轮破损训练集和行李箱脚轮破损测试集，行李箱把手破损训练集和行李箱把手破损测试集，行李箱拉杆破损训练集和行李箱拉杆破损测试集，行李箱锁破损训练集和行李箱锁破损测试集，行李箱裂痕破损训练集和行李箱裂痕破损测试集，行李箱刮痕破损训练集和行李箱刮痕破损测试集，行李箱变形破损训练集和行李箱变形破损测试集；步骤S4、分别将所述有效行李图片训练集、行李箱脚轮破损训练集、行李箱把手破损训练集、行李箱拉杆破损训练集、行李箱锁破损训练集、行李箱裂痕破损训练集、行李箱刮痕破损训练集和行李箱变形破损训练集放入目标检测模型中进行训练，以依次得到以下八个识别模型：行李类型识别模型、脚轮破损识别模型、把手破损识别模型、拉杆破损识别模型、锁破损识别模型、裂痕破损识别模型、刮痕破损识别模型和变形破损识别模型；其中，在初次训练时，采用YOLOv5s模型作为所述目标检测模型；步骤S5、分别用所述有效行李图片测试集、行李箱脚轮破损测试集、行李箱把手破损测试集、行李箱拉杆破损测试集、行李箱锁破损测试集、行李箱裂痕破损测试集、行李箱刮痕破损测试集和行李箱变形破损测试集对步骤S4得到的八个识别模型进行测试，以得到所述八个识别模型的识别准确率；其中，所述八个识别模型均预设有对应的识别准确率阈值，如果某一个所述识别模型的识别准确率低于对应的识别准确率阈值，则判定这一个识别模型不合格；步骤S6、对于步骤S5判定为不合格的识别模型，通过优化手段对该识别模型和/或该识别模型对应的训练集及测试集进行优化，以优化后的识别模型作为所述目标检测模型，以优化后的训练集及测试集替代所述步骤S4和步骤S5中对应的训练集及测试集，重复所述步
骤S4至步骤S6，直至所述八个识别模型的识别准确率均在对应的识别准确率阈值以上时，判定所述八个识别模型均合格；步骤S7、将步骤S6判定为合格的八个识别模型，作为所述行李类型检测模型、脚轮破损检测模型、把手破损检测模型、拉杆破损检测模型、锁破损检测模型、裂痕破损检测模型、刮痕破损检测模型和变形破损检测模型。3.根据权利要求2所述基于目标检测的行李破损分析方法，其特征在于：所述步骤S4中，在初次训练时，所述有效行李图片训练集放入学习率设置为0.01的YOLOv5s模型中进行训练，所述行李箱锁破损训练集放入学习率设置为0.05的YOLOv5s模型中进行训练，所述行李箱脚轮破损训练集、行李箱把手破损训练集、行李箱拉杆破损训练集、行李箱裂痕破损训练集、行李箱刮痕破损训练集和行李箱变形破损训练集分别放入学习率设置为0.03的YOLOv5s模型中进行训练。4.根据权利要求2所述基于目标检测的行李破损分析方法，其特征在于：所述步骤S6中，所述优化手段包括以下优化手段一至优化手段八中的任意一种或多种；优化手段一、如果所述步骤S1筛选出的有效行李图片的数量少于预设的有效行李图片数量阈值，则按像...

【专利技术属性】
技术研发人员：郑皓仁，张宗灵，欧阳鑫，朱波，陈少杰，陈创希，伍翔，常先英，李满山，徐旭辉，李海涛，
申请(专利权)人：中国南方航空股份有限公司，
类型：发明
国别省市：