基于深度学习的多任务车辆部件识别模型、方法和系统技术方案

本发明专利技术公开了一种基于深度学习的多任务车辆部件识别模型、方法和系统，包括：基于车辆图像数据库建立车辆部件数据库并对车辆部件进行标记，对车辆部件数据库进行图像数据增强得到车辆部件训练集；利用车辆部件训练集训练深度残差网络，得到车辆部件识别网络；基于车辆图像数据库，统计多个车辆部件不同类型同时出现的概率，得到多个车辆部件的联合概率，基于多个车辆部件的联合概率建立多任务车辆部件识别的数据集和对应多标签；用来训练车辆部件识别网络得到多任务的车辆部件识别模型。利用多任务的车辆部件识别模型对待检测车辆图像进行识别，得到待检测车辆图像中每个车辆部件的概率。本发明专利技术网络训练简单、易收敛、数据易获取且识别准确率高。

Multi task vehicle parts recognition model, method and system based on deep learning

The invention discloses a multi-task vehicle component recognition model, method and system based on in-depth learning, including: establishing a vehicle component database based on vehicle image database and marking the vehicle components, enhancing the image data of the vehicle component database to obtain a vehicle component training set, and training the vehicle components using the vehicle component database. Based on the vehicle image database, the probability of different types of vehicle components appearing at the same time is calculated, and the joint probability of multiple vehicle components is obtained. The vehicle parts recognition model is used to train vehicle parts identification network to get multi task. The multi-task vehicle component recognition model is used to recognize the vehicle image to be detected, and the probability of each vehicle component in the vehicle image to be detected is obtained. The invention has simple network training, easy convergence, easy data acquisition and high recognition accuracy.

【技术实现步骤摘要】
基于深度学习的多任务车辆部件识别模型、方法和系统
本专利技术属于模式识别
，更具体地，涉及一种基于深度学习的多任务车辆部件识别模型、方法和系统。
技术介绍
目标识别算法是图像处理和模式识别研究的重要领域之一，是当前的热点研究课题。所谓目标识别是指用计算机实现人的视觉功能，它的研究目标就是使计算机具有从一幅或多幅图像或者是视频中认知周围环境的能力。目标识别方法就是使用各种匹配算法，根据从图像已提取出的特征，寻找出与物体模型库中最佳的匹配，它的输入为图像与要识别物体的模型库，输出为物体的名称、姿态、位置等等。目标识别方法一般由以下几个步骤组成：预处理，特征提取，特征选择，建模，匹配，定位。传统的目标识别方法主要有以下几种：(1)词袋模型词袋模型主要是采用分类方法来识别物体，词袋模型是来自于自然语言处理，在自然语言处理中是用来表示一篇文档是有一袋子词语组成的，在计算机视觉的物体识别方法中，将图像比作文档，将从图像中提取的特征比作词语，即一幅图像是有一袋子特征组成的，词袋模型首先需要一个特征库，特征库中的特征之间是相互独立的，然后图像可以表示为特征库中所有特征的一个直方图，最后采用一些生成性方法的学习与识别来识别物体。词袋模型的一个主要缺点为特征之间是相互独立的，丢失了位置信息。(2)Partsandstructure(PS)方法PictorialStructure方法采用了特征之间的关系，比如位置信息和底层的图像特征，将提取出的特征联系起来。PS提出的弹簧模型，物体部件之间的关系用伸缩的弹簧表示，对于特征之间的关系的模型表示，还有星型结构、层次结构、树状结构等。(3)生成性方法与判别性方法生成性方法检查在给定物体类别的条件下，图像中出现物体的可能性，并以此判定作为检测结果的得分，鉴别性方法检查图像中包含某个类别出现的可能性与其他类的可能性之比，从而将物体归为某一类。大多数研究者主要认可的目标识别标准为健壮性、正确性、效率和范围。目标识别问题研究的主要难点在于获取目标的观测数据时会受到多方面的影响。目标不同场景下受光照、视角、遮挡等干扰因素的影响呈现出极大的类内差异。现有算法的特征提取方法普遍采用颜色特征、纹理特征、形状特征和空间特征。目标比较盛行的特征有Haar特征、LBP特征、HOG特征和Shift特征等，但是由于不同环境下的干扰，同一目标在不同摄像头下提取出的特征差异很大。同样的图像在不同的知识导引下，会产生不同的识别结果，知识库的建立不仅要使用物体的自身知识，如颜色、纹理、形状等，也需要物体间关系的知识，知识库的有效性与准备性直接影响了物体识别的准确性。目前人们所建立的各种视觉系统绝大多数是只适用于某一特定环境或应用场合的专用系统，而要建立一个可与人的视觉系统相比的通用视觉系统是比较困难的。随着深度学习在计算机视觉的很多问题上取得的突破进展。很多学者将卷积神经网络用于目标识别，取得了极好的效果，但也存在网络训练复杂、随着网络加深不易收敛、数据获取麻烦等问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于深度学习的多任务车辆部件识别模型、方法和系统，由此解决现有技术存在网络训练复杂、随着网络加深不易收敛、数据获取麻烦的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种基于深度学习的多任务车辆部件识别模型的训练方法，包括：(1)基于车辆图像数据库，建立车辆部件数据库并对车辆部件进行标记，对车辆部件数据库进行图像数据增强，得到车辆部件训练集；(2)利用车辆部件训练集训练深度残差网络，在训练时，将各个部件类别对应的图片数量作为权值添加至Softmax损失函数中，进而得到车辆部件识别网络；(3)基于车辆图像数据库，统计多个车辆部件不同类型同时出现的概率，得到多个车辆部件的联合概率，基于多个车辆部件的联合概率建立多任务车辆部件识别的数据集和对应多标签；(4)利用多任务车辆部件识别的数据集和对应多标签训练车辆部件识别网络，得到多任务车辆部件识别模型。进一步地，车辆部件包括车标、车灯、后视镜、挡风玻璃、车型和车身颜色。进一步地，图像数据增强包括图像选取、镜像、平移和加噪声。进一步地，深度残差网络为十层深度残差网络。按照本专利技术的另一方面，提供了一种基于深度学习的多任务车辆部件识别模型，其特征在于，所述多任务车辆部件识别模型由本专利技术的训练方法训练得到。按照本专利技术的另一方面，提供了一种基于深度学习的多任务车辆部件识别方法，包括：利用本专利技术的训练方法训练得到的多任务车辆部件识别模型对待检测车辆图像进行识别，得到待检测车辆图像中每个车辆部件的概率。按照本专利技术的另一方面，提供了一种基于深度学习的多任务车辆部件识别系统，包括：训练集构建模块，用于基于车辆图像数据库，建立车辆部件数据库并对车辆部件进行标记，对车辆部件数据库进行图像数据增强，得到车辆部件训练集；网络训练模块，用于利用车辆部件训练集训练深度残差网络，在训练时，将各个部件类别对应的图片数量作为权值添加至Softmax损失函数中，进而得到车辆部件识别网络；多任务数据集构建模块，用于基于车辆图像数据库，统计多个车辆部件不同类型同时出现的概率，得到多个车辆部件的联合概率，基于多个车辆部件的联合概率建立多任务车辆部件识别的数据集和对应多标签；多任务训练模块，用于利用多任务车辆部件识别的数据集和对应多标签训练车辆部件识别网络，得到多任务车辆部件识别模型；车辆部件识别模块，用于利用多任务车辆部件识别模型对待检测车辆图像进行识别，得到待检测车辆图像中每个车辆部件的概率。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术通过在训练时，将各个部件类别对应的图片数量作为权值添加至Softmax损失函数中，对损失函数进行优化，有效的解决了数据量少的部件类别对应识别率低的问题。使得数量少的类别得到足够多的训练，训练过程合理化，从而提升识别准确率。同时，本专利技术网络训练简单、易收敛、数据获取容易、在一定程度上能够克服光照的影响、识别速度快，系统的实时性好。(2)本专利技术基于多个车辆部件的联合概率建立多任务车辆部件识别的数据集和对应多标签；用于训练车辆部件识别网络，得到多任务的车辆部件识别模型。部件联合概率统计了多种部件属性的同时出现的概率，多任务车辆部件识别通过共享不同车辆部件识别任务之间的表征，利用隐含在不同的车辆部件识别任务中学习到的特征表达信息来提高泛化能力，训练过程融合多部件联合概率先验信息从而提高了最终的车辆部件识别率。同时，本专利技术使用十层深度残差网络使得训练得到的模型在识别效率高的同时，识别速度快。附图说明图1是本专利技术实施例提供的一种基于深度学习的多任务车辆部件识别模型的识别方法的流程图；图2(a)是本专利技术实施例提供的第一张车辆部件图像；图2(b)是本专利技术实施例提供的对第一张车辆部件图像进行图像选取后的图像；图2(c)是本专利技术实施例提供的第二张车辆部件图像；图2(d)是本专利技术实施例提供的对第二张车辆部件图像进行平移后的图像；图2(e)是本专利技术实施例提供的第三张车辆部件图像；图2(f)是本专利技术实施例提供的对第三张车辆部件图像进行镜像后的图像；图2(g)是本专利技术实施例提供的第四张车辆部件图像；图2(h)是本专利技术本文档来自技高网...

【技术保护点】
1.一种基于深度学习的多任务车辆部件识别模型的训练方法，其特征在于，包括：(1)基于车辆图像数据库，建立车辆部件数据库并对车辆部件进行标记，对车辆部件数据库进行图像数据增强，得到车辆部件训练集；(2)利用车辆部件训练集训练深度残差网络，在训练时，将各个部件类别对应的图片数量作为权值添加至Softmax损失函数中，进而得到车辆部件识别网络；(3)基于车辆图像数据库，统计多个车辆部件不同类型同时出现的概率，得到多个车辆部件的联合概率，基于多个车辆部件的联合概率建立多任务车辆部件识别的数据集和对应多标签；(4)利用多任务车辆部件识别的数据集和对应多标签训练车辆部件识别网络，得到多任务车辆部件识别模型。

【技术特征摘要】
1.一种基于深度学习的多任务车辆部件识别模型的训练方法，其特征在于，包括：(1)基于车辆图像数据库，建立车辆部件数据库并对车辆部件进行标记，对车辆部件数据库进行图像数据增强，得到车辆部件训练集；(2)利用车辆部件训练集训练深度残差网络，在训练时，将各个部件类别对应的图片数量作为权值添加至Softmax损失函数中，进而得到车辆部件识别网络；(3)基于车辆图像数据库，统计多个车辆部件不同类型同时出现的概率，得到多个车辆部件的联合概率，基于多个车辆部件的联合概率建立多任务车辆部件识别的数据集和对应多标签；(4)利用多任务车辆部件识别的数据集和对应多标签训练车辆部件识别网络，得到多任务车辆部件识别模型。2.如权利要求1所述的一种基于深度学习的多任务车辆部件识别模型的训练方法，其特征在于，所述车辆部件包括车标、车灯、后视镜、挡风玻璃、车型和车身颜色。3.如权利要求1或2所述的一种基于深度学习的多任务车辆部件识别模型的训练方法，其特征在于，所述图像数据增强包括图像选取、镜像、平移和加噪声。4.如权利要求1或2所述的一种基于深度学习的多任务车辆部件识别模型的训练方法，其特征在于，所述深度残差网络为十层深度残差网络。5.一种基于深度学习的多任务车辆部件识...

【专利技术属性】
技术研发人员：桑农，杨丽秦，李亚成，高常鑫，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42