车窗定位方法、系统、设备及存储介质技术方案

本发明专利技术提供了一种车窗定位方法、系统、设备及存储介质，方法包括：将检测车窗区域图像输入第一级卷积神经网络，得到各个特征点的坐标值；根据各个特征点的坐标值，从检测车窗区域图像中裁剪得到各个特征点对应的检测特征点区域图像，将检测特征点区域图像输入第二级卷积神经网络，得到各个特征点的修正坐标值，据此确定车窗位置。本发明专利技术通过在初步确定的车窗区域中使用级联的卷积神经网络定位出车窗的四个角点位置，从而检测出准确的车窗位置；相较于传统方法而言提高了目标的检测率，且相比于其他类型的检测神经网络而言，节约了检测时间，在实际产品应用中占有绝对的优势。

【技术实现步骤摘要】
车窗定位方法、系统、设备及存储介质
本专利技术涉及车辆识别
，尤其涉及一种基于级联卷积神经网络的车窗定位方法、系统、设备及存储介质。
技术介绍
近几年来随着智能领域技术的飞速发展，交通道路智能管理的需求增加，在管理过程中，常常需要对车辆车窗进行检测。现有的车辆车窗检测方法主要有如下几下两种：1、基于色差均值的快速车窗定位方法；2、基于梯度的车窗检测方法，如基于Hough直线检测方法。以上两种方法均是主要基于梯度和颜色差异的车窗检测方法，这两种方法存在一些弊端：如果车窗边界、纹理信息不够明显，出现干扰物时，基于梯度的车窗边框位置难以明显表示；而如果车窗区域的颜色与车身颜色较相似，如黑色小型轿车，则很容易出现遗漏检测。
技术实现思路
针对现有技术中的问题，本专利技术的目的在于提供一种车窗定位方法、系统、设备及存储介质，在初步确定的车窗区域中使用级联的卷积神经网络定位出车窗的四个角点位置，从而检测出准确的车窗位置。本专利技术实施例提供一种车窗定位方法，包括如下步骤：S100：将待检测车窗区域图像输入第一级卷积神经网络，得到输出的各个特征点的坐标值，其中，所述第一级卷积神经网络为预先根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练得到的神经网络模型；S200：根据各个特征点的坐标值，从待检测车窗区域图像中裁剪得到各个特征点对应的待检测特征点区域图像，输入第二级卷积神经网络，得到输出的各个特征点的修正坐标值，其中，所述第二级卷积神经网络为根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练得到的神经网络模型；S300：根据各个特征点的修正坐标值确定车窗的位置。可选地，所述第二级卷积神经网络具体通过以下步骤训练得到：在训练车窗区域图像中，分别以各个特征点为中心，根据扩展系数向外扩展得到各个特征点对应的训练特征点区域图像；根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练所述第二级卷积神经网络；步骤S200包括如下步骤：在检测车窗区域图像中，分别以各个特征点为中心，根据扩展系数向外扩展得到各个特征点对应的检测特征点区域图像，输入所述第二级卷积神经网络，得到输出的各个特征点的修正坐标值。可选地，所述各个特征点对应的训练特征点区域图像通过以下步骤得到：设定一个或多个扩展系数mi，i∈(1,n)，其中n为扩展系数的数量；针对每一个扩展系数mi，在训练车窗区域图像中，分别以各个特征点为中心，沿长度方向分别向两侧扩展L*mi，沿宽度方向分别向两侧扩展H*mi，得到各个特征点对应于该扩展系数mi的训练特征点区域图像，其中L和H分别为训练车窗区域图像的长度和高度；所述步骤S200中，得到输出的各个特征点的修正坐标值，包括如下步骤：将检测车窗区域图像归一化至与训练特征点区域图像具有相同尺寸；针对每一个扩展系数mi，在检测车窗区域图像中，分别以各个特征点为中心，沿长度方向分别向两侧扩展L*mi，沿宽度方向分别向两侧扩展H*mi，得到各个特征点对应于该扩展系数mi的检测特征点区域图像；将各个特征点对应于各个扩展系数mi的检测特征点区域图像输入所述第二级卷积神经网络，得到各个特征点的对应于各个扩展系数mi的坐标值；将同一特征点分别对应于各个扩展系数mi的坐标值计算平均值，作为该特征点的修正坐标值。可选地，训练所述第二级卷积神经网络包括如下步骤：分别根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练多个第二级卷积神经网络，各个所述第二级卷积神经网络的输入为特征点区域图像，输出为各个特征点的修正坐标值；其中：各个第二级卷积神经网络按照扩展系数的大小进行排序，其中各个第二级卷积神经网络对应的扩展系数小于其前一个第二级卷积神经网络对应的扩展系数。可选地，所述步骤S200包括按照排序依次采用各个第二级卷积神经网络进行特征点位置检测，具体包括如下步骤：根据特征点的坐标值，以及根据第一个第二级卷积神经网络的扩展系数从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入第一个所述第二级卷积神经网络，得到各个特征点对应于第一个第二级卷积神经网络的修正坐标值；对于后续的各个第二级卷积神经网络：根据前一个第二级卷积神经网络输出的特征点的修正坐标值，以及根据当前第二级卷积神经网络的扩展系数，从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入当前第二级卷积神经网络，得到各个特征点对应于当前第二级卷积神经网络的修正坐标值；将最后一个第二级卷积神经网络输出的修正坐标值作为步骤S300的输入值。可选地，所述步骤S200包括如下步骤：根据特征点的坐标值，以及根据第一个第二级卷积神经网络的扩展系数从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入第一个所述第二级卷积神经网络，得到各个特征点对应于第一个第二级卷积神经网络的修正坐标值；对于后续的各个第二级卷积神经网络：根据前一个第二级卷积神经网络输出的特征点的修正坐标值，以及根据当前第二级卷积神经网络的扩展系数，从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入当前第二级卷积神经网络，得到各个特征点对应于当前第二级卷积神经网络的修正坐标值；针对每次第二级卷积神经网络输出的特征点的修正坐标值，判断各个特征点之间的位置关系是否满足预设关联关系，如果是，则将当前第二级卷积神经网络输出的特征点的修正坐标值作为步骤S300的输入值。可选地，所述步骤S200中，判断各个特征点之间的位置关系是否满足预设关联关系，采用如下一种方式或多种方式的组合：判断两个指定特征点之间的连线的水平度是否位于预设水平度范围内；判断两个指定特征点之间的连线的垂直度是否位于预设垂直度范围内；判断特征点之间的两条指定连线的夹角是否位于预设夹角范围内；判断特征点之间的两条指定连线的长度的比值是否位于预设比值范围内。可选地，所述特征点包括定义车窗框架轮廓的四个角点，所述步骤S300包括：根据各个特征点的修正坐标值确定车窗的框架位置。本专利技术实施例还提供一种车窗定位系统，应用于所述的车窗定位方法，包括第一定位单元，用于将检测车窗区域图像输入第一级卷积神经网络，得到输出的各个特征点的坐标值，其中，所述第一级卷积神经网络为预先根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练得到的神经网络模型；第二定位单元，用于根据各个特征点的坐标值，从检测车窗区域图像中裁剪得到各个特征点对应的检测特征点区域图像，输入第二级卷积神经网络，得到输出的各个特征点的修正坐标值，其中，所述第二级卷积神经网络为根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练得到的神经网络模型；车窗定位单元，用于根据各个特征点的修正坐标值确定车窗的位置。本专利技术实施例还提供一种车窗定位设备，包括：处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的车窗定位方法的步骤。本专利技术实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的车窗定位方法的步骤。本专利技术所提供的车窗定位方法、系统、设备及存储介质具有下列优点：本专利技术首先基于车牌位置初步定位出车窗区域，在此初步本文档来自技高网...

【技术保护点】
1.一种车窗定位方法，其特征在于，包括如下步骤：S100：将待检测车窗区域图像输入第一级卷积神经网络，得到输出的各个特征点的坐标值，其中，所述第一级卷积神经网络为预先根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练得到的神经网络模型；S200：根据各个特征点的坐标值，从待检测车窗区域图像中裁剪得到各个特征点对应的待检测特征点区域图像，输入第二级卷积神经网络，得到输出的各个特征点的修正坐标值，其中，所述第二级卷积神经网络为根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练得到的神经网络模型；S300：根据各个特征点的修正坐标值确定车窗的位置。

【技术特征摘要】
1.一种车窗定位方法，其特征在于，包括如下步骤：S100：将待检测车窗区域图像输入第一级卷积神经网络，得到输出的各个特征点的坐标值，其中，所述第一级卷积神经网络为预先根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练得到的神经网络模型；S200：根据各个特征点的坐标值，从待检测车窗区域图像中裁剪得到各个特征点对应的待检测特征点区域图像，输入第二级卷积神经网络，得到输出的各个特征点的修正坐标值，其中，所述第二级卷积神经网络为根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练得到的神经网络模型；S300：根据各个特征点的修正坐标值确定车窗的位置。2.根据权利要求1所述的车窗定位方法，其特征在于，所述第二级卷积神经网络具体通过以下步骤训练得到：在训练车窗区域图像中，分别以各个特征点为中心，根据扩展系数向外扩展得到各个特征点对应的训练特征点区域图像；根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练所述第二级卷积神经网络；步骤S200包括如下步骤：在检测车窗区域图像中，分别以各个特征点为中心，根据扩展系数向外扩展得到各个特征点对应的检测特征点区域图像，输入所述第二级卷积神经网络，得到输出的各个特征点的修正坐标值。3.根据权利要求2所述的车窗定位方法，其特征在于，所述各个特征点对应的训练特征点区域图像通过以下步骤得到：设定一个或多个扩展系数mi，i∈(1,n)，其中n为扩展系数的数量；针对每一个扩展系数mi，在训练车窗区域图像中，分别以各个特征点为中心，沿长度方向分别向两侧扩展L*mi，沿宽度方向分别向两侧扩展H*mi，得到各个特征点对应于该扩展系数mi的训练特征点区域图像，其中L和H分别为训练车窗区域图像的长度和高度；所述步骤S200中，得到输出的各个特征点的修正坐标值，包括如下步骤：将检测车窗区域图像归一化至与训练特征点区域图像具有相同尺寸；针对每一个扩展系数mi，在检测车窗区域图像中，分别以各个特征点为中心，沿长度方向分别向两侧扩展L*mi，沿宽度方向分别向两侧扩展H*mi，得到各个特征点对应于该扩展系数mi的检测特征点区域图像；将各个特征点对应于各个扩展系数mi的检测特征点区域图像输入所述第二级卷积神经网络，得到各个特征点的对应于各个扩展系数mi的坐标值；将同一特征点分别对应于各个扩展系数mi的坐标值计算平均值，作为该特征点的修正坐标值。4.根据权利要求2或3所述的车窗定位方法，其特征在于，训练所述第二级卷积神经网络包括如下步骤：分别根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练多个第二级卷积神经网络，各个所述第二级卷积神经网络的输入为特征点区域图像，输出为各个特征点的修正坐标值；其中：各个第二级卷积神经网络按照扩展系数的大小进行排序，其中各个第二级卷积神经网络对应的扩展系数小于其前一个第二级卷积神经网络对应的扩展系数。5.根据权利要求4所述的车窗定位方法，其特征在于，所述步骤S200包括按照排序依次采用各个第二级卷积神经网络进行特征点位置检测，具体包括如下步骤：根据特征点的坐标值，以及根据第一个第二级卷积神经网络的扩展系数从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入第一个所...

【专利技术属性】
技术研发人员：陈燕娟，张安发，黑光月，陈曲，周延培，张剑，覃明贵，刘向荣，侯文雷，李俊，周胜，
申请(专利权)人：苏州科达科技股份有限公司，广西警察学院，
类型：发明
国别省市：江苏,32