对车辆周围的小物体区域进行识别的装置和方法制造方法及图纸

本发明专利技术提供一种对车辆周围的小物体区域进行识别的装置和方法，该装置包括：图像获取单元，从所述车辆中的拍摄装置获取所述车辆周围的图像；识别单元，获取与所述图像相关的历史信息和/或所述车辆的车辆信息，并根据所述图像、所述历史信息、所述车辆信息中的至少一个，从所述图像中识别出所述小物体区域。

Device and Method for Recognition of Small Object Area around Vehicle

The invention provides an apparatus and a method for recognizing the area of small objects around a vehicle. The device comprises an image acquisition unit which obtains the image around the vehicle from the photographing device in the vehicle; a recognition unit which obtains the historical information related to the image and/or the vehicle information of the vehicle, and according to the image, the historical information and the vehicle letter. At least one of the information identifies the small object area from the image.

【技术实现步骤摘要】
对车辆周围的小物体区域进行识别的装置和方法
本专利技术涉及对车辆周围的小物体区域进行识别的装置和方法。
技术介绍
针对自动驾驶实施，需要对多类型的物体进行同时检测，目前基于机器学习的检测器，特别是基于深度学习，在用于解决移动摄像头场景下的物体检测及追踪精度方面有很大的提升，可以通过单目/双目/多目摄像机对车辆行驶区域周围进行有效的物体识别和跟踪。但是目前检测器在检测形状小且位置远的物体却很困难，小物体检测精度较低。由于小物体本身在处理过程中像素丢失，从而影响物体识别精度，导致驾驶危险增加。本文中涉及的小物体是指利用深度学习图像处理方法被逐层分析后在最后一层所占像素尺寸小于有效分析像素尺寸的物体或所占像素尺寸小于机器学习方法中的预定训练像素尺寸的物体，并且小物体既包含近处的小物体又包含远处的小物体。目标检测中滑动窗方法是种很普遍的技术，但是该方法为达到一定精度的小物体检测需要花费大量运算时间。图像缩放技术虽然能够解决部分问题，节省部分运算时间，但是却丢失了检测小物体的必要信息。金字塔分层缩放方法在多尺寸检测上效果明显，但是也很难检测出形状小且位置远的物体。通过增加特征地图(featuremap)分割大小的方法，虽然可以提高准确度，但是速度太慢，不利于检测小物体的存在。。现有技术中的《利用有意义特征及整体直方图的小物体检测》(《SmallObjectDetectionusingMeaningfulFeaturesandGeneralizedHistograms》，美国专利申请号US8,724,850B1，华为申请)公开了一种小物体检测算法，该算法利用统计直方图检测视频帧里小物体感兴趣区域。但是该专利针对视频流传输中小物体丢失现象，采用的是上下帧信息，该方法无法用于车载实时视频处理。综上所述，现有技术中无法实时快速地识别小物体区域，从而无法实时快速地检测出小物体。
技术实现思路
本专利技术提供一种对车辆周围的小物体区域进行识别的装置，所述装置包括：图像获取单元，从所述车辆中的拍摄装置获取所述车辆周围的图像；识别单元，获取与所述图像相关的历史信息和/或所述车辆的车辆信息，并根据所述图像、所述历史信息、所述车辆信息中的至少一个，从所述图像中识别出所述小物体区域。所述小物体是指利用深度学习图像处理方法被逐层分析后在最后一层所占像素尺寸小于有效分析像素尺寸的物体或所占像素尺寸小于机器学习方法中的预定训练像素尺寸的物体。其中，所述识别单元进一步包括：第一信息获取单元，用于获取所述历史信息，所述历史信息包括多个物体位置信息，每个物体位置信息包括每个物体的中心位置和像素尺寸；位置区分单元，将所述像素尺寸小于等于所述预定训练像素尺寸的物体的中心位置作为小物体中心位置，并将所述像素尺寸大于所述预定训练像素尺寸的物体的中心位置作为大物体中心位置；第一分割单元，将所述图像分割为多个第一子区域，以使每个第一子区域中包含所述小物体中心位置或大物体中心位置，其中所述多个第一子区域中的每个第一子区域的像素尺寸大于所述预定训练像素尺寸；第一分类单元，将包含所述小物体中心位置的第一子区域分类为所述小物体区域。其中，所述识别单元进一步包括：第二信息获取单元，从所述图像获取路面信息，并获取所述车辆信息，所述车辆信息包括车速；设定单元，根据所述路面信息设定所述图像中的检测区域；第二分割单元，根据所述车速，将所述检测区域分割为多个第二子区域；第二分类单元，将所述多个第二子区域中像素尺寸小于等于预定训练像素的第二子区域分类为所述小物体区域。其中，所述路面信息包括车道线信息，根据所述车道线信息获取车道线交接点信息，所述设定单元根据所述车道线交接点信息设定所述检测区域。其中，所述识别单元进一步包括：第三信息获取单元，根据所述图像，获取所述图像中的每个像素的深度值，并获取所述车辆信息，所述车辆信息包括车速；第三分割单元，根据所述车速，将所述图像分割为多个第三子区域，其中所述多个第三子区域中的每个第三子区域的像素尺寸大于所述预定训练像素尺寸；计算单元，计算所述多个第三子区域中的每个第三子区域中的多个像素的平均深度值；第三分类单元，将平均深度值大于等于预定值的第三子区域分类为所述小物体区域。其中，所述识别单元进一步包括：第四信息获取单元，获取所述车辆信息以及所述历史信息，所述车辆信息包括所述车辆的位置信息，所述历史信息是与所述位置信息对应的历史分析数据；判断单元，根据所述位置信息判断所述图像中是否存在第一预定区域，并根据上述历史分析数据判断所述图像中是否存在第二预定区域；第四分割单元，将所述图像分割成多个第四子区域，所述多个第四子区域中的一部分第四子区域各自包含所述第一预定区域或所述第二预定区域，其中所述多个第四子区域中的每个第四子区域的像素尺寸大于所述预定训练像素尺寸；第四分类单元，将包含所述第一预定区域或所述第二预定区域的第四子区域分类为所述小物体区域。其中，所述第一预定区域是包含学校的区域，所述第二预定区域是包含物体易掉落的区域。本专利技术还提供一种对车辆周围的小物体区域进行识别的方法，所述方法包括：图像获取步骤，从所述车辆中的拍摄装置获取所述车辆周围的图像；识别步骤，获取与所述图像相关的历史信息和/或所述车辆的车速，并根据所述图像、所述历史信息、所述车辆信息中的至少一个，从所述图像中识别出所述小物体区域。通过本专利技术的上述装置和方法，可以实时快速地检测出车辆周围的小物体。附图说明图1是根据本专利技术的实施例的对车辆周围的小物体区域进行识别的装置的示意图；图2是根据本专利技术的实施例的对车辆周围的小物体区域进行识别的方法的流程图；图3是根据本专利技术的第一实施例的识别单元的示意图；图4是根据本专利技术的第一实施例的识别步骤的流程图；图5是根据本专利技术的第二实施例的识别单元的示意图；图6是根据本专利技术的第二实施例的识别步骤的流程图；图7是根据本专利技术的第三实施例的识别单元的示意图；图8是根据本专利技术的第三实施例的识别步骤的流程图；图9是根据本专利技术的第四实施例的识别单元的示意图；图10是根据本专利技术的第四实施例的识别步骤的流程图；图11是部分真实场景中的具有标签框G的一些训练数据的示意图；图12是小物体中心位置和大物体中心位置的示意图；图13根据本专利技术的第一实施例的多个第一子区域的示意图；图14是图像中的车道线信息的示意图；图15是图像中的检测区域的示意图；图16是根据本专利技术的第二实施例的多个第二子区域的示意图；图17是根据本专利技术的第三实施例的多个第三子区域的示意图；图18是根据本专利技术的第四实施例的多个第四子区域的示意图。具体实施方式下面结合附图，对本专利技术进行详细说明。图1是根据本专利技术的实施例的对车辆周围的小物体区域进行识别的装置1，该装置1包括图像获取单元10和识别单元11。图2是根据本专利技术的实施例的对车辆周围的小物体区域进行识别的方法的流程图。如图2所示，在步骤S21，图像获取单元10从车辆中的拍摄装置获取车辆周围的图像，该图像如图13-18所示。拍摄装置(图未视)是安装在车辆的适当位置(可以布置在车辆前挡风玻璃的上端、车尾后端、车身两侧、车顶)的摄像头系统，可以是一部或多部摄像头系统，采集并存储来自车体前方、后方、两边侧面的图像信息。摄像头系统通常由光学系统与摄像头组成，光学系统可本文档来自技高网...

【技术保护点】
1.一种对车辆周围的小物体区域进行识别的装置，其特征在于，所述装置包括：图像获取单元，从所述车辆中的拍摄装置获取所述车辆周围的图像；识别单元，获取与所述图像相关的历史信息和/或所述车辆的车辆信息，并根据所述图像、所述历史信息、所述车辆信息中的至少一个，从所述图像中识别出所述小物体区域。

【技术特征摘要】
1.一种对车辆周围的小物体区域进行识别的装置，其特征在于，所述装置包括：图像获取单元，从所述车辆中的拍摄装置获取所述车辆周围的图像；识别单元，获取与所述图像相关的历史信息和/或所述车辆的车辆信息，并根据所述图像、所述历史信息、所述车辆信息中的至少一个，从所述图像中识别出所述小物体区域。2.如权利要求1所述的装置，其特征在于，所述小物体是指利用深度学习图像处理方法被逐层分析后在最后一层所占像素尺寸小于有效分析像素尺寸的物体或所占像素尺寸小于深度学习方法中的预定训练像素尺寸的物体。3.如权利要求2所述的装置，其特征在于，所述识别单元进一步包括：第一信息获取单元，用于获取所述历史信息，所述历史信息包括多个物体位置信息，每个物体位置信息包括每个物体的中心位置和像素尺寸；位置区分单元，将所述像素尺寸小于等于所述预定训练像素尺寸的物体的中心位置作为小物体中心位置，并将所述像素尺寸大于所述预定训练像素尺寸的物体的中心位置作为大物体中心位置；第一分割单元，将所述图像分割为多个第一子区域，以使每个第一子区域中包含所述小物体中心位置或大物体中心位置，其中所述多个第一子区域中的每个第一子区域的像素尺寸大于所述预定训练像素尺寸；第一分类单元，将包含所述小物体中心位置的第一子区域分类为所述小物体区域。4.如权利要求2所述的装置，其特征在于，所述识别单元进一步包括：第二信息获取单元，从所述图像获取路面信息，并获取所述车辆信息，所述车辆信息包括车速；设定单元，根据所述路面信息设定所述图像中的检测区域；第二分割单元，根据所述车速，将所述检测区域分割为多个第二子区域；第二分类单元，将所述多个第二子区域中像素尺寸小于等于预定训练像素的第二子区域分类为所述小物体区域。5.如权利要求4所述的装置，其特征在于，所述路面信息包括车道线信息，根据所述车道线信息获取车道线交接点信息，所述设定单元根据所述车道线交接点信息设定所述检测区域。6.如权利要求2所述的装置，其特征在于，所述识别单元进一步包括：第三信息获取单元，根据所述图像，获取所述图像中的每个像素的深度值，并获取所述车辆信息，所述车辆信息包括车速；第三分割单元，根据所述车速，将所述图像分割为多个第三子区域，其中所述多个第三子区域中的每个第三子区域的像素尺寸大于所述预定训练像素尺寸；计算单元，计算所述多个第三子区域中的每个第三子区域中的多个像素的平均深度值；第三分类单元，将平均深度值大于等于预定值的第三子区域分类为所述小物体区域。7.如权利要求2所述的装置，其特征在于，所述识别单元进一步包括：第四信息获取单元，获取所述车辆信息以及所述历史信息，所述车辆信息包括所述车辆的位置信息，所述历史信息是与所述位置信息对应的历史分析数据；判断单元，根据所述位置信息判断所述图像中是否存在第一预定区域，并根据上述历史分析数据判断所述图像中是否存在第二预定区域；第四分割单元，将所述图像分割成多个第四子区域，所述多个第四子区域中的一部分第四子区域各自包含所述第一预定区域或所述第二预定区域，其中所述多个第四子区域中的每个第四子区域的像素尺寸大于所述预定训练像素尺寸；第四分类单元，将包含所述第一预定区域或所述第二预定区域的第四子区域分类为所述小物体区域。8.如权利要求7所述的装置，其特征在于，所述第一预定区域是包含学校的区域，所述第二预定区域是包含物体易掉落的区域。9.一种对车...

【专利技术属性】
技术研发人员：戴依若，沙浩，张杨，照井孝一，志磨健，
申请(专利权)人：日立汽车系统株式会社，
类型：发明
国别省市：日本,JP