从图像中检测物体的方法及装置制造方法及图纸

本发明专利技术公开了一种从图像中检测物体的方法及装置，涉及图像检测技术领域。其中的方法包括：将图像输入深度学习模型获得图像的特征、物体在图像中的初步预测坐标、图像中物体的坐标回归信息和分类信息；将物体在图像中的初步预测坐标修正为物体在图像中的预测坐标；将图像的特征以及预测坐标输入级联ROIPooling层进行池化处理，得到预测坐标所对应图像区域的特征；将预测坐标所对应图像区域的特征输入级联全连接层进行坐标回归处理，得到物体的修正分类信息和修正坐标回归信息；根据修正分类信息确定图像中物体的分类，并利用修正坐标回归信息对物体在图像中的预测坐标进行修正。从而提高了从图像中检测物体的准确性。

Method and device for detecting object from image

The invention discloses a method and an apparatus for detecting objects from images, relating to the technical field of image detection. The method includes: the image input model deep learning characteristics of the images of objects in the image, the image coordinates of the object coordinates, preliminary forecast regression in information and classification information; the object in the image coordinate correction for preliminary forecast object prediction coordinates in the image; the image characteristics and prediction of coordinate input cascade the ROIPooling layer pool processing, get the corresponding prediction coordinates of image features; the predicted coordinates corresponding to the input image of the whole regional characteristics of cascade connection layer coordinates of the object can be obtained by regression, classification information and coordinate correction correction regression information; according to the modified classification information to determine the classification of objects in images, and by using the modified coordinate regression the forecast information of objects in the image coordinates of correction. Thus, the accuracy of detecting objects from images is improved.

【技术实现步骤摘要】
从图像中检测物体的方法及装置
本专利技术涉及图像检测
，特别涉及一种从图像中检测物体的方法及装置。
技术介绍
深度学习的出现为图像中的物体检测(ObjectDetection)提供了强有力的技术支撑，让物体检测从实时性和准确性方面较传统的检测方法都有了很大的提升。基于图像区域的卷积神经网络(Region-basedConvolutionalNeuralNetworks,RCNNs)的深度学习算法对于物体检测具有长足发展。其中Faster-RCNN方法的提出，将基于深度学习的物体检测技术引入了实际生产生活中。物体检测(ObjectDetection)现阶段主流方法是在基于图像区域的卷积神经网络(Region-basedConvolutionalNeuralNetworks,RCNNs)的基础上实现的，其主要实现原理是通过选择性搜索(SelectiveSearch)采样得到的图像区域依次送入卷积神经网络，进行图像区域在整幅图像上坐标点的回归和图像区域物体的分类预测。Fast-RCNN的主要原理是输入任意尺度的图像，在卷积层后接入ROIPooling层，将SelectiveSearch采样的图像区域对应的第五卷积层(CONV5层)特征进行提取，送入神经网络进行回归和分类，使得从图像中检测物体的准确率和时效性都具有较大提升。Faster-RCNN是目前使用最多的物体检测方法，其主要改进是使用全卷积结构取代SelectiveSearch的传统方法，压缩检测速度。然而，如何对现有的物体检测技术进行改进，以提高从图像中检测物体的准确性，一直是人们关注的焦点。专利技术内容本专利技术解决的一个技术问题是，如何提高从图像中检测物体的准确性。根据本专利技术实施例的一个方面，提供了一种从图像中检测物体的方法，包括：将待检测图像输入深度学习模型进行处理，通过深度学习模型的卷积层提取待检测图像的特征，通过深度学习模型的Proposal层获得物体在待检测图像中的初步预测坐标，通过深度学习模型的全连接层提取待检测图像中物体的坐标回归信息和分类信息；将物体在待检测图像中的初步预测坐标、待检测图像中物体的坐标回归信息和分类信息输入级联处理层，利用待检测图像中物体的坐标回归信息和分类信息将物体在待检测图像中的初步预测坐标修正为物体在待检测图像中的预测坐标；将待检测图像的特征以及物体在待检测图像中的预测坐标输入级联ROIPooling层进行池化处理，得到物体在待检测图像中的预测坐标所对应图像区域的特征；将物体在待检测图像中的预测坐标所对应图像区域的特征输入级联全连接层进行坐标回归处理，得到待检测图像中物体的修正分类信息和修正坐标回归信息；根据待检测图像中物体的修正分类信息确定待检测图像中物体的分类，并利用待检测图像中物体的修正坐标回归信息对物体在待检测图像中的预测坐标进行修正，确定物体在待检测图像中的修正坐标。在一个实施例中，利用待检测图像中物体的坐标回归信息和分类信息将物体在待检测图像中的初步预测坐标修正为物体在待检测图像中的预测坐标包括：确定每个物体在待检测图像中的初步预测坐标所对应的置信度最高的坐标回归信息和分类信息；利用待检测图像中每个物体的置信度最高的坐标回归信息和分类信息，将每个物体在待检测图像中的初步预测坐标修正为每个物体在待检测图像中的预测坐标。在一个实施例中，该方法还包括：在深度学习模型的输出端依次接入级联处理层、级联ROI-data层、级联ROIPooling层以及级联全连接层，构建级联神经网络模型；其中，级联ROI-data层存有物体在图像中的实际坐标，级联ROIPooling层接收深度学习模型中的卷积层输出的图像的特征；将训练图像输入级联神经网络模型，将训练图像中物体的分类信息和物体在训练图像中的实际坐标输入级联ROI-data层以及深度学习模型中的ROI-data层，将训练图像中物体的分类信息输入级联全连接层以及深度学习模型中的全连接层，从而对级联神经网络模型进行训练。在一个实施例中，通过卷积层获得待检测图像的特征包括：提取第五个卷积层中的信息作为待检测图像的特征；通过全连接层获得待检测图像中物体的坐标回归信息和分类信息包括：提取全连接层的回归结果层中的信息作为待检测图像中物体的坐标回归信息；提取全连接层的分类结果层中的信息作为待检测图像中物体的分类信息。在一个实施例中，深度学习模型为更快速基于图像区域的卷积神经网络Faster-RCNN。在一个实施例中，该方法还包括：确定置信度大于预设值的物体在待检测图像中的修正坐标和待检测图像中物体的分类；将置信度大于预设值的物体在待检测图像中的修正坐标和待检测图像中物体的分类显示在图片中。根据本专利技术实施例的另一个方面，提供了一种从图像中检测物体的装置，其特征在于，包括：初步信息获取模块，用于将待检测图像输入深度学习模型进行处理，通过深度学习模型的卷积层提取待检测图像的特征，通过深度学习模型的Proposal层获得物体在待检测图像中的初步预测坐标，通过深度学习模型的全连接层提取待检测图像中物体的坐标回归信息和分类信息；预测坐标修正模块，用于将物体在待检测图像中的初步预测坐标、待检测图像中物体的坐标回归信息和分类信息输入级联处理层，利用待检测图像中物体的坐标回归信息和分类信息将物体在待检测图像中的初步预测坐标修正为物体在待检测图像中的预测坐标；区域特征获取模块，用于将待检测图像的特征以及物体在待检测图像中的预测坐标输入级联ROIPooling层进行池化处理，得到物体在待检测图像中的预测坐标所对应图像区域的特征；修正信息获取模块，用于将物体在待检测图像中的预测坐标所对应图像区域的特征输入级联全连接层进行坐标回归处理，得到待检测图像中物体的修正分类信息和修正坐标回归信息；物体信息确定模块，用于根据待检测图像中物体的修正分类信息确定待检测图像中物体的分类，并利用待检测图像中物体的修正坐标回归信息对物体在待检测图像中的预测坐标进行修正，确定物体在待检测图像中的修正坐标。在一个实施例中，预测坐标修正模块包括：信息确定单元，用于确定每个物体在待检测图像中的初步预测坐标所对应的置信度最高的坐标回归信息和分类信息；坐标修正单元，用于利用待检测图像中每个物体的置信度最高的坐标回归信息和分类信息，将每个物体在待检测图像中的初步预测坐标修正为每个物体在待检测图像中的预测坐标。在一个实施例中，该装置还包括：级联神经网络模型构建模块，用于在深度学习模型的输出端依次接入级联处理层、级联ROI-data层、级联ROIPooling层以及级联全连接层，构建级联神经网络模型；其中，级联ROI-data层存有物体在图像中的实际坐标，级联ROIPooling层接收深度学习模型中的卷积层输出的图像的特征；级联神经网络模型训练模块，用于将训练图像输入级联神经网络模型，将训练图像中物体的分类信息和物体在训练图像中的实际坐标输入级联ROI-data层以及深度学习模型中的ROI-data层，将训练图像中物体的分类信息输入级联全连接层以及深度学习模型中的全连接层，从而对级联神经网络模型进行训练。在一个实施例中，初步信息获取模块用于：提取第五个卷积层中的信息作为待检测图像的特征；提取全连接层的回归结果层中的信息作为待检测图本文档来自技高网...

【技术保护点】
一种从图像中检测物体的方法，其特征在于，包括：将待检测图像输入深度学习模型进行处理，通过深度学习模型的卷积层提取待检测图像的特征，通过深度学习模型的Proposal建议层获得物体在待检测图像中的初步预测坐标，通过深度学习模型的全连接层提取待检测图像中物体的坐标回归信息和分类信息；将物体在待检测图像中的初步预测坐标、待检测图像中物体的坐标回归信息和分类信息输入级联处理层，利用待检测图像中物体的坐标回归信息和分类信息将物体在待检测图像中的初步预测坐标修正为物体在待检测图像中的预测坐标；将待检测图像的特征以及物体在待检测图像中的预测坐标输入级联ROIPooling感兴趣区域池化层进行池化处理，得到物体在待检测图像中的预测坐标所对应图像区域的特征；将物体在待检测图像中的预测坐标所对应图像区域的特征输入级联全连接层进行坐标回归处理，得到待检测图像中物体的修正分类信息和修正坐标回归信息；根据待检测图像中物体的修正分类信息确定待检测图像中物体的分类，并利用待检测图像中物体的修正坐标回归信息对物体在待检测图像中的预测坐标进行修正，确定物体在待检测图像中的修正坐标。

【技术特征摘要】
1.一种从图像中检测物体的方法，其特征在于，包括：将待检测图像输入深度学习模型进行处理，通过深度学习模型的卷积层提取待检测图像的特征，通过深度学习模型的Proposal建议层获得物体在待检测图像中的初步预测坐标，通过深度学习模型的全连接层提取待检测图像中物体的坐标回归信息和分类信息；将物体在待检测图像中的初步预测坐标、待检测图像中物体的坐标回归信息和分类信息输入级联处理层，利用待检测图像中物体的坐标回归信息和分类信息将物体在待检测图像中的初步预测坐标修正为物体在待检测图像中的预测坐标；将待检测图像的特征以及物体在待检测图像中的预测坐标输入级联ROIPooling感兴趣区域池化层进行池化处理，得到物体在待检测图像中的预测坐标所对应图像区域的特征；将物体在待检测图像中的预测坐标所对应图像区域的特征输入级联全连接层进行坐标回归处理，得到待检测图像中物体的修正分类信息和修正坐标回归信息；根据待检测图像中物体的修正分类信息确定待检测图像中物体的分类，并利用待检测图像中物体的修正坐标回归信息对物体在待检测图像中的预测坐标进行修正，确定物体在待检测图像中的修正坐标。2.如权利要求1所述的方法，其特征在于，所述利用待检测图像中物体的坐标回归信息和分类信息将物体在待检测图像中的初步预测坐标修正为物体在待检测图像中的预测坐标包括：确定每个物体在待检测图像中的初步预测坐标所对应的置信度最高的坐标回归信息和分类信息；利用待检测图像中每个物体的置信度最高的坐标回归信息和分类信息，将每个物体在待检测图像中的初步预测坐标修正为每个物体在待检测图像中的预测坐标。3.如权利要求1所述的方法，其特征在于，所述方法还包括：在所述深度学习模型的输出端依次接入级联处理层、级联ROI-data感兴趣区域数据层、级联ROIPooling层以及级联全连接层，构建级联神经网络模型；其中，所述级联ROI-data层存有物体在图像中的实际坐标，所述级联ROIPooling层接收所述深度学习模型中的卷积层输出的图像的特征；将训练图像输入所述级联神经网络模型，将训练图像中物体的分类信息和物体在训练图像中的实际坐标输入级联ROI-data层以及所述深度学习模型中的ROI-data层，将训练图像中物体的分类信息输入级联全连接层以及所述深度学习模型中的全连接层，从而对所述级联神经网络模型进行训练。4.如权利要求1所述的方法，其特征在于，所述通过卷积层获得待检测图像的特征包括：提取第五个卷积层中的信息作为待检测图像的特征；所述通过全连接层获得待检测图像中物体的坐标回归信息和分类信息包括：提取全连接层的回归结果层中的信息作为待检测图像中物体的坐标回归信息；提取全连接层的分类结果层中的信息作为待检测图像中物体的分类信息。5.如权利要求1所述的方法，其特征在于，所述深度学习模型为更快速基于图像区域的卷积神经网络Faster-RCNN。6.如权利要求1所述的方法，其特征在于，所述方法还包括：确定置信度大于预设值的物体在待检测图像中的修正坐标和待检测图像中物体的分类；将置信度大于预设值的物体在待检测图像中的修正坐标和待检测图像中物体的分类显示在图片中。7.一种从图像中检测物体的装置，其特征在于，包括：初步信息获取模块，用于将待检测图像输入深度学习模型进行处理，通过深度学习模型的卷积层提取待检测图像的特征，通过深度学习模型的Proposal层获...

【专利技术属性】
技术研发人员：刘晓，谭志羽，陈宇，翁志，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11