一种图像中的物体检测方法及装置制造方法及图纸

本发明专利技术实施例公开了一种图像中的物体检测方法及装置，用以提高目标检测的实时性。该方法中按照预设的划分方式，将待检测的图像划分为多个网格，将划分后的图像输入到预先训练完成的卷积神经网络中，获取卷积神经网络输出的所述图像的每个网格对应的特征向量，识别每个特征向量中类别参数的最大值，当该最大值大于设定阈值时，根据特征向量中中心点位置参数和外形尺寸参数，确定该类别参数对应的类别的物体的位置信息。由于本发明专利技术实施例中通过预先训练完成的卷积神经网络，确定图像中的物体的类别和位置，可以同时实现物体位置和类别的检测，无需选择多个特征区域，节省了检测的时间，提高了检测的实时性和检测的效率，并便于整体优化。

Method and device for detecting object in image

The embodiment of the invention discloses a method and a device for detecting objects in images, so as to improve the real-time performance of object detection. The method in accordance with the division of default, will be divided into a plurality of image detection grid, image input after partition to convolutional neural network trained in advance, each grid feature vector of the image acquiring corresponding output convolutional neural network, the maximum value of each parameter recognition categories in the feature vector and when the maximum value is greater than the set threshold, according to the center point position parameter feature vector and dimension parameters, determine the location information of the class parameters correspond to the categories of objects. Because of the convolutional neural network is trained in advance in the embodiment of the invention, determine the type and location of objects in an image, it can detect simultaneously object location and category, no need to select a plurality of characteristic areas, save the testing time and improve the efficiency of real-time detection and detection, and to facilitate the overall optimization.

【技术实现步骤摘要】

本专利技术涉及机器学习
，特别涉及一种图像中的物体检测方法及装置。
技术介绍
随着视频监控技术的发展，智能视频监控应用在越来越多的场景中，例如交通、商场、医院、小区、公园等等，智能视频监控的应用为各种场景中，通过图像进行目标检测奠定了基础。现有技术在图像中进行目标检测时，一般采用基于候选区域的卷积神经网络(RegionConvolutionalNeuralNetwork，R-CNN)及其延伸FastRCNN和FasterRCNN。图1为采用R-CNN进行物体检测的流程示意图，其检测过程包括：接收输入图像，在图像中提取候选区域(regionproposal)，计算每个候选区域的CNN特征，并采用分类和回归的方法确定物体的类型和位置。上述过程中，需要在图像中提取出2000个候选区域，整个提取的过程需要耗时1～2s的时间，然后针对每个候选区域，需要计算该候选区域的CNN特征，而候选区域中有很多是存在重叠的，因此在计算CNN特征时也会存在很多的重复工作；并且该检测过程中还包括后续步骤：proposal的特征学习，以及对确定的物体的位置进行校正和消除虚警等处理，整个检测过程可能需要2～40s的时间，大大影响了物体检测的实时性。另外，采用R-CNN进行物体检测的过程中，图像的提取是采用显著性检测(selectivesearch)提取的，之后采用卷积神经网络计算CNN特征，最后再使用支持向量机模型(SVM)进行分类，从而确定目标的位置。而上述三个步骤都是相互独立的方法，没办法对整个检测过程进行整体优化。图2为采用FasterRCNN进行物体检测的过程示意图，该过程采用卷积神经网络进行，每个滑动窗在中间层(intermediatelayer)将会生成一个256维的数据，在分类层(clslayer)检测物体的类别，在回归层(reglayer)检测物体的位置。上述对物体的类别和位置的检测是两个独立的步骤，两个步骤中都需要针对256维的数据分别进行检测，因此该过程也将会增长检测的时长，从而影响物体检测的实时性。
技术实现思路
本专利技术实施例公开了一种图像中的物体检测方法及装置，用以提高物体检测的实时性，并便于对物体检测进行整体优化。为达到上述目的，本专利技术实施例公开了种图像中的物体检测方法，应用于电子设备，该方法包括：按照预设的划分方式，将待检测的图像划分为多个网格，其中所述待检测的图像的尺寸为目标尺寸；将划分后的图像输入到预先训练完成的卷积神经网络中，获取卷积神经网络输出的所述图像的多个特征向量，其中每个网格对应一个特征向量；针对每个网格对应的特征向量，识别该特征向量中类别参数的最大值，当所述最大值大于设定阈值时，根据所述特征向量中中心点位置参数和外形尺寸参数，确定该类别参数对应类别的物体的位置信息。进一步地，所述按照预设的划分方式，将待检测的图像划分为多个网格之前，所述方法还包括：判断所述图像的尺寸是否为目标尺寸；如果否，将所述图像的尺寸调整为目标尺寸。进一步地，所述卷积神经网络的训练过程包括：针对样本图像集合中的每个样本图像，采用矩形框标注目标物体；按照预设的划分方式将每个样本图像划分为多个网格，确定每个网格对应的特征向量，其中，每个所述样本图像尺寸为目标尺寸，当网格中包含目标物体的中心点时，根据所述目标物体的类别，将该网格对应的特征向量中该类别对应的类别参数的值设置为预先设定的最大值，根据该中心点位于该网格中的位置，确定所述特征向量中中心点位置参数的值，并根据标注的所述目标物体的矩形框的大小，确定所述特征向量中的外形尺寸参数的值，当网格中不包含目标物体的中心点时，该网格对应的特征向量中各参数的值为零；根据确定了每个网格的特征向量的每个样本图像，对卷积神经网络进行训练。进一步地，所述按照预设的划分方式将每个样本图像划分为多个网格之前，所述方法还包括：针对每个样本图像，判断该样本图像的尺寸是否为目标尺寸；如果否，将所述样本图像的尺寸调整为目标尺寸。进一步地，所述根据确定了每个网格的特征向量的每个样本图像，对卷积神经网络进行训练包括：在所述样本图像集合中选取子样本图像，其中选取的所述子样本图像的数量小于所述样本图像集合中样本图像的数量；采用选取的每个所述子样本图像，对卷积神经网络进行训练。进一步地，所述预设的划分方式包括：将图像和样本图像划分为行数量和列数量相同的多个网格；或，将图像和样本图像划分为行数量和列数量不相同的多个网格。进一步地，所述方法还包括：根据所述卷积神经网络对所述子样本图像中物体的位置和类别的预测，及子样本图像中标注的目标物体的信息，确定所述卷积神经网络的误差；当所述误差收敛时，确定所述卷积神经网络训练完成，其中所述误差采用以下损失函数确定：其中，S为划分的网格的行数目和列数目相同时的行数目或列数目、B预先设置的每个网格预测的矩形框的数量，一般取1或2，xi为标注的目标物体的中心点在该网格i的横坐标，为预测的物体的中心点在该网格i的横坐标，yi为标注的目标物体的中心点在该网格i的纵坐标，为预测的物体的中心点在该网格i的纵坐标，hi为标注的该目标物体所在矩形框的高度，wi为标注的该目标物体所在矩形框的宽度，为预测的该物体所在矩形框的高度，为预测的该物体所在矩形框的宽度，Ci为标注的该网格i当前是否存在目标物体的概率，为预测的该网格i当前是否存在物体的概率，Pi(c)为标注的该网格i内的目标物体归属于类别c的概率，为预测的该网格i内的物体归属于类别c的概率，λcoord和λnoobj为设置的权值，在预测的第j个矩形框内的物体的中心点位于网格i内时取1，否则取0，在预测的网格i存在物体的中心点时取1，否则取0，在预测的网格i不存在物体的中心点时取1，否则取0，其中，根据以下公式确定：Pr(Object)为预测的该网格i当前是否存在物体的概率，Pr(Class|Object)为预测的网格i内的物体归属于类别c的条件概率。进一步地，所述根据所述特征向量中中心点位置参数和外形尺寸参数，确定该类别参数对应类别的物体的位置信息包括：根据所述中心点的位置参数，确定所述中心点在所述网格中的位置信息；根据所述位置信息确定所述中心点，将所述中心点作为矩形框的中心，根据所述外形尺寸参数，确定所述矩形框的位置信息，将所述矩形框的位置信息作为所述物体的位置信息，并将所述类别参数对应的物体类别作为所述物体的类别。进一步地，所述根据所述中心点的位置参数，确定所述中心点在所述网格中的位置信息包括：将所述网格的设定点作为参考点；根据所述参考点及所述中心点的位置参数，确定所述中心点在所述网格中的位置信息。本专利技术实施例公开了一种图像中的物体检测装置，所述装置包括：划分模块，用于按照预设的划分方式，将待检测的图像划分为多个网格，其中所述待检测的图像的尺寸为目标尺寸；检测模块，用于将划分后的图像输入到预先训练完成的卷积神经网络中，获取卷积神经网络输出的所述图像的多个特征向量，其中每个网格对应一个特征向量；确定模块，用于针对每个网格对应的特征向量，识别该特征向量中类别参数的最大值，当所述最大值大于设定阈值时，根据所述特征向量中中心点位置参数和外形尺寸参数，确定该类别参数对应类别的物体的位置信息。进一步地，所述装置还包括：判断调整模块，用于判本文档来自技高网...

【技术保护点】
一种图像中的物体检测方法，其特征在于，应用于电子设备，该方法包括：按照预设的划分方式，将待检测的图像划分为多个网格，其中所述待检测的图像的尺寸为目标尺寸；将划分后的图像输入到预先训练完成的卷积神经网络中，获取卷积神经网络输出的所述图像的多个特征向量，其中每个网格对应一个特征向量；针对每个网格对应的特征向量，识别该特征向量中类别参数的最大值，当所述最大值大于设定阈值时，根据所述特征向量中中心点位置参数和外形尺寸参数，确定该类别参数对应类别的物体的位置信息。

【技术特征摘要】
1.一种图像中的物体检测方法，其特征在于，应用于电子设备，该方法包括：按照预设的划分方式，将待检测的图像划分为多个网格，其中所述待检测的图像的尺寸为目标尺寸；将划分后的图像输入到预先训练完成的卷积神经网络中，获取卷积神经网络输出的所述图像的多个特征向量，其中每个网格对应一个特征向量；针对每个网格对应的特征向量，识别该特征向量中类别参数的最大值，当所述最大值大于设定阈值时，根据所述特征向量中中心点位置参数和外形尺寸参数，确定该类别参数对应类别的物体的位置信息。2.根据权利要求1所述的方法，其特征在于，所述按照预设的划分方式，将待检测的图像划分为多个网格之前，所述方法还包括：判断所述图像的尺寸是否为目标尺寸；如果否，将所述图像的尺寸调整为目标尺寸。3.根据权利要求1所述的方法，其特征在于，所述卷积神经网络的训练过程包括：针对样本图像集合中的每个样本图像，采用矩形框标注目标物体；按照预设的划分方式将每个样本图像划分为多个网格，确定每个网格对应的特征向量，其中，每个所述样本图像尺寸为目标尺寸，当网格中包含目标物体的中心点时，根据所述目标物体的类别，将该网格对应的特征向量中该类别对应的类别参数的值设置为预先设定的最大值，根据该中心点位于该网格中的位置，确定所述特征向量中中心点位置参数的值，并根据标注的所述目标物体的矩形框的大小，确定所述特征向量中的外形尺寸参数的值，当网格中不包含目标物体的中心点时，该网格对应的特征向量中各参数的值为零；根据确定了每个网格的特征向量的每个样本图像，对卷积神经网络进行训练。4.根据权利要求3所述的方法，其特征在于，所述按照预设的划分方式将每个样本图像划分为多个网格之前，所述方法还包括：针对每个样本图像，判断该样本图像的尺寸是否为目标尺寸；如果否，将所述样本图像的尺寸调整为目标尺寸。5.根据权利要求3所述的方法，其特征在于，所述根据确定了每个网格的特征向量的每个样本图像，对卷积神经网络进行训练包括：在所述样本图像集合中选取子样本图像，其中选取的所述子样本图像的数量小于所述样本图像集合中样本图像的数量；采用选取的每个所述子样本图像，对卷积神经网络进行训练。6.根据权利要求1或3所述的方法，其特征在于，所述预设的划分方式包括：将图像和样本图像划分为行数量和列数量相同的多个网格；或，将图像和样本图像划分为行数量和列数量不相同的多个网格。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据所述卷积神经网络对所述子样本图像中物体的位置和类别的预测，及子样本图像中标注的目标物体的信息，确定所述卷积神经网络的误差；当所述误差收敛时，确定所述卷积神经网络训练完成，其中所述误差采用以下损失函数确定：λcoordΣi=0S2Σj=0BIijobj(xi-x^i)2+(yi-y^i)2+λcoordΣi=0S2Σj=0BIijobj(wi-w^i)2+(hi-h^i)2+Σi=0S2Σj=0BIijobj(ci-c^i)2+λnoobjΣi=0S2Σj=0BIijnoobj(ci-c^i)2+Σi=0S2IiobjΣc∈classes(Pi(c)-P^i(c))2]]>其中，S为划分的网格的行数目和列数目相同时的行数目或列数目、B预先设置的每个网格预测的矩形框的数量，一般取1或2，xi为标注的目标物体的中心点在该网格i的横坐标，为预测的物体的中心点在该网格i的横坐标，yi为标注的目标物体的中心点在该网格i的纵坐标，为预测的物体的中心点在该网格i的纵坐标，hi为标注的该目标物体所在矩形框的高度，wi为标注的该目标物体所在矩形框的宽度，为预测的该物体所在矩形框的高度，为预测的该物体所在矩形框的宽度，Ci为标注的该网格i当前是否存在目标物体的概率，为预测的该网格i当前是否存在物体的概率，Pi(c)为标注的该网格i内的目标物体归属于类别c的概率，为预测的该网格i内的物体归属于类别c的概率，λcoord和λnoobj为设置的权值，在预测的第j个矩形框内的物体的中心点位于网格i内时取1，否则取0，在预测的网格i存在物体的中心点时取1，否则取0，在预测的网格i不存在物体的中心点时取1，否则取0，其中，根据以下公式确定：Pr(Classi|Object)*Pr(Object)=P^i(c)]]>Pr(Object)为预测的该网格i当前是否存在物体的概率，Pr(Class|Object)为预测的网格i内的物体归属于类别c的条件概率。8.根据权利要求1所述的方法，其特征在于，所述根据所述特征向量中中心点位置参数和外形尺寸参数，确定该类别参数对应类别的物体的位置信息包括：根据所述中心点的位置参数，确定所述中心点在所述网格中的位置信息；根据所述位置信息确定所述中心点，将所述中心点作为矩形框的中心，根据所述外形尺寸参数，确定所述矩形框的位置信息，将所述矩形框的位置信息作为所述物体的位置信息，并将所述类别参数对应的物体类别作为所述物体的类别。9.根据权利要求8所述的方法...

【专利技术属性】
技术研发人员：杨松林，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33