一种对象检测方法、装置及存储介质制造方法及图纸

本发明专利技术实施例公开了对象检测方法、装置及存储介质，应用于信息处理技术领域。对象检测装置在对双目相机拍摄的当前帧左图像和当前帧右图像中的对象进行检测时，需要先将当前帧左图像和当前帧右图像或至少一次处理后的当前帧左图像和当前帧右图像分割成当前帧子图像；然后在相应子图像之间进行跟踪匹配，得到多个当前帧子图像的第一运动信息和实际位置信息；最后再对多个当前帧子图像进行聚类，得到的每个聚类中当前帧子图像即可表示一个对象，从而可以根据每个聚类中的当前帧子图像识别出对应的对象。这样，子图像之间的跟踪匹配的可靠性较高，能较为准确的识别出图像中的对象，且进行跟踪匹配的计算量较小。

An object detection method, device and storage medium

The embodiment of the invention discloses an object detection method, a device and a storage medium, and is applied to the field of information processing technology. When detecting the current frame left image and the right image of the current frame, the object detection device needs to divide the left image of the current frame with the right image of the current frame or the left image of the current frame after at least one time and the right image of the current frame into the current frame image, and then carry out the image between the corresponding sub images. After tracking and matching, the first motion information and the actual position information of multiple current frame subimages are obtained. Finally, multiple current frame subimages are clustered, and the current frame subimages in each cluster can represent an object, thus the corresponding object can be identified according to the current frame subimage in each cluster. In this way, the tracking and matching between sub images is more reliable, and the objects in the images can be identified more accurately, and the computation of tracking matching is relatively small.

【技术实现步骤摘要】
一种对象检测方法、装置及存储介质
本专利技术涉及信息处理
，特别涉及一种对象检测方法、装置及存储介质。
技术介绍
基于视觉的对象检测主要是指根据相机拍摄的图片或视频，采用一定的程序算法，将图片或视频中的目标物体(包括但不限于行人，车辆，树木等)识别出来。基于视觉的对象检测技术广泛应用于机器人、无人车、安防监控等诸多领域。目前常见的对象检测方法是基于双目相机拍摄的图像，一种方法是对双目相机当前拍摄的两幅图像进行立体匹配，得到深度信息，然后根据深度信息检测到图像中的各个对象，这种检测效果较差。另一种方法是针对双目相机拍摄的前后两帧共四幅图像，提取四幅图像中的特征点进行三维重建，以计算图像的场景流，最后根据场景流将具有相似运动的特征点聚类，从而得到场景中的对象。这种方法与前一种方法相比，检测效果有所提升，但是这种方法主要是基于单个像素点的处理，由于单个像素的稳定性不强，故这种算法的鲁棒性较差；此外这种方法中对每一帧图像都需要进行大量像素点的特征提取和匹配，计算量大。
技术实现思路
本专利技术实施例提供一种对象检测方法、装置及存储介质，实现了根据多个当前帧子图像分别对应的第一运动信息和实际位置信息，识别出当前帧左图像和当前帧右图像中的各个对象。本专利技术实施例第一方面提供一种对象检测方法，包括：获取双目相机的当前帧左图像和当前帧右图像；分别对所述当前帧左图像和当前帧右图像进行分割得到对应的当前帧子图像；在前一帧子图像与所述当前帧子图像之间进行跟踪匹配，得到多个所述当前帧子图像分别对应的基于图像的第一运动信息；所述前一帧子图像是当前帧的前一帧左图像和前一帧右图像对应的子图像；在第一当前帧子图像与第二当前帧子图像之间进行跟踪匹配，得到所述多个当前帧子图像分别对应的实际位置信息；所述第一当前帧子图像为所述当前帧左图像对应的当前帧子图像，所述第二当前帧子图像为所述当前帧右图像对应的当前帧子图像；根据所述多个当前帧子图像分别对应的第一运动信息和实际位置信息，对所述多个当前帧子图像进行聚类，得到的每一聚类包括的当前帧子图像表示一个对象；识别所述每一聚类中当前帧子图像所表示的对象。本专利技术实施例第二方面提供一种对象检测装置，包括：图像获取单元，用于获取双目相机的当前帧左图像和当前帧右图像；分割单元，用于分别对所述当前帧左图像和当前帧右图像进行分割得到对应的当前帧子图像；跟踪匹配单元，用于在前一帧子图像与所述当前帧子图像之间进行跟踪匹配，得到多个所述当前帧子图像分别对应的基于图像的第一运动信息；在第一当前帧子图像与第二当前帧子图像之间进行跟踪匹配，得到所述多个当前帧子图像分别对应的实际位置信息；其中，所述前一帧子图像是当前帧的前一帧左图像和前一帧右图像对应的子图像；所述第一当前帧子图像为所述当前帧左图像对应的当前帧子图像，所述第二当前帧子图像为所述当前帧右图像对应的当前帧子图像；聚类单元，用于根据所述多个当前帧子图像分别对应的第一运动信息和实际位置信息，对所述多个当前帧子图像进行聚类，得到的每一聚类包括的当前帧子图像表示一个对象；对象识别单元，用于识别所述每一聚类中当前帧子图像所表示的对象。本专利技术实施例第三方面提供一种存储介质，所述存储介质储存多条指令，所述指令适于由处理器加载并执行如本专利技术实施例第一方面所述的对象检测方法。本专利技术实施例第四方面提供一种终端设备，包括处理器和存储介质，所述处理器，用于实现各个指令；所述存储介质用于储存多条指令，所述指令用于由处理器加载并执行如本专利技术实施例第一方面所述的对象检测方法。可见，本专利技术实施例的对象检测装置在对双目相机拍摄的当前帧左图像和当前帧右图像中的对象进行检测时，需要先将当前帧左图像和当前帧右图像或至少一次处理后的当前帧左图像和当前帧右图像分割成当前帧子图像；然后在前一帧子图像与当前帧子图像之间，及第一当前帧子图像与第二当前帧子图像之间进行跟踪匹配，得到多个当前帧子图像的第一运动信息和实际位置信息；最后再对多个当前帧子图像进行聚类，得到的每个聚类中当前帧子图像即可表示一个对象，从而可以根据每个聚类中的当前帧子图像识别出对应的对象。这样在子图像之间进行跟踪匹配时，由于子图像中所包含的信息远大于单个的像素点的信息，故跟踪匹配的可靠性较高，使得能较为准确的识别出图像中的对象；另外，子图像中像素点的数量通常在数百个左右，相对于一帧图像中近百万数量的像素点，对于子图像之间进行跟踪匹配的计算量较小。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的一种对象检测方法的流程图；图2是本专利技术一个实施例中得到第一运动信息的方法流程图；图3是本专利技术一个实施例中得到实际位置信息的方法流程图；图4是本专利技术应用实施例提供的一种对象检测方法的流程图；图5a是本专利技术应用实施例中当前帧左图像和当前帧右图像的示意图；图5b是本专利技术应用实施例中分割得到的当前帧子图像的示意图；图6是本专利技术应用实施例中分割得到的前一帧子图像的示意图；图7是本专利技术实施例提供的一种对象检测装置的结构示意图；图8是本专利技术实施例提供的另一种对象检测装置的结构示意图；图9是本专利技术实施例提供的一种终端设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本专利技术实施例提供一种对象检测方法，主要可以应用于机器人、无人车、安防监控等诸多领域，具体应用于特定的应用设备(比如机器人，无人车，安防监控系统等)。这些特定的应用设备中都包括双目相机和对象检测装置，这样双目相机拍摄图像后，由对象检测装置检测双目相机拍摄的图像中所包含的对象。具体地，对象检测装置在进行对象检测时：获取双目相机的当前帧左图像和当前帧右图像；分别对当前帧左图像和当前帧右图像进行分割得到对应的当前帧子图像，或分别对至少一次处理后的当前帧左图像和当前帧右图像进行分割得到对应的当前帧子图像；在前一帧子图像与当前帧子图像之间进行跟踪匹配，得到多个当前帧子图像分别对应的基于图像的第一运动信息，前一帧子图像是当前帧的前一帧左图像和前一帧右图像对应的子图像；在第一当前帧子图像与第二当前帧子图像之间进行跟踪匹配，得到多个本文档来自技高网...

【技术保护点】
1.一种对象检测方法，其特征在于，包括：获取双目相机的当前帧左图像和当前帧右图像；分别对所述当前帧左图像和当前帧右图像进行分割得到对应的当前帧子图像；在前一帧子图像与所述当前帧子图像之间进行跟踪匹配，得到多个所述当前帧子图像分别对应的基于图像的第一运动信息；所述前一帧子图像是当前帧的前一帧左图像和前一帧右图像对应的子图像；在第一当前帧子图像与第二当前帧子图像之间进行跟踪匹配，得到所述多个当前帧子图像分别对应的实际位置信息；所述第一当前帧子图像为所述当前帧左图像对应的当前帧子图像，所述第二当前帧子图像为所述当前帧右图像对应的当前帧子图像；根据所述多个当前帧子图像分别对应的第一运动信息和实际位置信息，对所述多个当前帧子图像进行聚类，得到的每一聚类包括的当前帧子图像表示一个对象；识别所述每一聚类中当前帧子图像所表示的对象。

【技术特征摘要】
1.一种对象检测方法，其特征在于，包括：获取双目相机的当前帧左图像和当前帧右图像；分别对所述当前帧左图像和当前帧右图像进行分割得到对应的当前帧子图像；在前一帧子图像与所述当前帧子图像之间进行跟踪匹配，得到多个所述当前帧子图像分别对应的基于图像的第一运动信息；所述前一帧子图像是当前帧的前一帧左图像和前一帧右图像对应的子图像；在第一当前帧子图像与第二当前帧子图像之间进行跟踪匹配，得到所述多个当前帧子图像分别对应的实际位置信息；所述第一当前帧子图像为所述当前帧左图像对应的当前帧子图像，所述第二当前帧子图像为所述当前帧右图像对应的当前帧子图像；根据所述多个当前帧子图像分别对应的第一运动信息和实际位置信息，对所述多个当前帧子图像进行聚类，得到的每一聚类包括的当前帧子图像表示一个对象；识别所述每一聚类中当前帧子图像所表示的对象。2.如权利要求1所述的方法，其特征在于，所述双目相机包括左摄像头和右摄像头，所述获取双目相机的当前帧左图像和当前帧右图像之后，所述方法还包括：根据所述左摄像头的畸变参数对所述当前帧左图像进行形变校正，根据所述右摄像头的畸变参数对所述当前帧右图像进行形变校正。3.如权利要求1所述的方法，其特征在于，所述双目相机包括左摄像头和右摄像头，所述获取双目相机的当前帧左图像和当前帧右图像之后，所述方法还包括：如果所述左摄像头与右摄像头中某一摄像头有旋转，且旋转某一角度，则以所述当前帧左图像和当前帧右图像中，另一摄像头的图像为基准，将所述某一摄像头的图像向一个方向旋转所述某一角度；如果所述左摄像头与右摄像头的连线与垂直线之间的夹角不为90度，则以所述当前帧左图像为基准，将所述当前帧右图像放大某一倍数，且放大的倍数与所述夹角有函数关系；或者，以所述当前帧右图像为基准，将所述当前帧左图像缩小某一倍数，且缩小的倍数与所述夹角有函数关系。4.如权利要求1所述的方法，其特征在于，所述分割得到当前帧子图像之后，所述方法还包括：删除本地储存的所述前一帧子图像，储存所述当前帧子图像。5.如权利要求1所述的方法，其特征在于，所述在前一帧子图像与所述当前帧子图像之间进行跟踪匹配，得到多个所述当前帧子图像分别对应的基于图像的第一运动信息，具体包括：在所述第一当前帧子图像中，确定与第一前一帧子图像对应的第一候选子图像；其中，所述第一前一帧子图像为所述前一帧左图像对应的前一帧子图像；在所述第二当前帧子图像中，确定与第二前一帧子图像对应的第二候选子图像；其中，所述第二前一帧子图像为所述前一帧右图像对应的前一帧子图像；从所述第一候选子图像中选取第一前一帧子图像对应的第一最佳子图像，从所述第二候选子图像中选取第二前一帧子图像对应的第二最佳子图像；根据所述第一最佳子图像与对应的第一前一帧子图像，及第二最佳子图像及对应的第二前一帧子图像，确定所述第一最佳子图像和第二最佳子图像分别对应的第一运动信息。6.如权利要求5所述的方法，其特征在于，所述从所述第一候选子图像中选取第一前一帧子图像对应的第一最佳子图像，具体包括：计算所述第一候选子图像中各个子图像，分别与第一前一帧子图像之间的信息匹配值；如果所述第一候选子图像中第一子图像与第一前一帧子图像的信息匹配值最小，且在预置范围内，则选择所述第一子图像为第一最佳子图像；所述从所述第二候选子图像中选取第二前一帧子图像对应的第二最佳子图像，具体包括：计算所述第二候选子图像中各个子图像，分别与第二前一帧子图像之间的信息匹配值；如果所述第二候选子图像中第二子图像与第二前一帧子图像的信息匹配值最小，且在预置范围内，则选择所述第二子图像为第二最佳子...

【专利技术属性】
技术研发人员：陈超，吴伟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44