System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及计算机视觉,特别是涉及一种物体姿态检测方法、装置、设备及介质。
技术介绍
1、随着科技的发展和生活水平的提高,快递在人们的生活中越来越普遍。传统的快递分拣主要依靠人力进行,不但容易出现分拣错误,而且效率低下。因此,目前出现了利用机械臂和视觉识别技术实现的快递自动分拣的方式,具体为利用视觉识别技术判定物体的姿态,再由机械臂依据物体姿态对物体进行抓取和移动,从而实现自动分拣。
2、当前,主要利用双目视觉定位技术实现物体姿态的计算。双目视觉定位技术需要对两个相机拍摄的图像进行匹配,找到对应的像素点,然后通过立体视觉算法计算出物体的深度信息。然而,这个过程需要进行大量的像素点匹配和计算,因此会消耗大量的计算资源和时间,不利于例如快递分拣场景下的物体姿态的快速识别检测。
3、鉴于上述问题,如何解决当前物体姿态识别过程存在计算量大和时间复杂度高的缺点,是本领域技术人员亟待解决的问题。
技术实现思路
1、本专利技术的目的是提供一种物体姿态检测方法、装置、设备及介质,以解决当前物体姿态识别过程存在计算量大和时间复杂度高的缺点。
2、为解决上述技术问题,本专利技术提供一种物体姿态检测方法,包括:
3、获取图像采集设备采集的目标物体的像素图像,并获取深度信息采集设备采集的所述目标物体的深度图像;
4、将所述像素图像输入至目标检测网络中,以得到所述目标物体的物体类别、目标检测框位置、目标标签及所述目标标签对应的得分;
6、若否,则返回至所述获取目标物体的像素图像,并获取深度信息采集设备采集的所述目标物体的深度图像的步骤;
7、若是,则根据所述深度图像和所述目标检测框位置确定目标框中所述目标物体的深度信息;
8、对所述目标物体的所述像素图像和所述深度信息进行降维处理;
9、根据所述目标检测框位置、所述物体类别以及降维处理后的所述像素图像和所述深度信息对所述目标物体进行三维还原,以确定所述目标物体的姿态坐标。
10、一方面,所述将所述像素图像输入至目标检测网络中,以得到所述目标物体的物体类别、目标检测框位置、目标标签及所述目标标签对应的得分,包括:
11、对所述像素图像进行等比例缩放;
12、将等比例缩放后的所述像素图像放入三层卷积神经网络中,以得到初始特征图;其中,各层所述卷积神经网络均包含卷积层、数据批量归一化层和硬切线激活函数;
13、根据区域生成网络确定所述初始特征图中的目标推荐区域;
14、将所述初始特征图和所述目标推荐区域输入至区域兴趣对齐网络中,以得到目标特征图;
15、将所述目标特征图输入至头部层中,以得到物体类别信息和目标检测区域信息;
16、将所述物体类别信息依次输入至两层卷积层中,以得到所述物体类别;
17、将所述目标检测区域信息输入至卷积层中,以得到所述目标检测框位置、所述目标标签及所述目标标签对应的所述得分。
18、另一方面,所述对所述目标物体的所述像素图像和所述深度信息进行降维处理,包括:
19、将所述图像采集设备的图像采集中轴线和所述目标物体的重合点确定为中心点;
20、根据所述像素图像中的像素点坐标和所述深度信息中的深度信息值确定所述中心点的空间坐标值;
21、以所述中心点为圆心确定三个同心圆;其中,各所述同心圆在同一平面内;
22、以所述中心点为端点生成六条射线;其中,各所述射线之间的夹角相等,各所述射线与各所述同心圆均存在交点;
23、根据所述像素图像中的像素点坐标分别获取各所述交点在所述目标物体上投影生成的投影点的像素坐标值;
24、根据所述深度信息确定各所述投影点的深度信息值;其中,所述投影点的所述深度信息值,具体为以所述投影点为圆心,且以预设值为半径构成的圆形区域内各点的所述深度信息值的平均值;
25、根据各所述投影点对应的所述像素坐标值和所述深度信息值确定各所述投影点对应的空间坐标值。
26、另一方面,所述根据所述目标检测框位置、所述物体类别以及降维处理后的所述像素图像和所述深度信息对所述目标物体进行三维还原,以确定所述目标物体的姿态坐标,包括:
27、根据地平面坐标和所述目标检测框位置的边界点确定所述目标物体的边界点坐标;
28、根据所述物体类别以及降维处理后的所述像素图像和所述深度信息确定所述目标物体的平面方程或曲面方程;
29、根据所述目标物体的所述边界点坐标,以及所述目标物体的所述平面方程或所述曲面方程,对所述目标物体进行三维还原,以生成所述目标物体的三维模型;
30、根据所述目标物体的所述三维模型生成所述目标物体在真实坐标系下的姿态坐标。
31、另一方面,所述根据所述物体类别以及降维处理后的所述像素图像和所述深度信息确定所述目标物体的平面方程或曲面方程,包括:
32、当根据所述物体类别确定所述目标物体为刚性物体时,根据所述中心点的所述空间坐标值和各所述投影点的所述空间坐标值,判断同一所述射线对应的相邻的两个所述投影点的夹角是否小于第二阈值;
33、若确定同一所述射线对应的相邻的两个所述投影点的夹角小于所述第二阈值,则在两个所述投影点中选取中间点;
34、基于所述中间点确定相邻的两个所述投影点之外的附加点,并根据所述像素图像中的像素点坐标和所述深度信息获取所述附加点的所述空间坐标值;其中,所述附加点不在相邻的两个所述投影点对应的所述射线的投影上;
35、根据所述附加点的所述空间坐标值和相邻的两个所述投影点的所述空间坐标值拟合平面方程;
36、根据所述平面方程适配其余的所述投影点;
37、若确定同一所述射线对应的相邻的两个所述投影点的夹角不小于所述第二阈值,则根据二分法在相邻的两个所述投影点之间选取新的投影点;其中,所述新的投影点与相邻的两个所述投影点对应同一所述射线;
38、根据所述像素图像中的像素点坐标和所述深度信息获取所述新的投影点的所述空间坐标值,并再次判断同一所述射线对应的相邻的两个所述投影点的夹角是否小于所述第二阈值;
39、若确定同一所述射线对应的相邻的两个所述投影点的夹角小于所述第二阈值,则进入所述在两个所述投影点中选取中间点步骤;
40、若确定同一所述射线对应的相邻的两个所述投影点的夹角不小于所述第二阈值,则缩小各所述同心圆的半径,以重新确定各所述投影点对应的所述空间坐标值;
41、返回至所述根据所述中心点的所述空间坐标值和各所述投影点的所述空间坐标值,判断同一所述射线对应的相邻的两个所述投影点的夹角是否小于第二阈值的步骤。
42、另一方面,所述根据所述物体类别以及降维处理后的所述像素图像和所述深度信息确定本文档来自技高网...
【技术保护点】
1.一种物体姿态检测方法,其特征在于,包括:
2.根据权利要求1所述的物体姿态检测方法,其特征在于,所述将所述像素图像输入至目标检测网络中,以得到所述目标物体的物体类别、目标检测框位置、目标标签及所述目标标签对应的得分,包括:
3.根据权利要求1所述的物体姿态检测方法,其特征在于,所述对所述目标物体的所述像素图像和所述深度信息进行降维处理,包括:
4.根据权利要求3所述的物体姿态检测方法,其特征在于,所述根据所述目标检测框位置、所述物体类别以及降维处理后的所述像素图像和所述深度信息对所述目标物体进行三维还原,以确定所述目标物体的姿态坐标,包括:
5.根据权利要求4所述的物体姿态检测方法,其特征在于,所述根据所述物体类别以及降维处理后的所述像素图像和所述深度信息确定所述目标物体的平面方程或曲面方程,包括:
6.根据权利要求4所述的物体姿态检测方法,其特征在于,所述根据所述物体类别以及降维处理后的所述像素图像和所述深度信息确定所述目标物体的平面方程或曲面方程,包括:
7.根据权利要求5所述的物体姿态检测方法,其特
8.一种物体姿态检测装置,其特征在于,包括:
9.一种物体姿态检测设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的物体姿态检测方法的步骤。
...【技术特征摘要】
1.一种物体姿态检测方法,其特征在于,包括:
2.根据权利要求1所述的物体姿态检测方法,其特征在于,所述将所述像素图像输入至目标检测网络中,以得到所述目标物体的物体类别、目标检测框位置、目标标签及所述目标标签对应的得分,包括:
3.根据权利要求1所述的物体姿态检测方法,其特征在于,所述对所述目标物体的所述像素图像和所述深度信息进行降维处理,包括:
4.根据权利要求3所述的物体姿态检测方法,其特征在于,所述根据所述目标检测框位置、所述物体类别以及降维处理后的所述像素图像和所述深度信息对所述目标物体进行三维还原,以确定所述目标物体的姿态坐标,包括:
5.根据权利要求4所述的物体姿态检测方法,其特征在于,所述根据所述物体类别以及降维处理后的所述像素图...
【专利技术属性】
技术研发人员:许博,邢生歧,
申请(专利权)人:苏州元脑智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。