本发明专利技术涉及人工智能技术，揭露一种目标物体位姿估计方法，包括：根据目标物体的场景深度图得到三维点云；提取所述三维点云中的目标物体点集；根据所述三维点云和目标物体点集，计算目标物体的可见度损失值；通过对所述目标物体点集进行霍夫投票，计算目标物体的关键点损失值；对所述场景深度图的像素点进行语义分割，得到目标物体的语义损失值；根据所述可见度损失值、关键点损失值、语义损失值以及多任务联合模型，计算目标物体的位姿。本发明专利技术还提出一种目标物体位姿估计装置、设备及存储介质。本发明专利技术还涉及区块链技术，所述场景深度图可存储于区块链节点中。本发明专利技术可以准确分析待抓取目标物体的位姿，以提高机械臂的抓取精度。度。度。
【技术实现步骤摘要】
物体位姿估计方法、装置、电子设备及计算机存储介质
[0001]本专利技术涉及人工智能
，尤其涉及一种物体位姿估计方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]随着工业领域上机械臂的不断发展和智能视觉系统的深入应用，搭载有智能视觉系统的机械臂开始承担起智能分拣、柔性制造等复杂任务，成为一种节省人力资源的工业机械。
[0003]工业机械臂的抓取、分拣任务主要依靠对待抓取物体的位姿估计。目前，物体的位姿估计方法主要是利用逐点示教或者2D视觉感知的方法。然而在工业环境下，逐点示教的方法既复杂又浪费时间，2D视觉感知的方法又会因为物体存在的摆放杂乱和各物体之间的遮挡问题导致物体的位姿估计不准确。
技术实现思路
[0004]本专利技术提供一种物体位姿估计方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高物体位姿估计的准确性。
[0005]为实现上述目的，本专利技术提供的一种物体位姿估计方法，包括：
[0006]利用预设的摄像装置获取目标物体的场景深度图，根据所述场景深度图中的像素点计算所述场景深度图的三维点云；
[0007]利用预构建的深度学习网络提取所述三维点云中的目标点，得到目标物体点集；
[0008]根据所述三维点云和所述目标物体点集，计算所述目标物体的可见度损失值；
[0009]对所述目标物体点集进行霍夫投票，得到关键点集，根据所述关键点集计算所述目标物体的关键点损失值；
[0010]对所述场景深度图的像素点进行语义分割，得到所述目标物体的语义损失值；
[0011]根据所述可见度损失值、所述关键点损失值、所述语义损失值，以及预先训练得到的多任务联合模型，计算得到所述目标物体的位姿。
[0012]可选地，所述根据所述三维点云和所述目标物体点集，计算所述目标物体的可见度损失值，包括：
[0013]根据所述目标物体点集的点数与所述三维点云中包含的所有物体中的最大点集的点数的比值计算所述目标物体的实际可见度；
[0014]通过所述实际可见度与所述目标物体的预测可见度的差的加权计算得到所述目标物体的可见度损失值。
[0015]可选地，所述利用深度学习网络所述提取所述三维点云的目标点，得到目标物体点集，包括：
[0016]利用预构建的深度学习网络中的卷积、池化以及全连接层提取所述三维点云的特征点集；
[0017]利用所述深度学习网络中的分类器将所述特征点集分类为目标点集和非目标点集，并提取其中的目标点集得到目标物体点集。
[0018]可选地，所述对所述目标物体点集进行霍夫投票，得到关键点集，包括：
[0019]从所述目标物体点集中采样得到采样点集，计算所述采样点集之间的欧式距离偏移，得到偏移量；
[0020]根据所述偏移量进行投票，将票数超过预设阈值的点的集合作为关键点集。
[0021]可选地，所述对所述场景深度图的像素点进行语义分割，计算得到所述目标物体的语义损失值，包括：
[0022]利用如下公式计算得到所述目标物体语义损失L
s
；
[0023]L
s
＝-α(1-q
i
)
γ
log(q
i
)
[0024]其中，α表示所述摄像装置的平衡参数，γ表示所述摄像装置的焦点参数，q
i
代表场景深度图中第i个像素点属于前景点还是背景点的置信度。
[0025]可选地，所述根据所述可见度损失值、所述关键点损失值、所述语义损失值以及预先训练得到的多任务联合模型，计算得到所述目标物体的位姿，包括：
[0026]利用下述多任务联合模型计算所述目标物体的最终损失值L
mt
：
[0027]L
mt
＝μ1L
kps
+μ2L
s
+μ3L
v
[0028]其中，L
kps
代表所述关键点损失值，L
s
代表所述语义损失，L
v
代表所述可见度损失值，μ
01
、μ
02
、μ
03
代表对所述多任务联合模型训练后得到的权值；
[0029]根据所述最终损失值调整所述目标物体的预测旋转矩阵和预测平移矩阵，得到所述目标物体的物姿。
[0030]可选地，所述对所述目标点进行多任务联合训练，得到目标物体的位姿之后，还包括：
[0031]将所述目标物体的位姿发送给预构建的机械臂，利用所述机械臂执行目标物体的抓取任务。
[0032]为了解决上述问题，本专利技术还提供一种目标物体位姿估计装置，所述装置包括：
[0033]三维点云获取模块，用于利用预设的摄像装置获取目标物体的场景深度图，根据所述场景深度图中的像素点计算所述场景深度图的三维点云；
[0034]目标物体点集提取模块，用于利用预构建的深度学习网络提取所述三维点云中的目标点，得到目标物体点集；
[0035]可见度损失值计算模块，用于根据所述三维点云和所述目标物体点集，计算所述目标物体的可见度损失值；
[0036]关键点损失值计算模块，用于对所述目标物体点集进行霍夫投票，得到关键点集，根据所述关键点集计算所述目标物体的关键点损失值；
[0037]语义损失值计算模块，用于对所述场景深度图的像素点进行语义分割，得到所述目标物体的语义损失值；
[0038]位姿计算模块，用于根据所述可见度损失值、所述关键点损失值、所述语义损失值，以及预先训练得到的多任务联合模型，计算得到所述目标物体的位姿。
[0039]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0040]存储器，存储至少一个计算机程序；及
[0041]处理器，执行所述存储器中存储的计算机程序以实现上述所述的物体位姿估计方法。
[0042]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储创建的数据，存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现上述所述的物体位姿估计方法。
[0043]本专利技术实施例通过获取目标物体的场景深度图计算出所述场景深度图的三维点云，并利用深度学习网络从所述三维点云中提取得到目标物体点集，并根据所述三维点云以及所述目标物体点集计算所述目标物体的可见度损失值、关键点损失值以及语义损失值，最后根据所述可见度损失值、关键点损失值以及语义损失值得到目标物体的位姿。本专利技术实施例提出的物体位姿估计方法、装置、电子设备及计算机可读存储介质根据可见度、关键点以及语义三个方面的损失对目标物体进行位姿估计，因此，可以提高物体位姿估计的准确性。
附图说明
[0044]图1为本专利技术一实施例提供的物体位姿估计方法的流程示意图；
[0045]图2为本专利技术一实施例提供的物体位姿本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种物体位姿估计方法，其特征在于，所述方法包括：利用预设的摄像装置获取目标物体的场景深度图，根据所述场景深度图中的像素点计算所述场景深度图的三维点云；利用预构建的深度学习网络提取所述三维点云中的目标点，得到目标物体点集；根据所述三维点云和所述目标物体点集，计算所述目标物体的可见度损失值；对所述目标物体点集进行霍夫投票，得到关键点集，根据所述关键点集计算所述目标物体的关键点损失值；对所述场景深度图的像素点进行语义分割，得到所述目标物体的语义损失值；根据所述可见度损失值、所述关键点损失值、所述语义损失值以及预先训练得到的多任务联合模型，计算得到所述目标物体的位姿。2.如权利要求1所述的物体位姿估计方法，其特征在于，所述根据所述三维点云和所述目标物体点集，计算所述目标物体的可见度损失值，包括：根据所述目标物体点集的点数与所述三维点云中包含的所有物体中的最大点集的点数的比值计算所述目标物体的实际可见度；通过所述实际可见度与所述目标物体的预测可见度的差的加权计算得到所述目标物体的可见度损失值。3.如权利要求1所述的物体位姿估计方法，其特征在于，所述利用预构建的深度学习网络提取所述三维点云中的目标点，得到目标物体点集，包括：利用预构建的深度学习网络中的卷积、池化以及全连接层提取所述三维点云的特征点集；利用所述深度学习网络中的分类器将所述特征点集分类为目标点集和非目标点集，并提取其中的目标点集得到目标物体点集。4.如权利要求1所述的物体位姿估计方法，其特征在于，所述对所述目标物体点集进行霍夫投票，得到关键点集，包括：从所述目标物体点集中采样得到采样点集，计算所述采样点集之间的欧式距离偏移，得到偏移量；根据所述偏移量进行投票，将票数超过预设阈值的点的集合作为关键点集。5.如权利要求1所述的物体位姿估计方法，其特征在于，所述对所述场景深度图的像素点进行语义分割，得到所述目标物体的语义损失值，包括：利用如下公式计算得到所述目标物体的语义损失L
s
；L
s
＝-α(1-q
i
)γlog(q
i
)其中，α表示所述摄像装置的平衡参数，y表示所述摄像装置的焦点参数，q
i
代表场景深度图中第i个像素点属于前景点还是背景点的置信度。6.如权利要求1至5中任意一项所述的物体位姿估计方法，其特征在于，所述根据所述可见度损失值、所述关键点损失值、所述语义损失值以及预先训练得到的多任务联合模型，...
【专利技术属性】
技术研发人员：王健宗，李泽远，朱星华，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。