基于机械手参数重建对象三维模型的方法和装置制造方法及图纸

本申请提出一种基于机械手参数重建对象三维模型的方法和装置，涉及三维重建和生成技术领域，其中，方法包括：通过机械手姿态参数，估计对应的机械手上接触点标签；通过机械手姿态参数和估计出的接触点标签，估计对应目标物体的物理几何参数；最后通过机械手姿态参数、接触点标签和目标物体的物理几何参数，估计出目标物体的旋转姿态参数；最后获取目标物体的平移姿态参数，根据目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。由此，在机械手抓取目标物体的过程中，通过机械手的姿态参数，重建出可能的且合理的目标对象三维模型，解决通常机械手抓取物体过程中，依靠纯视觉方法进行三维重建会导致的鲁棒性低等问题。

【技术实现步骤摘要】
基于机械手参数重建对象三维模型的方法和装置
本申请涉及三维重建和生成
，尤其涉及一种基于机械手参数重建对象三维模型的方法和装置。
技术介绍
三维计算机视觉领域当中，对目标三维模型的重建一直在人脸识别、自动驾驶、AR、VR、全息通讯、机器人等领域有着极其广泛的应用。而尤其在机器人领域中，对世界中物体的重建是最为关键的技术之一。例如在机器人对目标物体进行抓取的过程中，准确地重建出物体的几何形状并同时估计它的位置、姿态，对于抓取的成功率有着决定性的影响。而目前的技术大多停留在从相机获取图像，利用视觉信息来完成这些工作，但往往实际应用中缺乏鲁棒性，对于数据库中没有的物体会产生很差的结果。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种基于机械手参数重建对象三维模型的方法，在机械手抓取目标物体的过程中，通过机械手的姿态参数，重建出可能的且合理的目标对象三维模型，解决通常机械手抓取物体过程中，依靠纯视觉方法进行三维重建会导致的鲁棒性低等问题。本申请的第二个目的在于提出一种基于机械手参数重建对象三维模型的装置。为达上述目的，本申请第一方面实施例提出了一种基于机械手参数重建对象三维模型的方法，包括：获取机械手抓取姿态参数和控制参数，将所述机械手抓取姿态参数和所述控制参数输入已训练的第一全连接网络，获取接触点标签；将所述机械手抓取姿态参数、所述控制参数和所述接触点标签输入已训练的第二全连接网络，获取目标物体的物理几何参数，将所述机械手抓取姿态参数、所述控制参数、所述接触点标签和所述物理几何参数输入已训练的第三全连接网络，获取所述目标物体的旋转姿态参数；通过损失函数计算所有机械手上接触点到目标物体表面的距离之和，获取目标物体的平移姿态参数，根据所述目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。本申请实施例的基于机械手参数重建对象三维模型的方法，通过机械手姿态参数，估计对应的机械手上接触点标签；通过机械手姿态参数和估计出的接触点标签，估计对应目标物体的物理几何参数；最后通过机械手姿态参数、接触点标签和目标物体的物理几何参数，估计出目标物体的旋转姿态参数；最后获取目标物体的平移姿态参数，根据目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。由此，在机械手抓取目标物体的过程中，通过机械手的姿态参数，重建出可能的且合理的目标对象三维模型，解决通常机械手抓取物体过程中，依靠纯视觉方法进行三维重建会导致的鲁棒性低等问题。可选地，在本申请的一个实施例中，所述方法，还包括：通过仿真程序人手模型作为机械手生成不同目标物体的几何参数样本、物体模型样本和控制参数样本；对每所述几何参数样本和所述物体模型样本，生成不同的机械手抓取姿态参数样本，以及计算每个抓取姿态对应的接触点标签样本；对每所述机械手抓取姿态参数样本，生成多各目标物体的旋转姿态参数样本；根据所述几何参数样本、所述物体模型样本、所述控制参数样本、所述接触点标签样本和所述旋转姿态参数样本输入神经网络进行训练，获取所述第一全连接网络、所述第二全连接网络和所述第三全连接网络。可选地，在本申请的一个实施例中，所述计算每个抓取姿态对应的接触点标签样本，包括：判断在所述每个抓取姿态时，获取机械手上采样点到目标物体表面的距离；当所述距离小于预设距离阈值时，所述采样点为所述接触点标签样本。可选地，在本申请的一个实施例中，在所述通过仿真程序人手模型作为机械手生成不同目标物体的几何参数样本、物体模型样本和控制参数样本之前，还包括：建立目标物体几何参数和物体模型的映射关系，以及建立所述目标物体几何参数与控制参数之间的映射关系。可选地，在本申请的一个实施例中，所述通过损失函数计算所有机械手上接触点到目标物体表面的距离之和，获取目标物体的平移姿态参数，包括：通过损失函数计算所有机械手上接触点到目标物体表面的距离之和的损失值，对所述损失值进行最小化，获取所述平移姿态参数。为达上述目的，本申请第二方面实施例提出了一种基于机械手参数重建对象三维模型的装置，包括：第一获取模块，用于获取机械手抓取姿态参数和控制参数，将所述机械手抓取姿态参数和所述控制参数输入已训练的第一全连接网络，获取接触点标签；第二获取模块，用于将所述机械手抓取姿态参数、所述控制参数和所述接触点标签输入已训练的第二全连接网络，获取目标物体的物理几何参数，将所述机械手抓取姿态参数、所述控制参数、所述接触点标签和所述物理几何参数输入已训练的第三全连接网络，获取所述目标物体的旋转姿态参数；处理模块，用于通过损失函数计算所有机械手上接触点到目标物体表面的距离之和，获取目标物体的平移姿态参数，根据所述目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。本申请实施例的基于机械手参数重建对象三维模型的装置，通过机械手姿态参数，估计对应的机械手上接触点标签；通过机械手姿态参数和估计出的接触点标签，估计对应目标物体的物理几何参数；最后通过机械手姿态参数、接触点标签和目标物体的物理几何参数，估计出目标物体的旋转姿态参数；最后获取目标物体的平移姿态参数，根据目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。由此，在机械手抓取目标物体的过程中，通过机械手的姿态参数，重建出可能的且合理的目标对象三维模型，解决通常机械手抓取物体过程中，依靠纯视觉方法进行三维重建会导致的鲁棒性低等问题。可选地，在本申请的一个实施例中，所述装置，还包括：第一生成模块，用于通过仿真程序人手模型作为机械手生成不同目标物体的几何参数样本、物体模型样本和控制参数样本；第二生成模块，用于对每所述几何参数样本和所述物体模型样本，生成不同的机械手抓取姿态参数样本；计算模块，用于计算每个抓取姿态对应的接触点标签样本；第三生成模块，用于对每所述机械手抓取姿态参数样本，生成多各目标物体的旋转姿态参数样本；训练模块，用于根据所述几何参数样本、所述物体模型样本、所述控制参数样本、所述接触点标签样本和所述旋转姿态参数样本输入神经网络进行训练，获取所述第一全连接网络、所述第二全连接网络和所述第三全连接网络。可选地，在本申请的一个实施例中，所述计算模块，具体用于：判断在所述每个抓取姿态时，获取机械手上采样点到目标物体表面的距离；当所述距离小于预设距离阈值时，所述采样点为所述接触点标签样本。可选地，在本申请的一个实施例中，所述的装置，还包括：建立模块，用于建立目标物体几何参数和物体模型的映射关系，以及建立所述目标物体几何参数与控制参数之间的映射关系。可选地，在本申请的一个实施例中，所述处理模块，具体用于：通过损失函数计算所有机械手上接触点到目标物体表面的距离之和的损失值，对所述损失值进行最小化，获取所述平移姿态参数。...

【技术保护点】
1.一种基于机械手参数重建对象三维模型的方法，其特征在于，包括以下步骤：/n获取机械手抓取姿态参数和控制参数，将所述机械手抓取姿态参数和所述控制参数输入已训练的第一全连接网络，获取接触点标签；/n将所述机械手抓取姿态参数、所述控制参数和所述接触点标签输入已训练的第二全连接网络，获取目标物体的物理几何参数，将所述机械手抓取姿态参数、所述控制参数、所述接触点标签和所述物理几何参数输入已训练的第三全连接网络，获取所述目标物体的旋转姿态参数；/n通过损失函数计算所有机械手上接触点到目标物体表面的距离之和，获取目标物体的平移姿态参数，根据所述目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。/n

【技术特征摘要】
1.一种基于机械手参数重建对象三维模型的方法，其特征在于，包括以下步骤：
获取机械手抓取姿态参数和控制参数，将所述机械手抓取姿态参数和所述控制参数输入已训练的第一全连接网络，获取接触点标签；
将所述机械手抓取姿态参数、所述控制参数和所述接触点标签输入已训练的第二全连接网络，获取目标物体的物理几何参数，将所述机械手抓取姿态参数、所述控制参数、所述接触点标签和所述物理几何参数输入已训练的第三全连接网络，获取所述目标物体的旋转姿态参数；
通过损失函数计算所有机械手上接触点到目标物体表面的距离之和，获取目标物体的平移姿态参数，根据所述目标物体的物理几何参数、旋转姿态参数和平移姿态参数，计算目标物体模型。


2.如权利要求1所述的方法，其特征在于，还包括：
通过仿真程序人手模型作为机械手生成不同目标物体的几何参数样本、物体模型样本和控制参数样本；
对每所述几何参数样本和所述物体模型样本，生成不同的机械手抓取姿态参数样本，以及计算每个抓取姿态对应的接触点标签样本；
对每所述机械手抓取姿态参数样本，生成多各目标物体的旋转姿态参数样本；
根据所述几何参数样本、所述物体模型样本、所述控制参数样本、所述接触点标签样本和所述旋转姿态参数样本输入神经网络进行训练，获取所述第一全连接网络、所述第二全连接网络和所述第三全连接网络。


3.如权利要求2所述的方法，其特征在于，所述计算每个抓取姿态对应的接触点标签样本，包括：
判断在所述每个抓取姿态时，获取机械手上采样点到目标物体表面的距离；
当所述距离小于预设距离阈值时，所述采样点为所述接触点标签样本。


4.如权利要求1所述的方法，其特征在于，在所述通过仿真程序人手模型作为机械手生成不同目标物体的几何参数样本、物体模型样本和控制参数样本之前，还包括：
建立目标物体几何参数和物体模型的映射关系，以及建立所述目标物体几何参数与控制参数之间的映射关系。


5.如权利要求1所述的方法，其特征在于，所述通过损失函数计算所有机械手上接触点到目标物体表面的距离之和，获取目标物体的平移姿态参数，包括：
通过损失函数计算所有机械手上接触点到目标物体表面的距离之和的损失值，对所述损失值进行最小化，获取所...

【专利技术属性】
技术研发人员：刘烨斌，徐乐朗，于涛，邵航，
申请(专利权)人：清华大学，浙江未来技术研究院嘉兴，
类型：发明
国别省市：北京;11