一种基于Hololens深度数据的装配指导方法及系统技术方案

本发明专利技术公开了一种基于Hololens深度数据的装配指导方法及系统，将Hololens设备采集的真实环境的深度数据转换为世界坐标系下的点云模型；进行标注后将点云转换成标准数据集格式；构建待装配的零件三维模型；将构建的零件三维模型转换成点云模型；对转换的零件点云模型进行空间坐标变换并与多个场景点云数据合成，将合成后的点云转换成标准数据集格式；和合成的标准数据集一起输入改进的Votenet网络中进行训练，保存训练结果并结合ICP方法进行辅助校准；Hololens设备将真实场景的深度数据传输给远程服务器，输入到Votenet网络中，输出检测结果；以全息影像的形式展示给用户，实现装配指导。本发明专利技术有效地将辅助装配信息以全息影像的形式推送给装配人员，实现装配引导提高装配效率。装配效率。装配效率。

【技术实现步骤摘要】
一种基于Hololens深度数据的装配指导方法及系统


[0001]本专利技术属于智能制造与数字化
，具体涉及一种基于Hololens深度数据的装配指导方法及系统。

技术介绍

[0002]装配是指按照一定的工艺流程将零件组装成完整产品的一系列操作活动，是产品生命周期中的一个重要环节。目前，产品的多样性，以及复杂产品装配工序的繁琐性，使得装配人员不得不借助纸质的说明手册或者电子文档进行装配引导。然而，从大量的文字信息中提取出有效的引导信息，需要耗费大量的时间，同时对装配人员的理解和认知水平也有一定的要求。因此，如何提供一种更易于理解，效率更高的装配指导模式成为一个关键的问题。
[0003]增强现实技术是一种把三维跟踪技术、实时交互技术和虚实结合技术作为特性，通过叠加多媒体信息到真实环境中的融合技术。将增强现实技术用于复杂产品装配中，能够使用户同时对虚拟对象和真实物体进行操作。在这样一种虚实融合的环境下，用户的感知能力得以增强同时能够获得更好的交互体验，用户在获得有效的辅助装配信息如装配顺序、装备位置、装配要求等的情况下，不会影响对真实物理零件的装配操作，从而提高装配效率，减少装配错误。
[0004]Hololens作为一种头戴式的增强现实设备，便于携带同时可以解放用户的双手，十分适合用于装配指导。然而，目前多数基于Hololens开发的增强现实应用还是利用Vuforia等SDK，基于标志物进行三维注册，将虚拟信息叠加到真实物体上。在实际装配过程中，通常对零件表面光洁度有要求，并且装配工位可能会发生变化，因而预置标志物的方法存在很多限制。

技术实现思路

[0005]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于Hololens深度数据的装配指导方法及系统，利用Hololens自带的深度传感器采集环境数据，重新构建环境的点云模型，识别出待装配的零件类别及其空间位姿，从而将相应的辅助装配信息以全息影像的形式推送给装配人员，实现装配指导提高装配效率。
[0006]本专利技术采用以下技术方案：
[0007]一种基于Hololens深度数据的装配指导方法，包括以下步骤：
[0008]S1、将Hololens设备采集的真实环境的深度数据转换为世界坐标系下的点云模型；
[0009]S2、对步骤S1得到的点云模型进行标注，根据标注信息将点云转换成标准数据集格式；
[0010]S3、构建待装配的零件三维模型；
[0011]S4、将步骤S3构建的零件三维模型转换成点云模型；
[0012]S5、对步骤S4转换的零件点云模型进行空间坐标变换并与多个场景点云数据合成，将合成后的点云转换成标准数据集格式；
[0013]S6、将步骤S2转换的标准数据集和步骤S5合成的标准数据集一起输入改进的Votenet网络中进行训练，保存训练结果并结合ICP方法进行辅助校准；
[0014]S7、Hololens设备将真实场景的深度数据传输给远程服务器，远程服务器对深度数据进行预处理并输入到步骤S6训练好的Votenet网络中，输出检测结果；
[0015]S8、Hololens设备获得步骤S7输出的检测结果，将对应的辅助装配信息以全息影像的形式展示给用户，实现装配指导。
[0016]具体的，步骤S1具体为：
[0017]S101、通过Hololens设备研究模式获得深度传感器访问权限，通过C++开发深度数据传输插件，导入Unity3D增强现实应用中并部署到Hololens设备上；
[0018]S102、启动应用，记录此时Hololens设备的位置作为Hololens世界坐标系的原点origin，深度传感器工作为LongThrow工作模式，Hololens设备在场景中移动，当和服务器建立socket连接后，Hololens设备将实时深度数据帧DepthFrame发送给后台服务器；
[0019]S103、解析步骤S102中的DepthFrame获得当前设备原点rigNode到世界坐标系原点origin的空间变换矩阵T
rig2world
，深度图像的图像宽imgWidth，图像高imgHeight，每一个像素点对应的深度数据D；
[0020]S104、根据步骤S103中获得的深度数据，将二维深度图像上任一点(u,v)
T
转换为传感器坐标系下的三维坐标：
[0021]S105、根据步骤S104中获得的传感器坐标系下三维坐标，通过坐标变换计算得到标准坐标系下每个点的坐标；
[0022]S106、将步骤S105计算得到的三维点集转换得到的点云数据，并保存为.pcd文件。
[0023]进一步的，步骤S104中，传感器坐标系下的三维坐标为：
[0024][0025][0026]其中，(X,Y,Z)
Tcam
传感器坐标系下的坐标；(u,v)
T
表示二维深度图像上任一点像素的坐标；f表示与传感器内部参数相关的一个映射关系，将(u,v)
T
映射为(x,y,z),z＝1的三维坐标。
[0027]进一步的，步骤S105中，每个点的坐标为：
[0028][0029][0030]其中，(X,Y,Z)
TWorld
和(X,Y,Z)
Tcam
分别表示标准世界坐标系和传感器坐标系下的坐标；T
cam2rig
表示传感器坐标系到Hololens设备原点的变换矩阵，和传感器在设备上的位置有关；T
rig2world
表示Hololens设备到程序启动时定义的Hololens世界坐标系原点origin的变换矩阵；T
world2World
表示Hololens世界坐标系到标准世界坐标系的变换。
[0031]具体的，步骤S5具体为：
[0032]S501、对步骤S4中点云模型进行预处理，去除离群点和噪声点后，遍历点云模型中每个点，计算零件的几何中心center和模型尺寸size；
[0033]S502、从常见的室内场景数据集SUNRGBD中选择30个场景，提取30个场景的点云模型；
[0034]S503、让步骤S501中零件对应的点云模型在步骤S502中提取的场景点云模型内随机移动和旋转，将每次变换后的零件点云模型和场景点云模型作为一个合成点云模型，同时计算变换之后的零件点云模型以及零件点云模型3D边界框的8个顶点；
[0035]S504、寻找步骤S503中3D边界框内的点，计算和零件几何中心center的距离，保存为vote.npz文件；
[0036]S505、根据步骤S503中的合成的点云模型，用一个二维数组obb[obj_num,10]表示零件类别以及空间姿态，obj_num表示合成的点云场景中存在的物体数量，表示零件变换后的中心，obb[i,3:6]表示物体的长宽高，obb[i,6:9]表示物体分别沿x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Hololens深度数据的装配指导方法，其特征在于，包括以下步骤：S1、将Hololens设备采集的真实环境的深度数据转换为世界坐标系下的点云模型；S2、对步骤S1得到的点云模型进行标注，根据标注信息将点云转换成标准数据集格式；S3、构建待装配的零件三维模型；S4、将步骤S3构建的零件三维模型转换成点云模型；S5、对步骤S4转换的零件点云模型进行空间坐标变换并与多个场景点云数据合成，将合成后的点云转换成标准数据集格式；S6、将步骤S2转换的标准数据集和步骤S5合成的标准数据集一起输入改进的Votenet网络中进行训练，保存训练结果并结合ICP方法进行辅助校准；S7、Hololens设备将真实场景的深度数据传输给远程服务器，远程服务器对深度数据进行预处理并输入到步骤S6训练好的Votenet网络中，输出检测结果；S8、Hololens设备获得步骤S7输出的检测结果，将对应的辅助装配信息以全息影像的形式展示给用户，实现装配指导。2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：S101、通过Hololens设备研究模式获得深度传感器访问权限，通过C++开发深度数据传输插件，导入Unity3D增强现实应用中并部署到Hololens设备上；S102、启动应用，记录此时Hololens设备的位置作为Hololens世界坐标系的原点origin，深度传感器工作为LongThrow工作模式，Hololens设备在场景中移动，当和服务器建立socket连接后，Hololens设备将实时深度数据帧DepthFrame发送给后台服务器；S103、解析步骤S102中的DepthFrame获得当前设备原点rigNode到世界坐标系原点origin的空间变换矩阵T
rig2world
，深度图像的图像宽imgWidth，图像高imgHeight，每一个像素点对应的深度数据D；S104、根据步骤S103中获得的深度数据，将二维深度图像上任一点(u,v)
T
转换为传感器坐标系下的三维坐标：S105、根据步骤S104中获得的传感器坐标系下三维坐标，通过坐标变换计算得到标准坐标系下每个点的坐标；S106、将步骤S105计算得到的三维点集转换为点云数据并保存。3.根据权利要求2所述的方法，其特征在于，步骤S104中，传感器坐标系下的三维坐标为：为：其中，(X,Y,Z)
Tcam
传感器坐标系下的坐标；(u,v)
T
表示二维深度图像上任一点像素的坐标；f表示与传感器内部参数相关的一个映射关系，将(u,v)
T
映射为(x,y,z),z＝1的三维坐标。
4.根据权利要求2所述的方法，其特征在于，步骤S105中，每个点的坐标为：每个点的坐标为：其中，(X,Y,Z)
TWorld
和(X,Y,Z)
Tcam
分别表示标准世界坐标系和传感器坐标系下的坐标；T
cam2rig
表示传感器坐标系到Hololens设备原点的变换矩阵；T
rig2world
表示Hololens设备到程序启动时定义的Hololens世界坐标系原点origin的变换矩阵；T
world2World
表示Hololens世界坐标系到标准世界坐标系的变换。5.根据权利要求1所述的方法，其特征在于，步骤S5具体为：S501、对步骤S4中点云模型进行预处理，遍历点云模型中每个点，计算零件的几何中心center和模型尺寸size；S502、从室内场景数据集SUNRGBD中选择30个场景，提取30个场景的点云模型；S503、利用步骤S501中零件对应的点云模型在步骤S502中提取的场景点云模型内随机移动和旋转，将每次变换后的零件点云模型和场景点云模型作为一个合成点云模型，同时计算变换之后的零件点云模型以及零件点云模型3D边界框的8个顶点；S504、寻找步骤S503中3D边界框内的点，计算和零件几何中心center的距离；S505、根据步骤S503中的合成的点云模型，用一个二维数组obb[obj_num,10]表示零件类别以及空间姿态，obj_num表示合成的点云场景中存在的物体数量，表示零件变换后的中心，obb[i,3:6]表示物体的长宽高，obb[i,6:9]表示物体分别沿x轴，y轴，z轴转过的角度，obb[i,9]表示零件的语义...

【专利技术属性】
技术研发人员：周光辉，肖佳诚，张超，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：