【技术实现步骤摘要】
本专利技术涉及液压马达装配，特别涉及一种基于混合现实技术的液压马达装配指导系统和方法。
技术介绍
1、液压马达是一种常见的机械装置，其装配过程需要高度的专业技术和精确的步骤。现有的传统装配指导方法依赖于纸质或电子版的操作手册，这些操作手册在提供详细的步骤指南方面有所限制。现实操作环境中，双手在进行装配操作同时使用纸质或电子操作手册存在众多不便。基于此，现有技术中公开了基于hololens 2自处理的装配零部件识别方法。但是由于该方法是在hololens2上直接运行目标检测深度学习网络，这样会使得需要大量的硬件资源，特别是在更复杂的装配指导系统中，会导致程序性能下降。
2、以上问题丞待解决。
技术实现思路
1、为了解决现有技术中至少其中一个技术问题，第一方面，本专利技术实施例提供了一种基于混合现实技术的液压马达装配指导系统，所述系统包括服务器端和设备终端，所述服务器端包括液压马达数据集建立模块、目标检测模型训练模块、目标检测结果生成模块和第一数据传输模块；所述液压马达数据集建立模块用于基于液压马达零部件的图像信息建立液压马达数据集；所述目标检测模型训练模块用于对所述液压马达数据集进行迁移学习训练得到液压马达零部件目标检测模型；所述目标检测结果生成模块用于基于所述液压马达零部件目标检测模型生成目标检测结果；所述第一数据传输模块用于使服务器端和设备终端之间进行通信；所述设备终端包括目标图像信息获取模块、目标检测结果接收模块、坐标转化模块、液压马达零部件真实位置生成模块以及液压
2、进一步的，所述液压马达数据集建立模块包括图像接收模块、图像标注模块、图像划分模块以及图像导出模块；所述图像获取模块用于接收所述液压马达零部件的图像信息；所述图像标注模块用于对所述液压马达零部件的图像信息采用数据集标注工具标注出液压马达零部件的位置信息和类别信息；所述图像划分模块用于对所述液压马达零部件的图像信息划分成训练集和验证集；所述图像导出模块用于对所述液压马达零部件的图像信息导出为yolo数据集格式。
3、进一步的，所述目标检测模型训练模块包括预训练模型建立模块和目标检测模型生成模块；所述预训练模型建立模块用于基于所述液压马达数据集搭建深度学习目标检测网络模型；所述目标检测生成模块用于采用迁移学习算法训练所述深度学习目标检测网络模型得到所述液压马达零部件目标检测模型，所述网络模型为yolov8-n网络模型。
4、进一步的，所述目标检测结果生成模块用于加载已训练的液压马达零部件目标检测模型的网络参数，基于接收到的设备终端发送的液压马达零部件的图片信息生成目标检测结果。
5、进一步的，所述设备终端还包括第二数据传输模块，用于传输液压马达零部件的图像信息以及服务器端生成的目标检测结果。
6、进一步的，所述归一化后的边界框的格式为(x0、y0、w、h),其中x0和y0表示边界框中心点坐标，w、h分别代表边界框的宽和高。
7、进一步的，所述坐标转化模块还用于：对坐标成像点p(x0,y0)按第一公式转化为相机投影的坐标p(x,y)，
8、第一公式为：
9、设相机投影坐标p在摄像机坐标系c下的坐标为p(x,y)，生成成像点的目标点相机成像的投影矩阵形式如第二公式所示：
10、
11、通过hololens2可定位相机获取在拍照时相机的投影矩阵[pm]以及摄像头在现实中的位置矩阵[w]；通过获得投影矩阵得到世界坐标一点换算到相机成像平面公式为第三公式：
12、
13、将图片成像点p(x,y)带入到第三公式中得出成像点在世界坐标中的位置t(x,y,z)，通过可定位相机保存的摄像头位置矩阵，计算得到摄像机世界坐标位置c(x,y,z)。
14、进一步的，所述液压马达零部件真实位置生成模块还用于通过将成像点世界坐标和摄像机世界坐标做差得到一条从摄像机出发，朝向成像点的射线，射线与hololens2空间感知网格相交，该交点即为液压马达零部件的真实位置。
15、进一步的，所述液压马达装配指导模块包括液压马达装配位置确定模块、液压马达装配流程指导模块、液压马达零部件识别模块、提示模块；所述液压马达装配位置确定模块用于确定装配指导演示位置；所述液压马达装配流程指导模块用于通过显示面板提供液压马达零部件装配指导的文本介绍、图片介绍以及音视频介绍中的一种或其组合；所述液压马达零部件识别模块用于通过将无法识别的零部件的图像信息发送至服务器端获取其目标检测结果；所述显示模块用于当检测出零部件实际物体后，将显示所述零部件装配演示动画，其运动轨迹为贝塞尔曲线。
16、第二方面，本专利技术实施例提供了一种基于混合现实技术的液压马达装配指导方法，所述方法包括：在服务器端：接收液压马达零部件的图像信息；基于所述图像信息建立液压马达数据集；对所述液压马达数据集进行迁移学习训练得到液压马达零部件目标检测模型；基于所述液压马达零部件目标检测模型生成目标检测结果；将所述目标检测结果传输至设备终端；在设备终端：获取液压马达零部件的图像信息；接收服务器端发送的目标检测结果，所述目标检测结果包括类别置信度和归一化后的边界框；对所述目标检测结果中的图像坐标点转化为摄像机世界坐标；基于所述摄像机世界坐标生成液压马达零部件的真实位置；基于所述液压马达零部件的真实位置对所述液压马达零部件的装配位置进行装配指导。
17、第三方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令所述计算机指令用于使所述计算机执行上述的基于混合现实技术的液压马达装配指导方法。
18、第四方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器通过加载并执行所述至少一条程序指令以实现上述的基于混合现实技术的液压马达装配指导方法。
19、本专利技术实施例提供的技术方案带来的有益效果是：本专利技术实施例提供了一种基于混合现实技术的液压马达装配指导系统，所述系统包括服务器端和设备终端，在服务器端通过建立液压马达零部件目标检测模型可以基于获取到的液压马达零部件的图像信息直接生成与其对应的目标检测结果，在设备终端接收到该目标检测结果，通过在设备终端对该目标检测结果进行坐标变换可以得到其的真实位置，基于该真实位置可以对液压马达零部件的装配位置进行装配指导。针对液压马达装配过程中零件多样、装配过程复杂等特本文档来自技高网...
【技术保护点】
1.一种基于混合现实技术的液压马达装配指导系统，所述系统包括服务器端和设备终端，其特征在于，所述服务器端包括液压马达数据集建立模块、目标检测模型训练模块、目标检测结果生成模块和第一数据传输模块；
2.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述液压马达数据集建立模块包括图像接收模块、图像标注模块、图像划分模块以及图像导出模块；
3.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述目标检测模型训练模块包括预训练模型建立模块和目标检测模型生成模块；
4.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述目标检测结果生成模块用于加载已训练的液压马达零部件目标检测模型的网络参数，基于接收到的设备终端发送的液压马达零部件的图片信息生成目标检测结果。
5.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述设备终端还包括第二数据传输模块，用于传输液压马达零部件的图像信息以及服务器端生成的目标检测结果。
6.根据权利要求1所述
7.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述坐标转化模块还用于：
8.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述液压马达零部件真实位置生成模块还用于通过将成像点世界坐标和摄像机世界坐标做差得到一条从摄像机出发，朝向成像点的射线，射线与HoloLens2空间感知网格相交，该交点即为液压马达零部件的真实位置。
9.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述液压马达装配指导模块包括液压马达装配位置确定模块、液压马达装配流程指导模块、液压马达零部件识别模块、提示模块；
10.一种基于混合现实技术的液压马达装配指导方法，其特征在于，所述方法包括：
...【技术特征摘要】
1.一种基于混合现实技术的液压马达装配指导系统，所述系统包括服务器端和设备终端，其特征在于，所述服务器端包括液压马达数据集建立模块、目标检测模型训练模块、目标检测结果生成模块和第一数据传输模块；
2.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述液压马达数据集建立模块包括图像接收模块、图像标注模块、图像划分模块以及图像导出模块；
3.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述目标检测模型训练模块包括预训练模型建立模块和目标检测模型生成模块；
4.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述目标检测结果生成模块用于加载已训练的液压马达零部件目标检测模型的网络参数，基于接收到的设备终端发送的液压马达零部件的图片信息生成目标检测结果。
5.根据权利要求1所述的基于混合现实技术的液压马达装配指导系统，其特征在于，所述设备终端还包括第二数据传输模块，用于传输液压马达零部件的图像信息以及服...
【专利技术属性】
技术研发人员：张睿昊，刘二腾，吴连秋，钟钊瑜，
申请(专利权)人：浙江宇丰信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。