System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于基于神经网络输出来更新神经网络的训练的机器人系统和方法技术方案_技高网

用于基于神经网络输出来更新神经网络的训练的机器人系统和方法技术方案

技术编号:41063151 阅读:6 留言:0更新日期:2024-04-24 11:16
一种用于安装最终装饰和装配零件的机器人系统包括自动标记系统,该系统将诸如车辆等主要组件的图像与基于计算机的模型的图像相结合,其中使用基于特征的对象跟踪方法来比较这两者。在一些形式中,相机可以安装到可移动机器人,而在另一些形式中,相机可以相对于机器人固定在适当位置。可以以某些形式使用人造标记。也可以使用机器人移动跟踪。运行时操作可以利用深度学习网络来增强基于特征的对象跟踪,以帮助初始化车辆的姿态以及在丢失时帮助恢复跟踪。

【技术实现步骤摘要】
【国外来华专利技术】

本公开总体上涉及训练神经网络,并且更具体地但不排他地涉及将转换和误差反馈合并到对神经网络的训练的更新中。


技术介绍

1、在汽车装配的最终装饰和装配(fta)阶段可以执行各种操作,包括例如车门装配、驾驶舱装配和座椅装配以及其他类型的装配。然而,由于各种原因,通常只有相对少量的fta任务是自动化的。例如,通常在fta阶段,当操作员执行fta操作时,正在进行fta的(多个)车辆正在以相对连续的方式移动(多个)车辆的(多个)线路上被运输。然而,(多个)车辆的这种连续运动可能导致或产生至少关于(多个)车辆的移动和/或位置和/或涉及fta的(多个)车辆的部分的某些不规则性。此外,这种运动可能导致车辆在fta期间受到移动不规则性、振动和平衡问题的影响,这可能会阻止或不利于准确跟踪直接涉及fta的车辆的特定零件、部分或区域的能力。传统上,基于三维模型的计算机视觉匹配算法需要对初始值进行细微的调节,并且由于诸如变化的照明条件、零件颜色变化和上述其他干扰等挑战而经常丢失跟踪。因此,这种差异和对可重复性的担忧往往会阻碍在fta操作中使用机器人运动控制。

2、因此,尽管目前市场上有各种机器人控制系统,但可以进一步改进以提供用于校准和调谐机器人控制系统以适应这种移动不规则性的系统和部件。


技术实现思路

1、本公开的一个实施例是用于更新神经网络的训练的独特系统。其他实施例包括用于使用经修改的分类器基于回归输出来生成热图的装置、系统、设备、硬件、方法和组合。本申请的另外的实施例、形式、特征、方面、益处和优点将从本文中提供的描述和附图中变得很清楚。

本文档来自技高网...

【技术保护点】

1.一种用于使用热图导出反馈来训练神经网络的方法,所述方法包括:

2.根据权利要求1所述的方法,其中训练所述神经网络包括基于所述误差使损失函数收敛。

3.根据权利要求1所述的方法,还包括:获取测试图像并且通过所述测试图像的热图的评估来更新所述神经网络的所述训练。

4.根据权利要求3所述的方法,其中所述测试图像与所述训练图像集分离,并且其中更新所述训练的步骤包括:设置测试块位置,向所述测试图像中的所述测试块位置添加块以形成遮挡测试图像,以及计算所述遮挡测试图像的热图,在所述测试块位置中遮挡将存在于所述测试图像中。

5.根据权利要求4所述的方法,还包括:对照分辨率阈值来评估所述热图,其中如果所述热图不满足所述分辨率阈值,则针对处于新位置的所述测试块重复设置测试块位置的步骤。

6.根据权利要求5所述的方法,其中重复设置测试块位置的步骤通过随机设置测试块位置来实现。

7.根据权利要求5所述的方法,其中重复设置测试块位置的步骤通过基于所述遮挡测试图像的所述热图限定块位置来实现。

8.根据权利要求4所述的方法,还包括:在向所述训练图像集中的所述块位置添加块的步骤之前,对照阈值来评估所述遮挡测试图像的所述热图与先前确定的热图的比较,并且如果所述阈值满足,则进行到所述添加块的步骤。

9.根据权利要求4所述的方法,其中所述设置测试块位置的步骤包括随机设置所述测试块位置,并且所述方法还包括:对照分辨率阈值来评估所述热图,其中如果所述热图不满足所述分辨率阈值,则针对处于新位置的块重复所述设置块位置的步骤。

10.根据权利要求9所述的方法,其中在向所述测试块位置添加块以形成遮挡测试图像的步骤之后,然后初始化与所述遮挡测试图像中的像素相对应的平移计数矩阵和旋转计数矩阵,将值1添加到所述计数矩阵中的每个计数矩阵的与由用于形成所述遮挡测试图像的所述块所覆盖的像素相对应的位置,基于所述测试图像的平移姿态和旋转姿态与使用所述遮挡测试图像驱动经训练的神经网络的姿态结果之间的比较来计算平移误差和旋转误差,如果所述设置块位置的步骤被重复,则累积总平移误差和总旋转误差,并且将所述平移误差和所述旋转误差除以相应计数矩阵。

11.一种用于基于测试图像的热图评估来更新神经网络的装置,所述装置包括:

12.根据权利要求11所述的装置,还包括损失函数,所述损失函数用于评估所述训练图像的所述姿态与所述训练图像的估计姿态之间的误差,其中所述控制器还被构造为接收命令以更新块位置并且在来自所述损失函数的损失尚未收敛的情况下向已更新块位置添加块。

13.根据权利要求11所述的装置,其中所述控制器被构造为基于对所述测试图像的热图的评估来重新开始经训练的神经网络的训练,其中在热图步骤块位置已经被确定并且热图步骤块在所述热图步骤块位置处被添加到所述测试图像之后,所述热图被确定。

14.根据权利要求13所述的装置,其中重新开始训练的操作包括重新初始化所述神经网络,使得所述神经网络准备好进行训练,其中所述测试图像与训练图像集分离,并且其中所述控制器被构造为在所述控制器重新开始所述经训练的神经网络的训练之后设置所述块位置并且将所述块添加到所述块位置以形成遮挡测试图像。

15.根据权利要求14所述的装置,其中所述控制器还被构造为对照分辨率阈值来评估所述热图,其中如果所述热图不满足所述分辨率阈值,则所述控制器被构造为重复确定热图步骤块位置并且将所述热图步骤块添加到所述热图步骤块位置的操作。

16.根据权利要求15所述的装置,其中当所述控制器被操作以重复热图步骤块位置的确定时,通过随机设置热图步骤块位置的操作来实现。

17.根据权利要求15所述的装置,其中当所述控制器被操作以重复热图步骤块位置的所述确定时,通过基于所述遮挡测试图像的所述热图来限定块位置的操作来实现。

18.根据权利要求14所述的装置,其中所述控制器还被构造为使得在向所述训练图像集中的所述块位置添加块的所述操作之前,所述控制器被操作以对照阈值来评估所述遮挡测试图像的所述热图与先前确定的热图的比较,并且如果所述阈值满足,则进行到添加块的所述操作。

19.根据权利要求14所述的装置,其中设置测试块位置的所述操作包括随机设置所述测试块位置的操作,并且其中所述控制器还被构造为对照分辨率阈值来评估所述热图,其中如果所述热图不满足所述分辨率阈值,则针对处于新位置的块重复设置块位置的所述操作。

20.根据权利要求19所述的装置,其中在向所述测试块位置添加块以形成遮挡测试图像的操作之后,所述控制器被构造为初始化与所述遮挡测试图...

【技术特征摘要】
【国外来华专利技术】

1.一种用于使用热图导出反馈来训练神经网络的方法,所述方法包括:

2.根据权利要求1所述的方法,其中训练所述神经网络包括基于所述误差使损失函数收敛。

3.根据权利要求1所述的方法,还包括:获取测试图像并且通过所述测试图像的热图的评估来更新所述神经网络的所述训练。

4.根据权利要求3所述的方法,其中所述测试图像与所述训练图像集分离,并且其中更新所述训练的步骤包括:设置测试块位置,向所述测试图像中的所述测试块位置添加块以形成遮挡测试图像,以及计算所述遮挡测试图像的热图,在所述测试块位置中遮挡将存在于所述测试图像中。

5.根据权利要求4所述的方法,还包括:对照分辨率阈值来评估所述热图,其中如果所述热图不满足所述分辨率阈值,则针对处于新位置的所述测试块重复设置测试块位置的步骤。

6.根据权利要求5所述的方法,其中重复设置测试块位置的步骤通过随机设置测试块位置来实现。

7.根据权利要求5所述的方法,其中重复设置测试块位置的步骤通过基于所述遮挡测试图像的所述热图限定块位置来实现。

8.根据权利要求4所述的方法,还包括:在向所述训练图像集中的所述块位置添加块的步骤之前,对照阈值来评估所述遮挡测试图像的所述热图与先前确定的热图的比较,并且如果所述阈值满足,则进行到所述添加块的步骤。

9.根据权利要求4所述的方法,其中所述设置测试块位置的步骤包括随机设置所述测试块位置,并且所述方法还包括:对照分辨率阈值来评估所述热图,其中如果所述热图不满足所述分辨率阈值,则针对处于新位置的块重复所述设置块位置的步骤。

10.根据权利要求9所述的方法,其中在向所述测试块位置添加块以形成遮挡测试图像的步骤之后,然后初始化与所述遮挡测试图像中的像素相对应的平移计数矩阵和旋转计数矩阵,将值1添加到所述计数矩阵中的每个计数矩阵的与由用于形成所述遮挡测试图像的所述块所覆盖的像素相对应的位置,基于所述测试图像的平移姿态和旋转姿态与使用所述遮挡测试图像驱动经训练的神经网络的姿态结果之间的比较来计算平移误差和旋转误差,如果所述设置块位置的步骤被重复,则累积总平移误差和总旋转误差,并且将所述平移误差和所述旋转误差除以相应计数矩阵。

11.一种用于基于测试图像的热图评估来更新神经网络的装置,所述装置包括:

12.根据权利要求11所述的装置,还包括损失函数,所述损失函数用于评估所述训练图像的所述姿态与所述训练图像的估计姿态之间的误差,其中所述控制器还被构造为接收命令以更新块位置...

【专利技术属性】
技术研发人员:张岐林张飚乔治·维达尔里巴斯张尹维
申请(专利权)人:ABB瑞士股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1