System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于图像处理的生产技能智能学习方法及系统、电子设备技术方案_技高网

基于图像处理的生产技能智能学习方法及系统、电子设备技术方案

技术编号:40967759 阅读:4 留言:0更新日期:2024-04-18 20:48
本发明专利技术涉及一般的图像处理或产生领域,具体涉及一种基于图像处理的生产技能智能学习方法及系统、电子设备,包括获取头戴式VR设备上的VR相机拍摄的目标生产设备的当前帧图像;对当前帧图像进行处理,提取当前帧图像中,目标生产设备的轮廓;根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称;将目标生产设备的名称写入目标生产设备对应的轮廓的内部;向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号,获取用户的交互语音,根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频,并判断是否在VR设备中播放所述视频。无需用户自行查阅目标设备资料,即可进行相关学习,节约大量时间成本。

【技术实现步骤摘要】

本专利技术涉及一般的图像处理或产生,具体涉及一种基于图像处理的生产技能智能学习方法及系统、电子设备


技术介绍

1、随着社会发展,车间的生产设备逐渐智能化,操作逐渐复杂,由于车间工人对生产设备的学习和生产技能的学习,通常来源于需要通过人来自行搜索得到需要的书籍或文字、图片、影像资料,然后再继续进行学习,现有技术需要车间工人自行查阅大量资料,需要浪费大量的时间进行资料查找,学习效率低。

2、因此,现有技术还有待进一步发展。


技术实现思路

1、本专利技术的目的在于克服上述技术不足,提供一种基于图像处理的生产技能智能学习方法及系统、电子设备,以解决现有技术存在的问题。

2、为达到上述技术目的,根据本专利技术的第一方面,本专利技术提供了一种基于图像处理的生产技能智能学习方法,包括:

3、s100、获取头戴式vr设备上的vr相机拍摄的目标生产设备的当前帧图像;对当前帧图像进行处理,提取当前帧图像中,目标生产设备的轮廓;

4、s200、根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称;将目标生产设备的名称写入目标生产设备对应的轮廓的内部;

5、s300、向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号,获取用户的交互语音,根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频,并判断是否在头戴式vr设备中播放所述操作视频。

6、具体的,所述提取当前帧图像中,目标生产设备的轮廓,包括:

7、对当前帧图像进行二值化处理,将当前帧图像转换为只包括黑白两种颜色的图像,以区分当前帧图像中的目标生产设备区域与背景区域,从该二值化处理后的当前帧图像的目标生产设备区域中提取轮廓特征点,根据轮廓特征点拟合得到待匹配目标生产设备的第一轮廓。

8、具体的,所述根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称,包括:

9、获取预设在控制模块中的各样本生产设备的第二轮廓,计算第一轮廓和第二轮廓的质心坐标,使第一轮廓和第二轮廓的质心重合后,将第一轮廓进行旋转和缩放,使第一轮廓和第二轮廓的各顶点的欧式距离之差最小,依次计算此时,第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据,根据轮廓重合度数据确定目标生产设备的名称。

10、具体的,所述根据轮廓重合度数据确定目标生产设备的名称,包括:

11、依次判断第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据是否大于或等于第一预设阈值,若第一轮廓与某个样本生产设备的第二轮廓的轮廓重合度数据大于或等于第一预设阈值,判断该样本生产设备的名称为目标生产设备的名称;若第一轮廓和各样本生产设备的第二轮廓的轮廓重合度数据均小于第一预设阈值,输出有关于匹配失败、请调整拍摄角度的语音提示信号。

12、具体的,所述根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频,并判断是否在头戴式vr设备中播放所述操作视频,包括:

13、若用户的交互语音的获取结果为“是”,获取预设在控制模块中的目标生产设备对应的操作视频,并在头戴式vr设备中播放所述操作视频;

14、若用户的交互语音的获取结果为“否”,则不获取预设在控制模块中的目标生产设备对应的操作视频。

15、具体的,所述将目标生产设备的名称写入目标生产设备对应的轮廓的内部,包括:

16、通过python的opencv库将目标生产设备的名称写入当前帧图像中,第一轮廓的质心坐标对应的预设位置,所述预设位置为以第一轮廓的质心坐标为所述名称对应的文本框的左上角坐标,插入目标生产设备的名称所对应的文本。

17、具体的,所述方法还包括:

18、利用设置于头戴式vr设备上的gps定位系统获取相机的gps坐标,利用设置于头戴式vr设备上的激光测距系统测量相机距地面的第一高度数据,获取相机的内参数据和云台角度,根据第一轮廓的质心坐标、相机的gps坐标、第一高度数据、内参数据和云台角度,计算用于指示目标生产设备的地理坐标;获取预设在控制模块中的各样本生产设备对应的预设地理坐标,计算用于指示目标生产设备的地理坐标与各样本生产设备对应的预设地理坐标的实际距离,判断各样本生产设备对应的多个实际距离中,最短实际距离是否小于或等于第二预设阈值,并根据判断结果确定目标生产设备的名称。

19、具体的,所述方法还包括:

20、若最短实际距离小于或等于第二预设阈值,则最短实际距离对应的样本生产设备的名称为目标生产设备的名称;

21、若最短实际距离大于第二预设阈值,则输出有关于匹配失败、请调整拍摄角度和拍摄位置的语音提示信号。

22、根据本专利技术的第二方面,提供一种基于图像处理的生产技能智能学习系统,包括:

23、获取模块,用于获取头戴式vr设备上的vr相机拍摄的目标生产设备的当前帧图像;

24、控制模块,用于对当前帧图像进行处理,提取当前帧图像中,目标生产设备的轮廓;或用于根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称;将目标生产设备的名称写入目标生产设备对应的轮廓的内部;或用于向用户输出有关于是否播放目标生产设备的操作视频的语音交互信号,获取用户的交互语音,根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频,并判断是否在头戴式vr设备中播放所述操作视频。

25、根据本专利技术的第三方面,提供一种电子设备,包括:存储器;以及处理器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述的基于图像处理的生产技能智能学习方法。

26、有益效果:

27、本专利技术实现了无需用户自行查阅资料,通过头戴式vr设备即可自行学习对应生产设备的操作视频和生产技能,节约了大量时间成本,很大程度上提高了学习效率,且无需复杂算法建模,很大程度上提高了本专利技术的智能化程度和可用性,很大程度上拓展了本专利技术的应用场景。

本文档来自技高网...

【技术保护点】

1.一种基于图像处理的生产技能智能学习方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于图像处理的生产技能智能学习方法,其特征在于,所述提取当前帧图像中,目标生产设备的轮廓,包括:

3.根据权利要求2所述的基于图像处理的生产技能智能学习方法,其特征在于,所述根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称,包括:

4.根据权利要求3所述的基于图像处理的生产技能智能学习方法,其特征在于,所述根据轮廓重合度数据确定目标生产设备的名称,包括:

5.根据权利要求4所述的基于图像处理的生产技能智能学习方法,其特征在于,所述根据用户的交互语音判断是否获取预设在控制模块中的目标生产设备对应的操作视频,并判断是否在头戴式VR设备中播放所述操作视频,包括:

6.根据权利要求5所述的基于图像处理的生产技能智能学习方法,其特征在于,所述将目标生产设备的名称写入目标生产设备对应的轮廓的内部,包括:

7.根据权利要求6所述的基于图像处理的生产技能智能学习方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的基于图像处理的生产技能智能学习方法,其特征在于,所述方法还包括:

9.一种基于图像处理的生产技能智能学习系统,其特征在于,包括:

10.一种电子设备,其特征在于,包括:

...

【技术特征摘要】

1.一种基于图像处理的生产技能智能学习方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于图像处理的生产技能智能学习方法,其特征在于,所述提取当前帧图像中,目标生产设备的轮廓,包括:

3.根据权利要求2所述的基于图像处理的生产技能智能学习方法,其特征在于,所述根据当前帧图像中目标生产设备的轮廓确定目标生产设备的名称,包括:

4.根据权利要求3所述的基于图像处理的生产技能智能学习方法,其特征在于,所述根据轮廓重合度数据确定目标生产设备的名称,包括:

5.根据权利要求4所述的基于图像处理的生产技能智能学习方法,其特征在于,所述根据用户的交...

【专利技术属性】
技术研发人员:周志维
申请(专利权)人:青岛三诚众合智能设备科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1