一种基于AR指导的行为识别方法、系统和装置制造方法及图纸

技术编号：41313935 阅读：2 留言：0更新日期：2024-05-13 14:56

本发明专利技术提出了一种基于AR指导的行为识别方法、系统和装置。所述基于AR指导的行为识别方法包括：实时监测工人是否带上AR设备；通过摄像头实时监测工人的手部动作，并将所述工人的手部动作发送至中央控制系统；所述中央控制系统根据摄像头采集到的工人的手部动作生成AR成像模型图像；将AR成像模型图像发送至工人做佩戴的AR设备上进行显示。所述系统包括与所述方法步骤对应的模块。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术提出了一种基于ar指导的行为识别方法、系统和装置，属于行为识别。

技术介绍

1、工厂新操作员可以根据ar提供的实时操作指导，来对当前工位的设备进行相应的操作，例如设备的操作步骤、参数设置和安全提示。由于对工厂工作内容不熟悉，以及ar提示不够准确详实的情况下，新员工即使在ar指导情况下仍然会出现一些操作错误问题。并且即使出现操作错误员工也不知道，无法即使对员工的操作进行纠正。

技术实现思路

1、本专利技术提供了一种基于ar指导的行为识别方法、系统和装置，用以解决新员工即使在ar指导情况下仍然会出现一些操作错误问题。并且即使出现操作错误员工也不知道，无法即使对员工的操作进行纠正的问题：

2、一种基于ar指导的行为识别方法，所述基于ar指导的行为识别方法包括：

3、实时监测工人是否带上ar设备；

4、通过摄像头实时监测工人的手部动作，并将所述工人的手部动作发送至中央控制系统；

5、所述中央控制系统根据摄像头采集到的工人的手部动作生成ar成像模型图像；

6、将ar成像模型图像发送至工人做佩戴的ar设备上进行显示。

7、进一步地，实时监测工人是否带上ar设备，包括：

8、通过摄像头实时监测工人运动的图像信息

9、所述摄像头将采集到的工人运动的图像信息发送至每个摄像头对应的数据处理模组；

10、所述数据处理模组通过工人运动的图像信息进行图像识别，判断所述工人是否带上ar设备；</p>

11、当确定工人带上ar设备后，所述数据处理模组向中央控制系统发送动作识别指令。

12、进一步地，通过摄像头实时监测工人的手部动作，并将所述工人的手部动作发送至中央控制系统，包括：

13、通过摄像头实时监测工人的手部动作视频；

14、将所述手部动作视频发送至数据处理模组，并通过所述数据处理模组将所述手部动作视频进行帧处理，获得与所述手部动作视频对应的帧图像；

15、所述数据处理模组将所述帧图像发送至中央控制系统。

16、进一步地，所述中央控制系统根据摄像头采集到的工人的手部动作生成ar成像模型图像，包括：

17、所述中央控制系统在接收到数据处理模组发送的帧图像后，针对每个帧图像进行动作识别，获得每个帧图像对应的每个工人手部动作；

18、根据每个帧图像对应的每个工人手部动作构建ar成像模型；

19、将每个工人手部动作对应的ar成像模型进行动态关联，形成动态模型信息；

20、将所述动态模型信息发送至ar设备。

21、一种基于ar指导的行为识别系统，所述基于ar指导的行为识别系统包括：

22、实时监测模块，用于实时监测工人是否带上ar设备；

23、手部动作监测模块，用于通过摄像头实时监测工人的手部动作，并将所述工人的手部动作发送至中央控制系统；

24、ar成像模型图像采集模块，用于所述中央控制系统根据摄像头采集到的工人的手部动作生成ar成像模型图像；

25、图像显示模块，用于将ar成像模型图像发送至工人做佩戴的ar设备上进行显示。

26、进一步地，所述实时监测模块包括：

27、图像信息获取模块，用于通过摄像头实时监测工人运动的图像信息

28、图像信息发送模块，用于所述摄像头将采集到的工人运动的图像信息发送至每个摄像头对应的数据处理模组；

29、图像识别模块，用于所述数据处理模组通过工人运动的图像信息进行图像识别，判断所述工人是否带上ar设备；

30、动作识别指令发送模块，用于当确定工人带上ar设备后，所述数据处理模组向中央控制系统发送动作识别指令。

31、进一步地，所述手部动作监测模块包括：

32、手部动作视频获取模块，用于通过摄像头实时监测工人的手部动作视频；

33、帧处理模块，用于将所述手部动作视频发送至数据处理模组，并通过所述数据处理模组将所述手部动作视频进行帧处理，获得与所述手部动作视频对应的帧图像；

34、帧图像发送模块，用于所述数据处理模组将所述帧图像发送至中央控制系统。

35、进一步地，所述ar成像模型图像采集模块包括：

36、工人手部动作获取模块，用于所述中央控制系统在接收到数据处理模组发送的帧图像后，针对每个帧图像进行动作识别，获得每个帧图像对应的每个工人手部动作；

37、ar成像模型构建模块，用于根据每个帧图像对应的每个工人手部动作构建ar成像模型；

38、动态模型信息生成模块，用于将每个工人手部动作对应的ar成像模型进行动态关联，形成动态模型信息；

39、模型信息发送模块，用于将所述动态模型信息发送至ar设备。

40、一种基于ar指导的行为识别装置，所述基于ar指导的行为识别装置ar设备、多个摄像头、多个数据处理模组和中央控制系统；所述摄像头一一对应与所述数据处理模组进行电连接；所述数据处理模组与所述中央控制系统建立通信连接；所述中央控制系统与ar设备之间通过无线通信当时建立数据传输连接。

41、本专利技术有益效果：

42、本专利技术提出的一种基于ar指导的行为识别方法、系统和装置在工人使用ar指导进行设备操作时，监控摄像头实时监测工人的行为，识别其特定的手势、动作序列或动作模式，并与当前ar中提示的设备操作步骤进行对比，如果发现工人当前的操作与ar提示中的操作指导有差，则对出现操作错误的工人提示，并将其出现错误的阶段在ar提示中标明。实时地纠正新员工的设备操作问题，更有效地进行操作纠正并减少了人为错误。

本文档来自技高网...

【技术保护点】

1.一种基于AR指导的行为识别方法，其特征在于，所述基于AR指导的行为识别方法包括：

2.根据权利要求1所述基于AR指导的行为识别方法，其特征在于，通过实时采集的工人运动的图像信息结合图像识别实时监测工人是否带上AR设备，包括：

3.根据权利要求1所述基于AR指导的行为识别方法，其特征在于，通过摄像头实时监测工人的手部动作，并将所述工人的手部动作发送至中央控制系统，包括：

4.根据权利要求1所述基于AR指导的行为识别方法，其特征在于，所述中央控制系统根据摄像头采集到的工人的手部动的动作识别结果作生成AR成像模型图像，并通过工人手部动作与其对应的AR成像模型进行动态关联的方式形成动态模型信息，包括：

5.一种基于AR指导的行为识别系统，其特征在于，所述基于AR指导的行为识别系统包括：

6.根据权利要求5所述基于AR指导的行为识别系统，其特征在于，所述实时监测模块包括：

7.根据权利要求5所述基于AR指导的行为识别系统，其特征在于，所述手部动作监测模块包括：

8.根据权利要求5所述基于AR指导的行为识

9.一种基于AR指导的行为识别装置，其特征在于，所述基于AR指导的行为识别装置AR设备、多个摄像头、多个数据处理模组和中央控制系统；所述摄像头一一对应与所述数据处理模组进行电连接；所述数据处理模组与所述中央控制系统建立通信连接；所述中央控制系统与AR设备之间通过无线通信当时建立数据传输连接。

...

【技术特征摘要】

1.一种基于ar指导的行为识别方法，其特征在于，所述基于ar指导的行为识别方法包括：

2.根据权利要求1所述基于ar指导的行为识别方法，其特征在于，通过实时采集的工人运动的图像信息结合图像识别实时监测工人是否带上ar设备，包括：

3.根据权利要求1所述基于ar指导的行为识别方法，其特征在于，通过摄像头实时监测工人的手部动作，并将所述工人的手部动作发送至中央控制系统，包括：

4.根据权利要求1所述基于ar指导的行为识别方法，其特征在于，所述中央控制系统根据摄像头采集到的工人的手部动的动作识别结果作生成ar成像模型图像，并通过工人手部动作与其对应的ar成像模型进行动态关联的方式形成动态模型信息，包括：

5.一种基于ar指导的行...

【专利技术属性】
技术研发人员：余丹，兰雨晴，郑涵，王丹星，贺江，
申请(专利权)人：慧之安信息技术股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人