人机协作方法、装置、智能终端及存储介质制造方法及图纸

技术编号:41138981 阅读:36 留言:0更新日期:2024-04-30 18:09
本发明专利技术提供的人机协作方法、装置、智能终端及存储介质,具体涉及人机协作技术领域,方案包括:采用人体数字孪生模型中的三维姿态参数化网络对目标深度图像进行三维姿态参数化,构建人体姿态;基于人体姿态,提取出人体关节点序列并进行特征提取,获得全局关节点特征;采用人体数字孪生模型中的风险评估网络对全局关节点特征进行风险评估,获得人机工程学风险指数;采用人体数字孪生模型中的行为意图识别网络对全局关节点特征和目标视频流进行识别和分类,获得行为意图的分类结果,从而做出行为决策并规划运动轨迹。该方案能够实现对人体状态的实时全面理解和响应,确保机器人高效且安全地执行任务,从而实现更为顺畅的人机协作。

【技术实现步骤摘要】

本专利技术涉及人机协作,尤其涉及的是一种人机协作方法、装置、智能终端及存储介质


技术介绍

1、人机协作(hrc)作为工业5.0中最具前景的一种范式,正在智能制造领域逐渐得到广泛应用。在此模式下,人类操作员和机器人在生产线上紧密合作,共同完成任务。与传统的仅侧重于利润和生产效率的模式相比,人机协作更强调人的福祉和舒适,试图创建一个更为人性化的工作环境,具有巨大的潜力和应用价值。然而,为了实现人机之间的高效协作,机器人需要具备准确且及时感知人体动作和姿态的能力。

2、数字孪生技术是一种能够创建物理对象的虚拟副本的技术,可以在虚拟环境中模拟和预测物理对象的行为。在人机协作
,人体数字孪生(hdt)模型可以作为人体的数字代表,帮助机器人更好地理解和预测人类操作员的动作和意图。但是,现有技术对利用视觉感知技术实现基于hdt模型的人机协作方案,通常仅侧重于处理单一的任务,如姿态识别或动作识别,且容易引起操作人员的不适,存在安全隐患,因此无法设计出全面且安全的人机协作方法规划方案。


技术实现思路

1、鉴本文档来自技高网...

【技术保护点】

1.基于人体数字孪生模型的人机协作方法,其特征在于,方法包括:

2.根据权利要求1所述的基于人体数字孪生模型的人机协作方法,其特征在于,所述采用人体数字孪生模型中的三维姿态参数化网络对所述目标深度图像进行三维姿态参数化,获得三维姿态参数,并基于所述三维姿态参数,构建人体姿态,包括:

3.根据权利要求1所述的基于人体数字孪生模型的人机协作方法,其特征在于,所述采用预设的时空图卷积网络对所述人体关节点序列进行特征提取,获得全局关节点特征,包括:

4.根据权利要求1所述的基于人体数字孪生模型的人机协作方法,其特征在于,所述采用人体数字孪生模型中的行为意图识别...

【技术特征摘要】

1.基于人体数字孪生模型的人机协作方法,其特征在于,方法包括:

2.根据权利要求1所述的基于人体数字孪生模型的人机协作方法,其特征在于,所述采用人体数字孪生模型中的三维姿态参数化网络对所述目标深度图像进行三维姿态参数化,获得三维姿态参数,并基于所述三维姿态参数,构建人体姿态,包括:

3.根据权利要求1所述的基于人体数字孪生模型的人机协作方法,其特征在于,所述采用预设的时空图卷积网络对所述人体关节点序列进行特征提取,获得全局关节点特征,包括:

4.根据权利要求1所述的基于人体数字孪生模型的人机协作方法,其特征在于,所述采用人体数字孪生模型中的行为意图识别网络对所述全局关节点特征和所述目标视频流进行识别和分类,获得行为意图的分类结果,包括:

5.根据权利要求1所述的基于人体数字孪生模型的人机协作方法,其特征在于,所述基于所述人体姿态、所述人机工程学风险指数和所述行为意图的分类结果,做出行为决策并规划运动轨迹,包括:...

【专利技术属性】
技术研发人员:郑湃范峻铭
申请(专利权)人:香港理工大学深圳研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1