【技术实现步骤摘要】
本专利技术涉及人机协同，尤其涉及一种基于虚实融合的人机协同状态反馈方法、装置及电子设备。
技术介绍
1、随着工业化、自动化、智能化的发展，人工智能、虚拟现实技术、增强现实技术被广泛应用于人机协同系统中，以促进人与机器之间的交互协同。因此，需要提出一种基于虚实融合的人机协同状态反馈方法。
技术实现思路
1、本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术提出一种基于虚实融合的人机协同状态反馈方法、装置及电子设备。
2、本专利技术提供一种基于虚实融合的人机协同状态反馈方法，所述方法包括：获取当前作业任务的人机协同过程中操作对象的人因数据，以及对所述人机协同过程进行拍摄得到的作业画面图像，所述作业画面图像至少包括操作设备及操作环境的设定参数；基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据；基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据；根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈。
3、本专利技术中，首先，获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的至少包括操作设备及操作环境的设定参数的作业画面图像。然后，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，基于人因数据进行人员状态识别，得到操作对象的人员状态数据，为人机协同过程提供重要的信息。最后，根据目标协同状态数据和人员状态数据，对
4、在其中一个实施方式，所述人因数据包括眼动信号数据，所述人员状态数据包括任务预判状态数据；所述基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据，包括：基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况；其中，所述注视位置变化情况用于描述所述操作对象的注视位置随着所述当前作业任务的执行时间变化的情况；基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据。
5、本实施方式中，基于眼动信号数据进行注视位置的识别，得到操作对象的注视位置变化情况，基于注视位置变化情况判断操作对象是否对当前作业任务的下一作业任务进行预判，得到任务预判状态数据，帮助系统理解操作对象的任务意图，从而更好地协助操作对象完成任务。
6、在其中一个实施方式，所述基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况，包括：基于所述眼动信号数据确定所述操作对象的注视点扫描路径；基于所述注视点扫描路径确定所述操作对象的注视位置变化情况。
7、本实施方式中，基于眼动信号数据确定操作对象的注视点扫描路径，基于注视点扫描路径确定操作对象的注视位置变化情况，可以推测操作对象的意图和预期行为。
8、在其中一个实施方式，所述当前作业任务对应当前任务区域范围，所述下一作业任务对应下一任务区域范围；所述基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据，包括：基于所述注视位置变化情况判断所述操作对象的至少部分注视资源是否从所述当前任务区域范围转移至所述下一任务区域范围，得到所述任务预判状态数据。
9、本实施方式中，基于注视位置变化情况判断操作对象的至少部分注视资源是否从当前任务区域范围转移至下一任务区域范围，得到任务预判状态数据，帮助系统理解操作对象的任务意图，从而确定操作对象的状态，以更好地引导操作对象完成任务。
10、在其中一个实施方式，所述人因数据包括脑电信号数据、皮电信号数据、心率信号数据中的至少一个；所述方法还包括：基于所述脑电信号数据进行负荷状态识别，得到所述操作对象的负荷状态数据；基于所述皮电信号数据和所述心率信号数据进行情绪状态识别，得到所述操作对象的情绪状态数据；根据所述负荷状态数据和/或所述情绪状态数据对所述操作对象的工作状态进行预警。
11、本实施方式中，基于脑电信号数据进行负荷状态识别，得到操作对象的负荷状态数据，基于皮电信号数据和心率信号数据进行情绪状态识别，得到操作对象的情绪状态数据，根据负荷状态数据和/或情绪状态数据对操作对象的工作状态进行预警，可以及时发现并应对操作对象的疲劳、压力和负面情绪，提高工作效率、安全性和满意度，预防工作事故和错误的发生。
12、在其中一个实施方式，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，作为所述目标协同状态数据；或者根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，根据所述当前协同状态数据确定所述当前作业任务的相邻作业任务的所述目标协同状态数据。
13、本实施方式中，根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，作为目标协同状态数据，或者根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，根据当前协同状态数据确定当前作业任务的相邻作业任务的目标协同状态数据，为人机协同过程提供重要的信息。
14、在其中一个实施方式，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：将所述作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到所述目标协同状态数据。
15、本实施方式中，将作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到目标协同状态数据，为人机协同过程提供重要的信息。
16、在其中一个实施方式，通过以下方式训练得到所述目标状态识别模型：获取对历史作业过程进行拍摄得到的样本画面图像；其中，所述样本画面图像的标签包括标注任务标识、标注动作数据、所述标注动作数据对应的标注工具类别；将所述样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、所述预测动作数据对应的预测工具类别；基于所述标注任务标识、所述标注动作数据、所述标注工具类别、所述预测任务标识、所述预测动作数据以及所述预测工具类别对所述初始状态识别模型进行更新，得到所述目标状态识别模型。
17、本实施方式中，获取对历史作业过程进行拍摄得到的样本画面图像，将样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、预测动作数据对应的预测工具类别，基于标注任务标识、标注动作数据、标注工具类别、预测任务标识、预测动作数据以及预测工具类别对初始状态识别模型进行本文档来自技高网...
【技术保护点】
1.一种基于虚实融合的人机协同状态反馈方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述人因数据包括眼动信号数据，所述人员状态数据包括任务预判状态数据；所述基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况，包括：
4.根据权利要求2所述的方法，其特征在于，所述当前作业任务对应当前任务区域范围，所述下一作业任务对应下一任务区域范围；所述基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述人因数据包括脑电信号数据、皮电信号数据、心率信号数据中的至少一个；所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：
7.根据权利要求1所
8.根据权利要求7所述的方法，其特征在于，通过以下方式训练得到所述目标状态识别模型：
9.根据权利要求8所述的方法，其特征在于，通过以下方式确定所述样本画面图像的标签：
10.根据权利要求1-5、7-9任一项所述的方法，其特征在于，所述根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈，包括：
11.根据权利要求10所述的方法，其特征在于，所述基于所述预备状态数据和所述人员状态数据对所述人机协同过程进行状态反馈，包括：
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
13.一种基于虚实融合的人机协同状态反馈装置，其特征在于，所述装置包括：
14.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于虚实融合的人机协同状态反馈方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述人因数据包括眼动信号数据，所述人员状态数据包括任务预判状态数据；所述基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况，包括：
4.根据权利要求2所述的方法，其特征在于，所述当前作业任务对应当前任务区域范围，所述下一作业任务对应下一任务区域范围；所述基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据，包括：
5.根据权利要求1所述的方法，其特征在于，所述人因数据包括脑电信号数据、皮电信号数据、心率信号数据中的至少一个；所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于所述作业画面图像进行人...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京津发科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。