【技术实现步骤摘要】
本专利技术属于人机交互，更具体地，涉及一种基于混合现实技术的人机双向交互方法及系统。
技术介绍
1、随着人口老龄化的加剧和残疾人群数量的急剧膨胀，劳动力短缺问题日益突出，于是，机器人假肢、康复外骨骼机器人、增强式外骨骼机器人、服务型机器人、人-机器人遥操作、人-机器人协作等以人为本的机器人研究与发展得到空前的重视。在这些机器人领域，人-机器人之间的双向交互对机器人和人快速准确地理解对方并做出正确的决策和响应、实现拟人的自然交互来说尤其重要。
2、人机双向交互主要包括两大内容：一是当人产生主动运动意图时，机器人可快速准确地理解人的运动意图、并以合理合适的方式进行响应，执行人希望机器人完成的任务；二是当机器人按照人的意图做出响应、执行任务的时候，人可以快速准确地获取机器人的状态以及机器人对环境的感知，进而做出正确的判断与决策。为了在人与机器人之间构建拟人的运动-感知闭环回路，实现人机双向交互，不仅要建立人与机器人的信息传输与转换接口，还要保证人机交互的准确性、可靠性和工作效率。为实现双向交互，常通过人的本体视觉、外部电刺激、外部振动刺激等将机器人的感知信息反馈至人。其中，本体视觉反馈的局限性在于，人无法通过视觉获知机器人所感知到的温度、触感、交互力、平衡状态等信息，在与环境发生交互的任务中具有局限性；基于外部电刺激、外部振动刺激的感知反馈受个体差异的影响较大，需经过大量重复训练将感知信息与刺激参数进行校准匹配，而且长时间的刺激还会造成相应感知神经的敏感度下降。理论上说，融合人体意图解码和机器人感知反馈技术，即可实现人机之
技术实现思路
1、针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于混合现实技术的人机双向交互方法及系统，其目的在于解决现有人机交互效果不好的技术问题。
2、为实现上述目的，第一方面，本专利技术提供了一种基于混合现实技术的人机双向交互方法，所述方法包括：
3、通过混合现实设备采集用户凝视点和用户视野图像；
4、对用户视野图像进行目标识别获得多个目标，基于用户凝视点从多个目标中选出用户意图目标；
5、根据用户意图目标选择机器端的动作模式，机器端执行动作模式；
6、机器端采集其和环境之间的交互信息并反馈至所述混合现实设备。
7、优选的，通过混合现实设备采集用户凝视点，具体为：
8、混合现实设备采集用户双眼的眼动数据，获取双眼视线交点在世界空间下的三维空间坐标，并将所述三维空间坐标化为四维齐次坐标，其中w分量为1；
9、通过下式计算双眼视线交点在相机空间下的三维空间坐标：
10、cameraspacepos＝worldtocameramatrix×worldspacepos
11、其中，worldspacepos为双眼视线交点在世界空间下的四维齐次坐标；worldtocameramatrix为世界到相机矩阵；cameraspacepos中x,y,z分量即为双眼视线交点在相机空间下的三维空间坐标；
12、将cameraspacepos化为四维齐次坐标，其中w分量为1；通过下式计算双眼视线交点在裁剪空间下的三维空间坐标：
13、imageposunnormalized＝projectionmatrix×cameraspacepos
14、其中，projectionmatrix为投影矩阵；imageposunnormalized中x，y，z分量即为双眼视线交点在裁剪空间下的三维空间坐标，x，y，z分量都在(-w，w)范围内，w分量表征双眼视线交点到相机的距离；通过下式对所述x和y分量做透视除法，即除以w分量：
15、imageposprojected.x
16、＝imageposunnormalized.x/imageposunnormalized.w
17、imageposprojected.y
18、＝imageposunnormalized.y/imageposunnormalized.w
19、其中，imageposprojected.x和imageposprojected.y分别为imageposunnormalized做透视除法归一化后在(-1，1)范围内的x和y分量；通过下式将(-1，1)范围内的x和y分量转换到(0，1)范围内：
20、imageposzerotoone.x＝imageposprojected.x×0.5+0.5
21、imageposzerotoome.y＝imageposprojected.y×0.5+0.5
22、其中，imageposzerotoone.x和imageposzerotoone.y分别为(0，1)范围内的x和y分量；通过下式计算双眼视线交点在屏幕空间下的二维平面坐标：
23、pixelpos.x＝imageposzerotoone.x×tex.width
24、pixelpos.y＝(1-imageposzerotoone.y)×tex.height
25、其中，tex.width和tex.height分别为用户视野图像的宽和高；pixelpos.x和pixelpos.y即为双眼视线交点在屏幕空间下的二维平面坐标。
26、优选的，混合现实设备采集用户双眼的眼动数据，获取双眼视线交点在世界空间下的三维空间坐标，具体为：对用户所在世界空间下的三维空间进行网格化，双眼视线交点所在的网格坐标即为双眼视线交点在世界空间下的三维空间坐标。
27、优选的，基于用户凝视点从多个目标中选出用户意图目标，具体为：
28、若用户凝视点坐标位于所有边界框外，则无用户意图目标；
29、若用户凝视点坐标位于一个边界框内，则所述边界框中的目标为用户意图目标；
30、若用户凝视点坐标位于两个或两个以上边界框内，则找出中点和用户凝视点距离最近的边界框，所述边界框中的目标为用户意图目标；
31、所述边界框为：目标识别时，在识别目标外围生成的边框。
32、优选的，找出中点和用户凝视点距离最近的边界框，具体为：
33、通过下式计算用户凝视点的中心度m：
34、m＝a×b/s
35、其中，在边界框中找出和用户凝视点距离最近的顶点，用户凝视点到所述顶点相邻两条边的距离分别为a和b，所述边界框的面积为s；则最大中心度m所对应的边界框即为中点和用户凝视点距离最近的边界框。
36、优选的，根据用户意图目标选择机器端的动作模式，具体为：
37、预先建立动作模式和用户意图目标的映射关系，在映射本文档来自技高网...
【技术保护点】
1.一种基于混合现实技术的人机双向交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过混合现实设备采集用户凝视点，具体为：
3.根据权利要求2所述的方法，其特征在于，混合现实设备采集用户双眼的眼动数据，获取双眼视线交点在世界空间下的三维空间坐标，具体为：对用户所在世界空间下的三维空间进行网格化，双眼视线交点所在的网格坐标即为双眼视线交点在世界空间下的三维空间坐标。
4.根据权利要求1所述的方法，其特征在于，基于用户凝视点从多个目标中选出用户意图目标，具体为：
5.根据权利要求4所述的方法，其特征在于，找出中点和用户凝视点距离最近的边界框，具体为：
6.根据权利要求1所述的方法，其特征在于，根据用户意图目标选择机器端的动作模式，具体为：
7.根据权利要求1所述的方法，其特征在于，机器端同时采集其和环境之间的交互信息并反馈至所述混合现实设备，具体为：
8.一种基于混合现实技术的人机双向交互系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，包括：
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，当所述计算机程序在处理器上运行时，使得所述处理器执行权利要求1-7中任一所述的方法。
...【技术特征摘要】
1.一种基于混合现实技术的人机双向交互方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过混合现实设备采集用户凝视点，具体为：
3.根据权利要求2所述的方法，其特征在于，混合现实设备采集用户双眼的眼动数据，获取双眼视线交点在世界空间下的三维空间坐标，具体为：对用户所在世界空间下的三维空间进行网格化，双眼视线交点所在的网格坐标即为双眼视线交点在世界空间下的三维空间坐标。
4.根据权利要求1所述的方法，其特征在于，基于用户凝视点从多个目标中选出用户意图目标，具体为：
5.根据权利要求4所述的方法，其特...
【专利技术属性】
技术研发人员：张琴，陈怡锦，徐瑞丰，熊蔡华，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。