基于视觉追踪的全息投影交互方法、装置、车辆及介质制造方法及图纸

本申请涉及人机交互技术领域，特别涉及一种基于视觉追踪的全息投影交互方法、装置、车辆及介质，包括：检测当前车辆的驾驶状态；根据驾驶状态确定多个转体摄像头和/或多个眼球追踪摄像头的工作状态和全息投影的位置，并在多个转体摄像头处于启用状态时，利用多个转体摄像头采集用户的面部旋转角度；根据面部旋转角度和多个眼球追踪摄像头的工作状态确定至少一个目标眼球追踪摄像头，并获取至少一个目标眼球追踪摄像头采集到的摄像头数据，并基于全息投影的位置和摄像头数据进行全息投影。由此，解决了相关技术中的眼球追踪技术无法适应用户的多角度转动，并且车机交互趣味性低等问题，为车机交互增加趣味性、改善视觉交互体验，提高用户舒适度。提高用户舒适度。提高用户舒适度。

【技术实现步骤摘要】
基于视觉追踪的全息投影交互方法、装置、车辆及介质


[0001]本申请涉及人机交互
，特别涉及一种基于视觉追踪的全息投影交互方法、装置、车辆及介质。

技术介绍

[0002]360度全息显示屏技术的广泛应用标志着全息投影技术已经进入了成熟阶段。目前该技术已经在文物展示、旅游、教育、医疗、军事等诸多领域被应用，它的应用版图还在不断扩张，汽车作为量产中最复杂的产品，足以满足全息投影对设备、网络、数据处理等多方面的要求。据统计人类获取信息的80％靠的是视觉，但驾车场景又要尽量减少人机交互过程中的视觉参与度，因此导致人机交互趣味弱化，没有区分休闲和行车两种场景的交互诉求。
[0003]相关技术中，通过眼球追踪设备采集用户的眼部参数信息，以确定驾驶员在车辆内的注视信息，无法满足驾驶员多角度转动的问题，没有根据驾驶员的驾驶状态处理，数据误差较大，相关技术中还提出一种具有眼球追踪功能的电子装置，无法应用于车辆，无法适应驾驶员灵活动作获取眼球角度，亟待解决。

技术实现思路

[0004]本申请提供一种基于视觉追踪的全息投影交互方法、装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉追踪的全息投影交互方法，其特征在于，包括以下步骤：检测当前车辆的驾驶状态；根据所述驾驶状态确定多个转体摄像头和/或多个眼球追踪摄像头的工作状态和全息投影的位置，并在所述多个转体摄像头处于启用状态时，利用所述多个转体摄像头采集用户的面部旋转角度；以及根据所述面部旋转角度和所述多个眼球追踪摄像头的工作状态确定至少一个目标眼球追踪摄像头，并获取所述至少一个目标眼球追踪摄像头采集到的摄像头数据，并基于所述全息投影的位置和所述摄像头数据进行全息投影。2.根据权利要求1所述的方法，其特征在于，所述驾驶状态包括行车状态、候车状态和休闲状态中的至少一种。3.根据权利要求2所述的方法，其特征在于，所述根据所述驾驶状态确定多个转体摄像头和/或多个眼球追踪摄像头的工作状态和全息投影的位置信息，包括：若所述驾驶状态为所述行车状态，则控制所述转体摄像头和所述眼球追踪摄像头的工作状态均为禁用状态；若所述驾驶状态为所述候车状态，则控制所述转体摄像头的工作状态为所述禁用状态，并控制所述眼球追踪摄像头中部分摄像头为所述禁用状态，剩余部分为所述启用状态；若所述驾驶状态为所述休闲状态，则控制所述转体摄像头和所述眼球追踪摄像头的工作状态均为所述启用状态。4.根据权利要求1所述的方法，其特征在于，所述多个眼球追踪摄像头包括第一至第六眼球追踪摄像头，所述根据所述面部旋转角度和所述多个眼球追踪摄像头的工作状态确定至少一个目标眼球追踪摄像头，包括：若所述面部旋转角度处于第一预设角度区间，则所述至少一个目标眼球追踪摄像头为第一眼球追踪摄像头；若所述面部旋转角度处于第二预设角度区间，则所述至少一个目标眼球追踪摄像头为第二眼球追踪摄像头；若所述面部旋转角度处于第三预设角度区间，则所述至少一个目标眼球追踪摄像头为第三眼球追踪摄像头和第四眼球追踪摄像头；若所述面部旋转角度处于第四预设角度区间，则所述至少一个目标眼球追踪摄像头为第五眼球追踪摄像头；若所述面部旋转角度处于第五预设角度区间，则所述至少一个目标眼球追踪摄像头为第六眼球追踪摄像头。5.根据权利要求3所述的方法，其特征在于，根据所述驾驶状态确定多个转体摄像头和/或多个眼球追踪摄像头的工作状态和全息投影的位置之后，还包括：若所述多个转体摄像头均为所述禁用状态，则基于预设的视角范围，从所述多个眼球追踪摄像头中确定所述至少一个目标眼球追踪摄像头。6.根据权利要求1或5所述的方法，其特征在于，所述基于所述全息投影的位置和所述摄像头数据进行全息投影，包括：将所述摄像头数据转化至本地坐标系，获取所述本地坐标系中所述用户的视线焦点；根据所述视线焦点调整所述全息投影的位置至最佳位置，并基于预设的业务逻辑确定
当前投影场景组合，其中，所述当前投影场景组合包含投影内容；基于所述投影内容和所述最佳位置进行全息投影。7.根据权利要求6所述的方法，其特征在于，在基于所述全息投影的位置和所述摄像头数据进行全息投影之后，还包括：确定所述全息投影当前唤醒方式；若所述当前唤醒方式为被动唤醒方式，则根据当前唤醒事件的紧急度匹配目标场景，并将所述全息投影的当前场景切换至所述目标场景；若所述当前唤醒方式为主动唤醒方式，则根据所述用户的当前沟通方式确定所述目标场景，并将所述全息投影的当前场景切换至所述目标场景。8.根据权利要求6所述的方法，其特征在于，在检测所述当前车辆的驾驶状态之前，还包括：初始化所述本地坐标系，其中，所述本地坐标系以所述当前车辆的车身为参照系；判断所述当前车辆是否为首次启动或驾驶位座椅是否被调整；若所述当前车辆为首次启动或所述驾驶位座椅被调整，根据调整后的所述驾驶位座椅为原点建立视角坐标系；基于调整后的所述驾驶位座椅的位置，将转体摄像头和眼球追踪摄像头在所述本地坐标系的坐标映射到所述视角坐标系。9.一种基于视觉追踪的全息投影交互装置，其特征在于，包括：检测模块，用于检测当前车辆的驾驶状态；采集模块，用于根据所述驾驶状态确定多个转体摄像头和/或多个眼球追踪摄像头的工作状态和全息投影的位置，并在所述多个...

【专利技术属性】
技术研发人员：刘静修，贺刚，王永亮，平涛，任伟，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：