一种增强现实的人机交互方法及设备技术

本发明专利技术公开了一种增强现实的人机交互方法及设备，包括：在车辆前设置带标尺摄像头，所述带标尺摄像头采集车辆前的图像；提取所述图像中各个实际对象，并确定各个实际对象的参数；确定虚拟对象的参数；将实际对象与虚拟对象进行匹配，确定虚拟对象的缩放比，根据所述缩放比确定所述虚拟对象图形；将所述虚拟对象图形通过增强现实设备显示；驾驶者通过语音或手势的方式与虚拟现实设备进行人机交互。手势的方式与虚拟现实设备进行人机交互。手势的方式与虚拟现实设备进行人机交互。

【技术实现步骤摘要】
一种增强现实的人机交互方法及设备


[0001]本专利技术涉及人机交互
，具体涉及一种增强现实的人机交互方法及设备。

技术介绍

[0002]我们周围的世界非常丰富，待了解对象上有许多数字信息，可用不同的方法来访问该对象的信息，例如：查询对象的名称或通过搜索引擎查询该对象的描述信息。随着移动设备的普及，目前有的移动设备上有种功能来访问对象信息，该功能为现实增强(Augmented Reality，简称AR)功能。AR是利用虚拟信息对真实场景进行现实增强的技术。AR基于摄像头等采集器件采集到的真实物理环境，通过将文本、二维图形、三维模型等虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现用户身处的显示物理环境的注释、说明，或者增强、强调现实环境的某些效果。
[0003]现有技术中，在车载系统中利用现实增强技术是通过抬头显示设备将图像投影至驾驶员正对的面板上，驾驶员不用再低头查看仪表盘等，但是，现有技术中存在的技术问题是，投影至面板上的图像不能与实际图像相匹配，造成驾驶员获得的信息发生混乱的情况。

技术实现思路

[0004]本专利技术提供一种增强现实的人机交互方法及设备，以解决现有技术中存在的上述问题。
[0005]本专利技术提供一种增强现实的人机交互方法，包括：
[0006]S100，在车辆前设置带标尺摄像头，所述带标尺摄像头采集车辆前的图像；
[0007]S200，提取所述图像中各个实际对象，并确定各个实际对象的参数；
[0008]S300，确定虚拟对象的参数；将实际对象与虚拟对象进行匹配，确定虚拟对象的缩放比，根据所述缩放比确定所述虚拟对象图形；
[0009]S400，将所述虚拟对象图形通过增强现实设备显示；
[0010]S500，驾驶者通过语音或手势的方式与虚拟现实设备进行人机交互。
[0011]优选的，所述S100之后还包括：
[0012]S600，在车辆后设置普通摄像头，所述普通摄像头采集车辆后的后视图像；
[0013]S700，将所述后视图像与带标尺摄像头采集车辆前的图像进行全景图像融合，形成全景图像。
[0014]优选的，所述S300包括：
[0015]在所述车载控制系统形成所述虚拟对象图形；
[0016]在所述S300之后还包括：
[0017]S301，在所述车辆上设置车载显示屏，所述车载显示屏连接车载控制系统；
[0018]S302，所述车载控制系统将所述虚拟对象图形与所述带标尺摄像头采集的图像进行融合，形成虚拟现实图像；
[0019]S303，将所述虚拟现实图像传输至所述车载显示屏上；
[0020]S304，在所述车载显示屏上显示所述虚拟现实图像。
[0021]S305，驾驶者通过语音或手势的方式与所述车载显示屏进行人机交互。
[0022]优选的，所述S500包括：
[0023]S501，在正对驾驶者的位置设置手势摄像头，采集驾驶者的动作信息；
[0024]S502，在人机交互过程中，在所述增强现实设备的显示端显示操作手势或语音提示；
[0025]S503，驾驶者根据显示的操作手势或语音提示进行动作或输入语音指令；
[0026]S504，若驾驶者输入的动作与显示端显示的操作手势不同，在显示端显示动作不规范提醒标记，并通过语音提醒驾驶者正确输入动作。
[0027]优选的，所述S502包括：
[0028]S5021，在所述增强现实设备中设置数据库，所述数据库中包括每个虚拟对象对应的操作手势或语音提示，以及所述操作手势或语音提示的图标，以及操作手势或语音提示相对于所述虚拟对象的位置，以及当出现错误的输入时，所述操作手势或语音提示的图标对应的不规范提醒标记；
[0029]S5022，在所述增强现实设备的显示端显示所述虚拟对象以及虚拟对象对应的且在预设位置的操作手势或语音提示的图标；
[0030]相应的，所述S504包括：
[0031]S5041，在所述显示端显示动作不规范提醒标记；
[0032]S5042，预设提醒显示时间和图标显示时间；
[0033]S5043，通过所述提醒显示时间和图标显示时间交替显示所述操作手势或语音提示的图标和所述动作不规范提醒标记。
[0034]本专利技术提供一种增强现实的人机交互设备，包括：
[0035]采集装置，用于在车辆前设置带标尺摄像头，所述带标尺摄像头采集车辆前的图像；
[0036]参数确定装置，用于提取所述图像中各个实际对象，并确定各个实际对象的参数；
[0037]虚拟对象图形确定装置，用于确定虚拟对象的参数；将实际对象与虚拟对象进行匹配，确定虚拟对象的缩放比，根据所述缩放比确定所述虚拟对象图形；
[0038]显示装置，用于将所述虚拟对象图形通过增强现实设备显示；
[0039]人机交互装置，用于驾驶者通过语音或手势的方式与虚拟现实设备进行人机交互。
[0040]优选的，还包括：
[0041]后视图像采集装置，用于在车辆后设置普通摄像头，所述普通摄像头采集车辆后的后视图像；
[0042]全景图像形成装置，用于将所述后视图像与带标尺摄像头采集车辆前的图像进行全景图像融合，形成全景图像。
[0043]优选的，所述虚拟对象图形确定装置包括：
[0044]车载控制系统，在所述车载控制系统形成所述虚拟对象图形；
[0045]还包括：
[0046]车载显示屏装置，用于在所述车辆上设置车载显示屏，所述车载显示屏连接车载
控制系统；
[0047]虚拟现实图像形成装置，用于所述车载控制系统将所述虚拟对象图形与所述带标尺摄像头采集的图像进行融合，形成虚拟现实图像；
[0048]传输装置，用于将所述虚拟现实图像传输至所述车载显示屏上；
[0049]车载显示屏显示装置，用于在所述车载显示屏上显示所述虚拟现实图像。
[0050]S305，驾驶者通过语音或手势的方式与所述车载显示屏进行人机交互。
[0051]优选的，所述人机交互装置包括：
[0052]动作信息采集装置，用于在正对驾驶者的位置设置手势摄像头，采集驾驶者的动作信息；
[0053]操作手势或语音提示显示装置，用于在人机交互过程中，在所述增强现实设备的显示端显示操作手势或语音提示；
[0054]输入装置，用于驾驶者根据显示的操作手势或语音提示进行动作或输入语音指令；
[0055]提醒装置，用于若驾驶者输入的动作与显示端显示的操作手势不同，在显示端显示动作不规范提醒标记，并通过语音提醒驾驶者正确输入动作。
[0056]优选的，所述操作手势或语音提示显示装置包括：
[0057]数据库设置装置，用于在所述增强现实设备中设置数据库，所述数据库中包括每个虚拟对象对应的操作手势或语音提示，以及所述操作手势或语音提示的图标，以及操作手势本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实的人机交互方法，其特征在于，包括：S100，在车辆前设置带标尺摄像头，所述带标尺摄像头采集车辆前的图像；S200，提取所述图像中各个实际对象，并确定各个实际对象的参数；S300，确定虚拟对象的参数；将实际对象与虚拟对象进行匹配，确定虚拟对象的缩放比，根据所述缩放比确定所述虚拟对象图形；S400，将所述虚拟对象图形通过增强现实设备显示；S500，驾驶者通过语音或手势的方式与虚拟现实设备进行人机交互。2.根据权利要求1所述的增强现实的人机交互方法，其特征在于，所述S100之后还包括：S600，在车辆后设置普通摄像头，所述普通摄像头采集车辆后的后视图像；S700，将所述后视图像与带标尺摄像头采集车辆前的图像进行全景图像融合，形成全景图像。3.根据权利要求1所述的增强现实的人机交互方法，其特征在于，所述S300包括：在所述车载控制系统形成所述虚拟对象图形；在所述S300之后还包括：S301，在所述车辆上设置车载显示屏，所述车载显示屏连接车载控制系统；S302，所述车载控制系统将所述虚拟对象图形与所述带标尺摄像头采集的图像进行融合，形成虚拟现实图像；S303，将所述虚拟现实图像传输至所述车载显示屏上；S304，在所述车载显示屏上显示所述虚拟现实图像；S305，驾驶者通过语音或手势的方式与所述车载显示屏进行人机交互。4.根据权利要求1所述的增强现实的人机交互方法，其特征在于，所述S500包括：S501，在正对驾驶者的位置设置手势摄像头，采集驾驶者的动作信息；S502，在人机交互过程中，在所述增强现实设备的显示端显示操作手势或语音提示；S503，驾驶者根据显示的操作手势或语音提示进行动作或输入语音指令；S504，若驾驶者输入的动作与显示端显示的操作手势不同，在显示端显示动作不规范提醒标记，并通过语音提醒驾驶者正确输入动作。5.根据权利要求4所述的增强现实的人机交互方法，其特征在于，所述S502包括：S5021，在所述增强现实设备中设置数据库，所述数据库中包括每个虚拟对象对应的操作手势或语音提示，以及所述操作手势或语音提示的图标，以及操作手势或语音提示相对于所述虚拟对象的位置，以及当出现错误的输入时，所述操作手势或语音提示的图标对应的不规范提醒标记；S5022，在所述增强现实设备的显示端显示所述虚拟对象以及虚拟对象对应的且在预设位置的操作手势或语音提示的图标；相应的，所述S504包括：S5041，在所述显示端显示动作不规范提醒标记；S5042，预设提醒显示时间和图标显示时间；S5043，通过所述提醒显示时间和图标显示时间交替显示所述操作手势或语音提示的图标和所述动作不规范提醒标记。
6.一种增强现实的人机交互设备，其特征在于，包括：采集装置，用于在车辆前设置带标尺摄像头，所述带标尺摄像头采...

【专利技术属性】
技术研发人员：李选正，
申请(专利权)人：深圳时空科技集团有限公司，
类型：发明
国别省市：