一种结合HUD与红外识别的人机交互方法和系统技术方案

本发明专利技术公开一种结合HUD与红外识别的人机交互方法，所述方法包括以下步骤：S1，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；S2，将S1得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到对应的动作指令；S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。本发明专利技术与现有技术相比有益效果在于：本发明专利技术通过一种结合HUD显示和红外识别的方法，使得驾驶员在驾驶时可以集中注意力在前方路面，不改变视线的同时完成多种手势动作实现人机互动，成本低廉、操作安全简单、拓展性强、方便驾驶者在驾驶状态中做判断。

【技术实现步骤摘要】

本专利技术涉及人机交互领域，具体是一种结合HUD与红外识别的人机交互方法和系统。
技术介绍
HUD(Heads Up Display)抬头显示仪，又叫平视显示系统，它可以把重要的信息如车速、转速、水温、电压、导航等信息，显示在前风挡玻璃的驾驶员平视范围，使驾驶员不必低头，就能看清重要的信息，从而避免分散对前方道路的注意力，避免眼睛的疲劳。从视觉效果上，HUD酷似透明显示技术，与其又有本质的区别，可以说是投影显示技术的一个变相应用，传统仪表产生的讯号无法直接使用在HUD的显示需求上，必须透过计算机处理转换之后，将需要的资料传递给HUD的显示单元，再将影像投射到前方玻璃上。HUD在轿车领域，最实用的功能可归纳为三大类，车辆信息、导航和安全，尤其是安全功能尤为可贵，是未来的主要发展方向。当前汽车内的人只能在视线离开前方转向下方看仪表盘，通过实体按键、触摸屏触摸实现人机交互，造成行车不安全；也有部分厂家应用红外传感器捕获左右挥手的手势，只能触发简单的人机交互机制；还有少数厂家应用结构光技术或者安装双摄像头获取手势在汽车空间里的深度，进行手势识别，但实现成本昂贵，难以普及。
技术实现思路
本专利技术针对现有技术存在的问题，当前汽车内的人只能在视线离开前方转向下方看仪表盘，通过实体按键、触摸屏触摸、红外传感器的方式实现简单的人机交互，造成行车不安全；或者通过结构光和双摄像头进行手势识别，但实现成本昂贵，提出了一种结合HUD与红外识别的人机交互方法和系统，该人机交互系统安装成本低，安全可靠。本专利技术为了解决现有技术问题采用的技术方案是:提供一种结合HUD与红外识别的人机交互方法，其特征在于，所述方法包括以下步骤:SI，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；S2，将SI得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到该实际动作特征值对应的动作指令；S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。优选的，步骤SI中拍摄用户的手势动作包括拍摄手势动作反射的红外线，生成存储原始信息的光学信号后转化为RAW格式的数字信号。优选的，所述实际动作特征值是手势的轮廓数据，通过手势轮廓的RGB像素值跟周围随机距离的像素值比较差值得到。优选的，步骤S2中实际动作特征值与对应动作指令的预置动作特征值进行匹配的过程包括:将拍摄的数据图片先去背景，通过前后背景检测算法混合高斯背景模型将图片的前景找出来，作为手势的轮廓，将轮廓的数据颜色值通过CNN深度学习算法进行手势分类，将分类后选中的手势类型结合手势的运动轨迹，确定手势指令识别。优选的，步骤S3中自动执行S2匹配得到的动作指令是GPU通过OpenCL或者CUDA等计算框架将动作指令的数据和计算逻辑提交到ARM处理器，ARM处理器执行对应的动作指令。优选的，步骤S4中S3的执行结果反射成像到显示屏的过程包括:HUD显示系统通过RGB888协议读取ARM处理器传送的执行动作指令结果数字信号，将数字信号转化为光学信号成像后通过光学透镜放大成虚像在汽车前挡风玻璃前方展示出来。为了支持上述方法，本专利技术还提供了一种结合HUD与红外识别的人机交互系统，包括:一摄像模块，用于拍摄用户进行人机交互时的手势动作，并将该手势动作记录的原始光学信号转化为数字信号；一 HUD模块，用于显示人机交互系统执行手势动作对应的指令结果；其特征在于，还包括一电路模块，用于电性连接摄像模块和HUD模块，接收并处理摄像模块拍摄的手势动作数字信号，将处理手势动作的结果发送给HUD模块。优选的，所述摄像模块包括红外摄像头和红外LED发光二极管阵列两部分，红外LED发光二极管阵列由若干个LED组成，对称分布在红外摄像头周围，由电路模块给LED发光二极管阵列供电。摄像模块通过主流连接协议如MIPI或者CSI接口电性连接电路模块，传输红外摄像头拍摄的RAW数据，该RAW数据是由感光元件记录了每个像素的RGB值，红外光源的下方有一透红外光层，用于提高所需波段红外光的透射比。红外光源照亮驾驶员的手势动作，红外摄像头拍摄驾驶员手势数据发送给电路模块。优选的，所述电路模块集成ARM处理器和用于视觉计算的GPU。所述GPU把摄像模块传送的手势图片进行背景和手势轮廓分离，分离后的手势图像采用CNN深度学习算法进行手势分类，将分类的结果结合手势运动轨迹计算手势滑动的方向，通过使用隐马尔可夫模型算法预测手势运动的方向，最终确定手势动作的动作指令并将动作指令传递给ARM处理器。ARM处理器接受并完成该动作指令，ARM处理器将该动作指令完成的结果信息传送给HUD模块。HUD模块对应完成指令的结果信息生成相应的显示界面，并将该显示界面投影到挡风玻璃上显示。电路模块也为该人机交互系统提供电源，留有连线连接车辆点烟器或者车辆的OBD系统。当电路模块连接车辆的OBD接口时，车辆OBD系统不仅为该人机交互系统提供电源，还将车辆仪表盘信息如速度、油量，以OBD标准编码方式，传送给电路模块，电路模块再将信息加工后生成定制的图案传送给HUD模块进行显示。优选的，HUD模块通过RGB888接口连接电路模块，由投影模块、正投成像膜、反射透镜构成，通过投影成像的方式，将系统处理手势指令的结果反射在汽车前挡风玻璃上成像。其中投影模块是基于带有DLP技术的微投模块或者基于激光投影的微投模块或者高亮度的液晶屏幕，接收电路模块传送的数字信号显示在HUD模块；正投成像膜是在膜的表面使用芯片印刷工艺在上面印刷接近纳米级别的超过10万个以上的凸面结构，再通过真空磁控溅射镀膜工艺镀制纳米级的感光涂层，保证对投影到成像膜有很好的漫反射效果又具备高光学增益。投影模块和正投成像膜位置相对，反射透镜位于投影模块后方用于接收正投成像膜反射的光线并成像。如HUD模块的投影模块采用带有DLP技术的投影机，DLP投影机包含有一片数字DMD微镜芯片，该芯片是在一块硅晶片的电子节点上紧密排列着许多片微小的正方形反射镜片，这里的每一片反射镜片都对应着生成图像的一个像素。当DMD微镜芯片工作时，相应存储器控制在两个不同的位置上进行切换转动。LED的红绿蓝光源投射到反射镜片上，当其中某一种颜色的光投射到DMD微镜芯片的表面后，DMD芯片上的所有微镜，根据自身对应的像素中该颜色的数量，决定了其对这种色光处于开位置的次数，也即决定了反射后通过投影镜头投射到屏幕上的光的数量。当其他颜色的光依次照射到DMD表面时，DMD表面中的所有微镜将极快地重复上面的动作，最终表现出来的结果就是在正投成像膜上出现彩色的投影图像。本专利技术提供的一种结合HUD与红外识别的人机交互系统工作过程:人机交互系统悬挂在驾驶员位置的遮阳板下方或者中控台正前方。将该人机交互系统留出的电源线接入车内OBD接口启动系统，红外光源照射驾驶员的手部，红外摄像头通过透红外光层实时拍摄驾驶员的手势动作，摄像头拍摄的图片传送给电路模块的GPU，GPU通过CNN深度学习算法对图片进行分类，分类后结合手势的运动轨迹，判断手势表示的的动作指令并完成该动作指令，完成动作指令的状态信息经HUD模块处理为光学信号，投影到反射透镜上显示出虚像反馈给本文档来自技高网...

【技术保护点】
一种结合HUD与红外识别的人机交互方法，其特征在于，所述方法包括以下步骤：S1，通过拍摄用户的手势动作，得到该手势动作对应的实际动作特征值；S2，将S1得到的实际动作特征值与对应动作指令的预置动作特征值进行匹配，得到该实际动作特征值对应的动作指令；S3，自动执行S2匹配得到的动作指令，并将执行结果反馈给车内HUD显示系统；S4，通过车内HUD显示系统将S3的执行结果反射成像到显示屏。

【技术特征摘要】

【专利技术属性】
技术研发人员：何杰，莫冰，韩宇，
申请(专利权)人：深圳市光晕网络科技有限公司，
类型：发明
国别省市：广东;44