一种车辆信息显示方法、装置、终端和存储介质制造方法及图纸

本发明专利技术实施例公开了一种车辆信息显示方法、装置、终端和存储介质，该方法包括：实时获取驾驶员头部图像；利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。本发明专利技术实施例结合驾驶员头部姿态的识别结果选择不同的视线检测模型对驾驶员的视线区域进行识别，提高了视线区域的识别精度，进而通过突出显示显示屏上与视线区域对应的信息，达到为驾驶员提供全面、清晰的信息的目的。

A Vehicle Information Display Method, Device, Terminal and Storage Media

The embodiment of the present invention discloses a vehicle information display method, device, terminal and storage medium, which includes: real-time acquisition of driver's head image; recognition of driver's current head posture based on the driver's head image using a pre-trained head posture recognition model; and detection model of current line of sight corresponding to the current head posture using pre-trained head posture. According to the driver's head image, the driver's current line-of-sight area is recognized, in which different head postures correspond to pre-trained different line-of-sight detection models, and the information corresponding to the current line-of-sight area on the driver's front display screen is highlighted. The embodiment of the present invention selects different line-of-sight detection models to recognize the driver's line-of-sight area according to the recognition results of the driver's head posture, improves the recognition accuracy of the line-of-sight area, and then achieves the purpose of providing comprehensive and clear information for the driver by highlighting the information corresponding to the line-of-sight area on the display screen.

【技术实现步骤摘要】
一种车辆信息显示方法、装置、终端和存储介质
本专利技术实施例涉及人机交互技术，尤其涉及一种车辆信息显示方法、装置、终端和存储介质。
技术介绍
随着汽车产业技术的不断发展，汽车的智能化正在改变人们的生活，给人们的出行带来前所未有的便利和体验。汽车是非常复杂的工具，其上有上万个零部件和电子模块，因此，有很多与车辆有关的信息需要提供给驾驶员，以便驾驶员随时了解车辆的运行状况。这些信息通常显示在驾驶员前方的显示屏上，例如，显示车速、里程计、时间等驾驶辅助信息，或者外部摄像头拍到的图像，方便驾驶员了解车外运行环境。然而，车内空间有限，驾驶员前方的显示屏大小也会受到限制，但是需要展示的信息又很多，因此往往需要驾驶员仔细盯着显示屏才能看清楚，从而带来潜在的驾驶安全隐患。而如果缩减展示内容，减少信息量，又无法保证驾驶员能够及时获取到有用的信息，同样无法确保安全驾驶。
技术实现思路
本专利技术实施例提供一种车辆信息显示方法、装置、终端和存储介质，以解决现有技术中无法为驾驶员显示出全面、清晰的车辆信息的问题。第一方面，本专利技术实施例提供了一种车辆信息显示方法，该方法包括：实时获取驾驶员头部图像；利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。第二方面，本专利技术实施例还提供了一种车辆信息显示装置，该装置包括：头部图像获取模块，用于实时获取驾驶员头部图像；头部姿态识别模块，用于利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；视线区域识别模块，用于利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；信息显示模块，用于将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。第三方面，本专利技术实施例还提供了一种终端，包括：至少一个摄像头，用于拍摄驾驶员头部图像；一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任意实施例所述的车辆信息显示方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任意实施例所述的车辆信息显示方法。本专利技术实施例在获取驾驶员头部图像后，先识别驾驶员的头部姿态，然后根据不同的头部姿态选择对应的视线检测模型对驾驶员的视线区域进行检测，由此，通过结合驾驶员头部姿态的识别结果来进行视线区域识别，提高了视线区域的识别精度，进而通过突出显示显示屏上与视线区域对应的信息，达到为驾驶员提供全面、清晰的信息的目的。附图说明图1为本专利技术实施例一中的车辆信息显示方法的流程图；图2是本专利技术实施例二中的车辆信息显示方法的流程图；图3是本专利技术实施例三中的车辆信息显示装置的结构示意图；图4是本专利技术实施例四中的终端的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的车辆信息显示方法的流程图，本实施例可适用于突出显示驾驶员前方显示屏上，驾驶员视线区域所对应的的车辆信息的情况，该方法可以由车辆信息显示装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在终端上，例如车载终端。如图1所示，该方法具体包括：S101、实时获取驾驶员头部图像。具体的，可以在驾驶员头部对面安装一个或多个摄像头，用于拍摄驾驶员头部图像，并由摄像头将拍摄到的头部图像发送至车辆信息显示装置。S102、利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态。具体的，可以采用深度学习技术预先训练得到头部姿态识别模型，用于根据驾驶员头部图像实时识别出驾驶员的头部姿态，例如头部的上下、左右或前后等方向的旋转角度。对于头部姿态识别模型的训练，可以是预先获取大量的驾驶员头部图像样本，并标注出每个样本图像中的头部姿态，将每个头部图像样本作为深度神经网络的输入，将所述标注信息作为输出，经过训练得到所述头部姿态识别模型。其中，关于深度神经网络的选择，本专利技术实施例不作任何限制。S103、利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型。常用的视线方向检测技术往往检测的准确度不高，因为驾驶员坐在摄像头的前方时，脸部未必正对着摄像头，会存在一定的拍摄角度，从而导致识别不准确。而在本专利技术实施例中，基于不同的头部姿态训练出不同的视线检测模型，进而依据与头部姿态对应的视线检测模型对视线区域进行检测，从而提高检测精度。示例性的，可以预先划分出9种头部姿态，包括正中、左、右、左上、中上、右上、坐下、中下和右下。针对不同的头部姿态获取对应的头部图像训练样本，并标注出每个训练样本中的视线区域，训练时，针对每个种类的头部姿态分别进行训练，将对应的头部图像训练样本作为输入，将标注的视线区域作为输出，对深度神经网络进行训练，得到不同头部姿态对应的视线检测模型。S104、将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。其中，可以根据实际需求划分出所需的视线区域，示例性的，同样可以将视线区域划分成9个不同的区域，并训练出对应的视线检测模型。例如，当驾驶员看向前方显示屏的左侧时，可以突出显示左后视镜上的外摄像头采集到的图像信息；当驾驶员看向显示屏的中下方时，可以显示汽车尾部的倒车影像信息；当看向显示屏正中时，突出显示汽车的当前时速等信息。还需要说明的是，在驾驶员前方的显示屏上，通常会显示车辆的运行信息，例如：车速、里程计、时间等，还可以显示外部摄像头拍到的图像等内容，方便驾驶员了解整车及车外运行环境，以便实现辅助驾驶。然而，由于显示屏大小受车内空间的限制，无法将全部信息都清楚地、同时地显示在显示屏上，导致驾驶员无法快速看清屏幕上想看的内容。而通过视线检测技术检测驾驶员的视线区域，可以实现当驾驶员看向显示屏的某一个区域时，突出显示该区域的信息内容，以便驾驶员看得更清楚一些，这不仅可以提升驾驶员的视野，还因为不再需要驾驶员长时间盯着屏幕看而提升驾驶时的安全性。那么在此过程中，对驾驶员视线区域的识别精度就显得尤为重要。例如，如果驾驶员实际想看后视镜上的外摄像头采集到的图像信息，但因为识别精度的误差，导致识别出驾驶员的视线方向是正中，显示出车辆时速信息，那么就会因为信息的错误显示而引起驾驶员的错误驾驶，带来安全隐患。因此，本专利技术实施例在获取驾驶员头部图像后，先识别驾驶员的头部姿态，然后根据不同的头部姿态选择对应的视线检测模型对驾驶员的视线区域进行检测，由此，通过结合驾驶员头部姿态的识别结果来进行视线区域识别，提高了视线区域的识别精度，进而通过突出显示显本文档来自技高网...

【技术保护点】
1.一种车辆信息显示方法，其特征在于，包括：实时获取驾驶员头部图像；利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。

【技术特征摘要】
1.一种车辆信息显示方法，其特征在于，包括：实时获取驾驶员头部图像；利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员的当前头部姿态；利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，其中，不同的头部姿态对应预先训练有不同的视线检测模型；将驾驶员前方显示屏上与所述当前视线区域对应的信息进行突出显示。2.根据权利要求1所述的方法，其特征在于，根据所述驾驶员头部图像识别驾驶员的当前视线区域之前，所述方法还包括：利用图像识别技术，从所述驾驶员头部图像中提取出人脸图像；相应的，利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述驾驶员头部图像识别驾驶员的当前视线区域，包括：利用预先训练的与所述当前头部姿态对应的当前视线检测模型，根据所述人脸图像识别驾驶员的当前视线区域，其中，所述视线检测模型是基于人脸图像中的眼球特征和眼睛周围的至少一个眼周特征识别眼睛的视线区域。3.根据权利要求2所述的方法，其特征在于，所述视线检测模型的训练过程包括：基于不同的头部姿态获取相应的人脸图像样本集；针对每一种头部姿态的人脸图像样本集，获取其中每张人脸图像样本中的眼球特征和眼睛周围的至少一个眼周特征的特征标注信息；将所述人脸图像样本集和所述特征标注信息作为输入，将预先标注的每张人脸图像样本的视线区域作为输出，基于深度神经网络训练得到所述视线检测模型。4.根据权利要求1-3中任一所述的方法，其特征在于，所述突出显示至少包括放大显示。5.一种车辆信息显示装置，其特征在于，包括：头部图像获取模块，用于实时获取驾驶员头部图像；头部姿态识别模块，用于利用预先训练的头部姿态识别模型，根据所述驾驶员头部图像识别驾驶员...

【专利技术属性】
技术研发人员：杨尊程，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11