车辆运行状态的监控方法、车辆和计算机可读存储介质技术

本发明专利技术提供了一种车辆运行状态的监控方法、车辆和计算机可读存储介质，其中，监控方法包括：通过图像采集装置获取驾驶室内的图像信息，并通过音频采集装置获取驾驶室内的音频信息；对图像信息进行图像数据处理，以得到驾驶员视频数据；对音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据；根据驾驶员视频数据和驾驶员音频数据确定车辆的第一运行状态，并根据车辆状态数据确定车辆的第二运行状态。本发明专利技术实施例根据第一运行状态和第二运行状态能够准确地判断车辆和车辆驾驶员的实时状态，实现对车辆工作的准确监控，并能够通过监控车辆状态，使得在出现风险情况时即使发出预警以规避风险，有效地提高了车辆的工作安全和行驶安全。

【技术实现步骤摘要】
车辆运行状态的监控方法、车辆和计算机可读存储介质
本专利技术涉及车辆监控
，具体而言，涉及一种车辆运行状态的监控方法、一种车辆和一种计算机可读存储介质。
技术介绍
在相关技术中，工程车辆等特殊车辆，其工作环境复杂，且工作强度较大，而如何保证工程车辆的工作安全是行业内的难题。因此，目前亟需一种能够对车辆驾驶室的情况进行有效监控以保证工作行驶安全的技术方案。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本专利技术的第一方面提出一种车辆运行状态的监控方法。本专利技术的第二方面提出一种车辆。本专利技术的第三方面提出一种计算机可读存储介质。有鉴于此，本专利技术的第一方面提供了一种车辆运行状态的监控方法，车辆包括驾驶室，驾驶室中设置有图像采集装置和音频采集装置，监控方法包括：通过图像采集装置获取驾驶室内的图像信息，并通过音频采集装置获取驾驶室内的音频信息；对图像信息进行图像数据处理，以得到驾驶员视频数据；对音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据；根据驾驶员视频数据和驾驶员音频数据确定车辆的第一运行状态，并根据车辆状态数据确定车辆的第二运行状态。在该技术方案中，在车辆的驾驶室内设置图像采集装置和音频采集装置，其中图像采集装置可以设置为监控摄像头、闭路录像机等，音频采集装置可以设置为麦克风等拾音装置，本专利技术实施例对图像采集装置和音频采集装置的具体形态不做限定。在车辆运行过程中，通过图像采集装置实时采集驾驶室内的图像信息，同时通过音频采集装置实时采集驾驶室内的音频信息。通过分别采集图像信息和音频信息，可以提高数据采集精度，避免干扰。对采集到的图像信息进行数据处理，得到驾驶员视频数据；对采集到的音频信息进行数据处理，得到驾驶员音频数据和车辆状态数据。其中，驾驶员视频数据具体包括驾驶员的体态信息和面部信息，驾驶员音频数据包括驾驶员语音，如不同驾驶员之间的交流、驾驶员与指挥台的交流等。根据驾驶员视频数据和驾驶员音频数据得到车辆的第一运行状态，该第一运行状态能够反应驾驶员的驾驶状态，如驾驶员的驾驶专注度、驾驶员的疲劳程度或驾驶员是否出现突发身体状况等。根据车辆状态数据能够确定车辆的第二运行状态，第二运行状态能够反映出车辆的机械状态和工作状态，如车辆是否发出共振、发动机是否有异常噪音等。根据第一运行状态和第二运行状态能够准确地判断车辆和车辆驾驶员的实时状态，实现对车辆工作的准确监控，并能够通过监控车辆状态，使得在出现风险情况时即使发出预警以规避风险，有效地提高了车辆的工作安全和行驶安全。另外，本专利技术提供的上述技术方案中的车辆运行状态的监控方法还可以具有如下附加技术特征：在上述技术方案中，对图像信息进行图像数据处理，以得到驾驶员视频数据的步骤，具体包括：通过人脸识别算法确定图像信息中的人脸位置信息和人脸尺寸信息；根据人脸位置信息和人脸尺寸信息在图像信息中提取人脸图像，并通过特征提取算法在人脸图像中确定驾驶员视频数据。在该技术方案中，图像采集装置可设置在驾驶室内的较高处，图像采集装置采集的图像信息中一般会包括驾驶员和驾驶室内其他物体的视频，为提高识别精度，可对驾驶员的人脸图像进行截取，以去除图像信息中的干扰项目。具体地，可通过人脸识别算法在图像信息中定位人脸的位置信息和尺寸信息，如获取人脸范围内关键点(眼、鼻、口等)的坐标，通过关键点坐标确定人脸位置和人脸尺寸，并最终提取出人脸图像。进一步地，通过特征提取算法提取人脸图像中的特征信息，如眼睛是否睁开，口是否有闭合动作，以及结合面部特征确定驾驶员表情等，并形成为驾驶员的视频数据，通过该视频数据能够对驾驶员的驾驶状态进行分析，确定驾驶员是否专注驾驶、驾驶员是否疲劳驾驶、驾驶员是否出现分心(接打电话、玩手机等)等情况，最终准确的判断驾驶员的驾驶状态，即车辆的第一运行状态。其中，人脸识别算法和特征提取算法可采用大数据迭代的算法，或其他开源算法，本专利技术实施例对人脸识别算法和特征提取算法不做限定。在上述任一技术方案中，对音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据的步骤，具体包括：通过成分分析算法对音频处理数据进行数据分离，以得到驾驶员音频信号和车辆音频信号；对驾驶员音频信号进行特征提取，以得到驾驶员音频数据；对车辆音频信号进行数据分析，以得到车辆状态数据。在该技术方案中，音频采集装置采集到的驾驶室内的音频数据，大体上包括三部分，第一是驾驶员的声音，第二是车辆的声音，第三是环境噪音。通过成分分析算法对音频数据进行数据分离，得到分离后的驾驶员音频信号、车辆音频信号和环境噪音信号，并对环境噪音信号进行去除，得到纯净的驾驶员音频信号和车辆音频信号。通过对驾驶员音频信号进行特征提取，可以得到驾驶员的音频数据，包括驾驶员语音等。对车辆音频信号进行数据分析，可以得到车辆状态数据，包括发动机音频特征等。通过结合驾驶员视频数据和驾驶员音频数据，可以实现对驾驶员的可靠准确的监控。通过对车辆状态数据进行分析判断，可对车辆的运行状态进行初步判断，进而实现对车辆整体运行状态的可靠监控，有效地提高车辆运行的安全性。在上述任一技术方案中，根据驾驶员视频数据和驾驶员音频数据确定车辆的第一运行状态的步骤，具体包括：对驾驶员视频数据和驾驶员音频数据进行数据整合，以得到驾驶员状态数据；将驾驶员状态数据输入至预存的专注度分析模型，通过专注度分析模型得到驾驶员状态数据对应的驾驶员专注度指数；根据驾驶员专注度指数确定第一运行状态。在该技术方案中，对驾驶员视频数据和驾驶员音频数据进行数据整合，以得到包括了驾驶员人脸面部特征和驾驶员语音特征的驾驶员状态数据。将上述驾驶员状态数据属于到预先训练好的专注度分析模型中，通过专注度分析模型得到对应的驾驶员专注度指数，根据专注度指数可以有效地确定第一运行状态。其中，专注度分析模型可以是通过软件实现的驾驶员状态分析器，或通过人工智能训练实现的大数据模型，本专利技术实施例对专注度分析模型不做具体限定。在上述任一技术方案中，根据车辆状态数据确定车辆的第二运行状态的步骤，具体包括：根据车辆状态数据确定车辆的发动机状态评分和故障编号；根据发动机状态评分和故障编号确定第二运行状态。在该技术方案中，根据车辆状态数据生成车辆的发动机状态评分。具体地，车辆状态数据中包括发动机的声纹信息，可通过将该声纹信息与预设的声纹特征列表中的声纹信息进行比对，来判断当前发动机所处的运行状态(如正常状态、过载状态、抖动状态或故障状态等)，并进行状态评分和故障分析。举例来说，状态评分可以根据状态由坏至好分为1分至10分，不同的故障声纹特征还可以对应不同的发动机故障编号，结合发动机状态评分和故障编号生成第二运行状态，即可准确地反应车辆的实际运行状态。如发动机状态评分为10分，故障编号为无故障，则可以确定现在发动机状态优秀，无需要关注的问题。如发动机状态评分为7分，故障编号为无故障，则可以确定现在发动机状态良好，可能存在需要关注的问题，但无需本文档来自技高网...

【技术保护点】
1.车辆运行状态的监控方法，其特征在于，所述车辆包括驾驶室，所述驾驶室中设置有图像采集装置和音频采集装置，所述监控方法包括：/n通过所述图像采集装置获取所述驾驶室内的图像信息，并通过所述音频采集装置获取所述驾驶室内的音频信息；/n对所述图像信息进行图像数据处理，以得到驾驶员视频数据；/n对所述音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据；/n根据所述驾驶员视频数据和所述驾驶员音频数据确定所述车辆的第一运行状态，并根据所述车辆状态数据确定所述车辆的第二运行状态。/n

【技术特征摘要】
1.车辆运行状态的监控方法，其特征在于，所述车辆包括驾驶室，所述驾驶室中设置有图像采集装置和音频采集装置，所述监控方法包括：
通过所述图像采集装置获取所述驾驶室内的图像信息，并通过所述音频采集装置获取所述驾驶室内的音频信息；
对所述图像信息进行图像数据处理，以得到驾驶员视频数据；
对所述音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据；
根据所述驾驶员视频数据和所述驾驶员音频数据确定所述车辆的第一运行状态，并根据所述车辆状态数据确定所述车辆的第二运行状态。


2.根据权利要求1所述的车辆运行状态的监控方法，其特征在于，所述对所述图像信息进行图像数据处理，以得到驾驶员视频数据的步骤，具体包括：
通过人脸识别算法确定所述图像信息中的人脸位置信息和人脸尺寸信息；
根据所述人脸位置信息和所述人脸尺寸信息在所述图像信息中提取人脸图像，并通过特征提取算法在所述人脸图像中确定所述驾驶员视频数据。


3.根据权利要求2所述的车辆运行状态的监控方法，其特征在于，所述对所述音频信息进行音频数据处理，以得到驾驶员音频数据和车辆状态数据的步骤，具体包括：
通过成分分析算法对所述音频处理数据进行数据分离，以得到驾驶员音频信号和车辆音频信号；
对所述驾驶员音频信号进行特征提取，以得到所述驾驶员音频数据；
对所述车辆音频信号进行数据分析，以得到所述车辆状态数据。


4.根据权利要求3所述的车辆运行状态的监控方法，其特征在于，所述根据所述驾驶员视频数据和所述驾驶员音频数据确定所述车辆的第一运行状态的步骤，具体包括：
对所述驾驶员视频数据和所述驾驶员音频数据进行数据整合，以得到驾驶员状态数据；
将所述驾驶员状态数据输入至预存的专注度分析模型，通过所述专注度分析模型得到所述驾驶员状态数据对应的驾驶员专注度指数；
根据所述驾驶员专注度指数确定所述第一运行状态。


5.根据权利要求4所述的车辆运行状态的监控方法，其特征在于，所述根据所述车辆状态数...

【专利技术属性】
技术研发人员：刘韬，王苗苗，
申请(专利权)人：三一专用汽车有限责任公司，
类型：发明
国别省市：湖南;43