基于多模态数据的驾驶预警方法、设备、介质及程序产品技术

本申请提供一种基于多模态数据的驾驶预警方法、设备、介质及程序产品，涉及驾驶预警技术领域。其中，该方法通过采集获取多组行驶数据，行驶数据包括：前车参考数据、本车驾驶员驾驶状态数据、本车驾驶行为数据；根据多组行驶数据、以及预设召回策略，确定对应的报警方式；根据确定的报警方式进行报警，应用本申请实施例，由于在进行报警时，不仅基于前车参考数据，还考虑了本车驾驶员驾驶状态数据、本车驾驶行为数据，因此，在进行报警时可以综合考虑，提高报警的准确性，进而及时警示驾驶人员，提高驾驶人员的安全系数。

【技术实现步骤摘要】
基于多模态数据的驾驶预警方法、设备、介质及程序产品
本申请涉及驾驶预警
，特别涉及一种基于多模态数据的驾驶预警方法、设备、介质及程序产品。
技术介绍
高级驾驶辅助系统(AdvancedDrivingAssistanceSystem，ADAS)是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单\双目摄像头以及卫星导航)，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航地图数据，进行系统的运算与分析，从而可以对驾驶者进行提前预警。现有的，基于高级驾驶辅助系统进行驾驶预警时，一般通过计算本车和前车之间的车距进行预警。可以看出，现有的预警策略比较简单，因此，现有的驾驶预警方法存在着报警不够准确的技术问题。
技术实现思路
本申请的目的在于，针对上述现有技术中的不足，提供一种基于多模态数据的驾驶预警方法、设备、介质及程序产品，可以结合前车参考数据和本车驾驶员驾驶状态数据、本车驾驶行为数据进行综合报警，提高报警的准确性，进而可以及时警示驾驶人员，提高驾驶人员的安全系数。为实现上述目的，本申请实施例采用的技术方案如下：第一方面，本专利技术实施例提供一种基于多模态数据的驾驶预警方法，包括：采集获取多组行驶数据，所述行驶数据包括：前车参考数据、本车驾驶员驾驶状态数据、本车驾驶行为数据；根据所述多组行驶数据、以及预设召回策略，确定对应的报警方式；根据确定的所述报警方式进行报警。在可选的实施方式中，所述采集获取多组行驶数据，包括：获取行车记录仪采集的车外图像数据、车内摄像设备采集的车内图像数据、本车控制数据；根据所述车外图像数据分析获取所述前车参考数据；根据所述车内图像数据分析获取本车驾驶员驾驶状态数据；根据所述本车控制数据获取本车驾驶行为数据。在可选的实施方式中，所述前车参考数据包括下述至少一项：距离本车的横向距离、距离本车的纵向距离、前车宽度、前车高度、前车宽高比、前车与本车相对速度、前车刹车灯是否亮起、前车车型；所述本车驾驶员驾驶状态数据包括下述至少一项：轻度疲劳驾驶、重度疲劳驾驶、短时分心驾驶、长时分心驾驶；所述本车驾驶行为数据包括下述至少一项：驾驶速度、加速、减速、直行、转弯。在可选的实施方式中，所述根据所述多组行驶数据、以及预设召回策略，确定对应的报警方式，包括：根据所述前车与本车相对速度、距离本车的横向距离、距离本车的纵向距离，计算获取报警参数；若所述报警参数小于预设阈值，则确定所述报警参数对应的报警方式。在可选的实施方式中，所述若所述报警参数小于预设阈值，则确定所述报警参数对应的报警方式之前，还包括：若根据所述本车驾驶行为数据确定本车已减速，则根据减速度调整所述预设阈值；或者，若根据所述前车参考数据确定前车已刹车、且本车当前速度大于预设速度，则根据所述本车当前速度调整所述预设阈值；或者，若根据所述驾驶员驾驶状态确定驾驶员疲劳驾驶和/或分心驾驶，则根据预设方案调整所述预设阈值。在可选的实施方式中，所述根据所述多组行驶数据、以及预设召回策略，确定对应的报警方式，包括：若根据所述驾驶员驾驶状态确定驾驶员疲劳驾驶和/或分心驾驶，则进行报警提醒。在可选的实施方式中，所述根据所述车内图像数据分析获取本车驾驶员驾驶状态数据，包括：根据所述车内图像数据获取驾驶员表情图像；采用预设表情模型分析所述驾驶员表情图像，获取所述本车驾驶员驾驶状态数据，其中，所述预设表情模型由采集的表情样本以及对应的驾驶状态训练获取。在可选的实施方式中，所述根据确定的所述报警方式进行报警之前，还包括：根据所述多组行驶数据，判断确定的所述报警方式是否为虚警；若为虚警，则确定不报警。在可选的实施方式中，所述根据所述多组行驶数据，判断确定的所述报警方式是否为虚警，包括：根据所述前车参考数据以及预设虚警策略，判断前车是否发生切换；所述若为虚警，则确定不报警，包括：若所述前车发生切换，则确定不报警。在可选的实施方式中，所述根据所述多组行驶数据，判断确定的所述报警方式是否为虚警，包括：根据所述距离本车的横向距离、所述距离本车的纵向距离，计算获取危险距离；根据所述危险距离和预设距离阈值，确定所述报警方式是否为虚警。在可选的实施方式中，所述根据所述多组行驶数据，判断确定的所述报警方式是否为虚警，包括：根据所述前车参考数据，获取前车行驶方向和本车行驶方向；根据所述前车行驶方向、本车行驶方向以及预设算法，校准所述距离本车的横向距离和所述距离本车的纵向距离，获取校准后的多组行驶数据；根据所述校准后的多组行驶数据，判断确定的所述报警方式是否为虚警。第二方面，本专利技术实施例提供一种基于多模态数据的驾驶预警装置，包括：获取模块、确定模块以及报警模块；所述获取模块，用于采集获取多组行驶数据，所述行驶数据包括：前车参考数据、本车驾驶员驾驶状态数据、本车驾驶行为数据；所述确定模块，用于根据所述多组行驶数据、以及预设召回策略，确定对应的报警方式；所述报警模块，用于根据确定的所述报警方式进行报警。在可选的实施方式中，所述获取模块，具体用于获取行车记录仪采集的车外图像数据、车内摄像设备采集的车内图像数据、本车控制数据；根据所述车外图像数据分析获取所述前车参考数据；根据所述车内图像数据分析获取本车驾驶员驾驶状态数据；根据所述本车控制数据获取本车驾驶行为数据。在可选的实施方式中，所述前车参考数据包括下述至少一项：距离本车的横向距离、距离本车的纵向距离、前车宽度、前车高度、前车宽高比、前车与本车相对速度、前车刹车灯是否亮起、前车车型；所述本车驾驶员驾驶状态数据包括下述至少一项：轻度疲劳驾驶、重度疲劳驾驶、短时分心驾驶、长时分心驾驶；所述本车驾驶行为数据包括下述至少一项：驾驶速度、加速、减速、直行、转弯。在可选的实施方式中，所述确定模块，具体用于根据所述前车与本车相对速度、距离本车的横向距离、距离本车的纵向距离，计算获取报警参数；若所述报警参数小于预设阈值，则确定所述报警参数对应的报警方式。在可选的实施方式中，上述装置还包括：调整模块，用于若根据所述本车驾驶行为数据确定本车已减速，则根据减速度调整所述预设阈值；或者，若根据所述前车参考数据确定前车已刹车、且本车当前速度大于预设速度，则根据所述本车当前速度调整所述预设阈值；或者，若根据所述驾驶员驾驶状态确定驾驶员疲劳驾驶和/或分心驾驶，则根据预设方案调整所述预设阈值。在可选的实施方式中，所述确定模块，具体用于若根据所述驾驶员驾驶状态确定驾驶员疲劳驾驶和/或分心驾驶，则进行报警提醒。在可选的实施方式中，所述获取模块，具体用于根据所述车内图像数据获取驾驶员表情图像；采用预设表情模型本文档来自技高网...

【技术保护点】
1.一种基于多模态数据的驾驶预警方法，其特征在于，包括：/n采集获取多组行驶数据，所述行驶数据包括：前车参考数据、本车驾驶员驾驶状态数据、本车驾驶行为数据；/n根据所述多组行驶数据、以及预设召回策略，确定对应的报警方式；/n根据确定的所述报警方式进行报警。/n

【技术特征摘要】
1.一种基于多模态数据的驾驶预警方法，其特征在于，包括：
采集获取多组行驶数据，所述行驶数据包括：前车参考数据、本车驾驶员驾驶状态数据、本车驾驶行为数据；
根据所述多组行驶数据、以及预设召回策略，确定对应的报警方式；
根据确定的所述报警方式进行报警。


2.根据权利要求1所述的方法，其特征在于，所述前车参考数据包括下述至少一项：距离本车的横向距离、距离本车的纵向距离、前车宽度、前车高度、前车宽高比、前车与本车相对速度、前车刹车灯是否亮起、前车车型；
所述本车驾驶员驾驶状态数据包括下述至少一项：轻度疲劳驾驶、重度疲劳驾驶、短时分心驾驶、长时分心驾驶；
所述本车驾驶行为数据包括下述至少一项：驾驶速度、加速、减速、直行、转弯；
所述根据所述多组行驶数据、以及预设召回策略，确定对应的报警方式，包括：
根据所述前车与本车相对速度、距离本车的横向距离、距离本车的纵向距离，计算获取报警参数；
若所述报警参数小于预设阈值，则确定所述报警参数对应的报警方式。


3.根据权利要求2所述的方法，其特征在于，所述若所述报警参数小于预设阈值，则确定所述报警参数对应的报警方式之前，还包括：
若根据所述本车驾驶行为数据确定本车已减速，则根据减速度调整所述预设阈值；或者，
若根据所述前车参考数据确定前车已刹车、且本车当前速度大于预设速度，则根据所述本车当前速度调整所述预设阈值；或者，
若根据所述驾驶员驾驶状态确定驾驶员疲劳驾驶和/或分心驾驶，则根据预设方案调整所述预设阈值。


4.根据权利要求2所述的方法，其特征在于，所述根据所述多组行驶数据、以及预设召回策略，确定对应的报警方式，包括：
若根据所述驾驶员驾驶状态确定驾驶员疲劳驾驶和/或分心驾驶，则进行报警提醒。


5.根据权利要求2-4任一项所述的方法，其特征在...

【专利技术属性】
技术研发人员：卢美奇，李国镇，杨宏达，李友增，戚龙雨，吴若溪，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11