本发明专利技术公开了一种基于多模态分析的车辆报警控制方法、装置以及电子设备，本发明专利技术的主要构思在于，监测与行驶状态、车载设备以及驾驶员相关的警情信息，并同时获取地理环境及车内音频信息，由警情信息触发得到进一步的车内外视觉信息，将前述多模态信息进行综合，共同输入至预先训练的分析模型，并由模型输出判断当前所处警情状态，并在警情状态超过设定的报警分值后，再次结合前述警情信息进行报警输出决策。本发明专利技术补充了现有车辆报警的不足，结合多维度信息综合判断报警等级，尤其提出了将报警等级与警情再次结合的报警机制，从而可以给出更为合理、更为贴近实时场景工况的车辆智能报警策略。报警策略。报警策略。
【技术实现步骤摘要】
基于多模态分析的车辆报警控制方法、装置以及电子设备
[0001]本专利技术涉及汽车安全
，尤其涉及一种基于多模态分析的车辆报警控制方法、装置以及电子设备。
技术介绍
[0002]现代生活出行场景中，用户使用车辆过程时，针对车辆的安全及各类警情信息极其敏感，如何通过新的技术方案让用户及时获得及时且科学的提醒及处理信息是出行场景领域亟待解决的问题。
[0003]现有通过软件技术判断车辆发生警情的技术方案，例如通过设置在车门外侧的感应传感器，实时检测车门与外侧物体的距离，并将检测到的距离发送给控制器来进行警报设置；或者通过硬件控制装置如将车门控制器与安装在车门上的开关连接，所述车门控制器与指纹识别模块和存储器连接，与遥控钥匙模块通过无线通信模块连接等。
[0004]但是现有方案多是采用车身传感器，并通过T
‑
box识别车内状态，或者是结合硬件装置来辅助判断车内警情状况，此类方案比较狭隘，警情处理比较单调，例如，没有结合路况信息、驾驶员自身状态来综合判断此时车辆及驾驶员是否需要报警和被提示，因而报警处置措施不够全面。
技术实现思路
[0005]鉴于上述，本专利技术旨在提供一种基于多模态分析的车辆报警控制方法、装置以及电子设备，以解决现有技术中存在的汽车停放和行驶安全性无法保障的问题。
[0006]本专利技术采用的技术方案如下：
[0007]第一方面，本专利技术提供了一种基于多模态分析的车辆报警控制方法，其中包括：
[0008]实时监测警情信息并获取地理环境信息以及车内音频信息，所述警情信息包括：行驶状态信息、车载设备信息以及驾驶员信息，所述车内音频信息包括车内人员语音；
[0009]根据所述警情信息获取对应的图像信息，所述图像信息包括车内图像信息以及车外图像信息；
[0010]将所述警情信息、所述地理环境信息、所述车内音频信息、所述图像信息以及所述车内人员语音的转写文本信息，输入至预先构建的多模态报警分析模型；
[0011]当所述多模态报警分析模型输出的报警得分超过预设的报警阈值时，结合所述警情信息触发预设在车身不同位置的报警硬件输出针对性的报警信息。
[0012]在其中至少一种可能的实现方式中，所述将所述警情信息、所述地理环境信息、所述车内音频信息、所述图像信息以及所述车内人员语音的转写文本信息，输入至预先构建的多模态报警分析模型包括：
[0013]基于所述警情信息、所述地理环境信息获取多维特征；
[0014]基于所述车内音频信息、所述图像信息以及所述车内人员语音的转写文本信息，获取对应的音频编码、图像编码以及文本编码；
[0015]将所述多维特征以及所述音频编码、所述图像编码、所述文本编码共同输入至多模态报警分析模型。
[0016]在其中至少一种可能的实现方式中，所述结合所述警情信息触发预设在车身不同位置的报警硬件输出针对性的报警信息包括：
[0017]基于警情发生位置以及预设的车辆运行工况阈值，触发车身不同位置的报警硬件执行延迟报警或实时报警，其中所述车身不同位置包括车身前方、车身后方、车身侧方以及车内。
[0018]在其中至少一种可能的实现方式中，所述控制方法还包括：获取车内其他人员信息；
[0019]所述结合所述警情信息触发预设在车身不同位置的报警硬件输出针对性的报警信息包括：
[0020]根据车内其他人员信息对所述车辆运行工况阈值进行调整；
[0021]基于警情发生位置以及调整后的车辆运行工况阈值，触发车身不同位置的报警硬件执行延迟报警或实时报警。
[0022]第二方面，本专利技术提供了一种基于多模态分析的车辆报警控制装置，其中包括：
[0023]警情分析信息获取模块，实时监测警情信息并获取地理环境信息以及车内音频信息，所述警情信息包括：行驶状态信息、车载设备信息以及驾驶员信息，所述车内音频信息包括车内人员语音；
[0024]图像信息采集触发模块，用于根据所述警情信息获取对应的图像信息，所述图像信息包括车内图像信息以及车外图像信息；
[0025]多模态报警分析模块，用于将所述警情信息、所述地理环境信息、所述车内音频信息、所述图像信息以及所述车内人员语音的转写文本信息，输入至预先构建的多模态报警分析模型；
[0026]报警触发模块，用于当所述多模态报警分析模型输出的报警得分超过预设的报警阈值时，结合所述警情信息触发预设在车身不同位置的报警硬件输出针对性的报警信息。
[0027]在其中至少一种可能的实现方式中，所述多模态报警分析模块包括：
[0028]多维特征获取单元，用于基于所述警情信息、所述地理环境信息获取多维特征；
[0029]编码单元，用于基于所述车内音频信息、所述图像信息以及所述车内人员语音的转写文本信息，获取对应的音频编码、图像编码以及文本编码；
[0030]多模态信息输入单元，用于将所述多维特征以及所述音频编码、所述图像编码、所述文本编码共同输入至多模态报警分析模型。
[0031]在其中至少一种可能的实现方式中，所述报警触发模块包括：
[0032]报警输出决策单元，用于基于警情发生位置以及预设的车辆运行工况阈值，触发车身不同位置的报警硬件执行延迟报警或实时报警，其中所述车身不同位置包括车身前方、车身后方、车身侧方以及车内。
[0033]在其中至少一种可能的实现方式中，所述控制装置还包括：车内其他人员信息模块，用于获取车内其他人员信息；
[0034]所述报警触发模块包括：
[0035]报警机制调整单元，用于根据车内其他人员信息对所述车辆运行工况阈值进行调
整；
[0036]报警输出决策单元，还用于基于警情发生位置以及调整后的车辆运行工况阈值，触发车身不同位置的报警硬件执行延迟报警或实时报警。
[0037]第三方面，本专利技术提供了一种电子设备，其中包括：
[0038]一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。
[0039]本专利技术的主要构思在于，监测与行驶状态、车载设备以及驾驶员相关的警情信息，并同时获取地理环境及车内音频信息，由警情信息触发得到进一步的车内外视觉信息，将前述多模态信息进行综合，共同输入至预先训练的分析模型，并由模型输出判断当前所处警情状态，并在警情状态超过设定的报警分值后，再次结合前述警情信息进行报警输出决策。本专利技术补充了现有车辆报警的不足，结合多维度信息综合判断报警等级，尤其提出了将报警等级与警情再次结合的报警机制，从而可以给出更为合理、更为贴近实时场景工况的车辆智能报警策略。
附图说明
[0040]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步描述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态分析的车辆报警控制方法，其特征在于，包括：实时监测警情信息并获取地理环境信息以及车内音频信息，所述警情信息包括：行驶状态信息、车载设备信息以及驾驶员信息，所述车内音频信息包括车内人员语音；根据所述警情信息获取对应的图像信息，所述图像信息包括车内图像信息以及车外图像信息；将所述警情信息、所述地理环境信息、所述车内音频信息、所述图像信息以及所述车内人员语音的转写文本信息，输入至预先构建的多模态报警分析模型；当所述多模态报警分析模型输出的报警得分超过预设的报警阈值时，结合所述警情信息触发预设在车身不同位置的报警硬件输出针对性的报警信息。2.根据权利要求1所述的基于多模态分析的车辆报警控制方法，其特征在于，所述将所述警情信息、所述地理环境信息、所述车内音频信息、所述图像信息以及所述车内人员语音的转写文本信息，输入至预先构建的多模态报警分析模型包括：基于所述警情信息、所述地理环境信息获取多维特征；基于所述车内音频信息、所述图像信息以及所述车内人员语音的转写文本信息，获取对应的音频编码、图像编码以及文本编码；将所述多维特征以及所述音频编码、所述图像编码、所述文本编码共同输入至多模态报警分析模型。3.根据权利要求1或2所述的基于多模态分析的车辆报警控制方法，其特征在于，所述结合所述警情信息触发预设在车身不同位置的报警硬件输出针对性的报警信息包括：基于警情发生位置以及预设的车辆运行工况阈值，触发车身不同位置的报警硬件执行延迟报警或实时报警，其中所述车身不同位置包括车身前方、车身后方、车身侧方以及车内。4.根据权利要求3所述的基于多模态分析的车辆报警控制方法，其特征在于，所述控制方法还包括：获取车内其他人员信息；所述结合所述警情信息触发预设在车身不同位置的报警硬件输出针对性的报警信息包括：根据车内其他人员信息对所述车辆运行工况阈值进行调整；基于警情发生位置以及调整后的车辆运行工况阈值，触发车身不同位置的报警硬件执行延迟报警或实时报警。5.一种基于多模态分析的车辆报警控制装置，其特征在于，包括：警情分析信息获取模块，实时监测警情信息并获取地理环境信息以及车内音频信息，所述警情信息包括：行驶状态信息、车载设备信息以及驾驶员信息，所述车内音频信息包括车内人员语音；图像信息采集触发模块，用于根据...
【专利技术属性】
技术研发人员：卫凌霞，雷琴辉，田雨，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。