多模态风险识别方法、系统、计算机设备及存储介质技术方案

本发明专利技术公开了多模态风险识别方法、系统、计算机设备及存储介质，涉及数据处理技术领域，其中，所述方法包括：预先构建图像风险识别模型、他人声音风险识别模型、说话内容风险识别模型；采用Stacking方法对所述图像风险识别模型、所述他人声音风险识别模型以及所述说话内容风险识别模型进行模型集成，生成多模态风险识别模型；获取业务场景中线上视频面签产生的待检测音视频数据；将所述待检测音视频数据输入至所述多模态风险识别模型；通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果。通过本发明专利技术的方法可解决现有技术无法保证在业务场景中的线上视频面签过程中的风险问题得到全面性的检测的问题。过程中的风险问题得到全面性的检测的问题。过程中的风险问题得到全面性的检测的问题。

【技术实现步骤摘要】
多模态风险识别方法、系统、计算机设备及存储介质


[0001]本专利技术涉及数据处理
，具体涉及一种多模态风险识别方法、系统、计算机设备以及非易失性计算机可读存储介质。

技术介绍

[0002]目前，在银行个人贷款线上视频面签的业务场景下，坐席人员需对客户(贷款申请人)的信息进行风险排查和线上双录确认，并将风险问题手动录入系统。在整个线上视频通话过程中，为了更好的控制风险，要求客户必须独立完成，坐席人员通过看、听、理解的方式，来对客户的整个线上面签过程进行风险识别，并及时和客户沟通和询问风险问题；风险问题包括：1.线上视频面签产生的音视频数据中客户是否利用风险物体(卡片、纸张、营业执照等)进行参考资料作答的情况；2.线上视频面签产生的音视频数据中客户作答过程中是否出现了他人的提示声音；3.线上视频面签产生的音视频数据中客户的说话内容(文本)是否存在异常话术。以上风险问题的漏查错查，一方面可能会造成风险贷款的发生，后续发生坏账；另一方面坐席人员工作能力参差不齐，很难做到完全全面的风险排查，且过多的风险问题排查，可能会导致客户体验差等问题。即现有技术无法保证在业务场景中的线上视频面签过程中的风险问题得到全面性的检测。
[0003]因此，现有技术还有待改进和提高。

技术实现思路

[0004]鉴于上述现有技术的不足之处，本专利技术的目的在于提供一种可用于金融科技或其他相关领域的多模态风险识别方法、系统、计算机设备以及非易失性计算机可读存储介质，旨在解决现有技术无法保证在业务场景中的线上视频面签过程中的风险问题得到全面性的检测的问题。
[0005]为了达到上述目的，本专利技术采取了以下技术方案：
[0006]一种多模态风险识别方法，其中，包括：
[0007]预先构建图像风险识别模型、他人声音风险识别模型、说话内容风险识别模型；
[0008]采用Stacking方法对所述图像风险识别模型、所述他人声音风险识别模型以及所述说话内容风险识别模型进行模型集成，生成多模态风险识别模型；
[0009]获取业务场景中线上视频面签产生的待检测音视频数据；
[0010]将所述待检测音视频数据输入至所述多模态风险识别模型；
[0011]通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果。
[0012]在进一步的技术方案中，所述的多模态风险识别方法，其中，所述预先构建图像风险识别模型、他人声音风险识别模型、说话内容风险识别模型，包括：
[0013]预先基于YOLOv5算法构建图像风险识别模型；
[0014]预先基于VAD算法构建他人声音风险识别模型；
[0015]预先基于bert
‑
base
‑
chinese预训练模型构建说话内容风险识别模型。
[0016]在进一步的技术方案中，所述的多模态风险识别方法，其中，所述获取业务场景中线上视频面签产生的待检测音视频数据，包括：
[0017]获取个人贷款业务场景中线上视频面签产生的待检测音视频数据；
[0018]从所述待检测音视频数据中抽取待检测图像帧、待检测音频数据以及待检测文本数据。
[0019]在进一步的技术方案中，所述的多模态风险识别方法，其中，所述将所述待检测音视频数据输入至所述多模态风险识别模型，包括：
[0020]将所述待检测图像帧、所述待检测音频数据以及所述待检测文本数据输入至所述多模态风险识别模型。
[0021]在进一步的技术方案中，所述的多模态风险识别方法，其中，所述通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果中，所述整体识别结果包括：存在风险问题或不存在风险问题。
[0022]在进一步的技术方案中，所述的多模态风险识别方法，其中，所述通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果之后，包括：
[0023]将所述整体预测结果发送至业务系统端。
[0024]在进一步的技术方案中，所述的多模态风险识别方法，其中，当所述整体识别结果为存在风险问题时；
[0025]所述将所述整体预测结果发送至业务系统端，具体包括：
[0026]将所述整体预测结果发送至业务系统端，并在所述业务系统端进行告警弹窗提示。
[0027]一种多模态风险识别系统，其中，包括：
[0028]模型构建模块，用于预先构建图像风险识别模型、他人声音风险识别模型、说话内容风险识别模型；
[0029]模型集成模块，用于采用Stacking方法对所述图像风险识别模型、所述他人声音风险识别模型以及所述说话内容风险识别模型进行模型集成，生成多模态风险识别模型；
[0030]获取模块，用于获取业务场景中线上视频面签产生的待检测音视频数据；
[0031]输入模块，用于将所述待检测音视频数据输入至所述多模态风险识别模型；
[0032]识别模块，用于通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果。
[0033]在进一步的技术方案中，所述的多模态风险识别系统，其中，所述预先构建图像风险识别模型、他人声音风险识别模型、说话内容风险识别模型，包括：
[0034]预先基于YOLOv5算法构建图像风险识别模型；
[0035]预先基于VAD算法构建他人声音风险识别模型；
[0036]预先基于bert
‑
base
‑
chinese预训练模型构建说话内容风险识别模型。
[0037]在进一步的技术方案中，所述的多模态风险识别系统，其中，所述获取业务场景中线上视频面签产生的待检测音视频数据，包括：
[0038]获取个人贷款业务场景中线上视频面签产生的待检测音视频数据；
[0039]从所述待检测音视频数据中抽取待检测图像帧、待检测音频数据以及待检测文本数据。
[0040]在进一步的技术方案中，所述的多模态风险识别系统，其中，所述将所述待检测音视频数据输入至所述多模态风险识别模型，包括：
[0041]将所述待检测图像帧、所述待检测音频数据以及所述待检测文本数据输入至所述多模态风险识别模型。
[0042]在进一步的技术方案中，所述的多模态风险识别系统，其中，所述通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果中，所述整体识别结果包括：存在风险问题或不存在风险问题。
[0043]在进一步的技术方案中，所述的多模态风险识别系统，其中，所述通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果之后，包括：
[0044]将所述整体预测结果发送至业务系统端。
[0045]在进一步的技术方案中，所述的多模态风险识别系统，其中，当所述整体识别结果为存在风险问题时；
[0046]所述将所述整体预测结果发送至业务系统端，具体包括：
[0047]将所述整体预测结果发送至业务系统端，并在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态风险识别方法，其特征在于，包括：预先构建图像风险识别模型、他人声音风险识别模型、说话内容风险识别模型；采用Stacking方法对所述图像风险识别模型、所述他人声音风险识别模型以及所述说话内容风险识别模型进行模型集成，生成多模态风险识别模型；获取业务场景中线上视频面签产生的待检测音视频数据；将所述待检测音视频数据输入至所述多模态风险识别模型；通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果。2.根据权利要求1所述的多模态风险识别方法，其特征在于，所述预先构建图像风险识别模型、他人声音风险识别模型、说话内容风险识别模型，包括：预先基于YOLOv5算法构建图像风险识别模型；预先基于VAD算法构建他人声音风险识别模型；预先基于bert
‑
base
‑
chinese预训练模型构建说话内容风险识别模型。3.根据权利要求2所述的多模态风险识别方法，其特征在于，所述获取业务场景中线上视频面签产生的待检测音视频数据，包括：获取个人贷款业务场景中线上视频面签产生的待检测音视频数据；从所述待检测音视频数据中抽取待检测图像帧、待检测音频数据以及待检测文本数据。4.根据权利要求3所述的多模态风险识别方法，其特征在于，所述将所述待检测音视频数据输入至所述多模态风险识别模型，包括：将所述待检测图像帧、所述待检测音频数据以及所述待检测文本数据输入至所述多模态风险识别模型。5.根据权利要求4所述的多模态风险识别方法，其特征在于，所述通过所述多模态风险识别模型输出所述待检测音视频数据对应的整体识别结果中，所述整体识别结果包括：存在风险问题或不存在风险问题。6....

【专利技术属性】
技术研发人员：李骁，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：