本申请涉及人工智能技术，提供一种风险识别方法、装置、计算机设备与存储介质，包括：获取初始待识别音视频；对所述初始待识别音视频进行预处理，得到目标待识别音视频；对所述目标待识别音视频进行视频特征提取，得到目标唇形特征序列；对所述目标待识别音视频进行音频特征提取，得到目标音频特征序列；对所述目标唇形特征序列与所述目标音频特征序列进行跨模态对齐处理，得到目标特征序列；调用预设特征分类模型处理所述目标特征序列，得到分类信息；根据所述分类信息确定风险等级。本申请能够提高风险识别的准确性，促进智慧城市的快速发展。发展。发展。
【技术实现步骤摘要】
风险识别方法、装置、计算机设备及存储介质
[0001]本申请涉及人工智能
，尤其涉及一种风险识别方法、装置、计算机设备及存储介质。
技术介绍
[0002]随着信息技术的发展，通过网络视频进行贷款变得越来越常见。在网络视频贷款过程中，金融欺诈的手段各异，比如，第三方代替客户本人回答机器人问题或第三方指导客户回答机器人问题。需要对这类不合规的贷款视频进行筛查，以避免潜在的金融欺诈风险。
[0003]在实现本申请的过程中，申请人发现现有技术存在如下问题：在通过音唇同步检测技术识别贷款视频中的不合规行为时，仅支持固定长度的音视频输入，比如固定5帧输入，然后计算一段2秒说话窗口内每5帧结果的平均作为最终输出。由于每个5帧片段都是单独处理，造成了上述方法不能利用长时序的上下文信息，风险识别的准确性较差。
[0004]因此，有必要提供一种风险识别方法，能够提高风险识别的准确性。
技术实现思路
[0005]鉴于以上内容，有必要提出一种风险识别方法、风险识别装置、计算机设备及存储介质，能够提高风险识别的准确性。
[0006]本申请实施例第一方面提供一种风险识别方法，所述风险识别方法包括：
[0007]获取初始待识别音视频；
[0008]对所述初始待识别音视频进行预处理，得到目标待识别音视频；
[0009]对所述目标待识别音视频进行视频特征提取，得到目标唇形特征序列；
[0010]对所述目标待识别音视频进行音频特征提取，得到目标音频特征序列；
[0011]对所述目标唇形特征序列与所述目标音频特征序列进行跨模态对齐处理，得到目标特征序列；
[0012]调用预设特征分类模型处理所述目标特征序列，得到分类信息；
[0013]根据所述分类信息确定风险等级。
[0014]进一步地，在本申请实施例提供的上述风险识别方法中，所述对所述初始待识别音视频进行预处理，得到目标待识别音视频，包括：
[0015]获取所述初始待识别音视频中的各帧视频图像，得到视频图像集；
[0016]对所述视频图像集中每一所述视频图像进行人脸检测，得到所述视频图像中的人脸区域；
[0017]对所述人脸区域进行截取，得到人脸区域图像；
[0018]获取所述人脸区域图像对应的时间戳信息，并根据所述时间戳信息组合所述人脸区域图像，得到目标待识别音视频。
[0019]进一步地，在本申请实施例提供的上述风险识别方法中，所述对所述目标待识别音视频进行视频特征提取，得到目标唇形特征序列，包括：
[0020]确定所述目标待识别音视频的目标视频帧数；
[0021]从所述目标待识别音视频中抽取所述目标视频帧数的目标视频流；
[0022]调用预设3D卷积网络对所述目标视频流的每帧视频图像进行唇形特征提取，得到初始唇形运动信息；
[0023]调用第一预设2D卷积网络对所述初始唇形运动信息进行唇形特征提取，得到目标唇形运动信息，并将所述目标唇形运动信息作为目标唇形特征序列。
[0024]进一步地，在本申请实施例提供的上述风险识别方法中，所述对所述目标待识别音视频进行音频特征提取，得到目标音频特征序列，包括：
[0025]确定所述目标待识别音视频的目标音频帧数；
[0026]从所述目标待识别音视频中抽取所述目标音频帧数的目标音频流；
[0027]调用第二预设2D卷积网络对所述目标音频流进行特征提取，得到目标音频特征序列。
[0028]进一步地，在本申请实施例提供的上述风险识别方法中，所述对所述目标唇形特征序列与所述目标音频特征序列进行跨模态对齐处理，得到目标特征序列，包括：
[0029]将所述目标唇形特征序列跨模态对齐到所述目标音频特征序列，得到第一特征序列；
[0030]将所述目标音频特征序列跨模态对齐到所述目标唇形特征序列，得到第二特征序列；
[0031]组合所述第一特征序列与所述第二特征序列，得到目标特征序列。
[0032]进一步地，在本申请实施例提供的上述风险识别方法中，所述将所述目标唇形特征序列跨模态对齐到所述目标音频特征序列，得到第一特征序列，包括：
[0033]对所述目标唇形特征序列中每一帧目标唇形特征进行向量化处理，得到唇形特征向量；
[0034]对所述目标音频特征序列中每一帧目标音频特征进行向量化处理，得到音频特征向量；
[0035]计算所述唇形特征向量与所述音频特征向量的相似度；
[0036]获取与所述唇形特征向量的相似度最高的目标音频特征向量，并将所述唇形特征向量对齐到所述目标音频特征向量，得到第一特征序列。
[0037]进一步地，在本申请实施例提供的上述风险识别方法中，所述根据所述分类信息确定风险等级，包括：
[0038]根据所述分类信息确定所述目标唇形特征序列与所述目标音频特征序列中的非同步特征；
[0039]获取所述非同步特征的数量；
[0040]根据所述数量遍历预先设置的数量与风险等级的映射关系，得到所述数量对应的风险等级。
[0041]本申请实施例第二方面还提供一种风险识别装置，所述风险识别装置包括：
[0042]音视频获取模块，用于获取初始待识别音视频；
[0043]视频处理模块，用于对所述初始待识别音视频进行预处理，得到目标待识别音视频；
[0044]特征确定模块，用于对所述目标待识别音视频进行视频特征提取，得到目标唇形特征序列；
[0045]所述特征确定模块还用于对所述目标待识别音视频进行音频特征提取，得到目标音频特征序列；
[0046]特征对齐模块，用于对所述目标唇形特征序列与所述目标音频特征序列进行跨模态对齐处理，得到目标特征序列；
[0047]模型调用模块，用于调用预设特征分类模型处理所述目标特征序列，得到分类信息；
[0048]风险确定模块，用于根据所述分类信息确定风险等级。
[0049]本申请实施例第三方面还提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任意一项所述的风险识别方法。
[0050]本申请实施例第四方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的风险识别方法。
[0051]本申请实施例提供的上述风险识别方法、风险识别装置、计算机设备以及计算机可读存储介质，通过对所述目标唇形特征序列与所述目标音频特征序列进行跨模态对齐处理，得到目标特征序列，能够避免网络视频出现卡顿导致风险识别不准确的问题；且本申请通过预设特征分类模型处理所述目标特征序列，得到分类信息，继而根据所述分类信息确定风险等级，所述预设特征分类模型能够利用长时序的上下文信息，因此，对长短说话内容判断效果都比较稳定，能够提高风险识别的准确性。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种风险识别方法，其特征在于，所述风险识别方法包括：获取初始待识别音视频；对所述初始待识别音视频进行预处理，得到目标待识别音视频；对所述目标待识别音视频进行视频特征提取，得到目标唇形特征序列；对所述目标待识别音视频进行音频特征提取，得到目标音频特征序列；对所述目标唇形特征序列与所述目标音频特征序列进行跨模态对齐处理，得到目标特征序列；调用预设特征分类模型处理所述目标特征序列，得到分类信息；根据所述分类信息确定风险等级。2.根据权利要求1所述的风险识别方法，其特征在于，所述对所述初始待识别音视频进行预处理，得到目标待识别音视频，包括：获取所述初始待识别音视频中的各帧视频图像，得到视频图像集；对所述视频图像集中每一所述视频图像进行人脸检测，得到所述视频图像中的人脸区域；对所述人脸区域进行截取，得到人脸区域图像；获取所述人脸区域图像对应的时间戳信息，并根据所述时间戳信息组合所述人脸区域图像，得到目标待识别音视频。3.根据权利要求1所述的风险识别方法，其特征在于，所述对所述目标待识别音视频进行视频特征提取，得到目标唇形特征序列，包括：确定所述目标待识别音视频的目标视频帧数；从所述目标待识别音视频中抽取所述目标视频帧数的目标视频流；调用预设3D卷积网络对所述目标视频流的每帧视频图像进行唇形特征提取，得到初始唇形运动信息；调用第一预设2D卷积网络对所述初始唇形运动信息进行唇形特征提取，得到目标唇形运动信息，并将所述目标唇形运动信息作为目标唇形特征序列。4.根据权利要求1所述的风险识别方法，其特征在于，所述对所述目标待识别音视频进行音频特征提取，得到目标音频特征序列，包括：确定所述目标待识别音视频的目标音频帧数；从所述目标待识别音视频中抽取所述目标音频帧数的目标音频流；调用第二预设2D卷积网络对所述目标音频流进行特征提取，得到目标音频特征序列。5.根据权利要求1所述的风险识别方法，其特征在于，所述对所述目标唇形特征序列与所述目标音频特征序列进行跨模态对齐处理，得到目标特征序列，包括：将所述目标唇形特征序列跨模态对齐到所述目标音频特征序列，得到第一特...
【专利技术属性】
技术研发人员：刘杰，曾凡涛，陈远旭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。