一种基于多模态融合的电信反欺诈方法和系统技术方案

一种基于多模态融合深度神经网络模型电信反欺诈方法和系统，其方法包括：步骤1.将信息中的语音模态转换为文字模态；步骤2.将信息中的图像进行切片并转换为图像数字向量；步骤3.将信息中的文本转换为数字向量；步骤4.文本图像信息融合向量生成；步骤5.多层联合向量的深度学习网络迭代训练；步骤6.欺诈识别预测；待预测是否为欺诈的样本输入到已经训练好的分类器模型中，利用最后一层迭代后的输出向量，经过双曲正切函数进行映射，完成欺诈预测时的是否违规的判断。

【技术实现步骤摘要】

本专利技术属于多模态融合深度学习领域，涉及一种基于多模态融合深度神经网络模型电信反欺诈方法及系统。

技术介绍

1、随着社会经济快速发展，通讯互联网行业逐渐深入到我国社会每个角落。

2、在欺诈过程中，一般会有较清晰的行为逻辑，整个过程通常持续时间较长，信息渠道会包含多个维度，例如日常的电话，网络聊天，图片文字等多模态信息。传统的基于电话号码举报黑名单的方式，已经是在风险泄露之后才能采取的措施。如何利用多模态信息，将多模态信息在时间维度上完成信息抽取与融合，尽早的准确识别和防范风险是欺诈风险识别的难点。

3、多模态信息的联合训练，可以提高同时拥有图像，文本，语音等多模态信息任务的性能。如何将文本、图像、语音有效融合，提升识别模型识别准确率，同时保持模型的轻量化是多模态领域的目标。由于图像与文本信息特征的不同，大多数实际应用中基于检测的视觉嵌入时间消耗大，难以与文本采用统一网络结构。基于多模态融合的电信欺诈识别需要统一文本与图像的模型结构，平衡模型尺寸和运行时间，并用融合的时序模型抽取深层逻辑特征，提高识别的准确率和时效性。

本文档来自技高网...

【技术保护点】

1.一种基于多模态融合的电信反欺诈识别方法，包含如下步骤：

2.如权利要求1所述的方法，其特征在于，步骤2包括：将输入图像I切成小块并展平为向量v，通过线性映射V与位置嵌入向量Vpos，将v转换为嵌入特征这里vclass是类别标签向量；

3.如权利要求1所述的方法，其特征在于，步骤3包括：通过词嵌入矩阵T与位置嵌入矩阵Tpos，将输入文本t换为嵌入特征tclass为类别标签向量；

4.如权利要求1所述的方法，其特征在于，步骤4具体包括：将上一步得到文本和图像嵌入特征和与其对应的模态类型嵌入向量ttype、vtype求和，然后拼接形成张量z0；

<...

【技术特征摘要】

1.一种基于多模态融合的电信反欺诈识别方法，包含如下步骤：

2.如权利要求1所述的方法，其特征在于，步骤2包括：将输入图像i切成小块并展平为向量v，通过线性映射v与位置嵌入向量vpos，将v转换为嵌入特征这里vclass是类别标签向量；

3.如权利要求1所述的方法，其特征在于，步骤3包括：通过词嵌入矩阵t与位置嵌入矩阵tpos，将输入文本t换为嵌入特征tclass为类别标签向量；

4.如权利要求1所述的方法，其特征在于，步骤4具体包括：将上一步得到文本和图像嵌入特征和与其对应的模态类型嵌入向量ttype、vtype求和，然后...

【专利技术属性】
技术研发人员：王慧琼，孙立，宋明黎，宋杰，冯尊磊，
申请(专利权)人：浙江大学宁波五位一体校区教育发展中心，
类型：发明
国别省市：