【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于多模态融合的金融违规检测方法、装置、设备及介质。
技术介绍
1、随着互联网的发展，为了提高用户的业务办理效率，金融机构推出用于线上办理业务的线上商业模式，线上商业模式一般对交易过程进行录音录影，以保存交易过程，为了防止线上交易过程中存在违规现象，需要对线上交易的视频进行违规检测，违规检测时，一般视觉特征与文本特征进行融合检测，现有技术中视觉特征提取主要方法都是对输入图像使用卷积神经网络提取视觉特征后，再此基础上使用区域特征提取模块抽取任务所需特征，类似于在主任务提取视觉特征的部分做了一个目标检测任务来提取，再将提取结果输入多模态融合，使违规检测效率较低，因此，如何提高违规检测效率成为亟需解决的问题。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于多模态融合的金融违规检测方法、装置、设备及介质，以解决违规检测效率较低的问题。
2、本申请实施例的第一方面提供了一种基于多模态融合的金融违规检测方法，所述金融违规检测方法包括：
3、获取待检测的金融交易视频，对所述金融交易视频进行分帧处理，得到所述金融交易视频的图像帧序列，提取所述图像帧序列中每帧图像帧中的文本，得到文本序列；
4、针对任一图像帧，对所述图像帧进行线性特征提取，得到所述图像帧的图像线性特征，对所述图像线性特征进行位置编码，得到所述图像线性特征的图像位置嵌入特征；
5、对所述文本进行特征提取，得到所述文本的文本特征，对所述文
6、将所述图像线性特征与所述图像位置嵌入特征进行拼接融合，得到第一融合特征，将所述文本特征与所述文本位置嵌入特征进行拼接融合，得到第二融合特征，联结所述第一融合特征与所述第二融合特征，得到联结融合特征；
7、对所述联结融合特征进行分类，得到分类结果，将所述分类结果与预设违规标签进行匹配，得到目标违规标签，所述目标违规标签为所述金融违规检测的结果。
8、本申请实施例的第二方面提供了一种基于多模态融合的金融违规检测装置，所述金融违规检测装置包括：
9、获取模块，用于获取待检测的金融交易视频，对所述金融交易视频进行分帧处理，得到所述金融交易视频的图像帧序列，提取所述图像帧序列中每帧图像帧中的文本，得到文本序列；
10、第一特征提取模块，用于针对任一图像帧，对所述图像帧进行线性特征提取，得到所述图像帧的图像线性特征，对所述图像线性特征进行位置编码，得到所述图像线性特征的图像位置嵌入特征；
11、第二特征提取模块，用于对所述文本进行特征提取，得到所述文本的文本特征，对所述文本特征进行位置编码，得到所述文本特征的文本位置嵌入特征；
12、融合模块，用于将所述图像线性特征与所述图像位置嵌入特征进行拼接融合，得到第一融合特征，将所述文本特征与所述文本位置嵌入特征进行拼接融合，得到第二融合特征，联结所述第一融合特征与所述第二融合特征，得到联结融合特征；
13、检测模块，用于对所述联结融合特征进行分类，得到分类结果，将所述分类结果与预设违规标签进行匹配，得到目标违规标签，所述目标违规标签为所述金融违规检测的结果。
14、第三方面，本专利技术实施例提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述基于多模态融合的金融违规检测方法。
15、第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于多模态融合的金融违规检测方法。
16、本专利技术与现有技术相比存在的有益效果是：
17、获取待检测的金融交易视频，对金融交易视频进行分帧处理，得到金融交易视频的图像帧序列，提取图像帧序列中每帧图像帧中的文本，得到文本序列，针对任一图像帧，对图像帧进行线性特征提取，得到图像帧的图像线性特征，对图像线性特征进行位置编码，得到图像线性特征的图像位置嵌入特征，对文本进行特征提取，得到文本的文本特征，对文本特征进行位置编码，得到文本特征的文本位置嵌入特征，将图像线性特征与到图像位置嵌入特征进行拼接融合，得到第一融合特征，将文本特征与文本位置嵌入特征进行拼接融合，得到第二融合特征，联结第一融合特征与第二融合特征，得到联结融合特征，对联结融合特征进行分类，得到分类结果，将分类结果与预设违规标签进行匹配，得到目标违规标签，目标违规标签为金融违规检测的结果。本申请中，提取图像帧的线性特征，可以提高图像帧特征的提取效率，基于图像帧的线性特征，与对应文本的文本特征进行融合，根据融合后的特征进行违规检测，从而提高违规检测的效率。
本文档来自技高网...【技术保护点】
1.一种基于多模态融合的金融违规检测方法，其特征在于，所述金融违规检测方法包括：
2.如权利要求1所述的金融违规检测方法，其特征在于，所述对所述图像帧进行线性特征提取，得到所述图像帧的图像线性特征，包括：
3.如权利要求2所述的金融违规检测方法，其特征在于，所述对所述图像线性特征进行位置编码，得到所述图像线性特征的图像位置嵌入特征，包括：
4.如权利要求1所述的金融违规检测方法，其特征在于，所述对所述文本进行特征提取，得到所述文本的文本特征，包括：
5.如权利要求4所述的金融违规检测方法，其特征在于，所述对所述文本特征进行位置编码，得到所述文本特征的文本位置嵌入特征，包括：
6.如权利要求1至5中的任意权利要求所述的金融违规检测方法，其特征在于，所述联结所述第一融合特征与所述第二融合特征，得到联结融合特征，包括：
7.一种基于多模态融合的金融违规检测装置，其特征在于，所述金融违规检测装置包括：
8.如权利要求7所述的金融违规检测装置，其特征在于，所述获取模块包括：
9.一种终端设备，其
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的金融违规检测方法。
...【技术特征摘要】
1.一种基于多模态融合的金融违规检测方法，其特征在于，所述金融违规检测方法包括：
2.如权利要求1所述的金融违规检测方法，其特征在于，所述对所述图像帧进行线性特征提取，得到所述图像帧的图像线性特征，包括：
3.如权利要求2所述的金融违规检测方法，其特征在于，所述对所述图像线性特征进行位置编码，得到所述图像线性特征的图像位置嵌入特征，包括：
4.如权利要求1所述的金融违规检测方法，其特征在于，所述对所述文本进行特征提取，得到所述文本的文本特征，包括：
5.如权利要求4所述的金融违规检测方法，其特征在于，所述对所述文本特征进行位置编码，得到所述文本特征的文本位置嵌入特征，包括：
6.如权利要求1至5中的任意权利...
【专利技术属性】
技术研发人员：蒋佳惟，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。