结合音频分析和视频分析的欺诈识别方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种结合音频分析和视频分析的欺诈识别方法、装置及存储介质。该方法包括以下步骤：切割音视频样本，得到音视频片段，为每个音视频片段分配一个欺诈标注；对每个音视频片段进行解码和预处理，得到每个音视频片段的音频片段和视频片段；从每个音频片段和视频片段中分别提取语音特征和表情特征；分别以各音频片段的语音特征和各视频片段的表情特征结合欺诈标注训练支持向量机，得到语音分析模型和表情分析模型；采集待识别对象的音视频数据；提取该音视频数据的语音特征和表情特征；将该语音特征和表情特征分别输入所述语音分析模型和表情分析模型，输出该待识别对象的欺诈概率P1和P2；将P1、P2加权计算，得到待识别对象的欺诈识别结果。

【技术实现步骤摘要】
结合音频分析和视频分析的欺诈识别方法、装置及存储介质
本专利技术涉及计算机信息处理
，尤其涉及一种结合音频分析和视频分析的欺诈识别方法、装置及计算机可读存储介质。
技术介绍
目前，欺诈识别一般通过面审的方式实现，极度依赖分析人员的经验和判断，耗费大量的时间和人力，分析结果往往不准确客观。也有利用专业的仪器设备，通过检测呼吸、脉搏、血压、皮肤电阻等一系列指标判断被测试人员有无欺诈嫌疑，但此类仪器设备通常价格昂贵且容易对被测试人员的人权构成侵犯。
技术实现思路
为解决现有技术存在的不足，本专利技术提供一种结合音频分析和视频分析的欺诈识别方法、装置及计算机可读存储介质，通过分析待识别对象的音视频数据，客观、准确地判断待识别对象是否存在欺诈嫌疑。为实现上述目的，本专利技术提供一种结合音频分析和视频分析的欺诈识别方法，应用于电子装置，该方法包括：样本准备步骤：收集人物音视频样本，对音视频样本进行切割，得到音视频片段，为每个音视频片段分配一个欺诈标注，对每个音视频片段进行解码和预处理，得到每个音视频片段的音频片段和视频片段；特征提取步骤：从每个音频片段中提取语音特征，从每个视频片段中提取表情特征；模型训练步骤：以各音频片段的语音特征和欺诈标注为样本数据，对第一支持向量机进行训练，得到语音分析模型；以各视频片段的表情特征和欺诈标注为样本数据，对第二支持向量机进行训练，得到表情分析模型；模型应用步骤：采集待识别对象的音视频数据，利用所述语音分析模型和表情分析模型对该音视频数据进行分析，输出该待识别对象的音频欺诈概率P1和视频欺诈概率P2；及加权计算步骤：根据所述语音分析模型和表情分析模型的权重将P1、P2加权计算，得到该待识别对象的欺诈识别结果。优选地，所述特征提取步骤中提取语音特征包括：第一特征提取步骤：从每个音频片段中提取低阶音频特征；第二特征提取步骤：从各低阶语音特征中提取动态回归系数，得到每个音频片段的动态音频特征；第三特征提取步骤：利用统计函数从所述低阶音频特征及动态音频特征中提取各音频片段的高阶音频特征；及筛选步骤：利用特征筛选算法从各音频片段的高阶音频特征中筛选出高阶音频特征子集，将高阶音频特征子集作为各音频片段的语音特征。优选地，所述低阶音频特征包括梅尔频率倒谱系数、音高和过零率。优选地，所述特征提取步骤中提取表情特征包括：低阶特征提取步骤：从每个视频片段中提取低阶动作特征；高阶特征构造步骤：统计每个视频片段中各低阶动作特征出现的次数及持续的时长，根据统计结果构造各视频片段的高阶动作特征；及筛选步骤：利用特征筛选算法从各视频片段的高阶动作特征中筛选出高阶动作特征子集，将高阶动作特征子集作为各视频片段的表情特征。优选地，所述低阶动作特征包括头部朝向、眼球朝向和面部动作单元(actionunit，AU)。优选地，所述模型应用步骤还包括以下步骤：对待识别对象的音视频数据进行解码和预处理，得到该待识别对象的音频数据和视频数据；从该待识别对象的音频数据中提取语音特征，从该待识别对象的视频数据中提取表情特征。本专利技术还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中包括欺诈识别程序。该电子装置直接或间接地与摄像装置相连接，摄像装置将采集的音视频数据传送至电子装置。该电子装置的处理器执行存储器中的欺诈识别程序时，实现以下步骤：样本准备步骤：收集人物音视频样本，对音视频样本进行切割，得到音视频片段，为每个音视频片段分配一个欺诈标注，对每个音视频片段进行解码和预处理，得到每个音视频片段的音频片段和视频片段；特征提取步骤：从每个音频片段中提取语音特征，从每个视频片段中提取表情特征；模型训练步骤：以各音频片段的语音特征和欺诈标注为样本数据，对第一支持向量机进行训练，得到语音分析模型；以各视频片段的表情特征和欺诈标注为样本数据，对第二支持向量机进行训练，得到表情分析模型；模型应用步骤：采集待识别对象的音视频数据，利用所述语音分析模型和表情分析模型对该音视频数据进行分析，输出该待识别对象的音频欺诈概率P1和视频欺诈概率P2；及加权计算步骤：根据所述语音分析模型和表情分析模型的权重将P1、P2加权计算，得到该待识别对象的欺诈识别结果。优选地，所述特征提取步骤中提取语音特征包括：第一特征提取步骤：从每个音频片段中提取低阶音频特征；第二特征提取步骤：从各低阶语音特征中提取动态回归系数，得到每个音频片段的动态音频特征；第三特征提取步骤：利用统计函数从所述低阶音频特征及动态音频特征中提取各音频片段的高阶音频特征；及筛选步骤：利用特征筛选算法从各音频片段的高阶音频特征中筛选出高阶音频特征子集，将高阶音频特征子集作为各音频片段的语音特征。优选地，所述低阶音频特征包括梅尔频率倒谱系数、音高和过零率。优选地，所述特征提取步骤中提取表情特征包括：低阶特征提取步骤：从每个视频片段中提取低阶动作特征；高阶特征构造步骤：统计每个视频片段中各低阶动作特征出现的次数及持续的时长，根据统计结果构造各视频片段的高阶动作特征；及筛选步骤：利用特征筛选算法从各视频片段的高阶动作特征中筛选出高阶动作特征子集，将高阶动作特征子集作为各视频片段的表情特征。优选地，所述低阶动作特征包括头部朝向、眼球朝向和面部AU。优选地，所述模型应用步骤还包括以下步骤：对待识别对象的音视频数据进行解码和预处理，得到该待识别对象的音频数据和视频数据；从该待识别对象的音频数据中提取语音特征，从该待识别对象的视频数据中提取表情特征。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包括欺诈识别程序，所述欺诈识别程序被处理器执行时，实现如上所述的结合音频分析和视频分析的欺诈识别方法中的任意步骤。本专利技术提供的结合音频分析和视频分析的欺诈识别方法、装置及计算机可读存储介质，通过提取音视频样本音频片段的语音特征和视频片段的表情特征，结合对应的欺诈标注，对支持向量机进行训练，得到语音分析模型和表情分析模型。之后，将训练好的模型应用于实时的欺诈识别环节：采集待识别对象的音视频数据，提取该音视频数据的语音特征和表情特征，将该语音特征和表情特征分别输入训练得到的语音分析模型和表情分析模型，输出该待识别对象的音频欺诈概率P1和视频欺诈概率P2，将P1、P2加权融合，得到该待识别对象的欺诈识别结果。利用本专利技术，可以客观、准确地识别人物是否存在欺诈嫌疑。附图说明图1为本专利技术电子装置第一较佳实施例的应用环境图。图2为本专利技术电子装置第二较佳实施例的应用环境图。图3为图1、图2中欺诈识别程序的程序模块图。图4为本专利技术结合音频分析和视频分析的欺诈识别方法较佳实施例的流程图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将参考若干具体实施例来描述本专利技术的原理和精神。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参照图1所示，为本专利技术电子装置第一较佳实施例的应用环境图。在该实施例中，摄像装置3通过网络2连接电子装置1，摄像装置3采集人物的音视频数据，通过网络2传送至电子装置1，电子装置1利用本专利技术提供的欺诈识别程序10分析所述音视频数据，得到人物的欺诈识别结果。电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌本文档来自技高网...

【技术保护点】
一种结合音频分析和视频分析的欺诈识别方法，应用于电子装置，其特征在于，该方法包括：样本准备步骤：收集人物音视频样本，对音视频样本进行切割，得到音视频片段，为每个音视频片段分配一个欺诈标注，对每个音视频片段进行解码和预处理，得到每个音视频片段的音频片段和视频片段；特征提取步骤：从每个音频片段中提取语音特征，从每个视频片段中提取表情特征；模型训练步骤：以各音频片段的语音特征和欺诈标注为样本数据，对第一支持向量机进行训练，得到语音分析模型；以各视频片段的表情特征和欺诈标注为样本数据，对第二支持向量机进行训练，得到表情分析模型；模型应用步骤：采集待识别对象的音视频数据，利用所述语音分析模型和表情分析模型对该音视频数据进行分析，输出该待识别对象的音频欺诈概率P1和视频欺诈概率P2；及加权计算步骤：根据所述语音分析模型和表情分析模型的权重将P1、P2加权计算，得到该待识别对象的欺诈识别结果。

【技术特征摘要】
1.一种结合音频分析和视频分析的欺诈识别方法，应用于电子装置，其特征在于，该方法包括：样本准备步骤：收集人物音视频样本，对音视频样本进行切割，得到音视频片段，为每个音视频片段分配一个欺诈标注，对每个音视频片段进行解码和预处理，得到每个音视频片段的音频片段和视频片段；特征提取步骤：从每个音频片段中提取语音特征，从每个视频片段中提取表情特征；模型训练步骤：以各音频片段的语音特征和欺诈标注为样本数据，对第一支持向量机进行训练，得到语音分析模型；以各视频片段的表情特征和欺诈标注为样本数据，对第二支持向量机进行训练，得到表情分析模型；模型应用步骤：采集待识别对象的音视频数据，利用所述语音分析模型和表情分析模型对该音视频数据进行分析，输出该待识别对象的音频欺诈概率P1和视频欺诈概率P2；及加权计算步骤：根据所述语音分析模型和表情分析模型的权重将P1、P2加权计算，得到该待识别对象的欺诈识别结果。2.如权利要求1所述的欺诈识别方法，其特征在于，所述特征提取步骤中提取语音特征包括：第一特征提取步骤：从每个音频片段中提取低阶音频特征；第二特征提取步骤：从各低阶语音特征中提取动态回归系数，得到每个音频片段的动态音频特征；第三特征提取步骤：利用统计函数从所述低阶音频特征及动态音频特征中提取各音频片段的高阶音频特征；及筛选步骤：利用特征筛选算法从各音频片段的高阶音频特征中筛选出高阶音频特征子集，将高阶音频特征子集作为各音频片段的语音特征。3.如权利要求2所述的欺诈识别方法，其特征在于，所述低阶音频特征包括梅尔频率倒谱系数、音高和过零率。4.如权利要求1所述的欺诈识别方法，其特征在于，所述特征提取步骤中提取表情特征包括：低阶特征提取步骤：从每个视频片段中提取低阶动作特征；高阶特征构造步骤：统计每个视频片段中各低阶动作特征出现的次数及持续的时长，根据统计结果构造各视频片段的高阶动作特征；及筛选步骤：利用特征筛选算法从各视频片段的高阶动作特征中筛选出高阶动作特征子集，将高阶动作特征子集作为各视频片段的表情特征。5.如权利要求4所述的欺诈识别方法，其特征在于，所述低阶动作特征包括头部朝向、眼球朝向和面部动作单元(actionunit，AU)。6.如权利要求1所述的欺诈识别方法，其特征在于，所述模型应用步骤还包括以下步骤：对待识别对象的音视频数据进...

【专利技术属性】
技术研发人员：韦峰，徐国强，
申请(专利权)人：上海壹账通金融科技有限公司，
类型：发明
国别省市：上海,31