视频风险识别方法及装置制造方法及图纸

本发明专利技术公开了一种视频风险识别方法及装置，其中，该方法包括：获取用户视频，并将视频分解为视频图像和音频数据；根据预定规则对音频数据进行音频风险识别操作，以识别该音频数据是否存在风险；对视频图像进行图像风险识别操作，以识别该视频图像是否存在风险，图像风险识别操作包括以下至少之一：表情风险识别、动作风险识别、色彩像素识别；显示音频数据和视频图像的风险识别结果，以便于进行风险决策参考。通过本发明专利技术，可以提高风险识别的准确率，降低视频欺诈概率。

Video risk identification method and device

【技术实现步骤摘要】
视频风险识别方法及装置
本专利技术涉及图像处理领域，具体涉及一种视频风险识别方法及装置。
技术介绍
随着5G与通信技术的发展，在网上贷款、开户申请等都开始使用视频面审等手段降低运营成本。目前的视频防欺诈技术主要通过表情识别结合神经网络训练技术进行，但这些技术缺少对语音问题本身的识别，导致识别准确率在某些问题上并不太准确，从而影响防欺诈效果；另一方面，使用单纯的表情要素进行欺诈识别效果也是有限的。
技术实现思路
有鉴于此，本专利技术提供一种视频风险识别方法及装置，以解决上述提及的至少一个问题。根据本专利技术的第一方面，提供一种视频风险识别方法，所述方法包括：获取用户视频，并将所述视频分解为视频图像和音频数据；根据预定规则对所述音频数据进行音频风险识别操作，以识别该音频数据是否存在风险；对所述视频图像进行图像风险识别操作，以识别该视频图像是否存在风险，所述图像风险识别操作包括以下至少之一：表情风险识别、动作风险识别、色彩像素识别；显示所述音频数据和所述视频图像的风险识别结果，以便于进行风险决策参考。根据本专利技术的第二方面，提供一种视频风险识别装置，所述装置包括：视频获取单元，用于获取用户视频；分解单元，用于将所述视频分解为视频图像和音频数据；音频风险识别单元，用于根据预定规则对所述音频数据进行音频风险识别操作，以识别该音频数据是否存在风险；图像风险识别单元，用于对所述视频图像进行图像风险识别操作，以识别该视频图像是否存在风险，所述图像风险识别操作包括以下至少之一：表情风险识别、动作风险识别、色彩像素识别；风险识别结果显示单元，用于显示所述音频数据和所述视频图像的风险识别结果，以便于进行风险决策参考。根据本专利技术的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述视频风险识别方法的步骤。根据本专利技术的第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述视频风险识别方法的步骤。由上述技术方案可知，通过将获取到的用户视频分解为视频图像和音频数据，之后对视频图像和音频数据分别进行风险识别操作，其中，对视频图像的风险识别包括表情风险识别、动作风险识别、色彩像素识别，从而可以得到更高效的风险识别信息，如此，可以提高风险识别的准确率，降低视频欺诈概率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的视频风险识别方法的流程图；图2根据本专利技术实施例的十层卷积神经网络的输出结果示意图；图3是根据本专利技术实施例的人脸图像特征点的示意图；图4是根据本专利技术实施例的视频风险识别装置的结构框图；图5是根据本专利技术实施例的视频风险识别装置的详细结构框图；图6是根据本专利技术实施例的图像风险识别单元44的结构框图；图7是根据本专利技术实施例的表情风险识别模块441的结构框图；图8是根据本专利技术实施例的动作风险识别模块442的结构框图；图9是根据本专利技术实施例的色彩像素识别模块443的结构框图；图10是根据本专利技术实施例的视频风险识别装置的示例结构框图；图11是根据本专利技术实施例的基于图10所示的示例装置的风险识别流程图；图12是根据本专利技术实施例的电子设备的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前的视频防欺诈技术主要通过表情识别结合神经网络训练技术进行，缺少对语音问题本身的识别，导致识别准确率较低，欺诈识别效果有限。基于此，本专利技术实施例提供一种视频风险识别方案，通过结合生物识别技术来识别被面审人员的表情变化、听到问题后的犹豫时间、回答问题时的面部朝向、面部肌肉运动变化等要素，根据这些识别的要素来判断风险，以提高风险识别的准确率。图1是根据本专利技术实施例的视频风险识别方法的流程图，如图1所示，该方法包括：步骤101，获取用户视频，并将所述视频分解为视频图像和音频数据；步骤102，根据预定规则对所述音频数据进行音频风险识别操作，以识别该音频数据是否存在风险；步骤103，对所述视频图像进行图像风险识别操作，以识别该视频图像是否存在风险，所述图像风险识别操作包括以下至少之一：表情风险识别、动作风险识别、色彩像素识别；步骤104，显示所述音频数据和所述视频图像的风险识别结果，以便于进行风险决策参考。通过将获取到的用户视频分解为视频图像和音频数据，之后对视频图像和音频数据分别进行风险识别操作，其中，对视频图像的风险识别包括表情风险识别、动作风险识别、色彩像素识别，从而可以得到更高效的风险识别信息，如此，可以提高风险识别的准确率，降低视频欺诈概率。具体而言，对于步骤102中的音频风险识别操作，可以根据预定规则对音频数据中语音的中断时间和语音内容进行音频风险识别操作。例如，识别出提问题的结束时间、被面审人员听到问题后的开始时间，同时进行语音文本转换处理，识别出问题内容与回答内容。这里的预定规则可以是风险级别规则，例如，当被面审人员听到问题后的中断时间，即，犹豫时间，根据时间时长，来设置风险级别，如当犹豫时间大于阈值时间时，识别为高风险。对于步骤103的图像风险识别操作，首先需要对视频图像进行预处理，以生成多张人脸图像。之后，可以对多张人脸图像执行表情风险识别操作、动作风险识别操作、色彩像素识别操作，这三个操作，可以根据实际情况来选择执行其中的一个、两个或三个，本专利技术不限于此。以下对这三个操作，分别进行描述。(一)表情风险识别操作具体地，将多张人脸图像分别进行灰度处理，得到多张灰度人脸图像；之后，将所述多张灰度人脸图像输入至训练好的表情识别模型中，以识别人脸表情变化。这里的表情识别模型可以是卷积神经网络，通过将多张灰度人脸图像分别输入至训练好的表情识别模型中，可以分别输出相应的表情；之后就可以根据输出的多个表情识别人脸表情变化。在本专利技术实施例中，表情包括：愤怒(angry)、厌恶(disgust)、害怕(fear)、快乐(happy)、(sad)伤心、(surprise)惊讶、自然(natural)，可以分别为这7个表情设置标签，以代表不同的表情。在实际操作中，卷积神经网络可以是十层卷积神经网络，其中：首层是卷积层，卷积核(kernel)为1×1，步长(stride)为1，填充(pa本文档来自技高网...

【技术保护点】
1.一种视频风险识别方法，其特征在于，所述方法包括：/n获取用户视频，并将所述视频分解为视频图像和音频数据；/n根据预定规则对所述音频数据进行音频风险识别操作，以识别该音频数据是否存在风险；/n对所述视频图像进行图像风险识别操作，以识别该视频图像是否存在风险，所述图像风险识别操作包括以下至少之一：表情风险识别、动作风险识别、色彩像素识别；/n显示所述音频数据和所述视频图像的风险识别结果，以便于进行风险决策参考。/n

【技术特征摘要】
1.一种视频风险识别方法，其特征在于，所述方法包括：
获取用户视频，并将所述视频分解为视频图像和音频数据；
根据预定规则对所述音频数据进行音频风险识别操作，以识别该音频数据是否存在风险；
对所述视频图像进行图像风险识别操作，以识别该视频图像是否存在风险，所述图像风险识别操作包括以下至少之一：表情风险识别、动作风险识别、色彩像素识别；
显示所述音频数据和所述视频图像的风险识别结果，以便于进行风险决策参考。


2.根据权利要求1所述的方法，其特征在于，根据预定规则对所述音频数据进行音频风险识别操作包括：
根据所述预定规则对所述音频数据中语音的中断时间和语音内容进行音频风险识别操作。


3.根据权利要求1所述的方法，其特征在于，对所述视频图像进行图像风险识别操作之前，所述方法还包括：
对所述视频图像进行预处理，以生成多张人脸图像。


4.根据权利要求3所述的方法，其特征在于，对所述视频图像进行表情风险识别操作包括：
将所述多张人脸图像分别进行灰度处理，得到多张灰度人脸图像；
将所述多张灰度人脸图像输入至训练好的表情识别模型中，以识别人脸表情变化。


5.根据权利要求4所述的方法，其特征在于，所述表情识别模型为卷积神经网络，将所述多张灰度人脸图像输入至训练好的表情识别模型中，以识别人脸表情变化包括：
将所述多张灰度人脸图像分别输入至训练好的表情识别模型中，以分别输出相应的表情；
根据输出的多个表情识别人脸表情变化。


6.根据权利要求3所述的方法，其特征在于，对所述视频图像进行动作风险识别包括：
根据特征点识别规则分别识别各人脸图像中的预定数量的特征点；
根据同一特征点在不同人脸图像中的位置信息识别人脸动作变化。


7.根据权利要求3所述的方法，其特征在于，对所述视频图像进行色彩像素识别包括：
获取各人脸图像中的同一人脸区域的色彩像素值；
根据同一人脸区域在不同人脸图像中的的色彩像素值识别人脸色彩像素变化。


8.一种视频风险识别装置，其特征在于，所述装置包括：
视频获取单元，用于获取用户视频；
分解单元，用于将所述视频分解为视频图像和音频数据；
音频风险识别单元，用于根据预定规则对所述音频数据进行音频风险识别操作，以识别该音频数据是否存在风险；
图像风险识别单元，用于对所述视频图像进行图像风险识别操作，以识别该视频图像是否存在风险，所述图像风险识别操作包括以下至...

【专利技术属性】
技术研发人员：巫昌凯，吕楠楠，冯智斌，周远侠，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11