一种视频的识别方法、系统、电子设备以及存储介质技术方案

本申请实施例提供一种视频的识别方法、装置、电子设备以及存储介质，对采集到的视频信号进行音视频分离，分别获取音频信号和视频信号；其中所述视频信号包括待验证对象；对所述音频信号和所述视频信号进行特征提取，获得所述音频信号对应的音频特征和所述视频信号对应的视频特征；将所述音频特征和所述视频特征输入预先训练好的神经网络中，获得所述神经网络输出的识别结果；其中，所述识别结果用于表征所述视频信号是否为所述待验证对象在中介指导下完成。本技术方案可以实现对于人脸识别的对象是否在中介指导下完成的情况进行判断。的对象是否在中介指导下完成的情况进行判断。的对象是否在中介指导下完成的情况进行判断。

【技术实现步骤摘要】
一种视频的识别方法、系统、电子设备以及存储介质


[0001]本申请涉及人脸识别领域，具体而言，设计一种视频的识别方法、系统、电子设备以及存储介质。

技术介绍

[0002]在金融行业中，常涉及到个人信息的验证，因此人脸识别技术被广泛应用。在现有技术中，对于人脸识别的真伪性问题，其关注的重点在于人脸识别的图像是否是真人，以及是否是同一个人。
[0003]在当前技术中，人脸识别并未关注人脸识别的人是否是处于自然状态下而进行自愿的人脸识别，所谓自然状态下的人脸识别是指并非是在利益相关的中介人士的诱导下进行非本意的人脸识别。现有技术对于人脸识别的真伪性判断较为简单。

技术实现思路

[0004]本申请实施例的目的在于提供一种视频的识别方法，用以解决现有技术中人脸识别无法判断被识别人是否自愿而不是在中介诱导下进行识别的技术问题。
[0005]为了实现上述目的，本申请实施例所提供的技术方案如下所示：
[0006]第一方面，本申请实施例提供一种视频的识别方法，对采集到的音视频信号进行音视频分离，分别获取音频信号和视频信号；其中所述视频信号包括待验证对象；对所述音频信号和所述视频信号进行特征提取，获得所述音频信号对应的音频特征和所述视频信号对应的视频特征；将所述音频特征和所述视频特征输入预先训练好的神经网络中，获得所述神经网络输出的识别结果；其中，所述识别结果用于表征所述视频信号是否为所述待验证对象在中介指导下完成。本技术方案可以实现对于人脸识别的对象是否在中介指导下完成的情况进行判断。
[0007]在本实施例中，对于采集到的音视频信号首先进行分离，分别获取单独的音频信号和视频信号，视频信号中主要是人脸识别时所录制的视频，其中就包括了需要验证的人脸视频。随后需要对音频信号和视频信号进行相应的特征提取，具体来讲，从音频信号中提取出音频特征，从视频信号中提取视频特征，随后，利用预先训练好的神经网络，将音频特征和视频特征输入神经网络中进行识别，并最终判断出所述视频信号的待验证对象是否是在中介指导下完成。
[0008]进一步地，所述音频特征包括所述音频信号中说话人的数量和/或是否包含第一关键词；所述视频特征包括以下至少一项：拍摄角度特征、面部特征和拍摄场景特征。
[0009]在本实施例中，对于音频特征和视频特征进行阐述，音频特征包括判断说话人的数量从而判断是否为多人说话，以及说话的内容中是否包含第一关键字。本技术方案可以实现对音频特征和视频特征的提取。
[0010]进一步地，所述对所述音频信号进行特征提取，包括：对所述音频信号进行截取，获得多个音频段；将所述多个音频段进行分类，并根据分类结果确定所述音频信号中说话
人的数量；和/或，将所述音频信号中的语音进行识别并转化为文本，并对所述文本进行关键字识别。
[0011]在本实施例中，首先是将音频信号进行相应的截取，也就是将其分段，分为多个音频段，随后将多个音频段进行分类，并利用分类后的处理结果，确定音频信号中说话人的具体数量，从而判断是否存在多人说话的情况。并且，对音频信号的特征提取步骤中，还会将音频信号中的语音进行语音识别，并将识别结果转化为文字文本，并且对文本进行相应的关键字识别。本技术方案可以实现对音频信号提取中，关于说话人数量和音频中是否包含有关键字的判断。
[0012]进一步地，所述待验证对象为人脸；所述对所述视频信号进行特征提取包括：对所述视频信号进行分帧，获得多帧图像信号；对所述图像信号进行特征提取，获得所述拍摄角度特征、面部特征和拍摄场景特征。
[0013]在本实施例中，对视频特征进行提取，其检测的具体对象是人脸，首先对包括人脸信息的视频信号进行分帧处理，获得多帧图像信号，随后对图像信号进行特征提取步骤，从而获得拍摄角度特征、面部特征和拍摄场景特征相关的信息特征。本技术方案可以实现对视频信号的预处理，并获得多帧图像信号。
[0014]进一步地，所述对所述图像信号进行特征提取，获得所述拍摄角度特征，包括：对所述图像信号进行人脸角度特征提取，获得所述图像信号中人脸的俯角、偏角和滚角；根据所述俯角、所述偏角和所述滚角判断所述人脸是否正对屏幕；和/或，对所述图像信号进行拍摄角度识别，判断所述拍摄角度是否是自拍角度。
[0015]在本实施例中，对拍摄角度特征进行提取的步骤中，首先需要对图像信号中的人脸进行角度特征提取，具体而言，首先获取人脸的俯角、偏角和滚角，随后根据上述三种角，判断人脸是否是正对屏幕的状态。此外，获得拍摄角度特征还包括对图像信号进行拍摄角度识别，判断拍摄角度是自拍的角度还是他人拍摄的角度。本技术方案可以实现对人是否正对屏幕以及其拍摄角度是自拍还是他拍的判断。
[0016]进一步地，所述对所述图像信号进行特征提取，获得所述面部特征，包括：获取所述图像信号中的眼部区域和嘴部区域；对所述眼部区域进行特征提取，判断眼部注意力是否集中于屏幕；和/或，对所述嘴部区域进行特征提取，判断嘴部是否在活动；和/或，利用微表情识别模型对所述图像信号中的人脸图像进行识别，以确定所述人脸图像的微表情是否存在异常。
[0017]在本实施例中，获取面部特征首先需要确定图像信号中人的眼部区域和嘴部区域。随后对眼部区域进行特征提取，并据此判断人的眼部注意力是否集中于屏幕上。此外，对人的嘴部区域进行特征提取，判断视频信号中人的嘴部是否在活动，从而判断人是否在说话。此外，利用预先训练好的微表情识别模型，对人脸图像进行识别，判断人脸图像的微表情是否存在异常情况。本技术方案可以实现对人的眼部注意力是否集中于人脸识别、人是否在人脸识别时说话以及人脸识别时的微表情的判断。
[0018]进一步地，所述对所述图像信号进行特征提取，获得拍摄场景特征，包括：获取所述图像信号的人像背景画面；对所述人像背景画面进行识别，判断所述人像背景画面是否为室内；和/或对所述人像背景画面进行关键字识别，判断背景中是否出现关键字。
[0019]在本实施例中，对于拍摄场景特征进行提取，首先获取图像信号中的人像所处背
景画面，随后对人像的背景画面进行识别，通过背景画面判断出相应场景是处于室内还是室外。此外，还可以对背景画面进行相应的关键字识别，判断是否出现第二关键字。本技术方案可以实现对拍摄场景在室内还是室外，以及背景中是否有关键字的判断。
[0020]进一步地，所述将所述音频特征和所述视频特征输入预先训练好的神经网络中，获得所述神经网络输出的识别结果，包括：为所述音频特征和所述视频特征分别生成对应的标签；根据所述标签生成特征向量，将所述特征向量输入所述预先训练好的神经网络中，获得所述神经网络输出的识别结果。
[0021]在本实施例中，由于前述步骤已经获取了音频特征和视频特征，因此，在此将音频特征和视频特征生成对应的标签，并利用相应的标签生成特征向量，从而将特征向量输入至预先已经训练好的神经网络中，从而获得神经网络输出的识别结果。本技术方案可以实现利用提取的音频特征和视频特征进行综合分析，利用特征之间的空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频的识别方法，其特征在于，包括：对采集到的音视频信号进行音视频分离，分别获取音频信号和视频信号；其中所述视频信号包括待验证对象；对所述音频信号和所述视频信号进行特征提取，获得所述音频信号对应的音频特征和所述视频信号对应的视频特征；将所述音频特征和所述视频特征输入预先训练好的神经网络中，获得所述神经网络输出的识别结果；其中，所述识别结果用于表征所述视频信号是否为所述待验证对象在中介指导下完成。2.根据权利要求1所述的方法，其特征在于，所述音频特征包括所述音频信号中说话人的数量和/或是否包含第一关键词；所述视频特征包括以下至少一项：拍摄角度特征、面部特征和拍摄场景特征。3.根据权利要求2所述的方法，其特征在于，所述对所述音频信号进行特征提取，包括：对所述音频信号进行截取，获得多个音频段；将所述多个音频段进行分类，并根据分类结果确定所述音频信号中说话人的数量；和/或，将所述音频信号中的语音进行识别并转化为文本，并对所述文本进行关键字识别。4.根据权利要求2所述的方法，其特征在于，所述待验证对象为人脸；所述对所述视频信号进行特征提取包括：对所述视频信号进行分帧，获得多帧图像信号；对所述图像信号进行特征提取，获得所述拍摄角度特征、面部特征和拍摄场景特征。5.根据权利要求4所述的方法，其特征在于，所述对所述图像信号进行特征提取，获得所述拍摄角度特征，包括：对所述图像信号进行人脸角度特征提取，获得所述图像信号中人脸的俯角、偏角和滚角；根据所述俯角、所述偏角和所述滚角判断所述人脸是否正对屏幕；和/或，对所述图像信号进行拍摄角度识别，判断所述拍摄角度是否是自拍角度。6.根据权利要求4所述的方法，其特征在于，所述对所述图像信号进行特征提取，获得所述面部特征，包括：获取所述图像信号中的眼部区域和嘴部区域；对所述眼部区域进行特征提取，判断眼部注意力是否集中于屏幕；和/或，对所述嘴部区域进行特征提取，判断嘴部是否...

【专利技术属性】
技术研发人员：王小东，朱羽，吕文勇，周智杰，廖浩，
申请(专利权)人：成都新希望金融信息有限公司，
类型：发明
国别省市：