面向压缩域的视频敏感人物识别方法、系统及设备技术方案

本发明专利技术属于图像识别领域，具体涉及了一种面向压缩域的视频敏感人物识别方法、系统、设备，旨在解决现有的敏感人物识别方法低效和浪费资源的问题。本发明专利技术包括：对待检测视频部分解码获取压缩域多模态信息，将压缩域多模态信息进行检测和校准，将校准后的压缩域人脸多模态信息通过训练好的多模态人脸识别网络获取多模态人脸特征，将多模态人脸特征与敏感人脸特征库进行比对，确认是否存在敏感人脸。其中，压缩域人脸多模态信息通过I分支、MV分支和Res分支分别提取不同的特征再进行多模态特征融合得到唯一的多模态人脸特征。本发明专利技术只需要进行部分解码就能完成特征提取，解决了现有技术低效和资源浪费的问题，同时保有较高的识别精度。

【技术实现步骤摘要】
面向压缩域的视频敏感人物识别方法、系统及设备
本专利技术属于图像识别领域，具体涉及了一种面向压缩域的视频敏感人物识别方法、系统及设备。
技术介绍
在视频安全领域，敏感人物识别是较为关键的一块工作。目前现有的方法，是将目标视频进行全解码，得到视频帧。然后对每一帧视频进行人脸检测和人脸特征提取。最后，将目标视频提取到的特征和敏感人物的人脸特征进行一一比对，结合一个预先设定的阈值判断该视频是否含有敏感人物。这类方法有两个明显的缺点：第一，视频全解码对于计算资源和计算时间要求很高，限制此类方法在移动端设备上运行，即使在云端服务器运行时间也较长；第二，此类方法对于视频中每张人脸进行单独特征提取，忽略了前后帧图像中的多张人脸其实是同一身份的事实，如此进行特征提取就会有大量重复计算，进一步浪费了计算资源，消耗了计算时间。
技术实现思路
为了解决现有技术中的上述问题，即现有的敏感人物识别方法低效和浪费资源的问题，本专利技术提供了一种面向压缩域的视频敏感人物识别方法，所述方法包括：步骤S100，通过FFmepg和c++编码的方法进行待本文档来自技高网...

【技术保护点】
1.一种面向压缩域的视频敏感人物识别方法，其特征在于，所述方法包括：/n步骤S100，通过FFmepg和c++编码的方法进行待检测视频的部分解码，提取所述待检测视频的压缩域多模态信息；所述压缩域多模态信息包括：I帧、运动矢量图像、残差图像、DCT系数和分割深度；/n步骤S200，对所述压缩域多模态信息进行人脸检测和人脸校准，得到校准后的压缩域人脸多模态信息；/n步骤S300，将所述校准后的压缩域人脸多模态信息输入训练好的多模态人脸识别网络，获取待检测视频每个人脸的多模态人脸特征；/n步骤S400，将所述多模态人脸特征与预设的敏感人物特征库匹配，获得所述待检测视频中是否包含敏感人物的判断结果。/...

【技术特征摘要】
1.一种面向压缩域的视频敏感人物识别方法，其特征在于，所述方法包括：
步骤S100，通过FFmepg和c++编码的方法进行待检测视频的部分解码，提取所述待检测视频的压缩域多模态信息；所述压缩域多模态信息包括：I帧、运动矢量图像、残差图像、DCT系数和分割深度；
步骤S200，对所述压缩域多模态信息进行人脸检测和人脸校准，得到校准后的压缩域人脸多模态信息；
步骤S300，将所述校准后的压缩域人脸多模态信息输入训练好的多模态人脸识别网络，获取待检测视频每个人脸的多模态人脸特征；
步骤S400，将所述多模态人脸特征与预设的敏感人物特征库匹配，获得所述待检测视频中是否包含敏感人物的判断结果。


2.根据权利要求1所述的面向压缩域的视频敏感人物识别方法，其特征在于，所述多模态人脸识别网络，包括I分支、MV分支、Res分支和多模态融合模块：
所述I分支基于ResNet、InceptionNet或DenseNet中的一种构建，输入为校准后的I帧，输出为I帧的特征图谱；所述I帧为3通道RGB图像；
所述MV分支基于ResNet、InceptionNet或DenseNet中的一种构建，输入为校准后的运动矢量图像，输出为运动矢量图像的特征图谱；所述运动矢量图像为2通道矢量图像；
所述Res分支基于ResNet、InceptionNet或DenseNet中的一种构建，输入为校准后的残差图像，输出为残差图像对应的特征图谱；所述残差图像为2通道图像；
所述多模态融合模块，包括3个并列连接的残差模块，每个残差模块包含两个卷积核为3*3的卷积层；所述多模态融合模块输入为所述I帧的特征图谱、运动矢量图像对应的特征图谱和残差图像对应的特征图谱，输出为多模态人脸特征向量。


3.根据权利要求2所述的面向压缩域的视频敏感人物识别方法，其特征在于，所述多模态人脸识别网络，其训练方法包括：
步骤A100，通过离线样本采集方法获取训练数据集；
步骤A200，基于所述训练数据集进行压缩获得训练视频压缩域信息；所述训练视频压缩域信息包括I帧、运动矢量图像、残差图像、DCT系数和分割深度；
步骤A300，随机选取所述训练数据集中任一训练数据的训练视频压缩域信息，通过所述多模态人脸识别网络分别获取对应的训练多模态人脸特征向量；
步骤A400，基于所述训练多模态人脸特征向量计算对比损失L；
步骤A500，重复步骤A300-步骤A400，并通过反向传播训练降低所述对比损失L，直至网络收敛，得到训练好的多模态人脸识别网络。


4.根据权利要求3所述的面向压缩域的视频敏感人物识别方法，其特征在于，所述对比损失L为：



其中，表示样本特征X1到X2的欧氏距离的二范数形式，P表示样本的特征维数，Y为表示两个样本是否匹配的标签，Y＝1表示两个样本为同一身份，Y＝O表示两个样本为不同身份，m为预设的阈值，N为样本个数，R(X1)和R(X2)表示稀疏正则项。


5.根据权利要...

【专利技术属性】
技术研发人员：刘雨帆，李兵，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11