一种跨媒体视频人物识别方法及系统技术方案

本发明专利技术涉及图像识别技术领域，具体公开了一种跨媒体视频人物识别方法及系统，其中方法包括如下步骤：S1、获取待识别的视频人物的正面图片；S2、从正面图片中裁剪出脸部生成人脸的图片；S3、将人脸的图片转化为特征向量；S4、从视频人物参演的影片中间隔抽取帧，检测帧出现的人脸并裁剪出来；S5、将裁剪出的人脸转为特征向量，并与步骤S3中视频人物的特征向量进行比较，判断是否满足相似度阈值，若满足，则在该帧对该视频人物标记，并执行S6步骤；S6、对标记的视频人物使用Deep Sort算法进行多角度跟踪；S7、判断对标记的视频人物跟踪是否结束，若结束，输出包含视频人物的片段。采用本发明专利技术的技术方案能够自动生成包含目标人物的视频。技术方案能够自动生成包含目标人物的视频。技术方案能够自动生成包含目标人物的视频。

【技术实现步骤摘要】
一种跨媒体视频人物识别方法及系统


[0001]本专利技术涉及图像识别
，特别涉及一种跨媒体视频人物识别方法及系统。

技术介绍

[0002]自上世纪以来，人类积攒了海量高质量影视资源，涵盖了电影、综艺节目、电视剧等影视类型。随着影视技术和设备的发展，已有大量视频的时长接近甚至超过一小时。近年来，随着生活节奏的加快，用户更喜欢把时间花在更紧凑的短视频上，短视频分享平台也越来越受欢迎。互联网上大批创作者也开始使用短视频为电影、电视剧等时长较长的影视资源引流。
[0003]例如通过检索出视频人物在其参演影片中出现的片段，能够帮助视频制作人员剪辑视频，也能便于后续观众选择只观看某位视频人物出现的场景，能够提高观众的观影体验。
[0004]为了确定某位视频人物在影片中出现的片段，在以往的方案中，是由专门的运营人员进行人工标注，这种方法不仅花费精力多、耗时长，而且成本高，难以满足当前海量视频资源处理的需要。
[0005]为此，需要一种能够自动生成包含目标人物视频的跨媒体视频人物识别方法及系统。

技术实现思路

[0006]本专利技术提供了一种跨媒体视频人物识别方法及系统，能够自动生成包含目标人物的视频。
[0007]为了解决上述技术问题，本申请提供如下技术方案：
[0008]一种跨媒体视频人物识别方法，包括如下步骤：
[0009]S1、获取待识别的视频人物的正面图片；
[0010]S2、通过训练后的MTCNN网络从正面图片中裁剪出脸部生成包含视频人物人脸的图片；
[0011]S3、使用Facenet网络将包含视频人物人脸的图片转化为特征向量；
[0012]S4、从视频人物参演的影片中间隔抽取帧，通过MTCNN网络检测帧出现的人脸并裁剪出来；
[0013]S5、使用Facenet网络将裁剪出的人脸转为特征向量，并与步骤S3中视频人物的特征向量进行比较，判断是否满足相似度阈值，若满足，则在该帧对该视频人物标记，并执行S6步骤，若不满足，返回S4步骤；
[0014]S6、对标记的视频人物使用Deep Sort算法进行多角度跟踪；
[0015]S7、判断对标记的视频人物跟踪是否结束，若结束，输出包含视频人物的片段，再判断视频人物参演的影片帧是否抽取完毕，若未完毕，执行S4步骤，若已完毕，结束操作。
[0016]基础方案原理及有益效果如下：
[0017]本方案中，通过MTCNN网络从正面图片中裁剪出脸部，方便后续单独对脸部进行处理，也能够减小后续处理的数据量。使用Facenet网络将包含视频人物人脸的图片转化为特征向量，再与视频帧中人脸提取的特征向量进行对比，就能准确识别出视频帧中的人物是否为待识别的视频人物，如果是，则对视频人物进行跟踪，输出包含视频人物的片段，如果不是，就继续提取视频帧中的人脸进行后续对比。
[0018]综上，本方案能够以自动化的方式标记视频人物在参演影片中出现的片段并输出，可以解决人工标注费力、耗时和成本高的问题。
[0019]进一步，所述步骤S1中，还从预设的视频人物的人脸库中获取包含视频人物人脸的图片并转跳至S3步骤。
[0020]当需要识别的素材直接是人脸图片时，跳过S2步骤，可以简化流程，节约时间。
[0021]进一步，所述步骤S6中，多角度跟踪包括对人物头部旋转、遮挡的帧进行跟踪识别。
[0022]进一步，所述步骤S6中，对人物头部旋转、遮挡的帧进行跟踪识别时，通过卡尔曼滤波基于视频人物头部前一时刻位置，预测当前时刻位置；再通过匈牙利算法，将预测的位置与当前帧匹配，若匹配成功，则当前帧和前一帧的视频人物相同，若匹配失败，则当前帧和前一帧的视频人物不相同。
[0023]人物头部旋转、遮挡的帧由于脸部不完整，直接进行对比识别的准确率低，本优选方案中，通过预测视频人物的位置，在将预测的位置与当前帧进行匹配，识别的准确度更高。
[0024]进一步，所述步骤S4中，间隔为24帧。
[0025]通常电影为1秒24帧，间隔24帧，也就是在处理电影时，间隔1秒钟。
[0026]一种跨媒体视频人物识别系统，包括：
[0027]输入模块，用于接收待识别的视频人物的正面图片；
[0028]人脸裁剪模块，预存有训练后的MTCNN网络，用于将视频人物的正面图片输入MTCNN网络，通过MTCNN网络从正面图片中裁剪出脸部生成包含视频人物人脸的图片；
[0029]特征转化模块，预存有Facenet网络，用于使用Facenet网络将包含视频人物人脸的图片转化为特征向量；
[0030]抽取模块，用于从视频人物参演的影片中间隔抽取帧；
[0031]人脸裁剪模块还用于将抽取的帧输入MTCNN网络，通过MTCNN网络检测帧出现的人脸并裁剪出来；特征转化模块还用于使用Facenet网络将裁剪出的人脸转为特征向量；
[0032]分析模块，用于将裁剪出的人脸的特征向量与视频人物的特征向量进行比较，判断是否满足相似度阈值，若满足，则在该帧对该视频人物标记；
[0033]跟踪模块，还用于在满足相似度阈值时，对标记的视频人物使用Deep Sort算法进行多角度跟踪；
[0034]输出模块，用于判断对标记的视频人物跟踪是否结束，若结束，输出包含视频人物的片段。
[0035]本方案中，通过MTCNN网络从正面图片中裁剪出脸部，方便后续单独对脸部进行处理，也能够减小后续处理的数据量。使用Facenet网络将包含视频人物人脸的图片转化为特征向量，再与视频帧中人脸提取的特征向量进行对比，就能准确识别出视频帧中的人物是
否为待识别的视频人物，如果是，则对视频人物进行跟踪，输出包含视频人物的片段，如果不是，就继续提取视频帧中的人脸进行后续对比。
[0036]综上，本方案能够以自动化的方式标记视频人物在参演影片中出现的片段并输出，可以解决人工标注费力、耗时和成本高的问题。
[0037]进一步，所述输入模块还用于从预设的视频人物的人脸库中获取包含视频人物人脸的图片。
[0038]进一步，所述多角度跟踪包括对人物头部旋转、遮挡的帧进行跟踪识别。
[0039]进一步，所述跟踪模块对人物头部旋转、遮挡的帧进行跟踪识别时，用于通过卡尔曼滤波基于视频人物头部前一时刻位置，预测当前时刻位置；再通过匈牙利算法，将预测的位置与当前帧匹配，若匹配成功，则当前帧和前一帧的视频人物相同，若匹配失败，则当前帧和前一帧的视频人物不相同。
[0040]人物头部旋转、遮挡的帧由于脸部不完整，直接进行对比识别的准确率低，本优选方案中，通过预测视频人物的位置，在将预测的位置与当前帧进行匹配，识别的准确度更高。
[0041]进一步，所述间隔为24帧。
附图说明
[0042]图1为实施例一一种跨媒体视频人物识别方法的流程图。
具体实施方式
[0043]下面通过具体实施方式进一步详细说明：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨媒体视频人物识别方法，其特征在于，包括如下步骤：S1、获取待识别的视频人物的正面图片；S2、通过训练后的MTCNN网络从正面图片中裁剪出脸部生成包含视频人物人脸的图片；S3、使用Facenet网络将包含视频人物人脸的图片转化为特征向量；S4、从视频人物参演的影片中间隔抽取帧，通过MTCNN网络检测帧出现的人脸并裁剪出来；S5、使用Facenet网络将裁剪出的人脸转为特征向量，并与步骤S3中视频人物的特征向量进行比较，判断是否满足相似度阈值，若满足，则在该帧对该视频人物标记，并执行S6步骤，若不满足，返回S4步骤；S6、对标记的视频人物使用Deep Sort算法进行多角度跟踪；S7、判断对标记的视频人物跟踪是否结束，若结束，输出包含视频人物的片段，再判断视频人物参演的影片帧是否抽取完毕，若未完毕，执行S4步骤，若已完毕，结束操作。2.根据权利要求1所述的跨媒体视频人物识别方法，其特征在于：所述步骤S1中，还从预设的视频人物的人脸库中获取包含视频人物人脸的图片并转跳至S3步骤。3.根据权利要求2所述的跨媒体视频人物识别方法，其特征在于：所述步骤S6中，多角度跟踪包括对人物头部旋转、遮挡的帧进行跟踪识别。4.根据权利要求3所述的跨媒体视频人物识别方法，其特征在于：所述步骤S6中，对人物头部旋转、遮挡的帧进行跟踪识别时，通过卡尔曼滤波基于视频人物头部前一时刻位置，预测当前时刻位置；再通过匈牙利算法，将预测的位置与当前帧匹配，若匹配成功，则当前帧和前一帧的视频人物相同，若匹配失败，则当前帧和前一帧的视频人物不相同。5.根据权利要求1所述的跨媒体视频人物识别方法，其特征在于：所述步骤S4中，间隔为24帧。6.一种跨媒体视频人物识别系统，其特征在于，包括：输入...

【专利技术属性】
技术研发人员：王晶，
申请(专利权)人：空间视创重庆科技股份有限公司，
类型：发明
国别省市：