基于视频图像识别的人物网络关系发现及演化呈现方法技术

本发明专利技术公开了一种基于视频图像识别的人物网络关系发现及演化呈现方法，属于图像识别与社交网络分析交叉领域，包括步骤：视频数据预处理；基于视频帧的图像提取；人脸识别及识别模型更新；人物关系网络构建及动态可视化。本发明专利技术将视频图像的人物识别与社交网络相结合，实现了跨领域的技术融合应用；采用视频帧的处理技术，提取具有时间戳的视频图像数据集合；采用SVM分类预测模型进行人脸识别，并以视频图像数据集合为输入，进行人脸识别；采用相邻图像之间的人脸信息进行具有时间标签的网络构建；并利用视频信息中的时间序列和具有时间戳的网络关系，进行时间对齐操作，从而实现视频与人物关系网络的同步动态呈现。

【技术实现步骤摘要】
基于视频图像识别的人物网络关系发现及演化呈现方法
本专利技术属于图像识别与社交网络分析交叉领域，具体涉及一种基于视频图像识别的人物网络关系发现及演化呈现方法。
技术介绍
随着移动互联网时代的到来，人与人之间的交流大部分都是通过网络来完成，因此人物社交都带有网络属性，社交的范围和受众早已超越过去的线下交流。对人物社交网络的研究已经不能局限于传统的人与人之间的研究，需要将现代的生物识别技术与传统的人物网络研究相结合。随着深度学习技术的快速发展，人脸识别作为一个多领域课题集合，被众多研究人员分成了多个小课题来进行独立深入研究，大致可分为：第一，人脸检测：即在包含大量冗余信息的图像中找出人脸区域，是样本采集以及人物跟踪的第一步，一个高效准确的人脸检测算法对于人脸识别整体系统来说是获取输入信息源头；第二，人脸预处理：即将检测到的人脸进行进一步的细致分析和变形，使其达到最优化的待识别状态。其中预处理又包含多个方面，如：灰度处理，光照处理面部特征点标记，几何形态处理等；第三：人脸跟踪，即在视频识别时，为了更快的确定人物身份，对已认识的人物进行位置跟踪，或者是对同一个待测目标在不同视频画面中进行多次识别并综合结果确认人物身份以降低误识别率；第四：人脸识别，即通过特征匹配方式将当前不认识的人物与训练样本库中认识的人物样本完成对比，满足一定匹配度范围的未知样本与已知样本进行关联，即该人物与匹配成功的已知人物是同一人；第五，面部属性分析，即通过面部特征点定位后，对特征点几何分布位置进行合理的数学分析并综合人物的肤色情况，得出人物的年龄，性别，种族以及表情神态等，从而进一步分析人物的情绪状态和生理状态等。从以上五个方面来看，人脸识别更加侧重研究上的准确性和技术上的应用性。现有视频图像识别技术的重点是提高识别准确度，应用在情感识别、交通识别、视频跟踪和视频图像识别装置等方面，在视频图像识别与社交网络领域相结合的研究，实现跨领域创新方面还有待进一步提高。第四类研究是本专利技术的一个基础，而本专利技术更加侧重识别后的领域应用上，将识别技术与视频分析、社交网络分析相融合，实现技术上的创新和应用上的创新。
技术实现思路
针对现有技术中存在的上述技术问题，本专利技术提出了一种基于视频图像识别的人物网络关系发现及演化呈现方法，设计合理，克服了现有技术的不足，具有良好的效果。为了实现上述目的，本专利技术采用如下技术方案：基于视频图像识别的人物网络关系发现及演化呈现方法，包括如下步骤：步骤1：视频数据预处理；具体包括如下步骤：步骤1.1：视频输入；步骤1.2：对输入的视频进行按帧截取；步骤1.3：人脸检测，判断是否检测到人脸；若：判断结果是没有检测到人脸，则不保存图像；或判断结果是检测到人脸，则保存图像；步骤1.4：将保存的图像做成数据集，对数据集进行分割，添加标签；步骤1.5：特征向量提取，提取出数据集分割的训练集和测试集；步骤1.6：使用训练集对模型进行训练，使用测试集对模型进行测试；步骤1.7：模型判断，判断模型是否满足精度的要求；若：判断结果是模型满足精度的要求，则保存模型；或判断结果是模型不满足精度的要求，则执行步骤1.5-步骤1.7，直至模型满足精度的要求；步骤2：人脸识别及更新；具体包括如下步骤：步骤2.1：判断模型是否存在；若：判断结果是模型不存在，则返回数据预处理重新进行训练；或判断结果是模型存在，则将图片输入；步骤2.2：特征向量提取，进行人脸识别；步骤2.3：根据人脸识别情况进行SVM分类，得到分类预测结果；步骤2.4：判断分类预测结果的大小；若：判断结果是分类预测结果小于判断未知人脸的阈值，则将人脸判断为未知的，并将此未知人脸保存下来，然后执行步骤2.5；或判断结果是分类预测结果大于人脸的阈值，则将该分类预测结果作为输入，然后执行步骤2.6；步骤2.5：对保存下来的未知人脸图片进行人工统计，当相同类图像数据达到标注的阈值，进行手动标注，构建新的人脸类，然后执行步骤2.6；当人工统计相同类图像数据没有达到标注的阈值，则停止模型的更新，保存现有模型；步骤2.6：进行模型自适应更新，然后执行步骤2.3，；步骤3：人物关系网络构建及动态可视化；具体包括如下步骤：步骤3.1：对人脸识别结果进行预处理；步骤3.2：基于识别人脸进行网络构建；对图像采用多帧合成的方式，将多张连续的图片识别出来的结果融合叠加成一张网络，将识别出来的人名作为网络图的节点，人名出现的次数作为权重，输入网络图；并基于帧的时间，标注构建网络的时间戳；步骤3.3：视频播放与构建的人物关系网络同步动态可视化；根据标注的时间戳与视频中的时间轴进行映射，而后根据视频播放的时间轴，进行视频播放与人物关系网络同步动态可视化呈现。本专利技术所带来的有益技术效果：1、本专利技术将视频图像的人物识别与社交网络相结合，实现跨领域的技术应用；2、采用视频帧的处理技术，提取具有时间戳的视频图像数据集合；3、半监督的人脸识别技术：传统的人脸识别，对未知图像，或者未登录的图像无法处理，本专利技术采用SVM分类预测模型进行人脸识别，并以视频图像数据集合为输入，进行人脸识别，当出现未知人脸和未登录人脸时，通过人工干预的方式，进行训练集合的更新和人脸识别模型的更新；4、用动态变化的社交网络描述视频图像中人物之间的关系变化，本专利技术创新性的提出了用动态变化的社交网络技术，采用相邻图像之间的人脸信息进行具有时间标签的网络构建，并利用视频信息中的时间序列和具有时间戳的网络关系，进行时间对齐操作，从而实现视频与人物关系网络的同步动态呈现。该方法有效的、直观的反映了视频中人物关系变化情况，有助于理解视频的含义；5、该方法具有一定的应用价值，可以应用到视频网站的影视剧的播放过程中，能够有助于观看者直观的了解当前剧情演员的关系变化情况，有助于观看者更加容易理解剧情。附图说明图1为本专利技术方法的流程图。图2为人脸识别模型训练流程图。图3为半监督的模型更新示意图。图4为人物关系网络及可视化流程图。图5为人物关系网络呈现示意图。具体实施方式下面结合附图以及具体实施方式对本专利技术作进一步详细说明：本专利技术要解决的技术问题本文以识别人物关系网络过程中，人物关系发现为核心目标，需要解决的关键技术问题包括：第一：人脸特征向量表示。第二：模型的自适应更新以及未知人脸的判定。第三：人物关系网络的构建；第四：基于时序的人物关系网络演化呈现。解决这四个方面的问题能够完成对视频人物识别的半监督学习，并根据识别结果进行人物关系网络的构建、时间戳标注和演化分析，根据时间戳和视频时间轴的映射以及对齐，实现网络变换与视频播放同步。因此，本专利技术要解决的具体关键问题是：关键技术问题1：人脸特征向量表示使用HOG算法给图片编码，以创建图片的简化版本。使用这个简化的图像，找到其中看起来最像通用HOG面部编码的部分。通过找到脸上的主要特征点，找出脸部的姿势进行人脸对齐，而后将处理过的图像放入神经网络中，通过神经网络模型找到128维嵌入。关键技术问题2：模型的自适应更新以及未知人脸的判定使用SVM支持向量机进行分类，在传统的SVM分类器的基础上加入了评估函数，对每一个结果的可能性进行判断，若大于更新阈值就进行模式的更新，若全部小于一个阈值就判断为未知人脸，从而完成对视频人物识别的本文档来自技高网...

【技术保护点】
1.基于视频图像识别的人物网络关系发现及演化呈现方法，其特征在于：包括如下步骤：步骤1：视频数据预处理；具体包括如下步骤：步骤1.1：视频输入；步骤1.2：对输入的视频进行按帧截取；步骤1.3：人脸检测，判断是否检测到人脸；若：判断结果是没有检测到人脸，则不保存图像；或判断结果是检测到人脸，则保存图像；步骤1.4：将保存的图像做成数据集，对数据集进行分割，添加标签；步骤1.5：特征向量提取，提取出数据集分割的训练集和测试集；步骤1.6：使用训练集对模型进行训练，使用测试集对模型进行测试；步骤1.7：模型判断，判断模型是否满足精度的要求；若：判断结果是模型满足精度的要求，则保存模型；或判断结果是模型不满足精度的要求，则执行步骤1.5‑步骤1.7，直至模型满足精度的要求；步骤2：人脸识别及更新；具体包括如下步骤：步骤2.1：判断模型是否存在；若：判断结果是模型不存在，则返回数据预处理重新进行训练；或判断结果是模型存在，则将图片输入；步骤2.2：特征向量提取，进行人脸识别；步骤2.3：根据人脸识别情况进行SVM分类，得到分类预测结果；步骤2.4：判断分类预测结果的大小；若：判断结果是分类预测结果小于判断未知人脸的阈值，则将人脸判断为未知的，并将此未知人脸保存下来，然后执行步骤2.5；或判断结果是分类预测结果大于人脸的阈值，则将该分类预测结果作为输入，然后执行步骤2.6；步骤2.5：对保存下来的未知人脸图片进行人工统计，当相同类图像数据达到标注的阈值，进行手动标注，构建新的人脸类，然后执行步骤2.6；当人工统计相同类图像数据没有达到标注的阈值，则停止模型的更新，保存现有模型；步骤2.6：进行模型自适应更新，然后执行步骤2.3，；步骤3：人物关系网络构建及动态可视化；具体包括如下步骤：步骤3.1：对人脸识别结果进行预处理；步骤3.2：基于识别人脸进行网络构建；对图像采用多帧合成的方式，将多张连续的图片识别出来的结果融合叠加成一张网络，将识别出来的人名作为网络图的节点，人名出现的次数作为权重，输入网络图；并基于帧的时间，标注构建网络的时间戳；步骤3.3：视频播放与构建的人物关系网络同步动态可视化；根据标注的时间戳与视频中的时间轴进行映射，而后根据视频播放的时间轴，进行视频播放与人物关系网络同步动态可视化呈现。...

【技术特征摘要】
1.基于视频图像识别的人物网络关系发现及演化呈现方法，其特征在于：包括如下步骤：步骤1：视频数据预处理；具体包括如下步骤：步骤1.1：视频输入；步骤1.2：对输入的视频进行按帧截取；步骤1.3：人脸检测，判断是否检测到人脸；若：判断结果是没有检测到人脸，则不保存图像；或判断结果是检测到人脸，则保存图像；步骤1.4：将保存的图像做成数据集，对数据集进行分割，添加标签；步骤1.5：特征向量提取，提取出数据集分割的训练集和测试集；步骤1.6：使用训练集对模型进行训练，使用测试集对模型进行测试；步骤1.7：模型判断，判断模型是否满足精度的要求；若：判断结果是模型满足精度的要求，则保存模型；或判断结果是模型不满足精度的要求，则执行步骤1.5-步骤1.7，直至模型满足精度的要求；步骤2：人脸识别及更新；具体包括如下步骤：步骤2.1：判断模型是否存在；若：判断结果是模型不存在，则返回数据预处理重新进行训练；或判断结果是模型存在，则将图片输入；步骤2.2：特征向量提取，进行人脸识别；步骤2.3：根据人脸识别情况进行SVM分类，得到分类预测结果；步骤2.4：判断分类预...

【专利技术属性】
技术研发人员：李超，陈剑，曾庆田，赵中英，李良博，
申请(专利权)人：山东科技大学，青岛云数联科技网络有限公司，
类型：发明
国别省市：山东,37