一种基于多人脸视频显著性的HEVC压缩编码方法技术
【技术实现步骤摘要】
一种基于多人脸视频显著性的HEVC压缩编码方法
本专利技术属于计算机视觉领域，具体设计一种通过机器学习来预测多人脸视频显著性的方法，并基于检测到的视频显著性，提出了一种基于HEVC(HighEfficiencyVideoCoding)视频压缩方法。
技术介绍
有研究表明，当人们观看一片较大范围的场景时，他们通常将关注点集中在一块小的区域，该区域被称为显著性区域。而其他区域受到较少的关注，被称之为边缘区域。因此，视觉关注度是人类视觉系统处理庞大数据量的一个显著能力。显著性检测是一种针对图像或者视频有效预测人类可能的视觉关注区域的方法。近年来，显著性检测被广泛运用于物体检测，图像重定向，视觉质量评估以及视频编码。另外，本专利技术发现，视频中如果出现人脸，则人脸区域是整个视频尤为显著并受极大关注的区域。统计得到，在含人脸视频中，人脸区域的像素个数仅占整个画面的21％，然而却吸引了95％的关注度。并且，在多人脸视频中，关注点往往集中在其中某个人脸上。因此，研究多人脸视频的显著性具有不可忽略的意义。尽管现已有很多显著性检测方法，但是关于多人脸视频的显著性检测方法却十分稀少，...
【技术保护点】
一种多人脸显著性检测方法，其特征在于，包括：步骤一，建立包含视觉关注点分布的多人脸视频数据库，检测数据库中视频中的人脸并提取脸部特征；步骤二、建立并训练多隐马尔科夫模型M‑HMM；统计每个人脸在每一帧落入的关注点百分比，用该关注点百分比判断人脸显著性变化，该关注点百分比“增加”、“减少”及“不变”分别代表人脸的显著性变化增加、减少和保持不变；所建立的M‑HMM是：设同一时刻总共有N个隐藏状态，其中第n个隐藏状态代表该时刻第n个人脸的显著性变化，其中第t帧第n个隐藏状态
【技术特征摘要】
1.一种多人脸显著性检测方法，其特征在于，包括：步骤一，建立包含视觉关注点分布的多人脸视频数据库，检测数据库中视频中的人脸并提取脸部特征；步骤二、建立并训练多隐马尔科夫模型M-HMM；统计每个人脸在每一帧落入的关注点百分比，用该关注点百分比判断人脸显著性变化，该关注点百分比“增加”、“减少”及“不变”分别代表人脸的显著性变化增加、减少和保持不变；所建立的M-HMM是：设同一时刻总共有N个隐藏状态，其中第n个隐藏状态代表该时刻第n个人脸的显著性变化，其中第t帧第n个隐藏状态由第t帧第n个人脸的观测特征和前一帧状态决定；定义人脸权重表示第t帧每个人脸区域落入的关注点占落入所有人脸关注点的百分比，一个隐藏状态连接一个隐藏单元N个隐藏单元与N个人脸权重之间为全连接网络；n＝1,2,…,N；所述的观测特征包括所提取的脸部特征；利用训练得到的M-HMM预测每个人脸受关注度的变化，预测得到最终的显著性图谱。2.根据权利要求1所述的多人脸显著性检测方法，其特征在于，所述的步骤一中，通过眼球追踪实验，记录观测者在自由观看模式下对多人脸视频的关注点，建立包含视觉关注点分布的多人脸视频数据库。3.根据权利要求1所述的多人脸显著性检测方法，其特征在于，所述的步骤一中，提取的脸部特征包括说话、转头和正\侧脸。4.根据权利要求3所述的多人脸显著性检测方法，其特征在于，所述的说话特征，检测方法是：提取嘴部特征，包括嘴部运动、嘴部几何特征和嘴部纹理；嘴部运动包括运动强度和方向，嘴部几何特征用伸长度表示，嘴部纹理用嘴部灰度直方图表示；将提取的嘴部特征输入分类器，得到最终说话行为的分类结果，判断为说话或不说话。5.根据权利要求1所述的多人脸显著性检测方法，其特征在于，所述的步骤二的M-HMM中，定义人脸权重6.根据权利要求1所述的多人脸显著性检测方法，其特征在于，所述步骤二中，构建显著性检测模型的通道，包括脸部特征和颜色、对比度、方向；脸部特征为高维特征，颜色、对比度和方向为低维特征；得到显著性预测图的过程包括：利用M-HMM，通过维特比算法，得到所有高维特征通道人脸关注度权重的预测结果；将所有高维特征通道的预测结果分别转换成高维特征显著性图谱；获得颜色、对比度、方向的低维特征显著性图谱；将所有高维和低维特征显著性图谱通过加权求和得到最终的显著性预测图。7.根据权利...
【专利技术属性】
技术研发人员：徐迈，刘雨帆，王祖林，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。