一种人脸感知压缩视频质量的评价方法和系统技术方案

本发明专利技术公开了一种人脸感知压缩视频质量的评价方法和系统，一种人脸感知压缩视频质量的评价方法，其通过源视频人脸信息的获取，压缩视频人脸信息的获取，依据源视频人脸信息和压缩视频人脸信息获取SSIM值、人脸相似度和人脸质量分比对值；依据SSIM值、人脸相似度和人脸质量分比对值获取人脸感知压缩视频质量综合分SCORE；结合客观质量评价、人脸质量分和人脸相似度，从而获得人脸感知压缩视频质量综合分，提升研发过程中码率分配代码的调试速度；加快测试验证阶段对压缩算法的评估速度；当有新视频场景文件的压缩需求时，可以进行压缩方案的快速评估；在人工无法参与的嵌入式处理和实时处理的场景，提供实时可重复的稳定评价。提供实时可重复的稳定评价。提供实时可重复的稳定评价。

【技术实现步骤摘要】
一种人脸感知压缩视频质量的评价方法和系统


[0001]本专利技术涉及人脸感知技术，尤其涉及了一种人脸感知压缩视频质量的评价方法和系统。

技术介绍

[0002]基于感兴趣区域进行针对性压缩的算法，属于智能视频编码IVE(INTELLIGENT VIDEO ENCODING)的一种。它可以对ROI区域进行高质量无损压缩，降低ROI之外区域的码率和图像质量，从而可以极大降低传输数据的带宽占用和视频文件的存储空间。
[0003]针对人脸图像或视频，可以先通过人脸识别算法提取出图像视频里的感兴趣区域人脸，然后压缩算法针对人脸部分加大码率分配保持其压缩后的高质量，其它部分分配低码率只保证很基础的质量需求，从而减少整体的压缩码率，又不降低大家对图像的主观质量感受。这种压缩方法，称之为人脸感知压缩算法。
[0004]因为不同人像视频具有不同的特性，如地铁口、机场，景区，主干道等场所的白天视频具有很大的人流量，而入口、巷子，公园，营业厅等场所的晚上视频的人流量就很少或基本没有。在压缩码率既定的情况下，不同的视频里，对于ROI区和非ROI区的码率分配，是一个动态调适的过程。如果ROI区域比较小，提升的码率小，ROI增强的效果不明显；如果ROI区域过大，分配的码率高，则非ROI区域的质量下降就非常明显，很容易让人感知到突兀的质量差异，减弱ROI编码的目的。
[0005]因此，对于人脸感知压缩过程中ROI区域和非ROI区域的码率分配，以及压缩后视频的质量评价，需要基于大量不同特性的场景视频进行测试验证，从而达到即降低码率又不降低主观质量感受的目的。
[0006]而对于大量不同特性场景视频的测试验证，人工主观质量评价是一个耗时耗力的工作，随意性和局限性比较大，比如同一个人在不同情况下对同一幅图像可能会打出不同的分，无法实现嵌入式处理或实时处理，人眼长时间看视频的情况下容易疲劳从而影响对视频质量持续感知的评价等等，所以需要以自动化方式进行。本专利技术的宗旨在于用一种自动化的方法和系统，长时间可重复性地实时评价人脸感知压缩中和压缩后的视频质量，同时尽可能保持跟主观评价近似的效果。
[0007]例如现有技术中，专利申请号为：CN202110738536.3；专利名称为，一种人脸质量评估模型的构建方法及应用。其没有区分ROI区域和非ROI区域，在评估过程中不能很好地达到既降低码率又不降低主观质量感受。如现有技术专利申请号CN201410363480.8，其虽然基于ROI区域，并感知压缩的背景相同，但是其主要针对的是非人脸图像本身，只基于SSIM的客观评价，应用场景和技术不同，单维度指标很难达到比较综合的主观评价近似的效果。

技术实现思路

[0008]本专利技术针对现有技术中的不能很好地达到既降低码率又不降低主观质量感受，无
法解决人脸监控这个特定的应用场景，并且难达到主观和客观评价近似的效果的问题，提供了一种人脸感知压缩视频质量的评价方法和系统。
[0009]为了解决上述技术问题，本专利技术通过下述技术方案得以解决：
[0010]一种人脸感知压缩视频质量的评价方法，包括源视频和对应的压缩视频，其方法包括：
[0011]S1，源视频人脸信息的获取，通过截取源视频中其中一帧图形的人脸，获取源视频人脸信息，源视频人脸信息包括：源视频人脸的位置信息、源视频人脸的质量分和源视频人脸的特征值；
[0012]S2，压缩视频人脸信息的获取，依据S1中源视频人脸的位置信息在压缩视频中获取对应的压缩视频图像帧，并获取压缩视频中的压缩视频人脸信息；压缩视频人脸信息包括压缩视频人脸的位置信息、压缩视频人脸的质量分和压缩视频人脸的特征值；
[0013]S3，SSIM值、相似度和人脸质量分比对值的计算，依据S1的源视频人脸信息和S2的压缩视频人脸信息获取SSIM值、人脸相似度和人脸质量分比对值；
[0014]S4，人脸感知压缩视频质量综合分SCORE的计算，依据S3计算的SSIM值、人脸相似度和人脸质量分比对值获取人脸感知压缩视频质量综合分SCORE。
[0015]作为优选，还包括人脸告警信息的获取，新输入的人脸图像信息与源视频的人脸图像信息和压缩视频的人脸图像信息对比，从而获取人脸告警信息。
[0016]作为优选，人脸感知压缩视频质量分SCORE的计算，其计算方式为：
[0017]Score＝人脸相似度x第一权重系数+SSIMx第二权重系数+人脸质量分比值x第三权重系数；其中，第一权重系数>第二权重系数>第三权重系数。
[0018]作为优选，S1的源视频人脸的质量分和源视频人脸的特征值，S2的压缩视频人脸的质量分和压缩视频人脸的特征值均通过多任务神经网络模型mtcnn获取。
[0019]为了解决上述技术问题，本申请还提供了一种人脸感知压缩视频质量的评价系统，其包括输入模块、处理模块、比对模块和统计模块；
[0020]输入模块，输入模块用于输入源视频信息和对应的压缩视频信息；
[0021]处理模块，处理模块用于获取源视频信息和压缩视频信息的人脸信息，人脸信息包括源视频人脸信息和压缩视频人脸信息，源视频人脸信息包括源视频人脸位置信息，源视频人脸质量分，源视频人脸特征值；压缩视频人脸信息包括压缩视频人脸位置信息，压缩视频人脸质量分，压缩视频人脸特征值；
[0022]比对模块，比对模块用于对比源视频人脸信息和压缩视频人脸信息，获取SSIM值、人脸质量分比对值和人脸相似度值；通过源视频人脸质量分和压缩视频人脸质量分获得人脸质量分比对值；通过源视频人脸特征值和压缩视频人脸特征值获得人脸相似度值；
[0023]统计模块，统计模块用于通过SSIM值、人脸质量分比对值和人脸相似度值，获取人脸感知压缩视频质量综合分Score。
[0024]作为优选，输入模块包括视频信息的获取模块、校验模块和视频分帧处理模块；
[0025]视频信息的获取模块，用于获取源视频的信息和压缩视频的信息，源视频的信息包括源视频文件的地址、源视频文件的存储目录；压缩视频的信息包括压缩视频文件的地址、压缩视频文件的存储目录；
[0026]校验模块，校验模块用于校验源视频和压缩视频的有效性，可传播性及匹配度；
[0027]视频分帧处理模块，视频分帧处理模块用于对源视频和压缩视频进行分帧处理，将视频转换为一帧帧的图像。
[0028]作为优选，还包括人脸告警信息获取模块，人脸告警信息获取模块用于对新输入的人脸图像信息与源视频的人脸图像信息和压缩视频的人脸图像信息对比，从而获取人脸告警信息。
[0029]作为优选，统计模块中的人脸感知压缩视频质量综合分Score，
[0030]Score＝人脸相似度x第一权重系数+SSIMx第二权重系数+人脸质量分比值x第三权重系数；
[0031]其中，第一权重系数>第二权重系数>第三权重系数。
[0032]作为优选，源视频人脸的质量分和源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸感知压缩视频质量的评价方法，包括源视频和对应的压缩视频，其方法包括：S1，源视频人脸信息的获取，通过截取源视频中其中一帧图形的人脸，获取源视频人脸信息，源视频人脸信息包括：源视频人脸的位置信息、源视频人脸的质量分和源视频人脸的特征值；S2，压缩视频人脸信息的获取，依据S1中源视频人脸的位置信息在压缩视频中获取对应的压缩视频图像帧，并获取压缩视频中的压缩视频人脸信息；压缩视频人脸信息包括压缩视频人脸的位置信息、压缩视频人脸的质量分和压缩视频人脸的特征值；S3，SSIM值、相似度和人脸质量分比对值的计算，依据S1的源视频人脸信息和S2的压缩视频人脸信息获取SSIM值、人脸相似度和人脸质量分比对值；S4，人脸感知压缩视频质量综合分SCORE的计算，依据S3计算的SSIM值、人脸相似度和人脸质量分比对值获取人脸感知压缩视频质量综合分SCORE。2.根据权利要求1所述的一种人脸感知压缩视频质量的评价方法，其特征在于，还包括人脸告警信息的获取，新输入的人脸图像信息与源视频的人脸图像信息和压缩视频的人脸图像信息对比，从而获取人脸告警信息。3.根据权利要求1所述的一种人脸感知压缩视频质量的评价方法，其特征在于，人脸感知压缩视频质量分SCORE的计算，其计算方式为：Score＝人脸相似度x第一权重系数+SSIMx第二权重系数+人脸质量分比值x第三权重系数；其中，第一权重系数>第二权重系数>第三权重系数。4.根据权利要求1所述的一种人脸感知压缩视频质量的评价方法，其特征在于，S1的源视频人脸的质量分和源视频人脸的特征值，S2的压缩视频人脸的质量分和压缩视频人脸的特征值均通过多任务神经网络模型mtcnn获取。5.一种人脸感知压缩视频质量的评价系统，其特征在于，包括输入模块、处理模块、比对模块和统计模块；输入模块，输入模块用于输入源视频信息和对应的压缩视频信息；处理模块，处理模块用于获取源视频信息和压缩视频信息的人脸信息，人脸信息包括源视频人脸信息和压缩视频人脸信息，源视频人脸信息包括源视频人脸位置信息，源视频人脸质量分，源视频人脸特征值；压缩视频人脸信息包括压缩视频人脸位置信...

【专利技术属性】
技术研发人员：王伟莉，陈勇，汪鹏，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：