一种基于加权距离矩阵的视频帧截取系统及方法技术方案

本发明专利技术公开了一种基于加权距离矩阵的视频帧截取系统及方法，所述方法通过Dlib模型检测出用户上传的视频的每一帧图片的68个人脸关键点，构造每个视频帧图像的人脸关键点加权距离矩阵，计算每个视频帧图像的人脸关键点加权距离矩阵与模板图片的人脸关键点距离矩阵的RMSE误差，截取出具有最小RMSE误差的用户视频帧作为目标视频帧图像，从而达到截取的视频帧图像效果更佳并且人脸信息准确的技术效果。帧图像效果更佳并且人脸信息准确的技术效果。帧图像效果更佳并且人脸信息准确的技术效果。

【技术实现步骤摘要】
一种基于加权距离矩阵的视频帧截取系统及方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种基于加权距离矩阵的视频帧截取系统及方法。

技术介绍

[0002]目前，许多产品需要采集用户的人脸信息，有些产品需要用户上传包含不同角度人脸的视频。如何从用户上传的视频中截取包含用户人脸关键信息的视频帧是一个研究重点；
[0003]传统的视频帧截取方法是通过构造视频帧的特征向量，截取与模板图片的特征向量相似度最高的视频帧；现有的特征向量构造方法大多只考虑关键点坐标信息(容易受到人脸位置的影响)或者单一的以某点作为参考点进行关键点距离计算(忽略了人脸的角度信息)，并且没有考虑不同关键点之间的权重信息，导致截取的视频帧图像效果差，人脸信息不够准确。

技术实现思路

[0004]本专利技术的目的在于提供一种基于加权距离矩阵的视频帧截取方法，解决了现有技术中指出的上述技术问题。
[0005]本专利技术提供了一种基于加权距离矩阵的视频帧截取系统，包括中央处理器；
[0006]其中，所述中央处理器，用于通过Dlib模型检测出初始视频的每一个视频帧图像的人脸关键点，并构建每个视频帧图像的人脸关键点加权距离矩阵；分别计算每个视频帧图像的人脸关键点加权距离矩阵与模板人脸图像的人脸关键点距离矩阵的RMSE误差，截取出所述RMSE误差最小的用户视频帧为目标视频帧图像；
[0007]较佳的，所述中央处理器，包括关键点提取模块、关键点计算处理模块、目标视频帧截取模块；
[0008]其中，所述关键点提取模块，用于获取初始视频；根据所述初始视频，获取多个视频帧图像；基于所述视频帧图像，利用Dlib模型获取每个视频帧图像中的图像HOG特征向量；并基于所述图像HOG特征向量通过Dlib模型检测出每个视频帧图像中的人脸关键点坐标点；基于所述人脸关键点坐标点构建每一个视频帧图像的关键点坐标集合P；
[0009]所述关键点计算处理模块，用于分别计算每个所述视频帧图像中任意两个人脸关键点坐标点之间的距离d
i,j
，根据所述距离d
i,j
构建人脸关键点距离矩阵D；根据所述人脸关键点距离矩阵D，构建人脸关键点距离权重矩阵
△
D
i
；并基于所述人脸关键点距离矩阵D与所述人脸关键点距离权重矩阵
△
D
i
，计算获取人脸关键点加权距离矩阵M；
[0010]所述任意两个人脸关键点坐标点之间的距离计算方式为：
[0011][0012]式中，d
i,j
代表人脸关键点i到人脸关键点j之间的距离；
[0013]x
i
为人脸关键点i的横坐标；
[0014]y
i
为人脸关键点i的纵坐标；
[0015]xj为人脸关键点j的横坐标；
[0016]yj为人脸关键点j的纵坐标；
[0017]所述人脸关键点距离矩阵D为：
[0018][0019]所述目标视频帧截取模块，用于获取模板人脸图像，并获取所述模板人脸图像对应的模板人脸关键点距离矩阵；分别计算每个视频帧图像的所述人脸关键点加权距离矩阵与所述模板人脸关键点距离矩阵的RMSE误差，确定所述RMSE误差最小值对应的视频帧图像为目标视频帧图像；
[0020]所述人脸关键点加权距离矩阵M与所述模板人脸关键点距离矩阵的RMSE误差的计算方式为：
[0021][0022]式中，A
i，j
为人脸关键点加权距离矩阵；
[0023]B
i，j
为模板人脸关键点距离矩阵。
[0024]较佳的，所述关键点提取模块还包括图像HOG特征向量提取子模块；
[0025]所述图像HOG特征向量提取子模块，具体用于分别对每个视频帧图像进行预处理，分别对应获取预处理图像；分别计算每个所述预处理图像中所有像素点的梯度值；分别将每个所述预处理图像进行分割为多个cell图像；并计算每个所述cell图像的梯度直方图；并分别对所述cell图像的梯度直方图进行block归一化，分别对应获取block特征向量；分别将所述每个预处理图像对应的多个block特征向量进行合并，获取图像HOG特征向量。
[0026]较佳的，所述关键点计算处理模块，具体用于计算获取每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值
△
D
i
；
[0027]所述每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值
△
D
i
的计算方式为：
[0028]ΔD
i
＝abs(D
i+1
‑
D
i
)，i∈{1,2，3，...i
‑
1}；
[0029][0030]式中，i为视频帧图像的数量；
[0031]abs()为求取绝对值函数；
[0032]计算获取所有每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值之和
△
D
sum
；
[0033]所述所有每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值之和
△
D
sum
的计算方式为：
[0034]ΔD
sum
＝sum{Δ1，Δ2，...Δ
i
‑1}；
[0035]式中，i为视频帧图像的数量；
[0036]sum{}为求和函数；
[0037]获取所述所有每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值之和
△
D
sum
的差的绝对值最大值max(
△
D
sum
)；并将所述任意两个人脸关键点坐标点之间的距离d
i,j
归一化，计算获取每个视频帧图像的人脸关键点距离权重矩阵W；
[0038]所述每个视频帧图像的人脸关键点距离权重矩阵W的计算方式为：
[0039][0040]基于所述人脸关键点距离矩阵与所述人脸关键点距离权重矩阵W计算构建人脸关键点加权距离矩阵M；
[0041]所述人脸关键点加权距离矩阵M的计算方式为：
[0042][0043]相应地，本专利技术还提出了一种基于加权距离矩阵的视频帧截取方法，包括如下操作步骤：
[0044]通过Dlib模型检测出初始视频的每一个视频帧图像的人脸关键点，并构建每个视频帧图像的人脸关键点加权距离矩阵；分别计算每个视频帧图像的人脸关键点加权距离矩阵与模板人脸图像的人脸关键点距离矩阵的RMSE误差，截取出所述RMSE误差最小的用户视频帧为目标视频帧图像；
[0045]较佳的，所述通过Dlib模型检测出初始视频的每一个视频帧图像的人脸关键点，并构建每个视频帧图像的人脸关键点加权距离矩阵；分别计算每个视频帧图像的人脸关键点加权距离矩阵与模板人脸图像的人脸关键点距离矩阵的R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于加权距离矩阵的视频帧截取系统，其特征在于，包括中央处理器；其中，所述中央处理器，用于通过Dlib模型检测出初始视频的每一个视频帧图像的人脸关键点，并构建每个视频帧图像的人脸关键点加权距离矩阵；分别计算每个视频帧图像的人脸关键点加权距离矩阵与模板人脸图像的人脸关键点距离矩阵的RMSE误差，截取出所述RMSE误差最小的用户视频帧为目标视频帧图像。2.根据权利要求1所述的一种基于加权距离矩阵的视频帧截取系统，其特征在于，所述中央处理器，包括关键点提取模块、关键点计算处理模块、目标视频帧截取模块；其中，所述关键点提取模块，用于获取初始视频；根据所述初始视频，获取多个视频帧图像；基于所述视频帧图像，利用Dlib模型获取每个视频帧图像中的图像HOG特征向量；并基于所述图像HOG特征向量通过Dlib模型检测出每个视频帧图像中的人脸关键点坐标点；基于所述人脸关键点坐标点构建每一个视频帧图像的关键点坐标集合P；所述关键点计算处理模块，用于分别计算每个所述视频帧图像中任意两个人脸关键点坐标点之间的距离d
i,j
，根据所述距离d
i,j
构建人脸关键点距离矩阵D；根据所述人脸关键点距离矩阵D，构建人脸关键点距离权重矩阵
△
D
i
；并基于所述人脸关键点距离矩阵D与所述人脸关键点距离权重矩阵
△
D
i
，计算获取人脸关键点加权距离矩阵M；所述任意两个人脸关键点坐标点之间的距离计算方式为：式中，d
i,j
代表人脸关键点i到人脸关键点j之间的距离；x
i
为人脸关键点i的横坐标；y
i
为人脸关键点i的纵坐标；xj为人脸关键点j的横坐标；yj为人脸关键点j的纵坐标；所述人脸关键点距离矩阵D为：所述目标视频帧截取模块，用于获取模板人脸图像，并获取所述模板人脸图像对应的模板人脸关键点距离矩阵；分别计算每个视频帧图像的所述人脸关键点加权距离矩阵与所述模板人脸关键点距离矩阵的RMSE误差，确定所述RMSE误差最小值对应的视频帧图像为目标视频帧图像；所述人脸关键点加权距离矩阵M与所述模板人脸关键点距离矩阵的RMSE误差的计算方式为：
式中，A
i，j
为人脸关键点加权距离矩阵；B
i，j
为模板人脸关键点距离矩阵。3.根据权利要求2所述的一种基于加权距离矩阵的视频帧截取系统，其特征在于，所述关键点提取模块还包括图像HOG特征向量提取子模块；所述图像HOG特征向量提取子模块，具体用于分别对每个视频帧图像进行预处理，分别对应获取预处理图像；分别计算每个所述预处理图像中所有像素点的梯度值；分别将每个所述预处理图像进行分割为多个cell图像；并计算每个所述cell图像的梯度直方图；并分别对所述cell图像的梯度直方图进行block归一化，分别对应获取block特征向量；分别将所述每个预处理图像对应的多个block特征向量进行合并，获取图像HOG特征向量。4.根据权利要求2所述的一种基于加权距离矩阵的视频帧截取系统，其特征在于，所述关键点计算处理模块，具体用于计算获取每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值
△
D
i
；所述每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值
△
D
i
的计算方式为：ΔD
i
＝abs(D
i+1
‑
D
i
)，i∈{1,2，3，...i
‑
1}；式中，i为视频帧图像的数量；abs()为求取绝对值函数；计算获取所有每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值之和
△
D
sum
；所述所有每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值之和
△
D
sum
的计算方式为：ΔD
sum
＝sum{Δ1，Δ2，...Δ
i
‑1}；式中，i为视频帧图像的数量；sum{}为求和函数；获取所述所有每连续两个视频帧图像的人脸关键点距离矩阵的差的绝对值之和
△
D
sum
的差的绝对值最大值max(
△
D
sum
)；并将所述任意两个人脸关键点坐标点之间的距离d
i,j
归一化，计算获取每个视频帧图像的人脸关键点距离权重矩阵W；所述每个视频帧图像的人脸关键点距离权重矩阵W的计算...

【专利技术属性】
技术研发人员：于中阳，杨文辉，
申请(专利权)人：上海芯赛云计算科技有限公司，
类型：发明
国别省市：