基于婴儿动作视频自动剪辑方法、装置、设备及存储介质制造方法及图纸

本发明专利技术属于视频剪辑技术领域，解决了采用常规视频剪辑技术剪辑的婴儿视频，存在流畅性、图像质量差所导致剪辑后的视频质量低的技术问题，提供了基于婴儿动作视频自动剪辑方法、装置、设备及存储介质。该方法包括:获取婴儿视频中各动作的关键帧，通过动作位置筛选出各动作的目标关键帧，根据各目标关键帧进行剪辑，得到各动作类别的剪辑视频。本发明专利技术还包括用于执行上述方法的装置、设备及存储介质。本发明专利技术利用目标关键帧自动剪辑视频，按动作类别生成剪辑视频，可以提高剪辑效率和剪辑质量，同时为婴儿看护提供参考。同时为婴儿看护提供参考。同时为婴儿看护提供参考。

【技术实现步骤摘要】
基于婴儿动作视频自动剪辑方法、装置、设备及存储介质
[0001]本申请是2021年4月27日提交、专利技术名称为“婴儿视频自动剪辑的方法、装置、设备及存储介质”申请号为202110461615.4的专利技术专利申请的分案申请。


[0002]本专利技术涉及视频剪辑
，尤其涉及基于婴儿动作视频自动剪辑方法、装置、设备及存储介质。

技术介绍

[0003]随着计算机和网络技术的发展，电子设备的功能越来越多样化。通过视频剪辑手段将感兴趣的视频段拼接成新的视频越来越受用户喜爱。
[0004]现有技术中，用户通过拍摄一段视频，通过手动方式进行截取感兴趣的视频段，然后将各段视频进行拼接，得到感兴趣的视频。在视频中有婴儿的婴儿视频剪辑过程中，由于婴儿完成一个动作常常需要经过多次尝试，且会随着尝试次数增加，而不断提高动作的完成度；若采用常规的视频剪辑方式，剪辑的各帧图像常常存在流畅性差、图像质量差等问题，造成剪辑后的视频质量低，影响用户体验。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供了一种基于婴儿动作视频自动剪辑方法、装置及设备，用以解决采用常规视频剪辑技术剪辑的婴儿视频，存在流畅性、图像质量差所导致剪辑后的视频质量低的技术问题。
[0006]本专利技术采用的技术方案是：
[0007]本专利技术提供了一种基于婴儿动作视频自动剪辑方法，所述方法包括：
[0008]获取待剪辑的婴儿视频中的各图像帧，通过图像帧的合熵筛选出符合要求的各图像帧组成关键帧集合；
[0009]将所述关键帧集合送入婴儿动作检测模型中，输出各所述关键帧中婴儿的动作类型标记和动作位置标记；
[0010]根据各所述动作类型标记和各所述动作位置标记，确定各关键帧中各动作的居中度，将符合居中度要求的所述关键帧作为目标关键帧；
[0011]根据各所述目标关键帧对所述婴儿视频进行裁剪，输出与各动作类别对应的目标视频。
[0012]优选地，所述获取待剪辑的婴儿视频中的各图像帧，通过图像帧的合熵筛选出符合要求的各图像帧组成关键帧集合包括：
[0013]对各图像帧的合熵大小进行排序，得到合熵序列；
[0014]根据所述合熵序列，将在所述合熵序列中的奇数位置或偶数位置的前Q个合熵对应的图像帧作为基准图像组；
[0015]将所述基准图像组中符合要求的图像帧作为关键帧，得到所述关键帧集合。
[0016]优选地，所述获取待剪辑的婴儿视频中的各图像帧，通过图像帧的合熵筛选出符合要求的各图像帧组成关键帧集合包括：
[0017]对各图像帧的合熵按图像帧的时间顺序进行排序，得到合熵序列；
[0018]将所述合熵序列分为等时长的Q段子序列；
[0019]从各所述子序列分别筛选出一符合要求的合熵对应的图像帧，将Q张符合合熵要求的图像帧作为基准图像组；
[0020]将所述基准图像组中符合要求的图像帧作为关键帧，得到所述关键帧集合。
[0021]优选地，所述将所述基准图像组中符合要求的图像帧作为关键帧，得到所述关键帧集合包括：
[0022]对比所述基准图像组中各所述图像帧的合熵，输出最大合熵值对应的所述图像帧作为参考图像；
[0023]计算其余(Q
‑
1)张各所述图像帧与所述参考图像的EMD值，得到与其余(Q
‑
1)张各所述图像帧一一对应的各EMD值；
[0024]对各所述EMD值进行排序，输出EMD序列；
[0025]根据所述EMD序列以间隔(Q
‑
1)/m进行一次EMD取值，将得到的m个EMD值对应的图像帧组成所述关键帧集合；
[0026]其中，m为大于等于1的正整数，且(Q
‑
1)能被m整除，EMD(Earth Mover'sDistance)值为图像帧与参考图像的向量相似度度量。
[0027]优选地，所述根据各所述动作类型标记和各所述动作位置标记，确定各关键帧中各动作的居中度，将符合居中度要求的所述关键帧作为目标关键帧包括：
[0028]根据各关键帧的所述动作位置标记和所述动作类型标记，按所述动作类型标记给各关键帧分配动作位置坐标；
[0029]根据各所述关键帧的所述动作位置坐标，由公式P
i
＝min(dis(R，k，center(j)))计算各视频段中各关键帧的居中度；
[0030]将各视频段中各动作类型的所有关键帧的居中度与居中度阈值对比，将各视频段中各动作类型符合要求的居中度对应的关键帧作为所述目标关键帧；
[0031]其中，a、b、c为常数，E表示图像帧的合熵，E(f(i
H
))表示图像帧的通道H的图像熵，E(f(i
S
))表示图像帧的通道S的图像熵，E(f(i
V
))表示图像帧的通道V的图像熵，H为色调、S为饱和度、V为明度,R表示动作位置坐标，P
i
中的i表示视频流中第i段视频，k表示第i段视频中包括k个关键帧，Center(j)表示k张关键帧中的第j张关键帧的图像中心点，Pi表示第i段视频的居中度最小值的关键帧，dis表示动作位置坐标到中心点的距离。
[0032]优选地，所述根据各关键帧的所述动作位置标记和所述动作类型标记，按所述动作类型标记给各关键帧分配动作位置坐标包括：
[0033]获取各关键帧中对应的人体所有骨骼关键点；
[0034]将各关键帧中对应的所有骨骼关键点围成一封闭的几何图形；
[0035]以各所述几个图像的中点和顶点的连线方式对几何图像进行迭代，得到各所述几何图形的中心坐标；
[0036]将各所述几何图形的中心坐标作为对应的各关键帧的所述动作位置坐标。
[0037]优选地，所述根据各所述目标关键帧对所述婴儿视频进行裁剪，输出与各动作类
别对应的目标视频包括：
[0038]获取各动作类别对应的目标视频的预先设置时长和各动作类别对应的目标关键帧的关键帧信息；
[0039]根据所述预先设置时长和所述关键帧信息，以小于等于二分之一所述预先设置时长对应的图像帧数量进行视频剪辑，得到各动作类别对应的各视频段；
[0040]按时间先后顺序分别对各动作类别对应的视频段进行拼接，得到各动作类别对应的所述目标视频；
[0041]其中，关键帧信息包括目标关键帧的位置信息和目标关键帧数量。
[0042]本专利技术还提供了一种基于婴儿动作视频自动剪辑装置，包括：
[0043]关键帧提取模块：用于获取待剪辑的婴儿视频中的各图像帧，通过图像帧的合熵筛选出符合要求的各图像帧组成关键帧集合；
[0044]关键帧检测模块：用于将所述关键帧集合送入婴儿动作检测模型中，输出各所述关键帧中婴儿的动作类型标记和动作位置标记；
[0045]目标关键帧筛选块：用于根据各所述动作类型标记和各所述动作位置标记，确定各关键帧中各动作的居中度，将符合居本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于婴儿动作视频自动剪辑方法，其特征在于，所述方法包括：获取待剪辑的婴儿视频中的各图像帧，通过图像帧的合熵筛选出符合要求的各图像帧组成关键帧集合；将所述关键帧集合送入婴儿动作检测模型中，输出各所述关键帧中婴儿的动作类型标记和动作位置标记；根据各所述动作类型标记和各所述动作位置标记，确定各关键帧中各动作的居中度，将符合居中度要求的所述关键帧作为目标关键帧；根据各所述目标关键帧对所述婴儿视频进行裁剪，输出与各动作类别对应的目标视频。2.根据权利要求1所述基于婴儿动作视频自动剪辑方法，其特征在于，所述获取待剪辑的婴儿视频中的各图像帧，通过图像帧的合熵筛选出符合要求的各图像帧组成关键帧集合包括：对各图像帧的合熵大小进行排序，得到合熵序列；根据所述合熵序列，将在所述合熵序列中的奇数位置或偶数位置的前Q个合熵对应的图像帧作为基准图像组；将所述基准图像组中符合要求的图像帧作为关键帧，得到所述关键帧集合。3.根据权利要求1所述基于婴儿动作视频自动剪辑方法，其特征在于，所述获取待剪辑的婴儿视频中的各图像帧，通过图像帧的合熵筛选出符合要求的各图像帧组成关键帧集合包括：对各图像帧的合熵按图像帧的时间顺序进行排序，得到合熵序列；将所述合熵序列分为等时长的Q段子序列；从各所述子序列分别筛选出一符合要求的合熵对应的图像帧，将Q张符合合熵要求的图像帧作为基准图像组；将所述基准图像组中符合要求的图像帧作为关键帧，得到所述关键帧集合。4.根据权利要求2或3所述基于婴儿动作视频自动剪辑方法，其特征在于，所述将所述基准图像组中符合要求的图像帧作为关键帧，得到所述关键帧集合包括：对比所述基准图像组中各所述图像帧的合熵，输出最大合熵值对应的所述图像帧作为参考图像；计算其余(Q
‑
1)张各所述图像帧与所述参考图像的EMD值，得到与其余(Q
‑
1)张各所述图像帧一一对应的各EMD值；对各所述EMD值进行排序，输出EMD序列；根据所述EMD序列以间隔(Q
‑
1)/m进行一次EMD取值，将得到的m个EMD值对应的图像帧组成所述关键帧集合；其中，m为大于等于1的正整数，且(Q
‑
1)能被m整除，EMD(Earth Mover
′
s Distance)值为图像帧与参考图像的向量相似度度量。5.根据权利要1所述基于婴儿动作视频自动剪辑方法，其特征在于，所述根据各所述动作类型标记和各所述动作位置标记，确定各关键帧中各动作的居中度，将符合居中度要求的所述关键帧作为目标关键帧包括：根据各关键帧的所述动作位置标记和所述动作类型标记，按所述动作类型标记给各关
键帧分配动作位置坐标；根据各所述关键帧的所述动作位置坐标，由公式P
i
＝min(dis(R，k，center(j)))计算各视频段中各关键帧的居中度；将各视频段中各动作类型的所...

【专利技术属性】
技术研发人员：陈辉，熊章，杜沛力，张智，雷奇文，艾伟，胡国湖，
申请(专利权)人：武汉星巡智能科技有限公司，
类型：发明
国别省市：