一种以人为主体的视频景别分析方法和装置制造方法及图纸

本发明专利技术公开了一种以人为主体的视频景别分析方法和装置，包括：采集图像，并对图像进行景别标注，利用深度学习方法提取图像的人体特征向量，图像的人体特征向量与标注的景别组成一个训练样本，构成训练样本集；利用所述训练集训练随机森林模型，随机森林模型参数确定后，获得景别分析模型；读取待分析视频的每一帧图像，利用深度学习方法提取帧图像的人体特征向量，并利用所述景别分析模型基于输入的所述人体特征向量计算输出每一帧图像的景别分类结果。该方法和装置能够准确地识别出视频的景别，满足视频自动化分析与编辑对于快速准确景别计算的要求。

A video scene analysis method and device based on human

【技术实现步骤摘要】
一种以人为主体的视频景别分析方法和装置
本专利技术涉及图像处理领域，具体涉及一种以人为主体的视频景别分析方法和装置。
技术介绍
随着多媒体技术的不断增强以及互联网的不断普及，人们对捕获信息方式的多样性及便捷性提出了更高的要求，与视频载体有关应用和产品随之增多，视频自动化相关的技术也应运而生。而视频自动分析、自动剪辑、自动生成等技术都需要对其属性和特征进行准确的计算和分析。在影像创作的过程中，各式各样的镜头中各式各样的视觉元素会影响视频带给观众的直观感受，观众会从中接收到不同的信息和含义，因此剪辑师、导演等需要决定哪些是重点要呈现给观众的部分，以及该如何表达这些信息、动作、事件和细节。在一段视频中，人们看到的人物，动作和事件并不是从相同的角度、透视关系或距离呈现的。而这些角度、视角或距离的变化往往包含了大量的语义特征和信息传达。其中，景别的变化是最重要的变化特征之一。景别代表镜头与主体(画面里的被摄对象)的距离，表现为主体在画面中所占据的比例，通常分为特写(与主体距离比较“亲密”的镜头，表现某些人物局或动作的局部放大影像)、近景(包含较明本文档来自技高网...

【技术保护点】
1.一种以人为主体的视频景别分析方法，其特征在于，所述方法包括：/n采集图像，并对图像进行景别标注，利用深度学习方法提取图像的人体特征向量，图像的人体特征向量与标注的景别组成一个训练样本，构成训练样本集；/n利用所述训练集训练随机森林模型，随机森林模型参数确定后，获得景别分析模型；/n读取待分析视频的每一帧图像，利用深度学习方法提取帧图像的人体特征向量，并利用所述景别分析模型基于输入的所述人体特征向量计算输出每一帧图像的景别分类结果。/n

【技术特征摘要】
1.一种以人为主体的视频景别分析方法，其特征在于，所述方法包括：
采集图像，并对图像进行景别标注，利用深度学习方法提取图像的人体特征向量，图像的人体特征向量与标注的景别组成一个训练样本，构成训练样本集；
利用所述训练集训练随机森林模型，随机森林模型参数确定后，获得景别分析模型；
读取待分析视频的每一帧图像，利用深度学习方法提取帧图像的人体特征向量，并利用所述景别分析模型基于输入的所述人体特征向量计算输出每一帧图像的景别分类结果。


2.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，对图像进行景别标注包括：
定义景别类型，由镜头语言、剪辑语法定义，根据图像中人体在画面中的占比，将景别分为特写、近景、中景、全景、远景五类，并增加第六个类别为环境，即没有人物、全部为空间环境的画面；根据所述的景别类型，标注每张图像的景别。


3.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，利用深度学习方法提取图像的人体特征向量包括：
通过Mask-RCNN模型检测图像中是否有人，并在图像中框选出人体轮廓；
通过openpose模型识别并标定人体关节点的位置，关节点分别是双眼、双耳、鼻子、颈部、肩部、手肘、手腕、臀部、膝盖、脚踝；
针对框选的人体轮廓和标定的人体关节点，分别为计算人体轮廓在画面中的占比、人体轮廓中心坐标、人体轮廓边缘与画面边缘在四个方向上的距离、人体关节点的坐标，以这些计算结果组成人体特征向量。


4.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，所述利用所述训练集训练随机森林模型包括：
将训练样本输入至随机森林工具函数中进行训练，调整参数，参数确定时，即获得景别分析模型，其中调整的参数包括组成随机森林的决策树的个数、决策树的节点分裂属性和节点决策函数。


5.如权利要求1所述的以人为主体的视频景别分析方法，其特征在于，所述视频景别分析方法还包括：对景别分析模型的景别分类结果...

【专利技术属性】
技术研发人员：陈实，王禹溪，吴文齐，杨昌源，马春阳，陈羽飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33