根据举手动作进行跟踪录播的方法、装置及存储装置制造方法及图纸

本发明专利技术公开了根据举手动作进行跟踪录播的方法、装置及存储装置，所述方法包括步骤：预先对举手动作视频进行深度学习，生成训练好的举手检测网络模型；以及将实时采集的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，当是时，进行相应的跟踪录播控制。本发明专利技术先通过深度学习建立举手检测网络模型，然后将实时采集的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，从而能够实时的根据被录像人的举手动作调整摄像机镜头进行跟踪录播，不仅降低了跟踪录播成本，而且大大提高了跟踪录播的准确率。

【技术实现步骤摘要】
根据举手动作进行跟踪录播的方法、装置及存储装置
本专利技术涉及跟踪录播
，尤其涉及一种根据举手动作进行跟踪录播的方法、装置及存储装置。
技术介绍
录播系统是把现场摄录的视频、音频、电子设备的图像信号进行整合同步录制，生成标准化的流媒体文件，用来对外直播、存储、后期编辑、点播。录播系统进行跟踪录播时，如何根据被录着的行为调整录播策略至关重要，现有的跟踪录播大多是通过增加辅助摄像头对高度进行检测，判断是否被录像人(例如学生)有站立动作，从而相应的调整摄像头，这样不仅成本较高，而且仅能根据高度判断，容易出错，不够智能，不能根据被录像人的举手动作调整摄像机镜头。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足，本专利技术的目的在于提供一种根据举手动作进行跟踪录播的方法、装置及存储装置，从而克服现有的跟踪录播方法成本较高，容易出错，不够智能，不能根据被录像人的举手动作调整摄像机镜头的问题。本专利技术的技术方案如下：本专利技术提供一种根据举手动作进行跟踪录播的方法，包括：步骤A、预先对举手动作视频进行深度学习，生成训练好的举手检测网络模型；以及步骤B、将实时采集的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，当是时，进行相应的跟踪录播控制。所述的根据举手动作进行跟踪录播的方法，其中，所述步骤A具体包括：步骤A1、制作举手动作视频模板，并构建包含训练集和测试集的举手视频数据库；步骤A2、构建用于深度学习的3D神经网络模型；步骤A3、采用3D神经网络模型对举手视频数据库中的举手动作视频模板进行训练学习，生成训练好的举手检测网络模型。所述的根据举手动作进行跟踪录播的方法，其中，所述步骤A3具体包括：步骤A31、对3D神经网络模型进行深度学习参数配置；步骤A32、对举手动作视频模板中手的2D静态特征进行学习，同时利用多帧2D静态图形成的手的运动历史图构建3D举手特征进行学习，得到初步训练的举手检测网络模型；步骤A33、使用测试集的举手动作视频模板对初步训练的举手检测网络模型进行测试，判断测试的准确率是否超过预设的准确率阈值，当是时，生成训练好的举手检测网络模型。所述的根据举手动作进行跟踪录播的方法，其中，所述步骤A3具体还包括：步骤A34、当测试的准确率没有超过预设的准确率阈值时，将训练集的测试失败值反馈给训练集进行学习，重复步骤A32。所述的根据举手动作进行跟踪录播的方法，其中，所述步骤A32具体包括：步骤A321、对举手动作视频模板中手的2D静态特征进行学习，并利用多帧2D静态图形成的手的运动历史图构建3D举手特征进行学习；步骤A322、判断学习次数是否大于预设学习次数阈值，当是时，得到初步训练的举手检测网络模型，之后进入步骤A33。所述的根据举手动作进行跟踪录播的方法，其中，所述步骤B具体包括：步骤B1、加载训练好的举手检测网络模型，并输入实时采集的待检测视频，然后对待检测视频进行预处理；步骤B2、将预处理后的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，当是时，进行相应的跟踪录播控制。本专利技术又提供一种根据举手动作进行跟踪录播的装置，包括：深度学习模块，用于预先对举手动作图片进行深度学习，生成训练好的举手检测网络模型；以及举手判断模块，用于将实时采集的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，当是时，进行相应的跟踪录播控制。所述的根据举手动作进行跟踪录播的装置，其中，所述举手判断模块具体包括：预处理单元，用于加载训练好的举手检测网络模型，并输入实时采集的待检测视频，然后对待检测视频进行预处理；举手判断单元，用于将预处理后的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，当是时，进行相应的跟踪录播控制。本专利技术还提供另一种根据举手动作进行跟踪录播的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如以上任一项所述方法的步骤。本专利技术还提供一种存储装置，其中，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如以上任一项所述方法的步骤。本专利技术的有益效果是：本专利技术提供了一种根据举手动作进行跟踪录播的方法、装置及存储装置，所述方法先通过深度学习建立举手检测网络模型，然后将实时采集的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，从而能够实时的根据被录像人的举手动作调整摄像机镜头进行跟踪录播，不仅降低了跟踪录播成本，而且大大提高了跟踪录播的准确率。附图说明图1是本专利技术根据举手动作进行跟踪录播的方法的流程图。图2为本专利技术根据举手动作进行跟踪录播的装置的原理框图。具体实施方式本专利技术提供一种根据举手动作进行跟踪录播的方法、装置及存储装置，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参见图1，图1是本专利技术实施例提供的根据举手动作进行跟踪录播的方法的流程图。图1所示的根据举手动作进行跟踪录播的方法，包括：步骤S100、预先对举手动作视频进行深度学习，生成训练好的举手检测网络模型；以及步骤S200、将实时采集的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，当是时，进行相应的跟踪录播控制。进一步的，本实施例中，所述步骤S100具体包括：步骤S110、制作举手动作视频模板，并构建包含训练集和测试集的举手视频数据库；具体实施时，构建举手视频数据库也即是对数据进行预处理，组成训练集和测试集。步骤S120、构建用于深度学习的3D神经网络模型；具体实施时，可以以caffe深度学习框架为基础，构建包括举手动作检测模型和举手动作识别模型的举手检测3D神经网络模型设计，包括手检测(手的2D静态特征)和运动历史图检测(3D举手特征)。步骤S130、采用3D神经网络模型对举手视频数据库中的举手动作视频模板进行训练学习，生成训练好的举手检测网络模型。进一步的，本实施例中，所述步骤S130具体包括：步骤S131、对3D神经网络模型进行深度学习参数配置；具体实施时，可以设置学习率为0.001，学习率更新策略(inv)动量为0.9，最大迭代次数为10w。步骤S132、对举手动作视频模板中手的2D静态特征进行学习，同时利用多帧2D静态图形成的手的运动历史图构建3D举手特征进行学习，得到初步训练的举手检测网络模型。步骤S133、使用测试集的举手动作视频模板对初步训练的举手检测网络模型进行测试，判断测试的准确率是否超过预设的准确率阈值，当是时，生成训练好的举手检测网络模型；具体实施时，使用测试集的举手动作视频模板对初步训练的举手检测网络模型进行测试，计算测试集准确率和失败(loss)值，可以设置预设的准确率阈值为0.98。在其他实施例中，也可以判断是否达到最大迭代次数，当达到时，则生成训练好的举手检测网络模型。步骤S134、当测试的准确率没有超过预设的准确率阈值时，将训练集的测试失败值反馈给训练集进行学习，重复步骤S132；具体实施时，将本文档来自技高网...

【技术保护点】
一种根据举手动作进行跟踪录播的方法，其特征在于，包括步骤：步骤A、预先对举手动作视频进行深度学习，生成训练好的举手检测网络模型；以及步骤B、将实时采集的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，当是时，进行相应的跟踪录播控制。

【技术特征摘要】
1.一种根据举手动作进行跟踪录播的方法，其特征在于，包括步骤：步骤A、预先对举手动作视频进行深度学习，生成训练好的举手检测网络模型；以及步骤B、将实时采集的待检测视频采用训练好的举手检测网络模型进行计算，判断待检测视频是否为举手动作视频，当是时，进行相应的跟踪录播控制。2.根据权利要求1所述的根据举手动作进行跟踪录播的方法，其特征在于，所述步骤A具体包括：步骤A1、制作举手动作视频模板，并构建包含训练集和测试集的举手视频数据库；步骤A2、构建用于深度学习的3D神经网络模型；步骤A3、采用3D神经网络模型对举手视频数据库中的举手动作视频模板进行训练学习，生成训练好的举手检测网络模型。3.根据权利要求2所述的根据举手动作进行跟踪录播的方法，其特征在于，所述步骤A3具体包括：步骤A31、对3D神经网络模型进行深度学习参数配置；步骤A32、对举手动作视频模板中手的2D静态特征进行学习，同时利用多帧2D静态图形成的手的运动历史图构建3D举手特征进行学习，得到初步训练的举手检测网络模型；步骤A33、使用测试集的举手动作视频模板对初步训练的举手检测网络模型进行测试，判断测试的准确率是否超过预设的准确率阈值，当是时，生成训练好的举手检测网络模型。4.根据权利要求3所述的根据举手动作进行跟踪录播的方法，其特征在于，所述步骤A3具体还包括：步骤A34、当测试的准确率没有超过预设的准确率阈值时，将训练集的测试失败值反馈给训练集进行学习，重复步骤A32。5.根据权利要求3所述的根据举手动作进行跟踪录播的方法，其特征在于，所述步骤A32具体包括：步骤A321、对举手动作视频模板中手的2D静态特征进行学习，并利用多帧2D静态图形成的...

【专利技术属性】
技术研发人员：陈洪军，
申请(专利权)人：深圳市明日实业股份有限公司，
类型：发明
国别省市：广东,44