一种基于深度学习的拍摄构图方法和系统技术方案

本发明专利技术公开了一种基于深度学习的拍摄构图方法和系统，包括以下步骤：对拍摄镜头中的目标对象进行实时感知；建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标；将感知到的当前的目标对象输入深度神经网络中，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和缩放信息。本发明专利技术能够自动检测拍摄对象，生成最优构图方案，节省人力成本。

A method and system for shooting composition based on depth learning

The invention discloses a camera mapping method and system based on deep learning, which comprises the following steps: real-time perception of the camera in the target object; establish the composition of the training set, the composition training set the depth of the neural network, which contains the complete picture of the target object as input, with the optimal composition scheme for learning objectives; the current object perceived input depth of the neural network, the composition scheme of the depth of the neural network based on the optimal output current, containing target 2D position information and zoom information. The invention can automatically detect the photographed object and generate the optimal composition scheme to save the manpower cost.

【技术实现步骤摘要】
一种基于深度学习的拍摄构图方法和系统
本专利技术属于拍摄领域，具体地说是一种基于深度学习的拍摄构图方法和系统。
技术介绍
在传统摄影中，如何确定当前画面的构图是一个非常重要的问题，构图的好坏直接影响拍摄的效果。构图一般由摄影师根据对象需求，结合自身经验，运用九宫格、对角线、X型、三角等构图技巧完成。该过程依赖摄影师的专业知识，对摄影师自身的技能要求较高，人力成本高。没有经过专业训练和学习的人，难以拍摄出较佳效果的画面。
技术实现思路
本专利技术要解决的技术问题是提供一种基于深度学习的拍摄构图方法和系统，能够自动检测拍摄对象，生成最优构图方案，节省人力成本，适用范围广。为了解决上述技术问题，本专利技术采取以下技术方案：一种基于深度学习的拍摄构图方法，包括以下步骤：对拍摄镜头中的目标对象进行实时感知；建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标；将感知到的当前的目标对象输入深度神经网络中，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和放缩信息。所述建立构图训练集具体为：计算当前画面的放缩倍数z，将目标对象进行放缩z倍处理；根据构图原则，设定若干条相互交叉的参考线，将所有参考线的所有交点集合定义为Vp＝{vp}；对目标对象建立完整的骨架模型，标记骨架模型上所有节点vo的集为Vo＝{vo}，节点的坐标(x,y)以拍摄的图像的左上角(0,0)为参考点，骨架模型上的相邻节点之间形成的线段eo的集合标记为Eo＝{eo}，骨架模型上的各节点设定相应的权重wo，该权重集为Wo＝{wo}；标记骨架模型上某一节点vo到相邻最近的参考线交点的距离为标记骨架模型上某一对相邻节点所形成的线段eo与水平方向的夹角为θ∥(eo)、以及与垂直方向的夹角为θ⊥(eo)，并且该线段eo的参考偏移角度被定义为Θ(eo)＝min{θ∥(eo),θ⊥)eo)}；在当前拍摄画面中，当目标对象的完整骨架模型节点距参考线交点越近，相邻节点形成的线段与水平方向或垂直方向的角度偏移越小时，构图评分越高，构图方案越优，直到得到最优构图方案。所述最优的构图方案具体为，在目标对象经过z倍放缩满足成像大小的前提下，寻找获取目标对象的平面位置信息(x,y)，使得最小，其中cost＝f(·)为关于自变量的正相关函数，当cost值最小时目标对象所在的平面位置信息(x,y)为最优位置，构图水平的评分rate＝g(cost)，其中rate＝g(·)为关于自变量的负相关函数。所述放缩倍数z，以目标对象的眉心到锁骨中心的连线为放缩参考依据。所述对目标对象放缩z倍处理时，目标对象在画面中成半身像或全身像状态。所述构图原则为三分线构图法和中心线构图法，或者对角线构图法和三角构图法，或者九宫构图方法和三角构图法。一种基于深度学习的拍摄构图系统，所述系统包括感知单元，用于实时感知拍摄画面当中的目标对象；构建单元，用于建立构图训练集，并且用该构图训练集对深度神经网络进行训练；输出单元，利用训练后的深度神经网络针对当前画面，输出最优构图方案。所述系统还包括计算单元，用于计算当前画面的放缩倍数z；寻找获取单元，用于寻找使得最小时的目标对象所在的平面位置信息(x,y)，其中cost＝f(·)为关于自变量的正相关函数。本专利技术能够自动检测拍摄对象，生成最优构图方案，节省人力成本。根据最优构图方案，可实现一般非专业人士的较佳拍摄。附图说明附图1为本专利技术流程示意图；附图2为本专利技术构图原则示意图；具体实施方式为能进一步了解本专利技术的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本专利技术作进一步详细描述。如附图1所示，本专利技术揭示了一种基于深度学习的拍摄构图方法，包括以下步骤：对拍摄镜头中的目标对象进行实时感知，感知目标对象的姿态和位置等。建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标，从而形成构图的尝试神经网络。将感知到的当前的目标对象输入训练好的深度神经网络中，对目标对象的位置和大小进行评价，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和缩放信息。再与其他控制系统匹配，将最优构图方案传送给控制系统，控制拍摄设备自动调整拍摄角度和位置，实现自动调整，即使非专业人士也能够拍摄得到效果较佳的画面。所述建立构图训练集具体为：目标对象在画面中具有一个平面位置信息(x,y)，该平面位置信息(x,y)决定了目标对象在拍摄镜头中的具体位置。计算当前画面的缩放倍数z，将目标对象进行放缩z倍处理，以目标对象的眉心到锁骨中心的连线为放缩参考依据，该连线不会因为目标对象的姿态产生明显变化，具有更好的稳定性。另外，对目标对象进行放缩处理改变其大小后，目标对象在画面中成半身像或全身像状态。根据构图原则，设定若干条相互交叉的参考线，将所有参考线的所有交点集合定义为Vp＝{vp}。本实施例中，采用三分线构图法和中心线构图法原则，给定三条水平参考线和三条垂直参考线。记六条参考线的所有交点所成集合为Vp＝{vp}。当然，构图原则并非只能是三分线构图法和中心线构图法，还可以是对角线构图法和三角构图法，或者是九宫构图方法和三角构图法，或者是其他构图法，在此并无具体限制。对目标对象建立完整的骨架模型，标记骨架模型上所有节点vo的集为Vo＝{vo}，节点的坐标(x,y)以图像的左上角(0,0)为参考点，骨架模型上的相邻节点之间形成的线段eo的集合标记为Eo＝{eo}，骨架模型上的各节点设定相应的权重wo，表示各节点对整体构图水平不同的影响程度，该权重集为Wo＝{wo}。标记骨架模型上某一节点vo到相邻最近的参考线交点的距离为标记骨架模型上某一对相邻节点所形成的线段eo与水平方向的夹角为θ∥(eo)、以及与垂直方向的夹角为θ⊥(eo)，并且该线段eo的参考偏移角度被定义为Θ(eo)＝min{θ∥(eo),θ⊥(eo)}。在当前拍摄画面中，当目标对象的完整骨架模型节点距参考线交点越近，相邻节点形成的线段与水平方向或垂直方向的角度偏移越小时，构图评分越高，构图方案越优，当角度偏移最小时，得到最优构图方案。所述最优的构图方案具体为，在目标对象经过z倍放缩满足成像大小的前提下，寻找获取目标对象的平面位置信息(x,y)，使得最小，其中cost＝f(·)为关于自变量的正相关函数，当cost值最小时目标对象所在的平面位置信息(x,y)为最优位置，构图水平的评分rate＝g(cost)，其中rate＝g(·)为关于自变量的负相关函数。通过各个节点vo和线段eo的遍历，从而找寻得到cost最小值时目标对象的平面位置信息，从而完成最优构图，确定目标对象在当前画面中的具体位置。另外，本专利技术还揭示了一种基于深度学习的拍摄构图系统，包括感知单元，用于实时感知拍摄画面当中的目标对象；构建单元，用于建立构图训练集，并且用该构图训练集对深度神经网络进行训练；输出单元，利用训练后的深度神经网络针对当前画面，输出最优构图方案，计算单元，用于计算当前画面的放缩倍数z；寻找获取单元，用于寻找使得最小时的目标对象所在的平面位置信息(x,y)，其中cost＝f(·)为关于自变量的正相关函数本文档来自技高网...

【技术保护点】
一种基于深度学习的拍摄构图方法，包括以下步骤：对拍摄镜头中的目标对象进行实时感知；建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标；将感知到的当前的目标对象输入深度神经网络中，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和放缩信息。

【技术特征摘要】
1.一种基于深度学习的拍摄构图方法，包括以下步骤：对拍摄镜头中的目标对象进行实时感知；建立构图训练集，利用该构图训练集训练深度神经网络，以包含完整目标对象的图片为输入，以最优构图方案为学习目标；将感知到的当前的目标对象输入深度神经网络中，基于该深度神经网络输出当前最优的构图方案，得到包含目标对象的二维平面位置信息和放缩信息。2.根据权利要求1所述的基于深度学习的拍摄构图方法，其特征在于，所述建立构图训练集具体为：计算当前画面的放缩倍数z，将目标对象进行放缩z倍处理；根据构图原则，设定若干条相互交叉的参考线，将所有参考线的所有交点集合定义为Vp＝{vp}；对目标对象建立完整的骨架模型，标记骨架模型上所有节点vo的集为Vo＝{vo}，节点的坐标(x,y)以拍摄的图像的左上角(0,0)为参考点，骨架模型上的相邻节点之间形成的线段eo的集合标记为Eo＝{eo}，骨架模型上的各节点设定相应的权重wo，该权重集为Wo＝{wo}；标记骨架模型上某一节点vo到相邻最近的参考线交点的距离为标记骨架模型上某一对相邻节点所形成的线段eo与水平方向的夹角为θ∥(eo)、以及与垂直方向的夹角为θ⊥(eo)，并且该线段eo的参考偏移角度被定义为Θ(eo)＝min{θ∥(eo),θ⊥(eo)}；在当前拍摄画面中，当目标对象的完整骨架模型节点距参考线交点越近，相邻节点形成的线段与水平方向或垂直方向的角度偏移越小时，构图评分越高，构图方案越优，直到得到最优构图方案。3.根据权利要求2所述的基于深度学习的拍摄构图方法，其特征在于，所述最优的构图方案具体为，在目标对象经过z倍放缩满足成像大小的前提下，寻找获取目标对象的平面位置信息(x,y)，使得

【专利技术属性】
技术研发人员：张明，于佳弘，刘博，杨星彤，
申请(专利权)人：睿魔智能科技东莞有限公司，东莞松山湖国际机器人研究院有限公司，
类型：发明
国别省市：广东,44