一种基于深度学习的视频交互方法技术

本发明专利技术涉及图像增强与视频交互技术领域，具体公开了一种基于深度学习的视频交互方法，包括采集多组历史拍摄图像

【技术实现步骤摘要】
一种基于深度学习的视频交互方法


[0001]本专利技术涉及图像增强与视频交互
，更具体地说，本专利技术涉及一种基于深度学习的视频交互方法
。

技术介绍

[0002]在医学科普自媒体宣传平台上进行视频宣传时，结合人工智能算法确定拍摄相机的最佳角度和构图能够获取适合的光照和取景，为视频的宣传提供视觉辅助和创意文案推荐，提升了医学视频的宣传效果，帮助创造出更高质量的医学科普类视频，实现视频虚拟人物和现实拍摄人物的交互，增加视频拍摄过程的趣味性，在拍摄时，需要在户外的场景下进行头部转向近距离拍摄，在头部转向近距离拍摄时，无法自动实现头部转向和拍摄角度适应性调整的智能视频交互，而拍摄的光线及场景也没有结合深度学习技术进行图像增强，无法通过获取的多幅不同角度的拍摄对象头部图像进行细节增强，以提升拍摄质量，同时实现摄像拍摄角度的高精度自适应调整
。

技术实现思路

[0003]为了克服现有技术的上述缺陷，本专利技术提供一种基于深度学习的视频交互方法，在头部转向近距离拍摄时，自动实现头部转向和拍摄角度适应性调整的智能视频交互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的视频交互方法，包括如下步骤：步骤一，采集多组历史拍摄图像，获取多幅不同角度拍摄的近景拍摄对象的脸部数据和光照数据；步骤二，计算采集图像的头部旋转角度和倾斜角度；步骤三，基于深度学习模型，预测人脸动作姿态；步骤四，基于光照变化数据对采集图像进行自适应性图像增强处理，并结合深度学习模型学习图像增强处理参数的调整；步骤五，基于预测的人脸动作姿态自适应调整相机拍摄角度；其特征在于，在步骤二中，头部旋转角度为以双眼中点的水平偏移量
、
嘴巴中心点与鼻尖中心点的水平偏移量平方和的算术平方根除以额头顶部与下巴中心点的垂直偏移量，为对应余切值的角度值的线性调整值，再加上耳朵位置修正量，头部旋转角度公式为：
;
式中：为头部旋转角度，
、
分别为双眼中点的初始位置水平坐标与计算位置水平坐标，为双眼中点的水平偏移量，
、
分别为嘴巴中心点与鼻尖中心点的计算位置水平坐标与初始位置水平坐标，为嘴巴中心点与鼻尖中心点的水平偏移量，
、
分别为额头顶部与下巴中心点的计算位置垂直坐标与初始位置垂直坐标，为额头顶部与下巴中心点的垂直偏移量，为数值在
[0,1]
之间的线性调整系数，根据历史数据经过数值分析获得，为耳朵位置修正量
。2.
根据权利要求1所述的一种基于深度学习的视频交互方法，其特征在于，在头部旋转角度的公式中，耳朵位置修正量的获得包括如下流程：步骤
A1
，耳朵位置初始预测：使用特征点检测模型来检测耳朵的位置，耳朵的位置包括耳朵的上部和下部特征点的坐标，耳部轮廓等长度划分为
20
段；步骤
A2
，基于步骤一中采集的历史拍摄图像数据，计算每个历史帧中的耳朵位置，对于每个帧，使用特征点检测模型检测耳朵位置，并记录耳朵的每个特征点坐标；步骤
A3
，获取耳朵的平均差异和标准差：对于每个历史帧，计算预测的耳朵特征点与实际检测到的耳朵位置之间的差异值，对这些差异进行统计分析，获得平均差异和标准差；步骤
A4
，获取耳朵位置修正量：以根据历史数据中的耳朵位置偏差来修正头部旋转角度预测中的耳朵位置因素，耳朵位置修正量为预测的耳朵特征点与实际检测到的耳朵位置之间的平均差异值加上标准差的线性调整值，耳朵位置修正量的公式为：
;
式中：为经验调整系数，根据历史数据的数值分析获得，
、
分别为预测的耳朵特征点与实际检测到的耳朵位置之间的平均差异值和标准差
。3.
根据权利要求1所述的一种基于深度学习的视频交互方法，其特征在于，在步骤一中，获取近景拍摄对象的脸部数据包括人脸外轮廓
、
人脸特征点坐标及面部特征描述符，面部特征描述符通过深度学习模型生成的面部特征向量，用于表示人脸的特征和光照数据，
人脸特征点坐标标识两只眼睛
、
鼻子
、
嘴巴
、
额头顶部
、
下巴和耳朵这些关键点的初始位置坐标及计算位置坐标，光照数据包括环境光照强度
、
光照方向
、
光照颜色及阴影面积
。4.
根据权利要求1所述的一种基于深度学习的视频交互方法，其特征在于，在步骤二中，计算采集图像的头部旋转角度和倾斜角度的过程包括：步骤
B1
，使用特征点检测模型提取脸部数据中的人脸特征点坐标：包括双眼中点
、
鼻子
、
嘴巴
、
额头顶部
、
下巴
、
脸部中心和耳朵这些关键点的坐标；步骤
B2
，中心点计算：计算双眼中点
、
嘴巴中心点
、
鼻尖中心点
、
额头顶部中心点与下巴中心点的初始位置坐标和计算位置坐标；步骤
B3
，计算中心点偏移量，获取头部旋转角度：计算左眼和右眼的中心点之间的水平偏移量
、
嘴巴的中心点与鼻子中心点之间的水平偏移量
、
额头顶部与下巴的中心点之间的垂直偏移量，获取头部旋转角度；步骤
B4
，头部倾斜角度计算：计算额头顶部与下巴中心点的初始位置垂直坐标与计算位置水平坐标
、
垂直坐标的差异值，利用差异表示头部的垂直偏移，正值表示额头偏上，负值表示额头偏下，利用脸部轮廓数据获取脸部轮廓中心点及其初始位置垂直坐标与计算位置水平坐标
、
垂直坐标的差异值，利用逻辑斯蒂线性回归计算头部的倾斜角度，头部的倾斜角度与脸部轮廓数据获取脸部轮廓中心点初始位置垂直坐标与计算位置水平坐标差异值
、

【专利技术属性】
技术研发人员：陈鹏飞，王宇廷，
申请(专利权)人：珠海九松科技有限公司，
类型：发明
国别省市：