一种智能投影方法、系统及智能终端技术方案

本发明专利技术实施例公开了一种智能投影方法及其系统，应用于智能终端，当观察者头部特征点移动或转动时虚拟投影物体随之偏转，所述方法包括：获取观察者头部关键定位点，所述头部关键定位点从摄像头拍摄的观察者图像中获取；根据所述头部关键定位点，确定所述观察者在摄像头平面及投影平面的位置；根据所述观察者在摄像头平面的位置，确定观察者头部与摄像头的夹角a1；根据所述观察者头部与摄像头的夹角a1，以及观察者在投影平面的位置，确定观察者头部与投影物体的夹角a2，从而确定投影物体相对于观察者的观察视角。通过简单方便的计算，无需投入高性能的计算机设备，便使观察者在不同位置均可观看随投影视角转动的虚拟投影物体，提升了用户体验。

An intelligent projection method, system and intelligent terminal

The embodiment of the invention discloses an intelligent projection method and its application in intelligent terminal system, when the observer moves or rotates the head feature point virtual objects projection with deflection, the method comprises: obtaining observer head point, obtaining the key points from the camera head positioning the observer in the image; according to the head point, determined that the observer in the camera plane and the position of the projection plane; according to the observer in the plane of the camera position, to determine the observation angle between the head and the A1 camera; according to the observation of the angle between the head and the A1 camera, and the observer in the projection plane. To determine the observation angle between the head and the A2 projection of the object, so as to determine the projection object relative to the observer's perspective. Through simple and convenient calculation, no need to input high-performance computer equipment, the observer can see the virtual projection objects rotating with the projection angle at different locations, and enhance user experience.

【技术实现步骤摘要】
一种智能投影方法、系统及智能终端
本专利技术实施例涉及智能投影领域，特别是涉及一种智能投影方法、系统及智能终端。
技术介绍
三维立体(3DStereo)显示技术为目前火热技术之一，通过左右眼信号分离，在显示平台上实现立体图像显示。立体显示是VR虚拟现实的一个实现沉浸交互的方式之一，3D立体显示可以把投影物体的纵深、层次、位置等全部展现，观察者更直观的了解投影物体的现实分布情况，从而更全面了解投影物体或显示内容。然而，观察者并不是静止不动的，当观察者移动位置时就必须要求虚拟投影物体也随之偏转从而便于观察者在其他角度的位置也能清楚观看到立体图像内容，观看更加舒适。中国专利CN104155840A公开了一种基于高速投影机的360°全视差三维显示装置，根据待显示的3D场景信息和各观察者的位置信息，向所述的高速投影机输送图像，从而使观察者在不同的位置均能看到准确的图像信息，但是，为了保证观察者始终能看到正确的图像，图像必须根据观察者位置实时的绘制，3D场景越复杂，所需的计算量越大。同时，为了使观察者能不感觉到闪烁感，每名观察者每只眼睛看到的图像需要达到60Hz的刷新速度，即提供给每名观察者的图像的帧频需要为120Hz，那么如果有N个观察者，则需要输出的帧频为N*120Hz。同时，位置追踪设备追踪观察者位置时，也需要较大的运算量，因此，需要高性能的计算机或者图形工作站才能满足这里的要求。因此，基于现有技术计算量大、对计算机性能要求偏高的缺陷，本专利技术提供了一种通过人脸或眼部位置坐标便可简单方便地全方位观看投影物体且观看投影物体图像清晰的一种智能投影方法及其系统，通过采用本专利技术的投影方法便能使观察者在不同位置时，投影物体随着观察者面对投影屏幕的方向发生偏转，从而达到使观察者不需要局限于一个位置，提升用户体验。
技术实现思路
本专利技术实施例主要解决的技术问题是提供一种智能投影方法、系统及智能终端，能够通过追踪用户人脸或眼部，提取头部特征点，人脸或眼部转动或者移动，则虚拟投影物体偏转，通过建立简洁清晰的数学模型得出投影物体相对于观察者的观察视角。为解决上述技术问题，本专利技术实施例采用的一个技术方案是：提供一种智能投影方法，应用于智能终端，当观察者头部特征点移动或转动时虚拟投影物体随之偏转，所述方法包括：获取观察者头部关键定位点，所述头部关键定位点从摄像头拍摄的观察者图像中获取；根据所述头部关键定位点，确定所述观察者在摄像头平面及投影平面的位置；根据所述观察者在摄像头平面的位置，确定观察者头部与摄像头的夹角a1；根据所述观察者头部与摄像头的夹角a1，以及观察者在投影平面的位置，确定观察者头部与投影物体的夹角a2，从而确定投影物体相对于观察者的观察视角。进一步的，所述获取观察者头部关键定位点，包括：在摄像头检测区域内，捕捉头部图像；读取所述图像的第一帧信息；检测所述图像内的人脸或眼部；根据所述人脸或眼部，获取头部关键定位点。进一步的，所述方法还包括：跟踪头部特征点的移动或转动；计算对应关键定位点的偏移量di或目标跟踪框中心点相对初始跟踪框中心点的偏移量do,根据所述偏移量di或所述偏移量do判断头部特征点是否移动或转动。进一步的，所述确定所述观察者在摄像头平面及投影平面的位置，包括：通过摄像头与所述头部在特定距离下的空间位置坐标确定所述观察者在摄像头平面的位置；所述夹角a1包括头部与摄像头在X轴方向的夹角x_angle_c,以及头部与摄像头在Y轴方向的夹角y_angle_c；所述确定观察者头部与摄像头的夹角的公式如下:dx＝(xa-xc)*dpixel，dy＝(ya-yc)*dpixel，x_angle_c＝arctan(dx/d)，y_angle_c＝arctan(dy/d)；其中,x_angle_c为头部与摄像头在X轴方向的夹角，y_angle_c为头部与摄像头在Y轴方向的夹角，C点表示头部的位置，O点表示摄像头的位置，d为头部与摄像头的特定距离AO，dpixel为每个像素间的实际距离，单位是cm/像素，(xc,yc)为C点在图像中的坐标，(xa,ya)为A点在图像中的坐标。进一步的，所述观察者头部与投影物体的夹角a2包括头部与投影物体在X轴方向的夹角x_angle_o,以及头部与投影物体在Y轴方向的夹角y_angle_o,所述确定观察者头部与投影物体的夹角的公式如下:x_angle_o＝ratio*x_angle_c，y_angle_o＝ratio*y_angle_c；其中,h为图像的高度，y为头部在所述图像Y方向的投影距离，x_angle_c为摄像头与头部在X方向的夹角，y_angle_c为摄像头与头部在Y方向的夹角，x_angle_o为头部与投影物体在X方向的角度，y_angle_o为头部与投影的物体在Y方向的角度，k0、k1为固定系数。进一步的，所述确定观察者头部与投影物体的夹角a2的方法还包括：通过固定观察者人体高度建立几何坐标确定头部与投影物体的夹角，所述夹角a2包括头部与投影物体在X轴方向的夹角x_angle_o,以及头部与投影物体在Y轴方向的夹角y_angle_o,所述确定观察者头部与投影物体的夹角的公式如下:其中,y_angle为Y方向摄像头轴线倾斜的角度，y_angle_c为头部与摄像头在轴线Y方向的夹角，y_angle_o为头部与投影物体在轴线Y方向形成的角度，H为观察者人体身高，L2为头部与投影物体的距离，L1为摄像头与投影物体的距离，h1为投影物体的高度，h2为摄像头的高度，x_angle_c为头部与摄像头在轴线X方向的夹角，x_angle_o为头部与投影物体在轴线X方向形成的角度。为解决上述技术问题，本专利技术实施例采用的另一个技术方案是：提供一种智能投影系统，应用于智能终端，当观察者头部特征点移动或转动时虚拟投影物体随之偏转，所述系统包括：关键定位点获取单元，用于获取观察者头部关键定位点，所述头部关键定位点从摄像头拍摄的观察者图像中获取；平面确定单元，用于根据所述头部关键定位点，确定所述观察者在摄像头平面及投影平面的位置；夹角确定单元，用于根据所述观察者在摄像头平面的位置，确定观察者头部与摄像头的夹角a1；视角确定单元，用于根据所述观察者头部与摄像头的夹角a1，以及观察者在投影平面的位置，确定观察者头部与投影物体的夹角a2，从而确定投影物体相对于观察者的观察视角。进一步的，所述关键定位点获取单元具体用于：在摄像头检测区域内，捕捉头部图像；读取所述图像的第一帧信息；检测所述图像内的人脸或眼部；根据所述人脸或眼部，获取头部关键定位点。为解决上述技术问题，本专利技术实施例采用的另一个技术方案是：提供一种智能终端，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项的方法。为解决上述技术问题，本专利技术实施例采用的另一个技术方案是：提供一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被智能终端执行时，使所述智能终端执行上述任一项的方法。本专利技术实施方式的有益效果是：获取观察者头部关键定位点，所述头部关键定位点从摄像头拍本文档来自技高网...

【技术保护点】
一种智能投影方法，应用于智能终端，当观察者头部特征点移动或转动时虚拟投影物体随之偏转，其特征在于，所述方法包括：获取观察者头部关键定位点，所述头部关键定位点从摄像头拍摄的观察者图像中获取；根据所述头部关键定位点，确定所述观察者在摄像头平面及投影平面的位置；根据所述观察者在摄像头平面的位置，确定观察者头部与摄像头的夹角a1；根据所述观察者头部与摄像头的夹角a1，以及观察者在投影平面的位置，确定观察者头部与投影物体的夹角a2，从而确定投影物体相对于观察者的观察视角。

【技术特征摘要】
1.一种智能投影方法，应用于智能终端，当观察者头部特征点移动或转动时虚拟投影物体随之偏转，其特征在于，所述方法包括：获取观察者头部关键定位点，所述头部关键定位点从摄像头拍摄的观察者图像中获取；根据所述头部关键定位点，确定所述观察者在摄像头平面及投影平面的位置；根据所述观察者在摄像头平面的位置，确定观察者头部与摄像头的夹角a1；根据所述观察者头部与摄像头的夹角a1，以及观察者在投影平面的位置，确定观察者头部与投影物体的夹角a2，从而确定投影物体相对于观察者的观察视角。2.根据权利要求1所述的方法，其特征在于，所述获取观察者头部关键定位点，包括：在摄像头检测区域内，捕捉头部图像；读取所述图像的第一帧信息；检测所述图像内的人脸或眼部；根据所述人脸或眼部，获取头部关键定位点。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：跟踪头部特征点的移动或转动；计算对应关键定位点的偏移量di或目标跟踪框中心点相对初始跟踪框中心点的偏移量do,根据所述偏移量di或所述偏移量do判断头部特征点是否移动或转动。4.根据权利要求1-3任一项所述的方法，其特征在于，所述确定所述观察者在摄像头平面及投影平面的位置，包括：通过摄像头与所述头部在特定距离下的空间位置坐标确定所述观察者在摄像头平面的位置；所述夹角a1包括头部与投影物体在X轴方向的夹角x_angle_c,以及头部与投影物体在Y轴方向的夹角y_angle_c；所述确定观察者头部与摄像头的夹角的公式如下:dx＝(xa-xc)*dpixel，dy＝(ya-yc)*dpixel，x_angle_c＝arctan(dx/d)，y_angle_c＝arctan(dy/d)；其中,x_angle_c为头部与摄像头在X轴方向的夹角，y_angle_c为头部与摄像头在Y轴方向的夹角，C点表示头部的位置，O点表示摄像头的位置，d为头部与摄像头的特定距离AO，dpixel为每个像素间的实际距离，单位是cm/像素，(xc,yc)为C点在图像中的坐标，(xa,ya)为A点在图像中的坐标。5.根据权利要求4所述的方法，其特征在于：所述观察者头部与投影物体的夹角a2包括头部与投影物体在X轴方向的夹角x_angle_o,以及头部与投影物体在Y轴方向的夹角y_angle_o,所述确定观察者头部与投影物体的夹角的公式如下:x_angle_o＝ratio*x_angle_c，y_angle_o＝ratio*y_angle_c；其中,h为图像的高度，y为头部在所述图像Y方向的投影距离，x_angle_c为摄像头与头部在X方向的夹角，y_angle_c为摄像头与头部在Y方向的夹角，x_angle_o为头部与投影物体在X方向的角度，y_angle_o为头部...

【专利技术属性】
技术研发人员：杨伟樑，高志强，纪园，郭胜男，林清云，
申请(专利权)人：广景视睿科技深圳有限公司，
类型：发明
国别省市：广东,44