一种感官联动情景式数码相框交互方法与系统技术方案

本发明专利技术涉及数码相框交互的技术领域，揭露了一种感官联动情景式数码相框交互方法与系统，所述方法包括：对二值化的人脸图像中的面部姿态进行检测，若检测到倾斜的面部，则对数码相框中的图片进行旋转处理，并检测图片尺寸与数码相框显示屏尺寸，对尺寸小于数码相框显示屏尺寸的图片进行全屏显示；基于瞳孔检测算法检测到瞳孔的位置；利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，若用户长时间注视，则对注视区域进行放大处理；数码相框自动选取与图片放大区域场景相似的图片进行推送。本发明专利技术所述方法实现实现基于面部姿态感知的数码相框图片自适应旋转处理，以及基于眼部瞳孔感知的观看者兴趣焦点图片区域放大处理。区域放大处理。区域放大处理。

【技术实现步骤摘要】
一种感官联动情景式数码相框交互方法与系统


[0001]本专利技术涉及数码相框交互的
，尤其涉及一种感官联动情景式数码相框交互方法与系统。

技术介绍

[0002]数码相框作为消费类终端已经深入到很多用户家庭。数码相框的基本功能是用于图片的显示、播放。目前数码相框的图片播放等是通过触摸按键或者机械按键等来实现，通过手动精确定位操作，人机交互操作体验有限。现有的数码相框仅支持电子相片的自动化展示，缺乏对观看者兴趣焦点的监控识别并智能进行相框调整和优化展示能力。因此，针对该问题本专利提出一种感官联动情景式数码相框交互方法与系统。

技术实现思路

[0003]有鉴于此，本专利技术提供一种感官联动情景式数码相框交互方法，目的在于(1)结合人脸区域图像、摄像头以及世界坐标系确定拍摄模型，借助眼部区域图像确定人脸面部姿态的左右摆头角度，当人脸面部姿态的左右摆头角度较大时，说明用户面部存在倾斜，表示用户在倾斜着看数码相框中的图片，因此对图片进行自适应旋转处理，旋转角度即为用户的倾斜角，实现基于面部姿态感知的数码相框图片自适应旋转处理；(2)基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种感官联动情景式数码相框交互方法，其特征在于，所述方法包括：S1：数码相框利用摄像头拍摄得到人脸图像，并对人脸图像进行预处理，得到预处理后的人脸图像，所述预处理方法包括二值化处理以及人眼区域图像提取；S2：对二值化的人脸图像中的面部姿态进行检测，若检测到倾斜的面部，则对数码相框中的图片进行旋转处理，并检测图片尺寸与数码相框显示屏尺寸，对尺寸小于数码相框显示屏尺寸的图片进行全屏显示，其中所述面部姿态检测以及图片旋转处理流程，包括：对二值化的人脸图像中的面部姿态进行检测，所述面部姿态检测流程为：S21：选取人眼区域图像的所有像素点，得到人眼区域图像的像素点集合：{(x
j
，y
j
)|j∈[1，N]}其中：(x
j
，y
j
)表示人眼区域图像中第j个像素点的坐标，N表示人眼区域图像中像素点的总数；S22：构建摄像头拍摄模型：其中：(f
X
，f
Y
)表示摄像头的焦距，f
X
表示摄像头在水平方向的焦距，f
Y
表示摄像头在竖直方向的焦距，(c
X
，c
Y
)分别为对应水平方向以及竖直方向的焦点；(x
′
，y
′
)表示拍摄物体在图像中的像素坐标，(X，Y，Z)表示拍摄物体在世界坐标系的坐标；表示旋转矩阵，表示平移矩阵，所述模型中旋转矩阵以及平移矩阵为待求解变量；S23：将所采集的人眼区域图像像素点集合以及对应的世界坐标系下的坐标代入摄像头拍摄模型中，得到人眼区域图像的旋转矩阵r
′
：：其中：α表示面部姿态的俯仰角，所述俯仰角反映面部的仰视或俯视；β表示面部姿态的偏航角，所述偏航角反映面部的左右转头；γ表示面部姿态的滚转角，所述滚转角反映面部的左右摆头；S24：求解得到面部姿态的滚转角γ：
若γ＞15
°
，则表示用户面部向右倾斜，数码相框自动将所显示图片逆时针旋转γ
°
；若y＜
‑
15
°
，则表示用户面部向左倾斜，数码相框自动将所显示图片顺时针旋转γ
°
；所述数码相框实时检测待显示电子图片的尺寸格式，若对尺寸小于数码相框显示屏尺寸的图片进行全屏显示，所述全屏显示的流程为：将待显示电子图片放大到与数码相框显示屏尺寸，利用最临近点插值算法对放大后电子图片中的缺失像素进行填充；S3：基于瞳孔检测算法检测到人眼区域图像中瞳孔的位置；S4：利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域，当用户注视该区域的时间超过预设阈值，则对该区域的图片进行放大处理；S5：数码相框自动选取与图片放大区域场景相似的图片进行推送。2.如权利要求1所述的一种感官联动情景式数码相框交互方法，其特征在于，所述S1步骤中数码相框利用摄像头拍摄得到人脸图像，包括：所述数码相框包括显示屏、摄像头以及无线通信模块，其中所述显示屏用于显示电子图片，摄像头用于拍摄并捕捉人眼图像，无线通信模块用于从云端获取电子图片数据、将捕捉到的人眼图像上传到计算机终端；数码相框的四个顶点位置具有红外光源，可发出红外光；用户可自行控制摄像头是否开启，当用户选择开启摄像头，位于数码相框四个顶点的红外光源则发出红外光，数码相框利用摄像头拍摄得到人脸图像，所拍摄的人脸图像为时序图像，人脸图像集合为{I
t
|t∈[t0，t
e
]}，其中I
t
为任意t时刻所拍摄的人脸图像，t0表示摄像头拍摄的初始时刻，t
e
表示摄像头拍摄的截止时刻，相邻时刻的时间间隔为Δt。3.如权利要求2所述的一种感官联动情景式数码相框交互方法，其特征在于，所述S1步骤中对人脸图像进行二值化处理，得到二值化的人脸图像，包括：所述任意人脸图像I
t
的二值化处理流程为：S11：对人脸图像I
t
的所有像素点进行灰度化处理，得到像素点的灰度值，并将像素点的灰度值作为像素值，得到灰度化处理后的人脸图像，所述灰度化处理的公式为：其中：I
t，g
(x，y)表示人脸图像I
t
中第x行第y列像素点I
t
(x，y)的灰度值，即像素点I
t
(x，y)的像素值；R
t
(x，y)，G
t
(x，y)，B
t
(x，y)分别表示像素点I
t
(x，y)在R，G，B颜色通道上的值；S12：对灰度化处理后的人脸图像进行灰度拉伸处理，所述灰度拉伸处理的公式为：其中：g
t
(x，y)表示灰度拉伸后像素点I
t
(x，y)的像素值；I
′
t，min
(x，y)表示灰度化处理后的人脸图像I
′
t
的最小像素值，I
′
t，max
(x，y)表示灰度化处理后的人脸图像I
′
t
的最大像素值；S13：初始化阈值S14：将灰度拉伸后人脸图像I
″
t
的像素划分为前景像素以及背景像素，其中像素值小于
阈值的像素被划分为前景像素，像素值大于等于阈值的像素被划分为背景像素；分别计算前景像素以及背景像素的平均像素值，所述前景像素的平均像素值为m1，背景像素的平均像素值为m2；S15：更新阈值S16：重复步骤S14
‑
S15，直到更新阈值与原始阈值相同，得到最终的二值化阈值将灰度拉伸后人脸图像I
″
t
中低于二值化阈值的像素值设置为0，高于二值化阈值的像素值设置为255，得到二值化处理后的人脸图像。4.如权利要求3所述的一种感官联动情景式数码相框交互方法，其特征在于，所述S1步骤中对二值化的人脸图像进行人眼区域图像提取，得到人眼区域图像，包括：对二值化处理后的人脸图像进行人眼区域图像提取，得到人眼区域图像，所述人眼区域图像提取流程为：构建人眼区域图像提取模型，其中人眼区域图像提取模型由n个人眼区域检测...

【专利技术属性】
技术研发人员：李顺，王晓帆，
申请(专利权)人：上海仙视电子科技有限公司，
类型：发明
国别省市：