【技术实现步骤摘要】
一种结合人像行为信息的双目投影人机交互方法
[0001]本专利技术涉及图像处理、特征提取、特征分析、计算机视觉、卷积神经网络、目标检测和人机交互等
，具体涉及一种结合人像行为信息的双目投影人机交互方法。
技术介绍
[0002]随着科学技术的发展，人机交互技术变得多样化，人们不再满足于单纯地呈现虚拟场景，开始探索与虚拟世界的交互方法，因而越来越多的新型人机交互技术应运而生。人机交互技术分为几类：以键盘、鼠标为输入的传统交互技术；基于触控屏设备的交互技术，如智能手机、平板电脑；基于机器视觉、图像处理技术的非接触式交互技术，如虚拟键盘、手势交互系统等。
[0003]按键式键盘、鼠标是目前最成熟的交互设备，以此为基础的人机交互技术也最早被应用于计算机操作中。这种交互方式的特点是性能稳定、响应快速，因此被广泛应用于日常生活的办公中。但该技术的缺点是：一个完整的人机交互过程需要键盘、鼠标、显示图形化界面的屏幕等设备，设备众多且繁重；随着触控屏技术与移动式设备的发展，智能手机等新型移动产品将显示与交互功能整合到屏幕内，便携式...
【技术保护点】
【技术特征摘要】
1.一种结合人像行为信息的双目投影人机交互方法，其特征在于，所述双目投影人机交互方法，包括以下步骤：利用摄像头获取图像数据，对摄像头捕获区域进行边缘检测；通过霍夫直线检测对边缘检测后的图像进行直线检测，实现投影区域的区域定位；通过单应性变换矩阵求解视角变换下的映射关系；利用YOLOv3目标检测算法对交互对象进行识别，并根据求解的单应性变换矩阵得到从投影区域坐标映射到Unity3D开发场景中的游戏坐标；通过双目摄像头测距获得交互对象的深度信息；通过获得交互者的骨骼关键点位置，虚拟化人物对象，根据人物关节点的分布生成相应的交互动作。2.根据权利要求1所述的一种结合人像行为信息的双目投影人机交互方法，其特征在于，在边缘检测之前对摄像头图像进行灰度化处理，边缘是图像中亮度变化明显的点的集合，采用大尺度的canny滤波算子检测图像边缘。3.根据权利要求2所述的一种结合人像行为信息的双目投影人机交互方法，其特征在于，在进行边缘检测时先使用高斯滤波器，以平滑图像，滤除噪声；由以下公式设置大小为(2k+1)
×
(2k+1)的高斯核：其中k为正整数，i,j∈[1,2k+1]，σ2为高斯函数的方差，设σ＝1.4,k＝1,得高斯卷积核：使用该高斯核与灰度化图像卷积，得平滑图像；计算图像中每个像素点的梯度强度和方向，利用水平、垂直方向的Sobel算子：其中S
x
是水平方向的Sobel算子，S
y
是垂直方向的Sobel算子，分别与平滑图像卷积，得到像素点在两个方向的一阶导数G
x
,G
y
，由此计算像素点的梯度：4.根据权利要求3所述的一种结合人像行为信息的双目投影人机交互方法，其特征在于，非极大值抑制包括以下步骤：1)将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较；2)如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。5.根据权利要求4所述的一种结合人像行为信息的双目投影人机交互方法，其特征在于，所述通过霍夫直线检测对边缘检测后的图像进行直线检测，实现投影区域的区域定位过程，具体包括：
对于笛卡尔坐标系上的一条直线y＝kx+b，其中(x,y)表示坐标系下坐标点，k表示直线斜率，b表示直线截距，将该直线变换为：b＝y
‑
xk，并定义霍夫空间中横坐标为k，纵坐标为b，则b＝y
‑
xk为霍夫空间下斜率为
‑
x，截距为y的一条直线；笛卡尔坐标系上同一直线上的若干点(x1,y1),(x2,y2),
…
,(x
n
,y
n
)，在霍夫空间上对应若干条直线，这些直线的共同交点(k,b)即是笛卡尔坐标系中相同直线的斜率和截距；采用极坐标的形式进行霍夫变换，具体地，将直线用极坐标方程ρ＝xcosθ+ysinθ表示，其中ρ为极距，即极坐标空间下原点到直线的距离；θ为极角，即经过原点且垂直于直线的线段与x轴的夹角，定义霍夫空间中横坐标为θ，纵坐标为ρ，则极坐标系上同一直线上的若干点坐标(x1,y1),(x2,y2),
…
,(x
n
,y
n
)，在霍夫空间上对应若干条曲线，这些曲线的共同交点(θ,ρ)即是极坐标系中相同直线的极角与极距；对求得的四条最长投影区域边界直线，两两求其交点得投影区域得四个顶点坐标(x
lt
,y
lt
)、(x
lb
,y
lb
)、(x
rb
,y
rb
)、(x
rt
,y
rt
)。6.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。