一种基于单目摄像头的空中手写人机交互技术制造技术

本发明专利技术涉及智能人机交互技术领域，具体涉及一种基于单目摄像头的空中手写人机交互技术，包括以下步骤：基于单目摄像头获取实时二维视频图像并取帧，检测并获取二维视频图像中手部运动区域完整二值化图像，基于手部运动区域完整二值化图像，获取手部轮廓进行手部分割，获取手掌轮廓，分割手掌轮廓获取指尖轮廓并根据指尖轮廓数量判定书写开始或结束，基于指尖轮廓特征完成指尖匹配获取指尖坐标，响应于指尖移动并基于坐标系虚拟滑动技术生成空中书写文本。本发明专利技术提高人机交互系统使用的舒适性、普适性，降低人机交互系统局限性，且通过坐标系虚拟滑动技术，避免用户空中书写长文本时出现文本叠加，字符扭曲的问题，从而增强人机交互系统的实用性。机交互系统的实用性。机交互系统的实用性。

【技术实现步骤摘要】
一种基于单目摄像头的空中手写人机交互技术


[0001]本专利技术涉及智能人机交互
，尤其涉及一种基于单目摄像头的空中手写人机交互技术。

技术介绍

[0002]随着人工智能的快速发展，人机交互的发展趋势更加智能且对人更友好，即人机交互对人的约束越少越好。而文字作为信息的主要载体之一，在人机交互领域中占据非常重要的地位。
[0003]目前最常见的大多数人机交互方式是利用键盘、鼠标、触摸屏或者手写板等接触式设备进行信息交互，但由于受到按键数量、屏幕大小等限制，并不利于长文本输入，携带也不方便，且在虚拟现实和智慧大屏等场景中，局限性很大。
[0004]另一种人机交互方式为空中手写交互技术，作为一种新型的人机交互方式，因为其书写方式更加自然、人性化，可以让用户进行非接触式的人机交互，受限性较小，给用户提供了一种更加舒适自由的体验感。目前空中手写交互技术主要基于穿戴/手持、具备深度信息的3D传感器(例如LeapMotion、Kinect等)、WIFI信号这三类系统。但是用户穿戴/手持设备进行人机交互会受到连接线和手持设备大小的影响，会到用户造成一定的束缚感，无法给用户提供较好的舒适性；借助WIFI信号进行空中手写人机交互时对WIFI环境要求较为严格，局限性较大；而基于LeapMotion、Kinect等具有深度信息的3D传感器虽然可以很好的跟踪和定位指尖位置，但此类3D传感器体积大，而且价格昂贵，普适性不足。且目前大多数空中手写技术都是对单个字符或者数字进行研究，因为在进行书写长文本时会导致文本相互叠加的现象，字符结构扭曲严重，增加辨识难度。但是在实际应用中，用户往往需要的是连续书写文本，提高空中手写交互系统实用性。

技术实现思路

[0005]本专利技术为了解决现有智能人机交互技术中设备携带不便，局限性大，舒适性不高，普适性不足以及空中书写长文本会造成文本叠加，字符扭曲的技术问题，提供了一种基于单目摄像头的空中书写人机交互技术，提高人机交互系统使用的舒适性、普适性，降低人机交互系统局限性，避免用户空中书写长文本时出现文本叠加，字符扭曲的问题，从而增强人机交互系统的实用性。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]本专利技术的一个方面在于，提供一种基于单目摄像头的空中书写人机交互技术，所述方法包括以下步骤：
[0008]获取摄像头实时二维视频图像，对所述二维视频图像进行取帧获取二维视频图像帧，基于连续所述二维视频图像帧获取二维视频图像序列；其中，所述摄像头为PC设备自带单目摄像头或外置单目摄像头；
[0009]获取所述二维视频图像序列中的所述二维视频图像，检测所述二维视频图像中的
手部运动区域，基于所述手部运动区域中的手部运动信息以及颜色特征，获取手部运动区域完整二值化图像；
[0010]基于所述手部运动区域完整二值化图像中的手部几何结构特征，获取手部轮廓，对所述手部轮廓进行手部分割，获取手掌轮廓；
[0011]将所述手掌轮廓进一步分割，获取指尖轮廓，对所述指尖轮廓数量进行判断，并根据所述判断的结果判定本文书写开始或者结束；
[0012]基于指尖轮廓特征完成指尖匹配并获取指尖坐标；
[0013]响应于指尖移动并基于坐标系虚拟滑动技术获取所述指尖移动过程中经过的指尖坐标序列，根据所述指尖坐标序列生成空中书写文本。
[0014]进一步的，所述基于所述手部运动区域中的手部运动信息以及颜色特征，获取手部运动区域完整二值化图像，包括以下步骤：
[0015]基于平均背景差分法对所述二维视频图像进行处理，获取手部运动区域初步二值化图像；
[0016]基于HSV颜色空间，对所述二维视频图像进行阴影检测，获取阴影检测结果，基于所述阴影检测结果，对所述手部运动区域初步二值化图像实现阴影消除，获取手部运动区域完整二值化图像。
[0017]进一步的，所述基于平均背景差分法对所述二维视频图像进行处理，获取手部运动区域初步二值化图像，包括以下步骤：
[0018]取手部进入摄像头检测范围之前的若干帧的所述二维视频图像的像素均值得到初始背景B0(x，y)，基于所述初始背景B0(x，y)、更新权重α以及当前帧图像F
k
(x，y)在背景差分过程中实时更新背景图像，获得当前背景背景图像B
k
(x，y)，k≥1，所述k表示采样次数；
[0019]基于所述背景图像B
k
(x，y)以及当前帧图像F
k
(x，y)，利用背景差分获取差分图像D
k
(x，y)，通过设置阈值th对所述差分图像D
k
(x，y)进行二值化处理，获取当前采样手部运动区域初步二值化图像R
k
(x，y)。
[0020]进一步的，所述基于HSV颜色空间，对所述二维视频图像进行阴影检测，获取阴影检测结果，基于所述阴影检测结果，对所述手部运动区域初步二值化图像进行去阴影化，获取手部运动区域完整二值化图像，包括以下步骤：
[0021]将所述背景图像B
k
(x，y)以及当前帧图像F
k
(x，y)从RGB颜色空间转换成HSV颜色空间，分别获得所述背景图像B
k
(x，y)以及当前帧图像F
k
(x，y)在HSV颜色空间上色度H、饱和度S以及亮度V的三个分量；
[0022]基于所述背景图像B
k
(x，y)以及当前帧图像F
k
(x，y)在HSV颜色空间上的分量B
H
(x，y)，B
S
(x，y)，B
V
(x，y)，F
H
(x，y)，F
S
(x，y)，F
V
(x，y)，对所述二维视频图像进行阴影检测，获取阴影检测结果，基于所述阴影检测结果，对所述手部运动区域初步二值化图像R
k
(x，y)进行去阴影化，获取手部运动区域完整二值化图像。
[0023]进一步的，所述基于所述手部运动区域完整二值化图像中的手部几何结构特征，获取手部轮廓，对所述手部轮廓进行手部分割，获取手掌轮廓，包括以下步骤：
[0024]基于所述手部运动区域完整二值化图像的手部轮廓拓扑结构得到手部轮廓，依次连接所述手部轮廓在横坐标以及纵坐标最大以及最小的四个点，构成所述手部轮廓的最小外接矩形，计算所述手部轮廓内部各点到所述手部轮廓上的最小距离，取所有所述最小距
离中的最大值作为所述手部轮廓最大内切圆半径r，此时，所述最大内切圆圆心为点O；
[0025]基于所述手部轮廓的最小外接矩形上两个点A(x
A
，y
A
)，B(x
B
，y
B
)坐标、最大内切圆圆心O(x
o
，y
o
)坐标以及最大内切圆半径r，获取手掌的近似长度d，将手掌本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目摄像头的空中书写人机交互技术，其特征在于，所述技术包括以下步骤：获取摄像头实时二维视频图像，对所述二维视频图像进行取帧获取二维视频图像帧，基于连续所述二维视频图像帧获取二维视频图像序列；其中，所述摄像头为PC设备自带单目摄像头或外置单目摄像头；获取所述二维视频图像序列中的所述二维视频图像，检测所述二维视频图像中的手部运动区域，基于所述手部运动区域中的手部运动信息以及颜色特征，获取手部运动区域完整二值化图像；基于所述手部运动区域完整二值化图像中的手部几何结构特征，获取手部轮廓，对所述手部轮廓进行手部分割，获取手掌轮廓；将所述手掌轮廓进一步分割，获取指尖轮廓，对所述指尖轮廓数量进行判断，并根据所述判断的结果判定本文书写开始或者结束；基于指尖轮廓特征完成指尖匹配并获取指尖坐标；响应于指尖移动并基于坐标系虚拟滑动技术获取所述指尖移动过程中经过的指尖坐标序列，根据所述指尖坐标序列生成空中书写文本。2.根据权利要求1所述的一种基于单目摄像头的空中书写人机交互技术，其特征在于，所述基于所述手部运动区域中的手部运动信息以及颜色特征，获取手部运动区域完整二值化图像，包括以下步骤：基于平均背景差分法对所述二维视频图像进行处理，获取手部运动区域初步二值化图像；基于HSV颜色空间，对所述二维视频图像进行阴影检测，获取阴影检测结果，基于所述阴影检测结果，对所述手部运动区域初步二值化图像实现阴影消除，获取手部运动区域完整二值化图像。3.根据权利要求2所述的一种基于单目摄像头的空中手写人机交互技术，其特征在于，所述基于平均背景差分法对所述二维视频图像进行处理，获取手部运动区域初步二值化图像，包括以下步骤：取手部进入摄像头检测范围之前的若干帧的所述二维视频图像的像素均值得到初始背景B0(x,y)，基于所述初始背景B0(x,y)、更新权重α以及当前帧图像F
k
(x,y)在背景差分过程中实时更新背景图像，获得当前背景图像B
k
(x,y)，k≥1，所述k表示采样次数；基于所述背景图像B
k
(x,y)以及当前帧图像F
k
(x,y)，利用背景差分获取差分图像D
k
(x,y)，通过设置阈值th对所述差分图像D
k
(x,y)进行二值化处理，获取当前采样手部运动区域初步二值化图像R
k
(x,y)。4.根据权利要求3所述的一种基于单目摄像头的空中手写人机交互技术，其特征在于，所述基于HSV颜色空间，对所述二维视频图像进行阴影检测，获取阴影检测结果，基于所述阴影检测结果，对所述手部运动区域初步二值化图像进行去阴影化，获取手部运动区域完整二值化图像，包括以下步骤：将所述背景图像B
k
(x,y)以及当前帧图像F
k
(x,y)从RGB颜色空间转换成HSV颜色空间，分别获得所述背景图像B
k
(x,y)以及当前帧图像F
k
(x,y)在HSV颜色空间上色度H、饱和度S以及亮度V的三个分量；
基于所述背景图像B
k
(x,y)以及当前帧图像F
k
(x,y)在HSV颜色空间上的分量B
H
(x,y)，B
S
(x,y)，B
V
(x,y)，F
H
(x,y)，F
S
(x,y)，F
V
(x,y)，对所述二维...

【专利技术属性】
技术研发人员：屈喜文，韩瑶妹，黄俊，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：