一种基于机器视觉的人机交互方法技术

本发明专利技术涉及机器视觉相关技术领域，特别是一种基于机器视觉的人机交互方法，所述方法包括：通过图像采集装置不断采集图像数据以更新数据缓存的图像获取步骤；从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声的图像去噪步骤；在已去噪图像中检测特征物体，并将其以明显标记标识出来的特征物体提取步骤；分析经过特征物体提取步骤提取的特征物体的运动轨迹，根据运动轨迹分析结果执行相应机器指令的手势识别步骤。本发明专利技术给出了完整的系统解决方案，可实时与机器进行交互，克服了目前触摸技术的应用限制，并使得人机交互更加自然。

A human-computer interaction method based on machine vision

The invention relates to a machine vision related technical field, in particular to a method of human-computer interaction based on machine vision, the method includes: image by image acquisition device to collect the image data to update the data cache access steps; the data read from the data cache, for the filtering, image denoising steps to remove the random noise into the image in the image denoising; in the detection of feature objects, and to mark the obvious feature of object extraction step; trajectory analysis feature extraction step through the characteristics of the object, according to the steps of gesture recognition trajectory analysis results the implementation of the corresponding machine instructions. The invention provides a complete system solution, which can interact with the machine in real time, overcomes the limitation of the current touch technology, and makes the human-computer interaction more natural.

【技术实现步骤摘要】

本专利技术涉及机器视觉相关
，特别是。
技术介绍
随着人机交互技术的发展，多点触摸技术已成为应用热点。APPLE公司已将多点触 摸技术引入至其新推出的IPAD中，大尺寸的电子白板也已实现对多点触摸技术的支持。随 着后鼠标时代步入人们日常生活，交互的自然性问题显得尤为重要，交互技术也逐渐经历 着由可交互时代向符合人体工程学的更自然交互时代发展。APPLE公司对人体工程学的研究表明，人机交互不宜在竖直的屏幕上进行。从实际 的操作总结中，也有相类似的结论，其原因主要有二 一是长时间地将胳膊抬起操作，有明 显的疲劳感；二是手指与屏幕长时间接触，会明显感觉到摩擦力增大，引起不舒适感。基于 这些方面的考虑，有必要研究一种符合人体工程学的更加自然的交互方式。此外，目前的多点触摸技术存在如下应用限制即操作者必须站在交互设备前面， 且与交互设备有明显的物体接触，才能正常地进行交互。
技术实现思路
本专利技术提供，以克服目前多点触摸技术存在的 应用限制和开发更加符合人体工程学要求的更自然的人机交互方式。本专利技术采用如下技术方案实现，所述方法包括 通过图像采集装置不断采集图像数据以更新数据缓存的图像获取步骤； 从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声的图像去噪步骤； 在已经过图像去噪步骤进行去噪处理的图像中检测特征物体，并将其以明显标记标识 出来的特征物体提取步骤；分析经过特征物体提取步骤提取的特征物体的运动轨迹，根据运动轨迹分析结果执行 相应的机器指令的手势识别步骤。作为一种优选方案，所述图像为彩色图像。作为一种优选方案，所述图像去噪的具体步骤如下对图像中的所有点的红色分量值、绿色分量值和蓝色分量值执行如下步骤 对每个点P的坐标为Cu)，该点的像素值表示为广.4亿r). f,.Jx. Vl fAX. r),其分别表示点ρ的红色分量值、绿L f.- 、 - ar - L·'& - a/ - - L·*色分量值和蓝色分量值，则对P点的滤波表示为式中分别表示P点红色分量、绿色分量和蓝色分量滤波后的值，N为预先 设定的大于1的自然数。作为一种优选方案于，特征物体提取步骤的具体步骤如下对去噪后的图像建立基于各像素的色度和饱和度的背景模型的背景模型建立步骤；在得到背景模型后，检测图像中的特征物体的特征物体检测步骤；对经过特征物体检测步骤检测到的特征物体进行标记的特征物体标记步骤。作为进一步的优选方案权利要求1.，其特征在于，所述方法包括通过图像采集装置不断采集图像数据以更新数据缓存的图像获取步骤； 从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声的图像去噪步骤； 在已去噪图像中检测特征物体，并将其以明显标记标识出来的特征物体提取步骤； 分析经过特征物体提取步骤提取的特征物体的运动轨迹，根据运动轨迹分析结果执行 相应的机器指令的手势识别步骤。2.根据权利要求1所述的交互方法，其特征在于，所述图像为彩色图像。3.根据权利要求1所述的交互方法，其特征在于，所述图像去噪的具体步骤如下 对图像中的所有点的红色分量值、绿色分量值和蓝色分量值执行如下步骤对每个点P的坐标为(1』劝，该点的像素值表示为r). f,Ax. Vl广ri,其分别表示点P的红色分量值、绿ι,、 -W - - jy ^r & - sf ~e - igf J^^e' ··色分量值和蓝色分量值，则对P点的滤波表示为式中/；,,，分别表示P点红色分量、绿色分量和蓝色分量滤波后的值，N为预先设定的大于1的自然数。4.根据权利要求1所述的交互方法，其特征在于，特征物体提取步骤的具体步骤如下 对去噪后的图像建立基于各像素的色度和饱和度的背景模型的背景模型建立步骤； 在得到背景模型后，检测图像中的特征物体的特征物体检测步骤；对经过特征物体检测步骤检测到的特征物体进行标记的特征物体标记步骤。5.根据权利要求4所述的交互方法，其特征在于 所述背景模型建立步骤的具体步骤如下首先将去噪后的图像从RGB空间转换至HSV空间； 累计计算当前帧图像前M帧图像中各像素点的色调与饱和度分量之和，并分别求每个 像素点的色调均值^τ与饱和度均值Ms ,其中M为大于1的自然数；累计计算当前帧图像前M帧差分图像中各像素点的色调与饱和度分量之和，并分别求 其差分图像的色调均值MPjr与差分图像的饱和度均值MFs ；对每一个像素点建立以各自Ms和Ais为中心，上下波动范围分别为a倍MP和b倍 MF的统计模型，则各像素点的背景模型色调取值范围为6.根据权利要求5所述的交互方法，其特征在于所述特征物体标记步骤中，把当前帧图像的各个像素点色调进行归一化处理为 范围内，把色调平均分为3个色调区间，即第一色调区间，范围为，第二色调 区间，范围为，第三色调区间，范围为。7.根据权利要求5所述的交互方法，其特征在于，所述手势识别步骤包括 轨迹初始化步骤，具体包括计算具有相同色调标记的各个像素点形成的特征物体在连续K帧图像中的重心坐标， 若K帧中特征物体的重心坐标之间的距离小于给定的起始阈值，则记录当前帧图像的特征 物体的重心坐标，作为特征物体运动的起始坐标； 轨迹跟踪步骤，具体包括如果相邻帧中具有相同色调标记的特征物体的重心坐标之间的距离小于给定的关联 阈值，则对相邻帧中具有相同色调标记的特征物体的重心坐标进行关联； 轨迹识别步骤，具体包括根据分析当前帧图像中特征物体的位置与初始化得到的特征物体位置之间的关系执 行相应操作；轨迹结束步骤，具体包括如果当前帧图像满足轨迹结束条件，则判断为轨迹结束。8.根据权利要求7所述的交互方法，其特征在于，所述轨迹结束条件为满足 当前帧中特征物体标记数与上一帧中特征物体标记数不一致；或者当前帧中有任一特征物体与上一帧中具有相同色调标记的特征物体之间的重心距离 大于给定关联阈值；或者 当前帧中无特征物体。全文摘要本专利技术涉及机器视觉相关
，特别是，所述方法包括通过图像采集装置不断采集图像数据以更新数据缓存的图像获取步骤；从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声的图像去噪步骤；在已去噪图像中检测特征物体，并将其以明显标记标识出来的特征物体提取步骤；分析经过特征物体提取步骤提取的特征物体的运动轨迹，根据运动轨迹分析结果执行相应机器指令的手势识别步骤。本专利技术给出了完整的系统解决方案，可实时与机器进行交互，克服了目前触摸技术的应用限制，并使得人机交互更加自然。文档编号G06F3/01GK102096471SQ20111004061公开日2011年6月15日 申请日期2011年2月18日 优先权日2011年2月18日专利技术者孙敬飞, 肖平, 骆威 申请人:广东威创视讯科技股份有限公司本文档来自技高网...

【技术保护点】
一种基于机器视觉的人机交互方法，其特征在于，所述方法包括：通过图像采集装置不断采集图像数据以更新数据缓存的图像获取步骤；从数据缓存中读取数据，进行滤波，去除图像中所引入的随机噪声的图像去噪步骤；在已去噪图像中检测特征物体，并将其以明显标记标识出来的特征物体提取步骤；分析经过特征物体提取步骤提取的特征物体的运动轨迹，根据运动轨迹分析结果执行相应的机器指令的手势识别步骤。

【技术特征摘要】

【专利技术属性】
技术研发人员：骆威，肖平，孙敬飞，
申请(专利权)人：广东威创视讯科技股份有限公司，
类型：发明
国别省市：81