一种基于机器视觉的机械式全自动鼠标操作装置制造方法及图纸

本发明专利技术公开了一种基于机器视觉的机械式全自动鼠标操作装置，包括视频采集系统、机器视觉分析系统和机械式控制系统。本发明专利技术基于计算机机器视觉分析技术，能够根据机器视觉分析系统的要求，依据视频分析的结果，实现自动的、智能的鼠标状态跟踪、检测，能够在程序设定的方式、时间、范围内，按照设定的路线、模式，自动往返进行鼠标的各种操作，可运用在在各种应用计算机的场合，可较大程度的节约人工干预，进一步节约人力成本。

A Mechanical Automatic Mouse Operating Device Based on Machine Vision

【技术实现步骤摘要】
一种基于机器视觉的机械式全自动鼠标操作装置
本专利技术属于自动化控制
，具体涉及一种基于机器视觉的机械式全自动鼠标操作装置。
技术介绍
目前，在计算机使用中的一个主要问题就是：现有的计算机系统，大多在屏幕发生变化的时候，需要人为进行干预控制，进行诸如打字、按键、按回车、按空格键、鼠标单击、鼠标双击、鼠标滚动等操作。现在的机器视觉、人工智能及机电一体化技术，为计算机的全自动操作提供了技术上的可能性。机器视觉技术，现阶段可进行OCR字符识别，进行标准方形、圆形、椭圆形的识别。不过，现阶段，基于计算机的机器视觉识别，主要利用计算机进行是纸质媒体、视频、图像等素材的分析；而利用计算机视觉识别技术，直接进行面向计算机显示屏的内容识别及其应用的，还需要若干辅助设备——全自动操作的鼠标、全自动操作的键盘、全自动操作的手写板、全自动操作的喇叭等。该技术现存在的主要问题是：现阶段绝大多数计算机设备的操作，仍然以操作人员人工操作的方式为主；很多在计算机屏幕上打字、绘图、填表等操作，仍无法实现全自动识别及操作，需要计算机及其软件，凭借机电一体化相关技术，实现鼠标的无人值守全自动操作，但目前该技术方向还不是很受重视；需要计算机及其软件，凭借机电一体化相关技术，实现键盘的无人值守全自动操作；需要计算机及其软件，凭借机电一体化相关技术，实现手写板的全自动操作；需要凭借以上的辅助设备，在程序预设的各种情况范围以内，实现依靠计算机、机器视觉、机电一体化技术的计算机全自动操作。
技术实现思路
本专利技术的专利技术目的是：为了进一步降低现阶段计算机操作方式中的人工干预，实现计算机操作的更高自动化、智能化，本专利技术提出了一种基于计算机控制的、机器视觉辅助分析的、可全自动操作的、机械化的鼠标操作装置。本专利技术的技术方案是：一种基于机器视觉的机械式全自动鼠标操作装置，包括视频采集系统、机器视觉分析系统和机械式控制系统；所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标存在区域，在鼠标存在区域进行鼠标追踪，对鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成鼠标移动控制信号和鼠标操作控制信号并传输至机械式控制系统；所述机械式控制系统用于根据鼠标移动控制信号控制鼠标进行移动，根据鼠标操作控制信号控制鼠标进行相应操作。进一步地，所述机器视觉分析系统按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，判定鼠标存在区域；当鼠标为运动状态时，则采用图像处理算法进行鼠标位置提取，当鼠标为静止状态时，则对图像进行放大，再利用特征点匹配与颜色特征进行模板匹配；得到鼠标存在区域后，在鼠标存在区域进行鼠标追踪。进一步地，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域进行鼠标识别，得到鼠标存在的图像区域后，在该鼠标存在区域进行鼠标追踪。进一步地，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行鼠标追踪。进一步地，所述机器视觉分析系统对鼠标所在位置的对话框进行识别具体为：对鼠标存在区域，按照设定的采集参数进行样本区域采集；对采集的样本区域进行编号，建立每一个逻辑编号与鼠标存在区域物理位置的对应映射关系；对采集的样本区域进行特征提取，计算样本区域的色差方向梯度矢量化旋转差值；设定上下阈值，将色差方向梯度矢量化旋转差值在上下阈值内的标记为一类；进行预设聚类个数的基于均值的聚类，对聚类后的区域进行合并，得到基于聚类的多个区域分割；根据得到的聚类分布的状态，进行图像的边缘分割，得到鼠标所在位置的对话框边界。进一步地，所述计算样本区域的色差方向梯度矢量化旋转差值具体为：根据梯度信息方向进行八方位计算，再按照采样样本区域的色差进行计算，对方向梯度进行矢量化处理，分别计算上下左右四方位每个方向的梯度，再进行矢量合成；然后将采样样本区域进行90度的旋转，再进行一次采样样本区域的色差计算，并进行方向梯度矢量化处理；最后对比第一次和第二次的采样样本区域的色差方向梯度矢量化值，结合梯度信息，按照预设权重表达式计算样本区域的色差方向梯度矢量化旋转差值。进一步地，所述机器视觉分析系统根据鼠标在计算机屏幕图像中的逻辑坐标及鼠标的逻辑坐标与物理坐标之间的双向映射关系，结合鼠标在计算机屏幕图像的工作区域范围，生成鼠标移动控制信号。进一步地，所述机械式控制系统包括设置于鼠标移动边界的固定滑动导轨、安装在X方向固定滑动导轨之间的X方向移动导杆及安装在Y方向固定滑动导轨之间的Y方向移动导杆，鼠标设置于X方向移动导杆和Y方向移动导杆的交点位置。进一步地，所述机械式控制系统中，X方向移动导杆的两端分别设置有第一步进电机和第二步进电机，第一步进电机和第二步进电机控制X方向移动导杆在X方向固定滑动导轨内移动；Y方向移动导杆设置有第三步进电机和第四步进电机，第三步进电机和第四步进电机控制Y方向移动导杆在Y方向固定滑动导轨内移动。进一步地，所述机械式控制系统中，鼠标的左键、右键及滚轮位置分别设置有第五步进电机、第六步进电机和第七步进电机，第五步进电机控制鼠标左键进行向上及向下方向运动，第六步进电机控制鼠标右键进行向上及向下方向运动，第七步进电机控制鼠标滚轮进行向前及向后方向运动。本专利技术具有以下有益效果：(1)由机器取代人工，节约计算机日常操作中例行的、重复性工作中投入大量人力；可以在计算机整个工作期间，在鼠标使用这个环节中，节约人力成本；(2)可取代人工操作，实现可编程控制下的鼠标操控的全自动，可保证鼠标自动化操作的操控及操控过程中的具体的位置，可按照编程控制的要求，在程序预设的状态下，根据各种要求，实现各种模式不断的例行性、重复性工作；(3)可按照程序设定的工作模式、工作内容及工作线路，实现可编程控制的鼠标自动输入、检测、输出等内容；(4)可二次开发，结合统计与优化的方法，实现鼠标使用中的全自动化，提高工作效率，提高经济效益。附图说明图1是本专利技术的基于机器视觉的机械式全自动鼠标操作装置结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，是本专利技术的基于机器视觉的机械式全自动鼠标操作装置结构示意图；一种基于机器视觉的机械式全自动鼠标操作装置，包括视频采集系统、机器视觉分析系统和机械式控制系统；所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标存在区域，在鼠标存在区域进行鼠标追踪，对鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成鼠标移动控制信号和鼠标操作控制信号并传输至机械式控制系统；所述机械式控制系统用于根据鼠本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的机械式全自动鼠标操作装置，其特征在于，包括视频采集系统、机器视觉分析系统和机械式控制系统；所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标存在区域，在鼠标存在区域进行鼠标追踪，对鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成鼠标移动控制信号和鼠标操作控制信号并传输至机械式控制系统；所述机械式控制系统用于采用机械式控制方式根据鼠标移动控制信号控制鼠标进行移动、根据鼠标操作控制信号控制鼠标进行相应操作。

【技术特征摘要】
1.一种基于机器视觉的机械式全自动鼠标操作装置，其特征在于，包括视频采集系统、机器视觉分析系统和机械式控制系统；所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标存在区域，在鼠标存在区域进行鼠标追踪，对鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成鼠标移动控制信号和鼠标操作控制信号并传输至机械式控制系统；所述机械式控制系统用于采用机械式控制方式根据鼠标移动控制信号控制鼠标进行移动、根据鼠标操作控制信号控制鼠标进行相应操作。2.如权利要求1所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，判定鼠标存在区域；当鼠标为运动状态时，则采用图像处理算法进行鼠标位置提取，当鼠标为静止状态时，则对图像进行放大，再利用特征点匹配与颜色特征进行模板匹配；得到鼠标存在区域后，在鼠标存在区域进行鼠标追踪。3.如权利要求2所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域进行鼠标识别，得到鼠标存在的图像区域后，在该鼠标存在区域进行鼠标追踪。4.如权利要求3所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行鼠标追踪。5.如权利要求4所述的基于机器视觉的机械式全自动鼠标操作装置，其特征在于，所述机器视觉分析系统对鼠标所在位置的对话框进行识别具体为：对鼠标存在区域，按照设定的采集参数进行样本区域采集；对采集的样本区域进行编号，建立每一个逻辑编号与鼠标存在区域物理位置的对应映射关系；对采集的样本区域进行特征提取，计算样本区域的色差方向梯度矢量化旋转差值；设定上下阈值，将色差方向梯度矢量化旋转差值在...

【专利技术属性】
技术研发人员：张志杰，
申请(专利权)人：西南民族大学，
类型：发明
国别省市：四川,51