鼠标光标影像侦测比对与回馈状态判断方法技术

本发明专利技术公开了一种鼠标光标影像侦测比对与回馈状态判断方法，其是基于非侵入式数据撷取系统架构下，以图像处理单元读取机台控制器所输出操作画面中的鼠标光标影像进行侦测比对，该方法包含先取得用户设定的光标前景图像与背景图像，并选用算法将前景图像与背景图像生成一光标屏蔽后，再读取鼠标光标影像套用光标屏蔽作样型比对，可将比对结果的信息与鼠标光标回馈状态回传至软件控制系统，提供后续修正系统进行对应的鼠标光标处理程序，同时可确认鼠标光标的移动是否符合回馈与修正系统所操控的位置，以完成鼠标光标的闭回路控制，提供更精确的机台控制程序，也可用来记录用户操作流程或是提供撷取大量用户界面信息的中间媒介。

【技术实现步骤摘要】
鼠标光标影像侦测比对与回馈状态判断方法
本专利技术提供一种鼠标光标影像侦测比对与回馈状态判断方法，尤指可通过图像处理单元读取机台操作画面中的鼠标光标影像进行侦测比对，并将比对结果的信息与鼠标光标回馈状态提供给后续修正系统进行对应的处理程序，以完成鼠标光标的闭回路控制。
技术介绍
现今信息科技的进步、网络的发达与计算机运算能力的大幅提升，以及数据搜集和储存技术持续地改进，也加速了大数据的累积、记录与取得，并在工业生产机台利用云端开发大数据应用时，其中一个重要任务即是在产线机台(或称为云端终点端)处搜集相关机台的数据，由于许多重要数据来自于机台软件的用户界面，操作员会在用户界面上进行许多画面的操控，这类的操作行为将有助于了解目前操作员正在进行的机台数据调整、机台程序界面相关数据撷取及程序相关参数设定等数据搜集与分析应用。一般机台的用户界面是系统和操作员之间进行互动和信息交换的媒介，包含人机互动与图形用户界面，使系统可通过操作员对键盘、鼠标、触摸板等数据输入的装置操作所传送的信号来控制机台上的操作画面，但是，该通过鼠标单向传送的信号控制时，常会因欲操作的操作系统资源的限制而遗失信号，导致无法正确操控鼠标的光标；若是旧型机台要升级时亦会有其硬设备扩充与软件系统修改的困难性，并在搜集这类机台上的鼠标操控数据时，除了会影响到其处理器的负载之外，计算机配备上的资源也容易受到许多限制，包括现行机台程序的处理程序与效能等；此外，基于商业机密、软硬件保密协议、运算资源等限制，并无法以侵入式数据撷取的方式在目标系统上装载相关鼠标操控的回馈程序，且鼠标光标移动的速度亦很可能因对方系统设定上的差异而出现非一致性的移动，以致使鼠标光标移动的速度无法正确预测而产生误差，上述种种因素均将不利于进行取得用户界面上大量的数据的搜集，则有待从事于此行业者重新设计来加以有效解决。
技术实现思路
本专利技术的主要目的在于基于非侵入式数据撷取系统可以不介入任何生产机台的条件下，通过图像处理单元侦测出目标机台端实际操控鼠标于操作画面中的鼠标光标影像，并套用光标屏蔽作样型比对后，可将比对结果的信息与鼠标光标回馈状态回传至软件控制系统，提供后续修正系统进行对应的处理程序，可确保其传送与控制鼠标移动的正确性，以完成鼠标光标的闭回路控制，如此不但不影响目前机台的生产与负载，并在鼠标光标的控制与监控上可提供一个回馈的修正机制，让鼠标光标在中央处理器或操作系统调配资源的同时，提供更为正确且可靠的鼠标光标位置信息，以及更精确的机台控制程序，也可用来记录用户操作流程、行为，或是提供撷取大量用户界面信息的中间媒介。本专利技术的次要目的在于图像处理单元可搭配比对运算提供单一或多个位置、个数与稳定程度信息来设计鼠标光标位置回馈状态与修正流程，包含用户设定的光标前景与背景图像，并套用一光标屏蔽，在意区域与不在意区域的设计、通过图像直方图于横轴上的各亮度值区间的间距取得预设门坎值的概念、比对单元设计流程与线扫描的比对方式，而鼠标光标回馈状态机制的判断流程中，通过图像处理单元提供的比对结果移动鼠标光标，包含整个设计流程中检测鼠标光标的稳定程度、多重位置、多个鼠标光标判断、过去鼠标光标移动的分析、鼠标光标返回起始位置再移动至目标位置的复原方式、安全区域的使用方式、鼠标光标位置补偿、错误分析或其他相关鼠标光标状态等。本专利技术的另一目的在于图像处理单元可侦测机台操作画面中的鼠标光标影像，取代原本人眼的功能，并由现场可程序逻辑门阵列执行鼠标光标影像侦测比对的流程，不须通过目标机台端的中央处理器，除了可减低运作的负载外，并保证图像处理的实时性，且图像处理单元所回传侦测比对的结果，亦不须预先取得目标机台端系统的鼠标光标移动速度等设定，通过回馈与修正系统操控鼠标光标的坐标记录，即可正确得知目前鼠标光标的位置、个数与影像的稳定程度等回馈状态信息，以提供传统非侵入式数据撷取系统更精确的机台控制程序。为了达到上述目的，本专利技术公开了一种鼠标光标影像侦测比对与回馈状态判断方法，该方法是基于非侵入式数据撷取系统架构下，以图像处理单元读取机台控制器所输出操作画面中的鼠标光标影像进行侦测比对，该方法包含下列步骤：(A)取得用户设定的光标前景图像；(B)取得用户设定的光标背景图像；(C)选用算法将该前景图像与该背景图像生成一光标屏蔽；(D)读取该鼠标光标影像并套用该光标屏蔽作样型比对；(E)提供比对结果的信息与鼠标光标回馈状态。在本专利技术的一实施例中，该图像处理单元为现场可程序逻辑门阵列、特殊应用集成电路、微处理器或应用程序。在本专利技术的一实施例中，该前景图像与该背景图像为该图像处理单元取得系统提供用户预先设定的光标前景图像与背景图像。在本专利技术的一实施例中，该前景图像与该背景图像通过光标特征撷取算法生成该比对的光标屏蔽，包含箭头及I字形光标屏蔽。在本专利技术的一实施例中，该图像处理单元通过一比对单元读取该鼠标光标影像，并套用该光标屏蔽将该鼠标光标影像区分成在意区域与不在意区域，再作样型比对。在本专利技术的一实施例中，该步骤(D)中的鼠标光标影像比对之前，先针对该光标屏蔽作优化处理，该优化处理的方法包含下列步骤：(D1)将该光标屏蔽中的该在意区域作图像直方图运算，并对横轴上的各亮度值区间之间作间距的计算；(D2)从该最大的间距中取一个预设门坎值；(D3)通过该预设门坎值进行图像二值化撷取出箭头光标及I字形光标样型，再将阴影处滤除；(D4)将该箭头光标的箭头区域内部通过区域成长标定出来；(D5)将该I字形光标在X轴作像素填补。在本专利技术的一实施例中，该图像直方图的横轴为表示图像不同的亮度值，纵轴为表示该亮度值的像素占该图像的比例。在本专利技术的一实施例中，该图像二值化的处理是以该亮度值超过预设门坎值的像素当作背景图像，反之则为前景图像，并于去除该背景图像撷取出该箭头光标及I字形光标样型。在本专利技术的一实施例中，该比对单元是针对该光标屏蔽中的该在意区域以颜色边界搭配图像二值化进行鼠标光标影像分割，并通过线扫描的方式逐行扫完整个鼠标光标影像，再由比对分割样型的矩阵计算得到用以判断是否为稳定的鼠标光标影像的分数门坎值。在本专利技术的一实施例中，该步骤(E)中的比对结果的信息包含鼠标光标在操作画面中的位置、个数与影像的稳定程度，用以确认该鼠标光标的移动是否符合回馈与修正系统操控的位置。在本专利技术的一实施例中，该步骤(E)中的该图像处理单元进行该鼠标光标回馈状态的判断方法，该判断方法包含下列步骤：(E01)系统开始执行该鼠标光标的移动；(E02)等待该图像处理单元回报该鼠标光标状态已稳定或已超过等待时间；(E03)判断是否有找到该鼠标光标，若有，则执行步骤(E04)，若无，则执行步骤(E10)；(E04)判断该鼠标光标是否有多重位置，若有，则执行步骤(E05)，若无，则执行步骤(E06)；(E05)提供该鼠标光标多重位置的警报信息，再继续执行步骤(E06)；本文档来自技高网...

【技术保护点】
1.一种鼠标光标影像侦测比对与回馈状态判断方法，该方法是基于非侵入式数据撷取系统架构下，以图像处理单元读取机台控制器所输出操作画面中的鼠标光标影像进行侦测比对，其特征在于，该方法包含下列步骤：/n(A)取得用户设定的光标前景图像；/n(B)取得用户设定的光标背景图像；/n(C)选用算法将该前景图像与该背景图像生成一光标屏蔽；/n(D)读取该鼠标光标影像并套用该光标屏蔽作样型比对；/n(E)提供比对结果的信息与鼠标光标回馈状态。/n

【技术特征摘要】
1.一种鼠标光标影像侦测比对与回馈状态判断方法，该方法是基于非侵入式数据撷取系统架构下，以图像处理单元读取机台控制器所输出操作画面中的鼠标光标影像进行侦测比对，其特征在于，该方法包含下列步骤：
(A)取得用户设定的光标前景图像；
(B)取得用户设定的光标背景图像；
(C)选用算法将该前景图像与该背景图像生成一光标屏蔽；
(D)读取该鼠标光标影像并套用该光标屏蔽作样型比对；
(E)提供比对结果的信息与鼠标光标回馈状态。


2.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该图像处理单元为现场可程序逻辑门阵列、特殊应用集成电路、微处理器或应用程序。


3.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该前景图像与该背景图像为该图像处理单元取得系统提供用户预先设定的光标前景图像与背景图像。


4.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该前景图像与该背景图像通过光标特征撷取算法生成该比对的光标屏蔽，包含箭头及I字形光标屏蔽。


5.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该图像处理单元通过一比对单元读取该鼠标光标影像，并套用该光标屏蔽将该鼠标光标影像区分成在意区域与不在意区域，再作样型比对。


6.如权利要求5所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该步骤(D)中的鼠标光标影像比对之前，先针对该光标屏蔽作优化处理，该优化处理的方法包含下列步骤：
(D1)将该光标屏蔽中的该在意区域作图像直方图运算，并对横轴上的各亮度值区间之间作间距的计算；
(D2)从该最大的间距中取一个预设门坎值；
(D3)通过该预设门坎值进行图像二值化撷取出箭头光标及I字形光标样型，再将阴影处滤除；
(D4)将该箭头光标的箭头区域内部通过区域成长标定出来；
(D5)将该I字形光标在X轴作像素填补。


7.如权利要求6所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该图像直方图的横轴为表示图像不同的亮度值，纵轴为表示该亮度值的像素占该图像的比例。


8.如权利要求7所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该图像二值化的处理是以该亮度值超过预设门坎值的像素当作背景图像，反之则为前景图像，并于去除该背景图像撷取出该箭头光标及I字形光标样型。


9.如权利要求5所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该比对单元是针对该光标屏蔽中的该在意区域以颜色边界搭配图像二值化进行鼠标光标影像分割，并通过线扫描的方式逐行扫完整个鼠标光标影像，再由比对分割样型的矩阵计算得到用以判断是否为稳定的鼠标光标影像的分数门坎值。


10.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征...

【专利技术属性】
技术研发人员：杨朝栋，陈韦宏，林世勋，凃玮君，刘骏宏，林建仲，罗介媛，张晓龄，
申请(专利权)人：凌华科技股份有限公司，
类型：发明
国别省市：中国台湾;71