一种远程桌面操作方法、装置、可读存储介质及终端设备制造方法及图纸

本发明专利技术属于计算机技术领域，尤其涉及一种远程桌面操作方法、装置、计算机可读存储介质及终端设备。所述方法接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；在所述本地桌面中的第三坐标处执行所述操作指令。即使用图像匹配的方式搜寻操作对象，并通过坐标变换确定操作对象的具体位置，从而大大提高了操作成功率。

A Remote Desktop Operating Method, Device, Readable Storage Media and Terminal Equipment

The invention belongs to the field of computer technology, in particular to a remote desktop operation method, device, computer readable storage medium and terminal device. The method receives the remote desktop operation request issued by the user and extracts the preset template image and operation instruction from the remote desktop operation request; obtains the window image of the remote desktop and searches for the target sub-image matching the template image in the window image of the remote desktop; obtains the first coordinate of the target sub-image in the window image, and The second coordinate of the window image of the remote desktop in the local desktop is obtained; the third coordinate of the target sub-image in the local desktop is calculated according to the first coordinate and the second coordinate; and the operation instruction is executed at the third coordinate of the local desktop. Even if the operation object is searched by image matching and the specific position of the operation object is determined by coordinate transformation, the success rate of operation is greatly improved.

【技术实现步骤摘要】
一种远程桌面操作方法、装置、可读存储介质及终端设备
本专利技术属于计算机
，尤其涉及一种远程桌面操作方法、装置、计算机可读存储介质及终端设备。
技术介绍
随着技术的发展，越来越多的企业开始采用机器人流程自动化(RoboticProcessAutomation，RPA)来执行一些例行的操作，但是，现有的RPA技术往往局限于对本地的一些操作对象等做一下简单的操作，而面对远程桌面上的操作对象，由于无法直接获取远程桌面上的操作对象的窗口句柄，难以确定操作对象所处的位置，操作成功率极低。
技术实现思路
有鉴于此，本专利技术实施例提供了一种远程桌面操作方法、装置、计算机可读存储介质及终端设备，以解决现有技术对远程桌面中的操作对象的操作成功率极低的问题。本专利技术实施例的第一方面提供了一种远程桌面操作方法，可以包括：接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；根据所述第本文档来自技高网...

【技术保护点】
1.一种远程桌面操作方法，其特征在于，包括：接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；在所述本地桌面中的第三坐标处执行所述操作指令。

【技术特征摘要】
1.一种远程桌面操作方法，其特征在于，包括：接收用户下发的远程桌面操作请求，并从所述远程桌面操作请求中提取预设的模板图像及操作指令；获取远程桌面的窗口图像，并在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像；获取所述目标子图像在所述窗口图像中的第一坐标，并获取所述远程桌面的窗口图像在本地桌面中的第二坐标；根据所述第一坐标和所述第二坐标计算所述目标子图像在所述本地桌面中的第三坐标；在所述本地桌面中的第三坐标处执行所述操作指令。2.根据权利要求1所述的远程桌面操作方法，其特征在于，所述在所述远程桌面的窗口图像中搜寻与所述模板图像匹配的目标子图像包括：从所述远程桌面的窗口图像中依次截取各个子图像；计算所述模板图像的特征向量集合以及所述各个子图像的特征向量集合，所述特征向量集合中包括各个特征点的特征向量；分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度；从所述各个子图像中选取相关度大于预设的相关度阈值的子图像作为所述目标子图像。3.根据权利要求2所述的远程桌面操作方法，其特征在于，所述计算所述模板图像的特征向量集合包括：分别使用预设的平滑函数集合中的各个平滑函数对所述模板图像进行平滑处理，得到与所述模板图像对应的平滑图像序列，所述平滑函数集合中的各个平滑函数如下所示：其中，f为各个平滑函数的序号，1≤f≤FN，FN为所述平滑函数集合中的平滑函数的数目，exp为自然指数函数，σf为第f个平滑函数的标准差，且σf<σf+1，Gf(x,y)为第f个平滑函数；构造与所述平滑图像序列对应的差分图像序列，其中，所述差分图像序列中的第f个差分图像为所述平滑图像序列中的第f个平滑图像与第f-1个平滑图像之间的差分图像；从所述差分图像序列中选取各个特征点，并分别计算各个特征点的特征向量；将各个特征点的特征向量集合构造为所述模板图像的特征向量集合。4.根据权利要求2所述的远程桌面操作方法，其特征在于，所述分别计算所述模板图像的特征向量集合与所述各个子图像的特征向量集合之间的相关度包括：在第s个子图像中分别查找与各个第一特征点对应的第二特征点，所述第一特征点为所述模板图像中的特征点，所述第二特征点为第s个子图像中的特征点，1≤s≤SN，SN为子图像的数目；根据下式计算所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度：其中，p为特征点的序号，1≤p≤PN，PN为第一特征点的数目，d为特征向量的维度序号，1≤d≤DN，DN为特征向量的维度数目，MtDegs,p为第p个第一特征点与对应的第二特征点之间的匹配度，且FtValp,d为第p个第一特征点的特征向量在第d个维度上的取值，SvFtVals,p,d为与第p个第一特征点对应的第二特征点的特征向量在第d个维度上的取值，MatchDegs为所述模板图像的特征向量集合与第s个子图像的特征向量集合之间的相关度。5.根据权利要求1至4中任一项所述的远程桌面操作...

【专利技术属性】
技术研发人员：王科，官民，李海林，杨开济，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44