一种基于对象识别的远程快速界面交互方法及装置制造方法及图纸

本发明专利技术涉及一种基于对象识别的远程操作界面交互方案，包括：S100、建立本地设备与远程主机之间的关联；S200、通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息；S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的变换参数；S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行图元变换；S500、微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。本技术方案使得在远程控制期间，极大地减少本地设备和远程主机之间传输的界面图像数据量，从而提高界面交互操作流畅度、提升用户操作体验。

【技术实现步骤摘要】
一种基于对象识别的远程快速界面交互方法及装置
本专利技术涉及计算机通信领域，尤其涉及一种基于对象识别的远程快速界面交互方法及装置。
技术介绍
远程控制是计算机
中常用的技术。例如在软件的开发和测试过程中，软件开发商通常需要在测试服务器或移动终端等远程主机上安装多台虚拟机。每台虚拟机上可以运行不同环境参数的操作系统实例，以验证软件在多种配置环境下的运行状况。此时，测试人员和开发人员可以通过远程登陆到上述远程主机以执行具体的测试任务。基于上述技术方案，由于相关人员与物理设备无需处于相同的工作场所，且远程登陆的方式可以方便相关人员验证、复现和回归软件开发过程中的各类问题，为软件的开发和测试工作带来了便利。然而，目前各类远程控制的技术方案都依赖于本地设备与远程主机的网络连接状况。当客户端通过互联网访问虚拟机图形化控制台之后，将虚拟机刷新后的页面返回至客户端。由于刷新后的页面需要整体发送回客户端，所以当网络连接状况较差或多台本地设备并发连接到远程主机时，在本地设备上将出现明显的网络延时。这使得本地设备对远程主机的操作不流畅，用户不能从本地设备上实时获得其向远程主机上发出的指令，从而影响了远程控制的实际使用效果。
技术实现思路
本专利技术的目的是解决现有技术的不足，提供一种用于远程操作的快速界面交互方法及装置，能够获得提高本地设备远程操作远程主机流畅度的效果。本专利技术的技术方案的第一方面为一种基于对象识别的远程操作界面交互方法，包括以下步骤：S100、建立本地设备与远程主机之间的界面图像关联的接口和通道；S200、通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息，然后获取该分块对象及其自身的图元在图像库/缓冲区中的对应元素的ID；S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的位置及缩放的变换参数；S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行动态区域的图元的变换，并刷新界面图像；S500、本地设备接收远程主机发送的图像、图元位置或图像库的ID数据，微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。进一步，所述步骤S200包括：根据所选的界面交互场景和/或当前运行的应用程序种类，以预设的划分方式划分所述分块对象，该预设的划分方式包含横分动态区域、列分动态区域、文字分离或矢量图分离、播放影像分离的方式。进一步，在所述步骤S200中：首先识别整体的分块对象在图像库或缓冲区中的对应元素的ID，如果找不到对应的元素ID然后再识别分块对象内部的每个图元在图像库/缓冲区中的对应元素的ID；所述对比算法包括哈希对比算法或神经网络对比识别算法。进一步，所述步骤S300包括：获取输入指令的事件和动作参数，判断与该指令的事件关联的分块对象或图元；将动作参数转换为对应的分块对象或图元的位置和缩放的变换参数，并且配置所述动作的执行时间与分块对象或图元的变换时间一致。进一步，在所述步骤S300中，输入指令的事件包括输入设备的按键点击、缩放、拖动、滚页或应用程序的焦点切换。进一步，所述步骤S400包括：在执行指令事件的时间段内，根据分块对象或图元的变换参数，在从本地的缓冲区获取与当前图像界面的动态区域关联的额外图元，并且加入该额外图元进行动态区域的界面变换。进一步，所述步骤S400包括：如果没有获取得到分块对象或者相应的图元来执行界面变换，则在等待缓冲区接收远程界面的图像数据的时候，保持当前界面的动态区域不变动。进一步，所述步骤S500包括：传送指令到远程主机，在远程执行指令事件，刷新界面，确定相应图元的实际位置；判断本地设备和远程主机的分块对象或图元的位置及缩放的差异值是否超过预设的阈值；如果超过该阈值，则在本地修正图元位置，并且缓冲图元到本地设备的缓冲区，以替换本地设备的界面图像中的缺失的图元。本专利技术的技术方案的第二方面为一种基于对象识别的远程操作界面交互装置，包括：第一模块，用于建立本地设备与远程主机之间的界面图像关联的接口和通道；第二模块，用于通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息，然后获取该分块对象及其自身的图元在图像库/缓冲区中的对应元素的ID；第三模块，用于跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的位置及缩放的变换参数；第四模块，用于根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行动态区域的图元的变换，并刷新界面图像；第五模块，用于本地设备接收远程主机发送的图像、图元位置或图像库的ID数据，微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。本专利技术的技术方案的第三方面为一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上所述的方法的步骤。本专利技术的有益效果为：在实施远程操作元计算机时，能够根据特定的应用场景以对远程主机的界面图像进行分块，提高图像获取效率；可以基于本地输入设备的指令直接在本地优先生成界面图像，减少远程传输数据量，从而提高界面交互的操作流畅度和传播的实时性。附图说明图1所示为根据本专利技术的方法的总体流程图；图2所示为根据本专利技术的方法的细节流程图；图3所示为根据本专利技术的方法的本地设备与远程主机之间的协作流程图；图4所示为根据本专利技术的方法的本地设备与远程主机之间的结构框图；图5所示为根据本专利技术的一个实施例中的交互场景选择和优化的示意图；图6至图9所示为根据本专利技术的多个操作实施例的示意图。具体实施方式以下将结合实施例和附图对本专利技术的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本专利技术的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。参照图1，根据本专利技术的基于对象识别的远程操作界面交互方法包括以下步骤：S100、建立本地设备与远程主机之间的界面图像关联的接口和通道；S200、通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息，然后获取该分块对象及其自身的图元在图像库/缓冲区中的对应元素的ID；S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的位置及缩放的变换参数；S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行动态区域的图元的变换，并刷新界面图像；S500、本地设备接收远程主机发送的图像、图元位置或图像库的ID数据，微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。远程主机是处于互联网或局域网中的远程受控主机，例如是个人计算机、分布式服务器、云计算机、网络受控终端等。远程主机还可以是虚拟化的主机，其同时被多个用户登陆控制。本地设备是由用户操作的主控本地机，例如是个人计算机、移动通信终端、web主控端等。固定区域是指远程操作界面中在给定时间内基本不变的图像部分，比如在操作界面中示出应用程序的工具栏图像、任务栏图像等。例如参考图6至9，应用程序界面中的上任务栏和左侧任务栏的图像、图标所构成的本文档来自技高网...

【技术保护点】
1.一种基于对象识别的远程操作界面交互方法，其特征在于，包括以下步骤：S100、建立本地设备与远程主机之间的界面图像关联的接口和通道；S200、通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息，然后获取该分块对象及其自身的图元在图像库/缓冲区中的对应元素的ID；S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的位置及缩放的变换参数；S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行动态区域的图元的变换，并刷新界面图像；S500、本地设备接收远程主机发送的图像、图元位置或图像库的ID数据，微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。

【技术特征摘要】
1.一种基于对象识别的远程操作界面交互方法，其特征在于，包括以下步骤：S100、建立本地设备与远程主机之间的界面图像关联的接口和通道；S200、通过对比算法，在远程主机识别动态区域中的分块对象，提取并记录分块对象及其自身的图元的位置信息，然后获取该分块对象及其自身的图元在图像库/缓冲区中的对应元素的ID；S300、跟随本地设备的输入指令，计算界面图像中受该输入指令影响的分块对象或图元的位置及缩放的变换参数；S400、根据本地设备的图像库和缓冲区，基于当前的界面图像以及受输入指令影响的图元的变换参数，在本地进行动态区域的图元的变换，并刷新界面图像；S500、本地设备接收远程主机发送的图像、图元位置或图像库的ID数据，微调固定区域和动态区域的界面图像，使本地设备和远程主机的界面图像同步。2.根据权利要求1所述的方法，其特征在于，所述步骤S200包括：根据所选的界面交互场景和/或当前运行的应用程序种类，以预设的划分方式划分所述分块对象，该预设的划分方式包含横分动态区域、列分动态区域、文字分离、矢量图分离、或播放影像分离的方式。3.根据权利要求1或2所述的方法，其特征在于，在所述步骤S200中：首先识别整体的分块对象在图像库或缓冲区中的对应元素的ID，如果找不到对应的元素ID然后再识别分块对象内部的每个图元在图像库/缓冲区中的对应元素的ID；所述对比算法包括哈希对比算法或神经网络对比识别算法。4.根据权利要求1所述的方法，其特征在于，所述步骤S300包括：获取输入指令的事件和动作参数，判断与该指令的事件关联的分块对象或图元；将动作参数转换为对应的分块对象或图元的位置和缩放的变换参数，并且配置所述动作的执行时间与分块对象或图元的变换时间一致。5.根据权利要求4所述的方法，其特征在于，在所述步骤S300中，输入指令的事件包括输入设备的按键点击、缩放、拖动、滚页或应用程序的焦...

【专利技术属性】
技术研发人员：杨立群，
申请(专利权)人：杨立群，
类型：发明
国别省市：广东,44