一种多端同步操作的方法和装置制造方法及图纸

本发明专利技术公开了一种多端同步操作的方法，包括：响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述操作方式信息执行所述控件。相应的，本发明专利技术还公开了一种多端同步操作的装置。本发明专利技术能节省时间成本，提高工作效率。

【技术实现步骤摘要】
一种多端同步操作的方法和装置
本专利技术涉及通信
，尤其涉及一种多端同步操作的方法和装置。
技术介绍
目前在测试软件时，需要覆盖不同的机器类型、不同的分辨率和不同的操作系统(如win7、win8、win10、安卓系统或ios系统)，现有的测试方法每执行一遍测试用例，只能针对一种类型机器、一种分辨率和一种操作系统，不能一次覆盖所有机器和系统。而且，同一款软件包含很多的功能模块，每个功能模块对应的测试用例非常多，完整执行一遍测试用例下来，需要耗费很长的时间，如果需要在不同的机型、分辨率和操作系统下测试，又需要完整的执行一遍测试用例。综上，现有技术针对所有的机型、分辨率和操作系统的测试一轮下来，时间成本太大，工作效率太低。
技术实现思路
本专利技术实施例的目的是提供一种多端同步操作的方法和装置，能节省时间成本，提高工作效率。为实现上述目的，本专利技术实施例提供了一种多端同步操作的方法，包括：响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述操作方式信息执行所述控件。进一步的，所述多端同步操作的方法还包括：对所述图像进行识别，以获取所述操作事件对应的控件标识信息；所述向远程接口发送包括所述操作方式信息和所述图像的信息的数据包包括：向远程接口发送包括所述操作方式信息和包括所述控件标识信息的所述图像的信息的数据包。进一步的，所述图像的信息包括所述图像；则与所述远程接口可耦合通信的接收端能够对接收到的所述图像进行识别以获取控件标识信息，并根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。进一步的，所述对所述图像进行识别，以获取所述操作事件对应的控件标识信息具体包括：对所述图像进行文字识别以获取所述图像中的文字信息，将所述文字信息作为所述控件标识信息；或者，将所述图像与本地预存的控件图库中的控件图进行匹配识别，以获取与所述图像匹配的控件图的标识信息作为所述控件标识信息。进一步的，所述数据包还包括第一操作位置信息；所述向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述数据包中的操作方式信息执行所述控件，具体为：向远程接口发送包括所述第一操作位置信息、所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述第一操作位置信息、所述图像的信息中的控件标识信息及发送端的屏幕分辨率信息唯一确定对应的控件，并根据所述数据包中的操作方式信息执行所述控件；其中，所述远程接口可耦合通信的接收端已预先获取所述发送端的屏幕分辨率信息。进一步的，所述第一操作位置信息包括第一操作位置的坐标点；则所述基于预设的截图规则及所述第一操作位置信息确定截图区域具体包括：以所述第一操作位置信息的坐标点为所述截图区域的中心点，根据预置的截图形状和截图尺寸确定所述截图区域的边界点坐标以确定所述截图区域。相应的，本专利技术实施例还提供一种多端同步操作的方法，包括：通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与所述远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送；根据所述图像的信息在本地搜索到对应的控件；根据所述操作方式信息执行所述控件。进一步的，接收的所述图像的信息中包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像并对所述图像进行识别以获取的所述控件标识信息；所述根据所述图像的信息在本地搜索到对应的控件包括：根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。进一步的，接收的所述图像的信息包括所述发送端预先根据操作事件所对应的第一操作位置信息截图得到图像；则所述根据所述图像的信息在本地搜索到对应的控件包括：对所述图像进行识别以获取控件标识信息；根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。进一步的，所述数据包还包括第一操作位置信息；则当根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件的数目为至少两个时，还包括：获取所述至少两个对应的控件的位置；将所述第一操作位置信息转换为相对于所述发送端的屏幕分辨率的所述第二操作位置；其中，所述发送端的屏幕分辨率已预先获取；从所述至少两个对应的控件中确定与所述第二操作位置最相近的所述控件的位置；根据所述操作方式信息确定的所述控件。相应，本专利技术一实施例还提供一种多端同步操作的装置，包括：第一操作检测单元，用于响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；第一截图单元，用于基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；第一发送单元，用于向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述数据包中的操作方式信息执行所述控件。相应，本专利技术实施例还提供一种多端同步操作的装置，包括：第一接收单元，用于通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，所述数据包为与所述远程接口可耦合通信的发送端响应于监测到的作用在其当前界面上的操作事件而发送；第一控件搜索单元，用于根据所述图像的信息在本地搜索到对应的控件；第一操作执行单元，用于根据所述操作方式信息执行所述控件。相应，本专利技术一实施例还提供一种终端，其特征在于，其包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据本专利技术实施例所提供的一种多端同步操作的方法。与现有技术相比，本专利技术实施例提供的一种多端同步操作的方法和装置，通过在服务端的屏幕上检测到操作时，通过服务端获取所述操作对应的操作位置和操作方式，截取操作位置所在的特定区域的图像，将图像识别后获取的控件的标识以及操作方式同步发送至客户端，或，直接将图像和操作方式同步发送至客户端，由客户端对图像识别后获取控件的标识，通过客户端根据控件的标识和操作方式完成对应的操作的技术方案，从而实现在服务端操作时，客户端能够对应完成相应操作，大大节省时间成本，提高工作效率。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术实施例1提供的一种多端同步操作的方法的流程示意图；图2是本专利技术实施例1提供的一种多端同步操作的方法的确定截图区域的坐标的示例图；图3是本专利技术实施例1提供的一种多端同步操作的方法的流程示意图；图4是本专利技术实施例2提供的一种多端同步操作的方法的流程示意图；图5是本专利技术实施例3提本文档来自技高网...

【技术保护点】
一种多端同步操作的方法，其特征在于，包括：响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述操作方式信息执行所述控件。

【技术特征摘要】
1.一种多端同步操作的方法，其特征在于，包括：响应于监测到的作用在当前界面上的操作事件，获取所述操作事件对应的第一操作位置信息和操作方式信息；基于预设的截图规则及所述第一操作位置信息确定截图区域，并截取所述截图区域所对应的图像；向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述操作方式信息执行所述控件。2.如权利要求1所述一种多端同步操作的方法，其特征在于，所述多端同步操作的方法还包括：对所述图像进行识别，以获取所述操作事件对应的控件标识信息；所述向远程接口发送包括所述操作方式信息和所述图像的信息的数据包包括：向远程接口发送包括所述操作方式信息和包括所述控件标识信息的所述图像的信息的数据包。3.如权利要求1所述一种多端同步操作的方法，其特征在于，所述图像的信息包括所述图像；则与所述远程接口可耦合通信的接收端能够对接收到的所述图像进行识别以获取控件标识信息，并根据所述控件标识信息在本地搜索到与所述控件标识信息对应的控件。4.如权利要求2所述一种多端同步操作的方法，其特征在于，所述对所述图像进行识别，以获取所述操作事件对应的控件标识信息具体包括：对所述图像进行文字识别以获取所述图像中的文字信息，将所述文字信息作为所述控件标识信息；或者，将所述图像与本地预存的控件图库中的控件图进行匹配识别，以获取与所述图像匹配的控件图的标识信息作为所述控件标识信息。5.如权利要求1所述的一种多端同步操作的方法，其特征在于，所述数据包还包括所述第一操作位置信息；所述向远程接口发送包括所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述数据包中的图像的信息在本地搜索到对应的控件，并根据所述数据包中的操作方式信息执行所述控件，具体为：向远程接口发送包括所述第一操作位置信息、所述操作方式信息和所述图像的信息的数据包，以使与所述远程接口可耦合通信的至少一个接收端能够根据所述第一操作位置信息、所述图像的信息中的控件标识信息及发送端的屏幕分辨率信息唯一确定对应的控件，并根据所述数据包中的操作方式信息执行所述控件；其中，所述远程接口可耦合通信的接收端已预先获取所述发送端的屏幕分辨率信息。6.如权利要求1所述的一种多端同步操作的方法，其特征在于，所述第一操作位置信息包括第一操作位置的坐标点；则所述基于预设的截图规则及所述第一操作位置信息确定截图区域具体包括：以所述第一操作位置信息的坐标点为所述截图区域的中心点，根据预置的截图形状和截图尺寸确定所述截图区域的边界点坐标以确定所述截图区域。7.一种多端同步操作的方法，其特征在于，包括：通过远程接口接收包括操作方式信息和图像的信息的数据包；其中，...

【专利技术属性】
技术研发人员：邓广顺，
申请(专利权)人：广州视源电子科技股份有限公司，广州视睿电子科技有限公司，
类型：发明
国别省市：广东,44