一种操作界面帧图片的显示方法及装置制造方法及图纸

本申请公开一种操作界面帧图片的显示方法及装置，首先，获取待显示操作界面帧和与每幅待显示操作界面帧对应的显示信息；所述显示信息包括操作界面帧的标识信息以及与操作界面帧关联的交互事件在操作界面帧的交互位置信息；其次，根据所述交互位置信息和标识信息确定所述操作界面帧的热点区域；然后，根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域；最后，在显示设备显示所述视觉焦点区域。通过本申请方法及装置，对操作界面帧的视觉焦点区域进行局部显示，使人快速捕捉到操作界面帧图片的焦点，便于人工干预构建操作界面帧间逻辑关系的过程。

【技术实现步骤摘要】
一种操作界面帧图片的显示方法及装置
本申请涉及图片显示
，尤其涉及一种操作界面帧图片的显示方法及装置。
技术介绍
在互联网技术的实际应用中，经常涉及到获取一个系统中的数据并将其输入到另一个系统当中。例如，在电子商务领域，企业或经销商在电商平台上开设店铺，注册用户通过电商平台购买商品从而在电商平台产生订单数据。此时，便需要获取电商平台产生的订单数据并输入到企业或经销商的ERP(EnterpriseResourcePlanning，企业资源计划)系统或者进销存系统中，以便企业或经销商对其库存、产品及财务等数据进行管理。上述ERP系统或者进销存系统与电商平台之间的数据传递过程，理论上可以通过EDI(ElectronicDataInterchange，电子数据交换)集成技术来实现，即系统与系统之间通过特定的数据接口，采用标准化的格式，利用计算机网络进行结构化数据的传输和交换。然而，由于在开发接口的过程中，需要根据双方系统的开发特点，通过协商制定对接代码或者业务规则，因此，特定数据接口的开发需要较长的时间和相应的技术支持，开发效率低。尤其当涉及到的系统具有不同种类或多个版本时，针对每个系统都需开发出一个特定的接口，这就更加需要花费大量的时间，因而更加降低了开发效率。例如，当前不同种类或版本的ERP系统数量高达1500-2000个，每一种ERP系统与电商平台对接所需的接口都可能不同。此外，很多微小企业使用的ERP或进销存系统的开发商早已不复存在，或者系统版本老旧，压根不能支持数据接口，因而对于这类系统的接口开发更是难上加难。由此可见，依赖EDI集成技术解决任意不同系统间的数据对接问题是不现实的。实际上，当前很多系统间的数据对接仍然通过人工录入的方式完成。例如，经销商利用人工将电商平台产生的订单数据录入到自己的ERP系统中。基于此，申请人考虑基于发生交互事件时的操作界面帧图像获取人机交互操作信息，通过自动执行该人机交互操作信息，来自动读取一个系统中的数据并自动将数据录入另一系统中。在该技术方案中，首先，当发生人机交互事件时，获取当前操作界面帧图片，并记录事件的交互位置；其次，在交互位置附近确定一个相对于该操作界面帧具有唯一性的标识；然后，确定交互位置与标识位置的相对关系；最后，通过人工干预的方法，建立一系列交互事件对应的操作界面帧之间的逻辑关系，从而确定每幅操作界面帧对应的交互动作的执行顺序，生成人机交互信息。通过执行该人机交互信息，使计算机可以模拟用户在计算机操作界面上的操作行为，从而代替频繁反复的用户操作。在上述人工干预建立逻辑关系的过程中，通常需要将全部交互事件对应的操作界面帧显示出来，然后构建这些操作界面帧间的逻辑关系。因此，如何显示这些操作界面帧，能够便于逻辑关系的构建，成为本领域亟待解决的技术问题。
技术实现思路
本申请提供了一种操作界面帧图片的显示方法及装置，以解决在获取人机交互信息过程中，如何显示采集的操作界面帧的问题。第一方面，本申请提供了一种操作界面帧图片的显示方法，该方法包括：获取待显示操作界面帧和与每幅待显示操作界面帧对应的显示信息；所述显示信息包括操作界面帧的标识信息以及与操作界面帧关联的交互事件在操作界面帧的交互位置信息；根据所述交互位置信息和标识信息确定所述操作界面帧的热点区域；根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域；在显示设备显示所述视觉焦点区域。结合第一方面，在本申请第一方面第一种可能的实现方式中，所述根据交互位置信息和标识信息确定所述操作界面帧的热点区域，包括：分别解析所述交互位置信息和标识信息，得到交互位置坐标和标识图像的坐标点集；根据所述交互位置坐标和标识图像的坐标点集确定所述操作界面帧的热点区域，使所述交互位置和所述标识位于所述热点区域的范围内。结合第一方面或第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述根据交互位置坐标和标识图像的坐标点集确定所述操作界面帧的热点区域，包括：以所述交互位置坐标为中心点，向四周扩散获取图像区域直到所述标识图像的坐标点集中的点全部落在获取的图像区域内，得到热点区域。结合第一方面或第一方面前两种可能的实现方式，在第一方面第三种可能的实现方式中，所述根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域，包括：判断所述显示窗口尺寸是否大于所述热点区域的尺寸；如果所述显示窗口尺寸大于所述热点区域的尺寸，以所述热点区域为中心区域，向四周扩散获取图像区域，直到获取的图像区域与所述显示窗口尺寸一致，得到视觉焦点区域；如果所述显示窗口尺寸小于或者等于所述热点区域的尺寸，以所述热点区域为中心区域，向四周扩散获取图像区域，直到获取的图像区域经预设比例缩小后与所述显示窗口尺寸一致，得到视觉焦点区域。结合第一方面或第一方面前两种可能的实现方式，在第一方面第四种可能的实现方式中，所述在显示设备显示所述视觉焦点区域，包括：获取所述操作界面帧的时间戳或顺序编码；根据所述操作界面帧的时间戳或顺序编码，确定与所述操作界面帧对应的显示窗口；在所述显示窗口对应的显示区域内显示所述操作界面帧的视觉焦点区域。结合第一方面或第一方面第四种可能的实现方式，在第一方面第五种可能的实现方式中，所述在显示窗口对应的显示区域内显示所述操作界面帧的视觉焦点区域，包括：根据所述预设的显示窗口尺寸和所述视觉焦点区域的尺寸，确定对所述视觉焦点区域的缩放比例；根据所述缩放比例，对所述视觉焦点区域在显示窗口对应的显示区域内进行缩放显示。结合第一方面或第一方面第五种可能的实现方式，在第一方面第六种可能的实现方式中，在所述根据缩放比例，对所述视觉焦点区域在显示窗口对应的显示区域内进行缩放显示之后，所述方法还包括：以所述操作界面帧的时间戳或顺序编码作为所述显示窗口的标识，并将所述显示窗口的标识在所述显示区域的特定局部进行显示。结合第一方面或第一方面第一种可能的实现方式，在第一方面第七种可能的实现方式中，所述在显示设备显示所述视觉焦点区域之前，所述方法还包括：根据所述标识图像的坐标点集，在所述操作界面帧上对所述标识图像进行图形化标注。结合第一方面，在第一方面第八种可能的实现方式中，所述方法还包括：当接收到用户输入的全局显示指令时，根据所述全局显示指令对相应视觉焦点区域所属的操作界面帧进行全局显示。第二方面，本申请还提供一种操作界面帧图片的显示装置，所述装置包括：获取单元，用于获取待显示操作界面帧和与每幅待显示操作界面帧对应的显示信息；所述显示信息包括操作界面帧的标识信息以及与操作界面帧关联的交互事件在操作界面帧的交互位置信息；第一确定单元，用于根据所述交互位置信息和标识信息确定所述操作界面帧的热点区域；第二确定单元，用于根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域；显示单元，用于在显示设备显示所述视觉焦点区域。由以上技术方案可知，本申请实施例提供一种操作界面帧图片的显示方法及装置，首先，获取待显示操作界面帧和与每幅待显示操作界面帧对应的显示信息；所述显示信息包括操作界面帧的标识信息以及与操作界面帧关联的交互事件在操作界面帧的交互位置信息；其次，根据所述交互位置信息和标识信息确定所述操作界面帧的热点区域；然后，根据显示设备预设的显示窗口本文档来自技高网...

【技术保护点】
1.一种操作界面帧图片的显示方法，其特征在于，所述方法包括：获取待显示操作界面帧和与每幅待显示操作界面帧对应的显示信息；所述显示信息包括操作界面帧的标识信息以及与操作界面帧关联的交互事件在操作界面帧的交互位置信息；根据所述交互位置信息和标识信息确定所述操作界面帧的热点区域；根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域；在显示设备显示所述视觉焦点区域。

【技术特征摘要】
1.一种操作界面帧图片的显示方法，其特征在于，所述方法包括：获取待显示操作界面帧和与每幅待显示操作界面帧对应的显示信息；所述显示信息包括操作界面帧的标识信息以及与操作界面帧关联的交互事件在操作界面帧的交互位置信息；根据所述交互位置信息和标识信息确定所述操作界面帧的热点区域；根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域；在显示设备显示所述视觉焦点区域。2.根据权利要求1所述的方法，其特征在于，所述根据交互位置信息和标识信息确定所述操作界面帧的热点区域，包括：分别解析所述交互位置信息和标识信息，得到交互位置坐标和标识图像的坐标点集；根据所述交互位置坐标和标识图像的坐标点集确定所述操作界面帧的热点区域，使所述交互位置和所述标识位于所述热点区域的范围内。3.根据权利要求2所述的方法，其特征在于，所述根据交互位置坐标和标识图像的坐标点集确定所述操作界面帧的热点区域，包括：以所述交互位置坐标为中心点，向四周扩散获取图像区域直到所述标识图像的坐标点集中的点全部落在获取的图像区域内，得到热点区域。4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据显示设备预设的显示窗口尺寸和所述热点区域确定视觉焦点区域，包括：判断所述显示窗口尺寸是否大于所述热点区域的尺寸；如果所述显示窗口尺寸大于所述热点区域的尺寸，以所述热点区域为中心区域，向四周扩散获取图像区域，直到获取的图像区域与所述显示窗口尺寸一致，得到视觉焦点区域；如果所述显示窗口尺寸小于或者等于所述热点区域的尺寸，以所述热点区域为中心区域，向四周扩散获取图像区域，直到获取的图像区域经预设比例缩小后与所述显示窗口尺寸一致，得到视觉焦点区域。5.根据权利要求1-3任一项所述的方法，其特征在于，所述在显示设备显示所述视...

【专利技术属性】
技术研发人员：李东播，
申请(专利权)人：北京赢销通软件技术有限公司，
类型：发明
国别省市：北京,11