屏幕图像的识别方法及装置制造方法及图纸

本申请公开了屏幕图像的识别方法及装置。所述方法的一具体实施方式包括：获取终端屏幕的截屏图像；获取截屏图像中的待识别区域的位置指示信息，并根据位置指示信息从截屏图像中选取待识别区域图像；将待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；通过支持第三方图像识别应用的调用接口来调用第三方图像识别应用来识别图像格式转换后的待识别区域图像；根据第三方图像识别应用返回的图像识别结果信息确定待识别区域图像包含的图像。该实施方式将屏幕图像的截屏图像的图像格式转换为第三方图像识别应用支持的图像格式，通过调用接口直接调用第三方图像识别应用，能够实现对屏幕图像的快速准确识别。

【技术实现步骤摘要】

本申请涉及图像处理
，具体涉及图像识别
，尤其涉及屏幕图像的识别方法及装置。
技术介绍
随着科技的发展，各种智能电子设备为人们的工作和生活带来了极大便利。智能电子设备通过软件来实现各种功能，软件通常包括大量的图片信息和文字信息，为了实现指定的功能，需要软件开发人员对软件验证，以保证软件的正常工作。然而，现有的验证软件的方法还存在一些不足。例如，在软件验证的过程中，需要对软件包含的大量图片信息、图标信息和文字信息进行验证，现有的方法多是采用人工的方法验证，这就导致在验证软件的过程中出现验证错误率较高的问题；同时，智能设备上的不同软件之间存在很多相似的图片和文字，因此，在智能电子设备的屏幕上验证图片信息或文字信息时，验证的错误率更高。
技术实现思路
本申请提供了屏幕图像的识别方法及装置，以解决
技术介绍
中提到的技术问题。第一方面，本申请提供了一种屏幕图像的识别方法，所述方法包括：获取终端屏幕的截屏图像；获取所述截屏图像中的待识别区域的位置指示信息，并根据所述位置指示信息从所述截屏图像中选取待识别区域图像；将所述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像；根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像。在一些实施例中，所述根据所述位置指示信息从所述截屏图像中选取待识别区域图像包括：从所述位置指示信息中解析出待识别区域图像在所述截屏图像中的起始坐标信息和区域大小信息；根据所述起始坐标信息和区域大小信息选取待识别区域图像。在一些实施例中，所述通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像包括：通过所述调用接口将图像格式转换后的待识别区域图像导入所述第三方图像识别应用；接收所述第三方图像识别应用发来的与所述待识别区域图像对应的识别图像。在一些实施例中，所述图像识别结果信息包括所述第三方图像识别应用识别出的与所述待识别区域图像对应的识别图像。在一些实施例中，所述根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像包括：当所述识别图像为多个时，按所述识别图像与待识别区域图像之间的相似度来确定所述待识别区域图像包含的图像。在一些实施例中，所述方法还包括：获取调用接口的步骤，包括：获取第三方图像识别应用的应用程序编程接口信息；将用于识别图像的应用程序编程接口封装成调用接口。第二方面，本申请提供了一种屏幕图像的识别装置，所述装置包括：截屏图像获取单元，用于获取终端屏幕的截屏图像；待识别区域图像获取单元，用于获取所述截屏图像中的待识别区域的位置指示信息，并根据所述位置指示信息从所述截屏图像中选取待识别区域图像；图像格式转换单元，用于将所述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；待识别区域图像识别单元，用于通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像；待识别区域图像确定单元，用于根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像。在一些实施例中，所述待识别区域图像获取单元包括：位置指示信息解析子单元，用于从所述位置指示信息中解析出待识别区域图像在所述截屏图像中的起始坐标信息和区域大小信息；待识别区域图像获取子单元，用于根据所述起始坐标信息和区域大小信息选取待识别区域图像。在一些实施例中，所述待识别区域图像识别单元包括：图像导入子单元，用于通过所述调用接口将图像格式转换后的待识别区域图像导入所述第三方图像识别应用；图像接收子单元，用于接收所述第三方图像识别应用发来的与所述待识别区域图像对应的识别图像。在一些实施例中，所述图像识别结果信息包括所述第三方图像识别应用识别出的与所述待识别区域图像对应的识别图像。在一些实施例中，所述待识别区域图像确定单元包括：待识别区域图像确定子单元，用于在所述识别图像为多个时，按所述识别图像与待识别区域图像之间的相似度来确定所述待识别区域图像包含的图像。在一些实施例中，所述装置还包括：调用接口获取单元，用于获取调用接口，包括：接口信息获取子单元，用于获取第三方图像识别应用的应用程序编程接口信息；调用接口获取子单元，用于将用于识别图像的应用程序编程接口封装成调用接口。本申请提供的屏幕图像的识别方法及装置，将屏幕图像的截屏图像的图像格式转换为第三方图像识别应用支持的图像格式，通过调用接口直接调用第三方图像识别应用，能够实现对屏幕图像的快速准确识别。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构图；图2a是根据本申请的屏幕图像的识别方法一个实施例的流程图；图2b是根据本申请的调用第三方图像识别应用识别图像的流程图；图3是根据本申请的屏幕图像的识别方法一个实施例的应用场景的一个示意图；图4是根据本申请的屏幕图像的识别装置的一个实施例的结构示意图；图5是根据本申请的服务器的一个实施例的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的屏幕图像的识别方法或屏幕图像的识别装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括测试设备101、终端设备102、服务器103和网络104。网络104用以在测试设备101、终端设备102和服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用测试设备101通过网络104与终端设备102交互，以发送或接收信息等。测试设备101上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具、截图应用等。测试设备101可以是具有显示屏并且支持信息传递的各种电子设备，包括但不限于平板电脑、膝上型便携计算机和台式计算机等等。服务器103可以是提供各种服务的服务器，例如对测试设备101发来的图像提供支持的图像识别应用服务器。图像识别应用服务器可以对接收到图像等数据进行分析等处理，并将处理结果(例如图像识别结果信息)反馈给测试设备101。需要说明的是，本申请实施例所提供的屏幕图像的识别方法一般由测试设备101执行，相应地，屏幕图像的识别装置一般设置于测试设备101中。应该理解，图1中的测试设备、终端设备和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的测试设备、终端设备和服务器。图2a，其示出了一种屏幕图像的识别方法的一个实施例的流程图200，该屏幕图像的识别方法包括：步骤201，获取终端屏幕的截屏图像。在本实施例中，用户所使用的电子设备(例如图1所示的测试设备)可以通过有线或无线本文档来自技高网...

【技术保护点】
一种屏幕图像的识别方法，其特征在于，所述方法包括：获取终端屏幕的截屏图像；获取所述截屏图像中的待识别区域的位置指示信息，并根据所述位置指示信息从所述截屏图像中选取待识别区域图像；将所述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像；根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像。

【技术特征摘要】
1.一种屏幕图像的识别方法，其特征在于，所述方法包括：获取终端屏幕的截屏图像；获取所述截屏图像中的待识别区域的位置指示信息，并根据所述位置指示信息从所述截屏图像中选取待识别区域图像；将所述待识别区域图像的图像格式转换为预定的第三方图像识别应用支持的图像格式；通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像；根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述位置指示信息从所述截屏图像中选取待识别区域图像包括：从所述位置指示信息中解析出待识别区域图像在所述截屏图像中的起始坐标信息和区域大小信息；根据所述起始坐标信息和区域大小信息选取待识别区域图像。3.根据权利要求1所述的方法，其特征在于，所述通过支持所述第三方图像识别应用的调用接口来调用所述第三方图像识别应用来识别图像格式转换后的待识别区域图像包括：通过所述调用接口将图像格式转换后的待识别区域图像导入所述第三方图像识别应用；接收所述第三方图像识别应用发来的与所述待识别区域图像对应的识别图像。4.根据权利要求1所述的方法，其特征在于，所述图像识别结果信息包括所述第三方图像识别应用识别出的与所述待识别区域图像对应的识别图像。5.根据权利要求1所述的方法，其特征在于，所述根据所述第三方图像识别应用返回的图像识别结果信息确定所述待识别区域图像包含的图像包括：当所述识别图像为多个时，按所述识别图像与待识别区域图像之间的相似度来确定所述待识别区域图像包含的图像。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取调用接口的步骤，包括：获取第三方图像识别应用的应用程序编程接口信息；将用于识别图像的应用程序编程接口封装成调用接口。7.一种屏幕图像的识别装置，其特征在于，所述装置包括：截屏图像获取单元，用于...

【专利技术属性】
技术研发人员：刘希，刘晓娟，张益，柳梅，刘社定，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11