表单对象的识别方法、装置及存储介质制造方法及图纸

本申请公开了一种表单对象的识别方法、装置及存储介质，属于计算机技术领域。其中，可以先通过对应用程序显示界面的界面图像进行图像识别，确定出该界面图像包括的多个表单对象所在的表单区域；然后再通过对位于该表单区域的区域子图像进行图像分割，得到各个表单对象；且还可以确定各个表单对象位置，以及为每个表单对象设置索引。由于该表单对象的识别方法无需采用第三方工具即可实现对表单对象的识别，且可以使得终端根据索引快速准确的确定出待操作的表单对象，并在该待操作的表单对象位置处执行相关操作。因此该表单对象识别方法的通用性较好，灵活性和可靠性较高。

Recognition method, device and storage medium of form object

【技术实现步骤摘要】
表单对象的识别方法、装置及存储介质
本公开涉及计算机
，特别涉及一种表单对象的识别方法、装置及存储介质。
技术介绍
在应用程序上线之前，一般均需要对应用程序进行测试。若应用程序的显示界面显示有表单对象，则在测试时需要先对该显示界面的表单对象进行识别。相关技术中，可以先获取显示界面的界面图像，然后再通过第三方工具(如Uiautomator)扫描分析该界面图像，以对该界面图像中的表单对象进行识别。但是，由于第三方工具的兼容性较差，因此相关技术中的表单对象的识别方法的通用性较差，灵活性和可靠性较低。
技术实现思路
本公开实施例提供了一种表单对象的识别方法、装置及存储介质，可以解决相关技术中的表单对象识别方法的通用性较差，灵活性和可靠性较低的问题。所述技术方案如下：一方面，提供了一种表单对象的识别方法，所述方法包括：对应用程序显示界面的界面图像进行图像识别，以确定所述界面图像中的表单区域，所述表单区域是指所述界面图像包括的多个表单对象所在区域；对位于所述表单区域的区域子图本文档来自技高网...

【技术保护点】
1.一种表单对象的识别方法，其特征在于，所述方法包括：/n对应用程序显示界面的界面图像进行图像识别，以确定所述界面图像中的表单区域，所述表单区域是指所述界面图像包括的多个表单对象所在区域；/n对位于所述表单区域的区域子图像进行图像分割，得到各个所述表单对象；/n确定每个所述表单对象在所述界面图像中的位置；/n为每个所述表单对象设置用于唯一标记所述表单对象的索引以识别所述表单对象。/n

【技术特征摘要】
1.一种表单对象的识别方法，其特征在于，所述方法包括：
对应用程序显示界面的界面图像进行图像识别，以确定所述界面图像中的表单区域，所述表单区域是指所述界面图像包括的多个表单对象所在区域；
对位于所述表单区域的区域子图像进行图像分割，得到各个所述表单对象；
确定每个所述表单对象在所述界面图像中的位置；
为每个所述表单对象设置用于唯一标记所述表单对象的索引以识别所述表单对象。


2.根据权利要求1所述的方法，其特征在于，所述对位于所述表单区域的区域子图像进行图像分割，得到各个所述表单对象，包括：
对所述区域子图像进行二值化处理；
在二值化处理后的所述区域子图像中确定至少一条目标分割线；
采用所述至少一条目标分割线对所述区域子图像进行图像分割，得到各个所述表单对象。


3.根据权利要求2所述的方法，其特征在于，所述在二值化处理后的所述区域子图像中确定至少一条目标分割线，包括：
确定所述多个表单对象的排布方向；
确定沿目标方向延伸的至少一条备选分割线，每条所述备选分割线由连续的多个目标像素组成，其中，所述目标方向与所述排布方向垂直，每个所述目标像素的像素值为0或1；
将长度与所述区域子图像在所述目标方向上的长度的比值大于比值阈值的备选分割线确定为目标分割线。


4.根据权利要求1所述的方法，其特征在于，所述对位于所述表单区域的区域子图像进行图像分割，得到各个所述表单对象，包括：
确定所述多个表单对象的排布方向；
对所述区域子图像进行二值化处理；
将二值化处理后的所述区域子图像包括的多个像素组划分为至少一个前景像素组和至少一个背景像素组，其中，每个所述像素组包括沿目标方向排列的多个像素，每个所述前景像素组包括的目标像素的数量大于第一阈值，每个所述背景像素组包括的所述目标像素的数量小于或等于所述第一阈值，所述目标像素的像素值为0或1，所述目标方向与所述排布方向垂直；
基于所述至少一个前景像素组和所述至少一个背景像素组，对所述区域子图像进行图像分割，得到各个所述表单对象。


5.根据权利要求4所述的方法，其特征在于，所述基于所述至少一个前景像素组和所述至少一个背景像素组，...

【专利技术属性】
技术研发人员：赵菁，方李志，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44