一种基于卷积神经网络的UI异常图片分类方法及系统技术方案

本发明专利技术公开一种基于卷积神经网络的UI异常图片分类方法及系统，服务端接收客户端发送的待处理UI图片数据，调用异常分类模型对待处理UI图片数据进行归类，得到待处理UI图片数据的图片类型，并将图片类型返回至客户端，异常分类模型为已训练完成的卷积神经网络模型；本发明专利技术利用卷积神经网络能够有效的提取UI图片的有效特征，并且这些特征不用人为的去设计，而是由卷积神经网络自己通过训练学习到的，使得本发明专利技术整体上能保证学习的特征具有平移不变性，一方面使得本发明专利技术具有一定的复用性和通用性，另一方面能根据UI图片的有效特征达到很好的分类效果，从而大幅度提高了图片分类的准确性。

A classification method and system of UI abnormal images based on convolution neural network

The invention discloses a method and system for classifying UI abnormal pictures based on convolution neural network. The server receives the data of UI pictures to be processed sent by the client, calls the abnormal classification model to classify the data of UI pictures to be processed, obtains the type of pictures to be processed, and returns the type of pictures to the client. The common classification model is a convolution neural network model that has been trained and completed; the present invention can effectively extract the effective features of UI pictures by using convolution neural network, and these features are not designed artificially, but learned by the convolution neural network itself through training, so that the present invention can guarantee the learning features as a whole. With translation invariance, on the one hand, the invention has certain reusability and versatility, on the other hand, it can achieve good classification effect according to the effective features of UI pictures, thus greatly improving the accuracy of image classification.

【技术实现步骤摘要】
一种基于卷积神经网络的UI异常图片分类方法及系统
本专利技术涉及计算机视觉与深度学习
，尤其涉及一种基于卷积神经网络的UI异常图片分类方法及系统。
技术介绍
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。现有的公开技术方案，例如专利申请号CN201710192706.6的基于图像识别的异常检测方法，使用传统的机器学习技术来进行图像异常检测，但这种技术方案需要自己设计某些分类训练时候需要输入的具体特征，并且需要对图片进行更多的预处理，比如需要对图片先进行灰度化处理，正则化处理等等，即存在着繁琐的人工特征提取器设计；并且只是个二分类器，模型并不具备一定的复用性和通用性，不能直接的应用在其他UI异常上，同时，上述的技术方案并不是针对App的UI异常图片分类的解决方案。没有积累相关的App的UI异常图片数据集。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于卷积神经网络的UI异常图片分类方法及系统，从而提高图片分类的准确性。为了解决上述技术问题，本专利技术采用的技术方案为：一种基于卷积神经网络的UI异常图片分类方法，包括步骤：S1、服本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的UI异常图片分类方法，其特征在于，包括步骤：S1、服务端接收客户端发送的待处理UI图片数据，调用异常分类模型对所述待处理UI图片数据进行归类，得到所述待处理UI图片数据的图片类型，并将所述图片类型返回至客户端，所述异常分类模型为已训练完成的卷积神经网络模型。

【技术特征摘要】
1.一种基于卷积神经网络的UI异常图片分类方法，其特征在于，包括步骤：S1、服务端接收客户端发送的待处理UI图片数据，调用异常分类模型对所述待处理UI图片数据进行归类，得到所述待处理UI图片数据的图片类型，并将所述图片类型返回至客户端，所述异常分类模型为已训练完成的卷积神经网络模型。2.根据权利要求1所述的一种基于卷积神经网络的UI异常图片分类方法，其特征在于，所述步骤S1之前还包括步骤：S01、客户端获取本地UI图片数据，并将所述本地UI图片数据进行序列化，得到所述待处理UI图片数据，并将所述待处理UI图片数据发送至服务端。3.根据权利要求2所述的一种基于卷积神经网络的UI异常图片分类方法，其特征在于，所述步骤S01具体为：客户端获取本地UI图片数据，将所述本地UI图片数据统一缩放至同一尺寸，并序列化为二进制数据，得到所述待处理UI图片数据，并通过GRPC协议将所述待处理UI图片数据发送至服务端；所述步骤S1中将所述图片类型返回至客户端具体为：通过GRPC协议将所述图片类型返回至客户端。4.根据权利要求1所述的一种基于卷积神经网络的UI异常图片分类方法，其特征在于，所述步骤S1中的卷积神经网络模型的训练步骤如下：S21、构建所述卷积神经网络模型结构，所述卷积神经网络模型结构包括输入模块、特征提取模块、感知器模块；S22、收集UI图片数据集，将所述UI图片数据集划分为测试集和训练集，并在两个集合中分别按照异常类别、正常类别建立文件夹来进行分类；S23、初始化所述卷积神经网络模型，以所述训练集里的图片数据作为输入数据，训练所述卷积神经网络模型，并在训练后以所述测试集里的图片数据作为输入数据，测试所述卷积神经网络模型对于图片分类的正确率，若正确率达到预期值，则将训练后的所述卷积神经网络模型保存并上传至服务器部署。5.根据权利要求4所述的一种基于卷积神经网络的UI异常图片分类方法，其特征在于，所述步骤S21具体为：S211、构建输入模块，所述输入模块包括输入层，所述输入层设置有与所述待处理UI图片数据的图片像素一一对应的神经元；S212、构建特征提取模块，所述特征提取模块从上到下依次为：第一卷积层、第一激活函数层、第一池化层、第二卷积层、第二激活函数层、第二池化层、第三卷积层、第三激活函数层、第三池化层；S213、构建感知器模块，所述感知器模块包括第一全连接层和第二全连接层，所述第二全连接层包含与图片类别相同个数的神经元，所述第一全连接层包含的神经元个数是所述第二全连接层包含的神经元个数的平方。6.一种基于卷积神经网络的UI异常图片分类系统，其特征在于，包括服务端，所述服务端包括第一存储器、第一处理器及存储在第一存储器上并可在...

【专利技术属性】
技术研发人员：刘德建，苏威鹏，曾捷，
申请(专利权)人：福建天晴数码有限公司，
类型：发明
国别省市：福建,35