一种基于深度神经网络的端到端图像识别方法技术

本发明专利技术公开了一种基于深度神经网络的端到端图像识别方法，其特点是采用云服务器对上传的图像及打标分类数据进行基于深度神经网络模型的云端训练，且通过预训练模型对新的图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组，实现端到端的基于深度神经网络的图像识别。本发明专利技术与现有技术相比具有高效率和低延时的优点，端到端完成图像采集、训练以及识别，结构简单，操作方便，不仅克服了单BP神经网络的缺点，同时减少了模型的参数量，提高了模型的泛化能力，提升了识别的速度，可以为高效的图像识别提供支持，满足不同场景的应用需求。

An End-to-End Image Recognition Method Based on Depth Neural Network

【技术实现步骤摘要】
一种基于深度神经网络的端到端图像识别方法
本专利技术涉及图像识别
，尤其是一种从基于深度神经网络的端到端图像识别方法。
技术介绍
深度神经网络在图像识别领域具有独特优势，它能模仿人的眼睛的结构，视野域的高效识别，比传统的BP神经网络具有参数更少，识别效率更高等优点。图像识别是机器视觉的一个分支，在应用中需要准确的图像识别结果，且对时延也有一定要求。后续的执行机构，如机器人、小车等，需要根据图像识别的结果进行决策控制。目前，深度神经网络技术已经在工程学、模式识别、工业机器人、机器视觉等方面得到了广泛的应用。鉴于图像识别的巨大市场，国内外相关的仪器公司都在该方面进行了布局，包括爱信艾达、精工爱普生、松下、杭州美盛红外光电技术有限公司、丰田等公司。一些国内研究机构也在图像识别方面有较多的专利储备，如一种基于卷积深度网络的图像识别算法及系统（申请号：201710144957.7）、一种基于改进的卷积神经网络的图像识别方法（申请号：201710895881.1）、一种基于VGG深度卷积网络的自然场景图像识别方法（申请号：201810130178.6）、卷积神经网络的训练方法、图像识别方法及装置（申请号：201610942156.0）等。在图像识别方面，天津科技大学在2018年申报专利技术专利：一种用于图像识别的神经网络模型（申请号：201810526107.8），其涉及
偏向图像识别算法方面；天津帕比特科技有限公司在2017年授权的专利技术专利：一种基于神经网络识别设备类型的图像识别方法（申请号：201710919179.4），该专利的技术方案其图像识别方案不具有通用性，没有完全集成在一起。在实际应用过程中，针对具体的任务，研究人员或工程人员通常想同时图像采集，训练，识别一体完成，并且算法，模型内置在模组装置中，且识别目标多样，算法通用性强。目前，尚未有集合图像采集、训练和识别的一体化图像识别模组的报道。
技术实现思路
本专利技术的目的是针对现有技术的不足而设计的一种基于深度神经网络的端到端图像识别方法，采用卷积层提取图像信息和云端类似人类迁移学习新知识的方法,将获取的目标图像经打标分类后上传至云端服务器，基于深度神经网络对图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组中进行目标图像的识别，实现端到端模式的图像采集、训练和识别一体化，大大加快模型的收敛速度，并可为与图像识别有关的工业机器人、智能小车、智能分拣等领域内的应用研究和基础研究提供益处。本专利技术的目的是这样实现的：一种基于深度神经网络的端到端图像识别方法，其特点是采用云服务器对上传的图像及打标分类数据进行基于深度神经网络模型的云端训练，且通过预训练模型对新的图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组，实现端到端的基于深度神经网络的图像识别，所述图像识别模组包括运算控制模块、摄像头模块和显示模块；所述摄像头模块将获取的目标图像经运算控制模块打标分类后与目标图像一起上传至云服务器；所述运算控制模块与摄像头模块和云端训练协同，依次实现目标图像的获取、训练和识别。所述深度神经网络模型由卷积层、激活层或全连接层组成，卷积层提取图像信息，并根据图像识别的复杂程度，增加或减少深度神经网络的层数，进行人为的裁剪。所述运算控制模块采用CPU、MCU或MMU运算器，以及与外界进行联络的通信器、模型下载和调试的入口。所述图像识别模组搭载激光测距传感器和视觉模块，以方便嵌入到物体识别的场景中，其图像识别和测距结果通过显示模块进行屏幕显示，并由串口通信协议发送。所述云端训练采用知识迁移加速模型收敛，以及对模型进行定点量化的方法，使模型更流畅地运行在嵌入式端中。本专利技术与现有技术相比具有高效率和低延时的端到端图像识别，从图像采集到图像训练以及图像识别，整个过程完全是基于端到端的模组完成，用户不用关心其中的图像识别算法及其实现，结构简单，操作方便，不仅克服了单BP神经网络的缺点，同时减少了模型的参数量，提高了模型的泛化能力，提升了识别的速度，可以为高效的图像识别提供支持，并可根据实际要求进行相关调整，从而能够满足不同场景的应用需求。附图说明图1为本专利技术的系统架构示意图；图2为图像识别模组结构示意图；图3为云端图像训练流程示意图。具体实施方式参阅附图1，采用本专利技术采用图像识别模组与云服务器架构的端到端图像识别系统，图像识别模组将获取的目标图像经打标分类后上传至云服务器，且由云端训练对上传的图像及打标分类的数据采用基于深度神经网络的模型，并通过预训练模型对新的图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组中进行目标图像的实时识别，即每秒大于20帧；所述深度神经网络的模型采用卷积层提取图像信息，并根据图像识别的复杂程度，增加或减少深度神经网络的层数，进行人为的裁剪。参阅附图2，所述图像识别模组由运算控制模块1、摄像头模块2和显示模块3组成，所述摄像头模块2将获取的目标图像经运算控制器1的图像标注和归类后上传到云服务器4，通过云端基于深度神经网络模型训练，且通过预训练模型对新的图像训练进行加速，大幅减少图像训练时间，将训练完成后的模型参数文件通过本地服务器5（蓝牙、WiFi等无线）下载到运算控制模块1，实现端到端的目标图像的获取、训练和识别，其结果由显示模块3进行屏幕显示，并通过有线或无线方式将结果输出反馈给用户；所述运算控制模块1采用CPU、MCU或MMU运算器，以及与外界进行联络的通信器、模型下载和调试的入口；所述深度神经网络模型采用卷积层提取图像信息，并根据图像识别的复杂程度，增加或减少深度神经网络的层数，进行人为的裁剪；所述图像识别模组为基于人工智能的机器视觉模块，方便嵌入到物体识别的场景中，无需联网即可提供图像识别和目标检测，同时模块搭载激光测距传感器，以获取物体的空间距离，将感知空间由二维图像扩展到三维空间，其图像识别和测距结果通过显示模块3进行屏幕显示，并由串口通信协议发送。参阅附图3，所述云服务器将上传的图片及分类数据采用知识迁移加速模型收敛，以及对模型进行定点量化的方法，使模型更流畅地运行在嵌入式端中，完成训练后返回模型文件反馈给用户。对于云端，用户只需上传图片数据以及分类标签，即可自动训练图像，用户拿到训练好的模型，下载到图像识别模组即可进行识别。在云端，如果用户选择目标检测模型，可以提供人工，标定图像的位置的服务。通过以下具体实施例对本专利技术作进一步的详细说明。实施例1本专利技术用于智能小车，其设计目标是当检测到行人时自动降速，避障行驶，其使用是这样操作的：开发者访问采用本专利技术建立的网站，“模型商店”页面，挑选检测行人的模型，由于需要对行人进行识别和定位，选择图像识别模型与目标检测模型中的目标检测模型，对于检测行人的不同模型，有不同的识别准确率、召回率，以及模型的大小和识别一帧的时间。在智能小车的应用实例中，开发者选择了识别准确度最高的模型并下载，通过电脑或者其他媒介将模型下载到图像识别模组中。图像识别模组中包含有摄像头的显示屏模块，用户烧入模型后即可运行识别。检测识别行人的结果由显示模块进行实时显示。所述图像识别模组设有调节识别灵敏度的旋钮、LED辅助照明设备，以及设置广角、全景或无畸变等的摄像头供用户选择本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的端到端图像识别方法，其特征在于采用云服务器对上传的图像及打标分类数据进行基于深度神经网络模型的云端训练，且通过预训练模型对新的图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组，实现端到端的基于深度神经网络的图像识别，所述图像识别模组包括运算控制模块、摄像头模块和显示模块；所述摄像头模块将获取的目标图像经运算控制模块打标分类后与目标图像一起上传至云服务器；所述运算控制模块与摄像头模块和云端训练协同，依次实现目标图像的获取、训练和识别。

【技术特征摘要】
1.一种基于深度神经网络的端到端图像识别方法，其特征在于采用云服务器对上传的图像及打标分类数据进行基于深度神经网络模型的云端训练，且通过预训练模型对新的图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组，实现端到端的基于深度神经网络的图像识别，所述图像识别模组包括运算控制模块、摄像头模块和显示模块；所述摄像头模块将获取的目标图像经运算控制模块打标分类后与目标图像一起上传至云服务器；所述运算控制模块与摄像头模块和云端训练协同，依次实现目标图像的获取、训练和识别。2.根据权利要求1所述基于深度神经网络的端到端图像识别方法，其特征在于所述深度神经网络模型由卷积层、激活层或全连接层组成，卷积层提取图像信息...

【专利技术属性】
技术研发人员：陈康，胡孟晗，李庆利，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海,31