一种图像识别的方法及增强现实AR图标识别的系统技术方案

本发明专利技术公开了一种增强现实AR图标识别的系统，该系统包括：投影机、主控装置和摄像装置；其中，该主控装置分别和该投影机、该摄像装置连接；该投影机投射图像在该摄像装置的工作区域；该摄像装置获取待识别的图标的该图像；该主控装置根据该图像，通过多任务卷积神经网络MTCNN模型的Pnet层提取该图像的前景区域得到第一候选框；将该第一候选框进行分类聚合，得到第二候选框；该MTCNN模型的Rnet层从该第二候选框中截取该图标的图像，识别该图标的类别；该主控装置根据该图标的类别，指示该投影机播放与该类别对应的动效，解决了AR投影系统图标检测准确率和效率不高的问题，提高了AR投影系统图标检测准确率和效率。

【技术实现步骤摘要】
一种图像识别的方法及增强现实AR图标识别的系统
本专利技术涉及图像识别领域，具体而言，涉及一种图像识别的方法及增强现实AR图标识别的系统。
技术介绍
交互式增强现实(AugmentedReality，简称为AR)投影系统为将投影仪与彩色深度相机组合在一起的人机交互系统，通过投影仪将交互界面投影到任意平面上，通过彩色深度相机检测人体手势交互动作，并通过投影仪响应，在识别出的物体或特定位置播放动画、图片和声音，达到增强现实的目的，非常适合用于教育和娱乐等行业。而在AR投影系统检测场景下，需要实现的是多类别的图标检测；并且图标的特征相比于人脸、车辆等更为贫乏，图标之间可能存在尺度差异，存在混淆等各类情况；此外还要求模型的快速开发，每个应用软件APP即对应不同的检测模型，无法花费大量时间采集大量数据用于模型训练。另外，在交互式AR投影系统识别场景进行图标识别有两个特点，首先是光影条件复杂，其次是延时要求较高。因此所开发算法需要达到轻量的要求，从而以降低耗时，并且具有较好的光照不变性以应对过亮过暗等光照变化，并完成多图标类型分类和识别。在本文档来自技高网...

【技术保护点】
1.一种图标识别方法，其特征在于，所述方法包括：/n获取图标的图像，对所述图像上的图标标记标注框；/n根据所述标注框为基准确定训练样本，对所述训练样本进行数据增强；/n根据所述训练样本，训练多任务卷积神经网络MTCNN模型，得到并优化所述图标在所述图像的前景图像和识别类型；/n根据识别的预设条件，筛选并保存所述MTCNN模型，所述MTCNN模型用于所述图标的图像识别。/n

【技术特征摘要】
1.一种图标识别方法，其特征在于，所述方法包括：
获取图标的图像，对所述图像上的图标标记标注框；
根据所述标注框为基准确定训练样本，对所述训练样本进行数据增强；
根据所述训练样本，训练多任务卷积神经网络MTCNN模型，得到并优化所述图标在所述图像的前景图像和识别类型；
根据识别的预设条件，筛选并保存所述MTCNN模型，所述MTCNN模型用于所述图标的图像识别。


2.根据权利要求1所述方法，其特征在于，所述根据所述标注框为基准确定训练样本包括：
根据所述标注框为基准，生成候选框；
根据标注框和候选框的交并比IOU，确定所述图标的前景区域和识别类别的训练样本。


3.根据权利要求1所述方法，其特征在于，所述根据所述标注框为基准确定训练样本，对所述训练样本进行数据增强包括：
根据预设比例，以所述标注框为基准外延获得扩展框；
在所述扩展框内部执行grabcut算法，完成前景标注的提取并替换所述前景标注的背景进行数据增强；
在所述前景标注上确定标注框和候选框，根据标注框和候选框的交并比IOU，确定所述图标的前景区域和识别类别的训练样本。


4.根据权利要求1所述方法，其特征在于，所述根据所述训练样本，训练多任务卷积神经网络MTCNN模型，得到并优化所述图标在所述图像的前景图像和识别类型包括：
在所述MTCNN模型包括Pnet层和Rnet的情况下，所述Pnet层和所述Rnet级联，所述训练样本输入所述Pnet层提取所述图标的前景区域，所述Rnet识别所述图标的类别以及优化所述图标的前景区域的位置。


5.一种图标识别方法，其特征在于，应用于增强现实AR投影系统，所述方法包括：
获取待识别的图标的图像；
根据所述图像，通过多任务卷积神经网络MTCNN模型的Pnet...

【专利技术属性】
技术研发人员：林健，周志敏，刘海伟，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：浙江;33