多模态在线增量式来访识别系统及其识别方法技术方案

一种多模态在线增量式来访识别系统及其识别方法，包括电脑终端，所述的电脑终端同摄像头、声音传感器以及音响设备相连接，所述的电脑终端中设置有多模态在线增量式来访识别模块、OPENCV视觉库、第一配置文档、第二配置文档、用来存放人脸识别模型数据的文件和用于存放照片总数和照片的分类对象的属性的总数的文档。并结合其识别方法可有效避免现有技术中的当人脸识别分类器识别错误时无法通过其他传感途径的交互来修正分类器、导致人脸识别效果无法在线增量式改进，严重影响用户体验以及汉字姓名没有任何语法内容导致传统的语音识别效果极差的缺陷。

【技术实现步骤摘要】

本专利技术属于电子地图的
，具体涉及一种。
技术介绍
目前需要重点开发多种新型传感器及先进条码自动识别、射频标签、基于多种传感信息的智能化信息处理技术，发展低成本的传感器网络和实时信息处理系统，提供更方便、功能更强大的信息服务平台和环境。” 随着传感器技术以及信息融合技术的发展，传统单传感器系统已经不能满足社会发展的需求，开发多传感器的实时信息融合系统成为科研技术人员的当务之急。 传统的人脸检测与识别系统在监控防盗、企业考勤、信息安全等多个方面发挥了重要的作用，但是由于摄像头单传感器交互的局限性，会产生如下问题: 当人脸识别分类器识别错误时，无法通过其他传感途径的交互来修正分类器，从而导致人脸识别效果无法在线增量式改进，严重影响用户体验。因此在传统的来访识别系统中，增加传感器进行信息融合是非常必要的。增加声音传感器(麦克风)，将人脸识别结果以语音的形式进行交互是最简单直接的做法，但是传统的语音识别存在如下问题: 语音识别需要语音输入包含足够多的语法信息，然而汉字姓名没有任何语法内容，导致传统的语音识别效果极差。
技术实现思路
本专利技术的目的提供一种，包括电脑终端，所述的电脑终端同摄像头、声音传感器以及音响设备相连接，所述的电脑终端中设置有多模态在线增量式来访识别模块、OPENCV视觉库、第一配置文档、第二配置文档、用来存放人脸识别模型数据的文件和用于存放照片总数和照片的分类对象的属性的总数的文档。并结合其识别方法可有效避免现有技术中的当人脸识别分类器识别错误时无法通过其他传感途径的交互来修正分类器、导致人脸识别效果无法在线增量式改进，严重影响用户体验以及汉字姓名没有任何语法内容导致传统的语音识别效果极差的缺陷。 为了克服现有技术中的不足，本专利技术提供了一种的解决方案，具体如下: 一种多模态在线增量式来访识别系统，包括电脑终端1，所述的电脑终端I同摄像头2、声音传感器3以及音响设备9相连接，所述的电脑终端I中设置有多模态在线增量式来访识别模块4、OPENCV视觉库7、第一配置文档5、第二配置文档6、用来存放人脸识别模型数据的文件8和用于存放照片总数和照片的分类对象的属性的总数的文档。 所述的第一配置文档5包括照片的名字和照片的分类对象的属性。 所述的第二配置文档6包括人脸所对应的姓名和人脸的分类对象的属性。 所述的声音传感器3也能被话筒或麦克风替代。 所述的多模态在线增量式来访识别模块4包括用于训练的子模块、人脸检测子模块，人脸识别子模块、语音识别和合成子模块、姓名识别子模块以及人脸判断子模块。 所述的用于训练的子模块能够读取出第一配置文档5中的照片的名字和照片的分类对象的属性，根据照片的名字和照片的分类对象的属性在OPENCV视觉库7中进行人脸识别模型的训练，得到符合当前应用场景的人脸识别模型； 所述的多模态在线增量式来访识别系统的识别方法，步骤如下: 步骤1:准备和初始化阶段，所述的准备和初始化阶段方法如下: 电脑终端I启动多模态在线增量式来访识别模块4来调用用于训练的子模块，用于训练的子模块首先读取出第一配置文档5中的照片的名字和照片的分类对象的属性，根据照片的名字和照片的分类对象的属性在OPENCV视觉库7中进行人脸识别模型的训练，得到符合当前应用场景的人脸识别模型，并把照片总数和照片的分类对象的属性的总数存储到用于存放照片总数和照片的分类对象的属性的总数的文档以及把训练好的人脸识别模型数据保存在用来存放人脸识别模型数据的文件中； 步骤2:进入初始化阶段，所述的初始化阶段包括启动人脸检测子模块，人脸识别子模块和姓名识别子模块分别进行人脸检测的初始化，人脸识别的初始化和姓名识别的初始化，具体如下: 首先启动人脸检测子模块载入OPENCV视觉库7中内置的Haar级联分类器，载入了 Haar级联分类器后，然后在电脑终端I的内存中开辟一段内存空间来保存人脸图像，这样就完成了人脸检测的初始化；接着启动人脸识别子模块把照片总数和照片的分类对象的属性的总数从用于存放照片总数和照片的分类对象的属性的总数的文档中提取出来，然后从第二配置文档5中读取人脸所对应的姓名和人脸的分类对象的属性，人脸所对应的姓名和人脸的分类对象的属性也用分隔符分离，分隔符前为人脸所对应的姓名，分隔符后为人脸的分类对象的属性，人脸的分类对象的属性为自然数表示并作为该人脸的唯一标识，再接着向OPENCV视觉库7中的LBPH人脸识别器中载入用来存放人脸识别模型数据的文件中的训练好的人脸识别模型数据，这样就完成了人脸识别的初始化；最后启动姓名识别子模块来实现姓名识别的初始化，具体说来为按照〈名称，类别 > 的key-value序列方式构造用户映射表，用户的名称为key，用户的类别为value，用户的名称和用户的类别之间是一对一或者多对一的映射关系，接着依次通过初始化COM库、仓Il建语音识别引擎Recognizer对象、通过Recognizer对象来创建一个上下文对象、设置能将RecoContext对象与相关的消息处理函数联系起来的消息通知机制、设置语音选项、创建默认的音频输入设备对象、将音频输入对象作为识别引擎对象的音频输入源、根据规则中定义的词来最大限度的匹配从音频输入设备输入的命令来编写语法规则、载入语法规则、将语法规则对象设置成激活状态以及别的命令通过ISpVoice接口输出相应的语音信息的步骤来初始化语音识别和合成模块，对于用户名字的识别和存储，通过对以〈汉字，拼音>key-Value对为存储结构的表进行初始化，具体的内容是遍历原始码表Uni2Pinyin,分析原始码表Uni2Pinyin件中的信息，将其中的信息按照〈汉字，拼音 > 的格式作为全局表存储起来，由此完成了姓名识别的初始化； 步骤3:运行多模态在线增量式来访识别系统来让摄像头2以及声音传感器3处于工作状态，首先等待被识别对象的语音输入，即用户需要通过声音传感器3传输“你好”这样的问候语句的语音信号数据来进入后续的识别阶段，所述的问候语句的语音信号数据被语音识别和合成子模块识别后，就依次执行设置激活听写状态、把识别后的问候语句的语音信号数据转化成对应的问候语句文字、把转化后的对应的问候语句文字存储在内存空间中； 步骤4:启动摄像头2不断采集环境的图片，把环境的图片送入电脑终端I中启动人脸判断子模块来调用OPENCV视觉库中的Haar级联分类器来判断是否存在人脸图像，如果存在人脸图像，保存并返回人脸部分的图像，把返回人脸部分的图像转换为灰度图像，并放缩到设定的大小以及进行归一化处理来满足后续操作的要求，最后返回归一化后的人脸部分的图像； 步骤5:人脸判断子模块继续利用保存在用来存放人脸识别模型数据的文件中的训练好的人脸识别模型数据进行人脸预测，如果预测成功，返回用户的类别所对应的用户的名称，如果预测失败，返回错误提示信息； 步骤6:如果预测的结果同用户的真实名称一致，就对用户进行成功预测的语音提示，如果预测的记过同用户的真实名称不一致，就对用户进行错误预测的语音提示，并且提示用户继续通过声音传感器输入用户的真实名称的语音数据信号，然后将该输入用户的真实名称的语音数据信号转本文档来自技高网...

【技术保护点】
一种多模态在线增量式来访识别系统，其特征在于包括电脑终端，所述的电脑终端同摄像头、声音传感器以及音响设备相连接，所述的电脑终端中设置有多模态在线增量式来访识别模块、OPENCV视觉库、第一配置文档、第二配置文档、用来存放人脸识别模型数据的文件和用于存放照片总数和照片的分类对象的属性的总数的文档。

【技术特征摘要】
1.一种多模态在线增量式来访识别系统，其特征在于包括电脑终端，所述的电脑终端同摄像头、声音传感器以及音响设备相连接，所述的电脑终端中设置有多模态在线增量式来访识别模块、OPENCV视觉库、第一配置文档、第二配置文档、用来存放人脸识别模型数据的文件和用于存放照片总数和照片的分类对象的属性的总数的文档。2.根据权利要求1所述的多模态在线增量式来访识别系统，其特征在于所述的第一配置文档包括照片的名字和照片的分类对象的属性。3.根据权利要求2所述的多模态在线增量式来访识别系统，其特征在于所述的第二配置文档包括人脸所对应的姓名和人脸的分类对象的属性。4.根据权利要求3所述的多模态在线增量式来访识别系统，其特征在于所述的声音传感器也能被话筒或麦克风替代。5.根据权利要求4所述的多模态在线增量式来访识别系统，其特征在于所述的多模态在线增量式来访识别模块包括用于训练的子模块、人脸检测子模块，人脸识别子模块、语音识别和合成子模块、姓名识别子模块以及人脸判断子模块。6.根据权利要求5所述的多模态在线增量式来访识别系统，其特征在于所述的用于训练的子模块能够读取出第一配置文档中的照片的名字和照片的分类对象的属性，根据照片的名字和照片的分类对象的属性在OPENCV视觉库中进行人脸识别模型的训练，得到符合当前应用场景的人脸识别模型。7.根据权利要求6所述的多模态在线增量式来访识别系统的识别方法，其特征在于，步骤如下: 步骤1:准备和初始化阶段，所述的准备和初始化阶段方法如下: 电脑终端启动多模态在线增量式来访识别模块来调用用于训练的子模块，用于训练的子模块首先读取出第一配置文档中的照片的名字和照片的分类对象的属性，根据照片的名字和照片的分类对象的属性在OPENCV视觉库中进行人脸识别模型的训练，得到符合当前应用场景的人脸识别模型，并把照片总数和照片的分类对象的属性的总数存储到用于存放照片总数和照片的分类对象的属性的总数的文档以及把训练好的人脸识别模型数据保存在用来存放人脸识别模型数据的文件中； 步骤2:进入初始化阶段，所述的初始化阶段包括启动人脸检测子模块，人脸识别子模块和姓名识别子模块分别进行人脸检测的初始化，人脸识别的初始化和姓名识别的初始化，具体如下: 首先启动人脸检测子模块载入OPENCV视觉库中内置的Haar级联分类器，载入了 Haar级联分类器后，然后在电脑终端I的内存中开辟一段内存空间来保存人脸图像，这样就完成了人脸检测的初始化；接着启动人脸识别子模块把照片总数和照片的分类对象的属性的总数从用于存放照片总数和照片的分类对象的属性的总数的文档中提取出来，然后从第二配置文档中读取人脸所对应的姓名和人脸的分类对象的属性，人脸所对应的姓名和人脸的分类对象的属性也用分隔符分离，分隔符前为人脸所对应的姓名，分隔符后为人脸的分类对象的属性，人脸的分类对象的属性为自然数表示并作为该人脸的唯一标识，再接着向OPENCV视觉库中的LBPH人脸识别器中载入用来存放人脸识别模型数据的文件中的训练好的人脸识别模型数据，这样就完成了人脸识别的初始化；最后启动姓名识别子模块来实现姓名识别的初始化，具体说来为按照〈名称，类别 > 的key-value序列方式构造用户映射表，用户的名称为key，用户的类别为value，用户的名称和用户的类别之间是一对一或者多对一的映射关系，接着依次通过初始化COM库、创建语音识别弓I擎Recognizer对象、通过Recognizer对象来创建一个上下文对象、设置能将RecoContext对象与相关的消息处理函数联系起来的消息通知机制、设置语音选项、创建默认的音频输入设...

【专利技术属性】
技术研发人员：申富饶，臧世博，干强，武慧凯，宗延琦，赵金熙，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32