基于视觉和语音的智能性别、情绪识别检测系统及方法技术方案

技术编号:15065473 阅读:89 留言:0更新日期:2017-04-06 13:16
本发明专利技术公开了基于视觉和语音的智能性别、情绪识别检测系统及方法,其中系统包括,基于图像的情绪和性别识别模块,用以根据人脸图像进行车内人员的情绪识别,以及根据人脸进行车内人员的性别识别;基于语音的情绪和性别识别模块,用以根据人的语音进行车内人员的情绪识别,以及根据语音进行车内人员的性别识别;融合模块,用以将所述性别识别的结果进行匹配和情绪识别的结果进行融合,并发送到个性化智能语音交互系统;个性化智能语音交互系统,可进行语音交互。本发明专利技术通过融合图像和语音的识别结果,提升性别/情绪识别的精准度,通过个性化语音交互系统提升驾驶体验,提升驾驶安全性,通过语音交互,增加车载设备使用的乐趣和信息服务精准性。

【技术实现步骤摘要】

本专利技术涉及汽车安全辅助系统,特别涉及基于视觉和语音的智能性别、情绪识别检测系统及方法
技术介绍
抬头显示器HUD(HeadUpDisplay),是普遍运用在航空器上的飞行辅助仪器。抬头的意思是指飞行员不需要低头就能够看到他需要的重要资讯。因为HUD的方便性以及能够提高飞行安全,民航机也纷纷跟进安装。HUD是利用光学反射的原理,将重要的飞行相关资讯投射在一片玻璃上面。这片玻璃位於座舱前端,高度大致与飞行员的眼睛成水平,投射的文字和影像调整在焦距无限远的距离上面,飞行员透过HUD往前方看的时候,不会妨碍到眼睛的运作,维持清晰的显示。HUD的基本架构包含两个部分:资料处理单元与影像显示装置。资料处理单元是将飞机上各系统的资料整合处理之後,根据选择的模式转换成预先设定的符号,图形或者是以文字或者是数字的型态输出。有些产品将讯号处理与影像输出分成两个装置,不过大致上都是类似的工作方式。影像显示装置就是安装在座舱前方,位于飞行员与座舱罩之间的空间上。影像显示装置接收来自资料处理装置的资讯,投射在玻璃上面。显示装置并且附有控制面板,能够调解或者是改变输出的影像。新一代的HUD在影像显示方面的改良包括采用全像摄影(Holographic)显示方式,扩大显示影像的范围,尤其是增加水平上的视野角度,减少支架的厚度对於视野的限制与影响,增强不同光度与外在环境下的显示调整,强化影像的清晰度,与其他光学影像输出的配合,譬如说能够将红外线影像摄影机产生的飞机前方影像直接投射到HUD上,与其他的资料融合显示,配合夜视镜的使用以及采用彩色影像显示资料。在资料处理单元上的改良包括提高处理的速率和效率,HUD是将影像投射在座舱前方的固定装置上,当飞行员转动头部的时候,这些影像就会暂时离开他的视野范围。新一代的HUD更适合广泛地运用在汽车上。在人们的固有观念里,驾驶最应该注重的自然是安全,不过随着智能手机的普及,手机用户们无时无刻不依赖手机带来的便利和快捷。电话、短信、微信的实时沟通,多媒体的使用,地图导航工具等等这些,然而在“低头族”日益增多的今天,手机带给我们的便利却极大的影响了驾驶的安全性。多种形式的交通事故都是由于车主在驾驶过程中由于使用手机而造成的。汽车厂商们开始意识到中控屏幕的重要性,再加上车辆作为最大的终端设备,更让车上的这块“屏”成为了兵家必争之地。然而车载中控屏幕的存在确实让驾驶变得更为安全了,但在实际体验中,依然有车载中控屏幕上的各项弊端和不方便之处,依然会让驾驶员分心。目前的车载语音交互系统都是使用预置的语音和语调与驾驶员进行交互,交互规则死板,不能根据驾驶员的性别/情绪进行个性化定制,不能满足用户个性化的需求。
技术实现思路
本专利技术要解决的技术问题是,根据情绪和性别,提供个性化的智能语音交互功能,提升驾驶体验。解决上述技术问题,本专利技术提供了基于视觉和语音的智能性别、情绪识别检测系统,包括,基于图像的情绪和性别识别模块,用以根据人脸图像进行车内人员的情绪识别,以及根据人脸进行车内人员的性别识别;基于语音的情绪和性别识别模块,用以根据人的语音进行车内人员的情绪识别,以及根据语音进行车内人员的性别识别;融合模块,用以将所述性别识别的结果进行匹配并发送到个性化智能语音交互系统,以及用以将所述情绪识别的结果进行融合并发送到个性化智能语音交互系统;个性化智能语音交互系统,根据接收到的匹配结果和融合结果进行语音交互。基于视觉和语音的智能性别、情绪识别检测系统,还包括采集模块,包括图像采集装置和声音采集装置,所述图像采集装置用以,采集车内的实时图像信号,并将所述图像信号按照视频流发送至基于图像的情绪和性别识别模块,所述声音采集装置用以,采集车内的实时声音信号,并将所述声音信号发送至基于语音的情绪和性别识别模块。所述个性化智能语音交互系统还包括,消息单元、通信单元、音乐单元、导航单元、CAN接口,所述消息单元,用以推送车辆保养、车辆出租消息,所述通信单元,用以与外部设备进行蓝牙或者WI-FI连接,所述音乐单元,用以提供本地或者线上音乐,所述导航单元,用以提供地图接入服务,所述CAN接口,用以提供与机车连接的CAN总线通信。所述基于图像的情绪和性别识别模块还用于,进行人脸的离线训练和人脸的在线运行,所述离线训练使用人脸数据库训练人脸检测器、同时在人脸上标定标记点,根据所述人脸标记点训练标记点拟合器,以及,通过人脸标记点和情绪和性别的关系训练情绪和性别分类器;所述人脸的在线运行,通过在图像中检测人脸,然后拟合人脸上的标记点,并根据人脸标记点判断当前驾驶员的性别和情绪,最后给出相应的分类置信度。所述基于语音的情绪和性别识别模块还用于,进行人声的离线训练和人声的在线运行,所述人声的离线训练,使用语音数据库训练人声检测器,同时训练语音特征向量提取模型用于从人声中提取特征向量的声音,采用已标定好的语音特征向量以及性别和情绪的训练集训练性别和情绪分类器,所述人声的在线运行,通过在输入的声音流中检测人声数据,并从人声数据中提取语音特征向量,最后使用分类器从语音特征向量分辨当前驾驶员的性别和情绪,并给出语音识别的置信度。所述个性化智能语音交互系统,还用以根据所述基于图像的性别、情绪识别结果及其置信度和基于语音的性别、情绪识别结果及其置信度,综合判断当前驾驶员的性别和情绪,并根据当前驾驶员的情绪选择设置的模式进行语音交互。所述个性化智能语音交互系统还包括个性化智能语音交互数据库,用于储存语音交互模式信息。本专利技术还提供了一种基于视觉和语音的智能性别、情绪识别检测方法,包括,根据人脸图像进行车内人员的情绪识别,以及根据人脸进行车内人员的性别识别;根据人的语音进行车内人员的情绪识别,以及根据语音进行车内人员的性别识别;用以将所述性别识别的结果进行匹配并发送到个性化智能语音交互系统,以及用以将所述情绪识别的结果进行融合并发送到个性化智能语音交互系统;根据接收到的匹配结果和融合结果进行语音交互。所述车内人员至少包括一个驾驶员。所述匹配结果包括男、女性别,融合结果包括厌烦、愉悦、惊讶、愤怒、痛苦、疲劳、正常。本专利技术的有益效果:1)由于基于图像的情绪和性别识别模块,用以根据人脸图像进行车内人员的情绪识别,以及根据人脸进行车内人员的性别识别;基于语音的情绪...

【技术保护点】
基于视觉和语音的智能性别、情绪识别检测系统,其特征在于,包括,基于图像的情绪和性别识别模块,用以根据人脸图像进行车内人员的情绪识别,以及根据人脸进行车内人员的性别识别;基于语音的情绪和性别识别模块,用以根据人的语音进行车内人员的情绪识别,以及根据语音进行车内人员的性别识别;融合模块,用以将所述性别识别的结果进行匹配并发送到个性化智能语音交互系统,以及用以将所述情绪识别的结果进行融合并发送到个性化智能语音交互系统;个性化智能语音交互系统,根据接收到的匹配结果和融合结果进行语音交互。

【技术特征摘要】
1.基于视觉和语音的智能性别、情绪识别检测系统,其特征在于,包括,
基于图像的情绪和性别识别模块,用以根据人脸图像进行车内人员的情
绪识别,以及根据人脸进行车内人员的性别识别;
基于语音的情绪和性别识别模块,用以根据人的语音进行车内人员的情
绪识别,以及根据语音进行车内人员的性别识别;
融合模块,用以将所述性别识别的结果进行匹配并发送到个性化智能语
音交互系统,以及用以将所述情绪识别的结果进行融合并发送到个性化智能
语音交互系统;
个性化智能语音交互系统,根据接收到的匹配结果和融合结果进行语音
交互。
2.根据权利要求1所述的基于视觉和语音的智能性别、情绪识别检测系
统,其特征在于,还包括采集模块,所述采集模块包括图像采集装置和声音
采集装置,所述图像采集装置用以,采集车内的实时图像信号,并将所述图
像信号按照视频流发送至基于图像的情绪和性别识别模块,所述声音采集装
置用以,采集车内的实时声音信号,并将所述声音信号发送至基于语音的情
绪和性别识别模块。
3.根据权利要求1或2所述的基于视觉和语音的智能性别、情绪识别检
测系统,其特征在于,所述个性化智能语音交互系统还包括,消息单元、通
信单元、音乐单元、导航单元、CAN接口,
所述消息单元,用以推送车辆保养、车辆出租消息,
所述通信单元,用以与外部设备进行蓝牙或者WI-FI连接,
所述音乐单元,用以提供本地或者线上音乐,
所述导航单元,用以提供地图接入服务,
所述CAN接口,用以提供与机车连接的CAN总线通信。
4.根据权利要求1或2所述的基于视觉和语音的智能性别、情绪识别检
测系统,其特征在于,所述基于图像的情绪和性别识别模块还用于,进行人

\t脸的离线训练和人脸的在线运行,所述离线训练使用人脸数据库训练人脸检
测器、同时在人脸上标定标记点,根据所述人脸标记点训练标记点拟合器,
以及,通过人脸标记点和情绪和性别的关系训练情绪和性别分类器;所述人
脸的在线运行,通过在图像中检测人脸,然后拟合人脸上的标记点,并根据
人脸标记点判断当前驾驶员...

【专利技术属性】
技术研发人员:王艳龙王建辉
申请(专利权)人:北京乐驾科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1