一种基于人脸识别的弹幕点歌方法及系统技术方案

一种基于人脸识别的弹幕点歌方法，其包括如下步骤：S1、设置用于盛放弹幕的弹幕容器；预存渲染动态图像，将渲染动态图像划分为不同的应用场景；设置点歌弹幕的通配符；S2、获取用户的文字输入信息；通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸；S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息；S4、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；在弹幕容器上的显示时长、进入位置、运动轨迹；跳转到步骤S2直至视频通信结束。

【技术实现步骤摘要】

本专利技术涉及无线通信
，特别涉及一种基于人脸识别的弹幕点歌方法及系统。
技术介绍
随着移动终端的普及、无线网络技术日益成熟，现有的语音通话和短信交流方式已经不能满足人们需求，视频语音聊天业务越来越被人们所青睐。然而，虽然无线互联网蓬勃发展，用户量与日剧增，但是移动通讯网络普及程度仍然不足，移动通讯网络速度较慢，费用较高，限制用户实时视频聊天应用的发展，此外，移动终端的性能还不高，特别是移动终端摄像头清晰度不高，也影响视频聊天业务的用户体验。在现有移动终端即时通讯软件中，一般都实现了视频或语音聊天的功能。一般的实现方法是，把麦克风和摄像头录制语音和视频，及进行音视频数据压缩同步处理，通过网络传输后在另一客户端播放视频画面；还有一些采用虚拟摄像头的方式对视频图像进行实时转换，通过人脸识别技术显示成虚拟形象视频数据，将生成的视频数据通过网络传输后在另一客户端播放视频画面。现有技术中视频通信方法，通常仅有双方摄像头拍摄的实景头像信息，即时存在能够在头像信息上叠加其他图片，叠加的效果不佳，并且叠加的图片事先固定，灵活程度不高。同时，现有的即时通信方式为划分一块文字聊天区域，另划分一块视频聊天区域，用户需要同时观看两个区域，用户体验度不高，并且用户聊天时的互动性不高。
技术实现思路
有鉴于此，本专利技术提出一种基于人脸识别的弹幕点歌方法及系统。一种基于人脸识别的弹幕点歌方法，其包括如下步骤：S1、设置用于盛放弹幕的弹幕容器；配置弹幕载体的基础参数，基础参数包括显示时长、进入位置、运动轨迹；设置点歌弹幕的通配符；预存渲染动态图像，将渲染动态图像划分为不同的应用场景；S2、获取用户的文字输入信息；通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，跳转到步骤S1；S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；S4、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹；根据通配符判断弹幕是否为点歌弹幕，在弹幕为点歌弹幕时，在显示弹幕同时调用播放器播放歌曲；跳转到步骤S2直至视频通信结束。在本专利技术所述的基于人脸识别的弹幕点歌方法中，所述步骤S2包括：获取用户的文字输入信息；通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息；加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征；通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸；如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，重复执行步骤S2。在本专利技术所述的基于人脸识别的弹幕点歌方法中，所述步骤S3包括：S31、对检测到的人脸进行预处理；S32、设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组；S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域；S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种。在本专利技术所述的基于人脸识别的弹幕点歌方法中，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息；根据人脸关键点判断用户此刻心情状态包括：预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组；将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型；获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态信息。在本专利技术所述的基于人脸识别的弹幕点歌方法中，所述步骤S4包括：建立心情状态信息与应用场景的映射关系；获取步骤S3中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景；在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点上；根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹；根据通配符判断弹幕是否为点歌弹幕，在弹幕为点歌弹幕时，在显示弹幕同时调用播放器播放歌曲；跳转到步骤S2直至视频通信结束。本专利技术还提供一种基于人脸识别的弹幕点歌系统，其包括如下单元：预存分类单元，用于设置用于盛放弹幕的弹幕容器；配置弹幕载体的基础参数，基础参数包括显示时长、进入位置、运动轨迹；设置点歌弹幕的通配符；预存渲染动态图像，将渲染动态图像划分为不同的应用场景；人脸检测单元，用于通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转执行跟踪识别单元；如果没有检测到人脸，跳转执行预存分类单元；跟踪识别单元，用于获取用户的文字输入信息；对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；渲染单元，用于根据跟踪识别单元中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹；根据通配符判断弹幕是否为点歌弹幕，在弹幕为点歌弹幕时，在显示弹幕同时调用播放器播放歌曲；跳转执行人脸检测单元直至视频通信结束。在本专利技术所述的基于人脸识别的弹幕点歌系统中，所述人脸检测单元包括：获取用户的文字输入信息；通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息；加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征；通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸；如果检测到人脸，跳转执行跟踪识别单元；如果没有检测到人脸，重复执行人脸检测单元。在本专利技术所述的基于人脸识别的弹幕点歌系统中，所述跟踪识别单元包括：预处理子单元，用于对检测到的人脸进行预处理；跟踪子单元，用于设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组；区域计算子单元，用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域；识别子单元，用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态，心情状态包括积极情绪、消极情绪、中立情绪任一种。在本专利技术所述的基于人脸识别的弹幕点歌系统中，所述人脸关键点包括眼角、眉毛的末端、嘴角本文档来自技高网...

【技术保护点】
一种基于人脸识别的弹幕点歌方法，其包括如下步骤：S1、设置用于盛放弹幕的弹幕容器；配置弹幕载体的基础参数，基础参数包括显示时长、进入位置、运动轨迹；设置点歌弹幕的通配符；预存渲染动态图像，将渲染动态图像划分为不同的应用场景；S2、获取用户的文字输入信息；通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，跳转到步骤S1；S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；S4、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹；根据通配符判断弹幕是否为点歌弹幕，在弹幕为点歌弹幕时，在显示弹幕同时调用播放器播放歌曲；跳转到步骤S2直至视频通信结束。

【技术特征摘要】
1.一种基于人脸识别的弹幕点歌方法，其包括如下步骤：S1、设置用于盛放弹幕的弹幕容器；配置弹幕载体的基础参数，基础参数包括显示时长、进入位置、运动轨迹；设置点歌弹幕的通配符；预存渲染动态图像，将渲染动态图像划分为不同的应用场景；S2、获取用户的文字输入信息；通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，跳转到步骤S1；S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；S4、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹；根据通配符判断弹幕是否为点歌弹幕，在弹幕为点歌弹幕时，在显示弹幕同时调用播放器播放歌曲；跳转到步骤S2直至视频通信结束。2.根据权利要求1所述的基于人脸识别的弹幕点歌方法，其特征在于，所述步骤S2包括：获取用户的文字输入信息；通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息；加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征；通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸；如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，重复执行步骤S2。3.根据权利要求2所述的基于人脸识别的弹幕点歌方法，其特征在于，所述步骤S3包括：S31、对检测到的人脸进行预处理；S32、设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组；S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域；S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种。4.根据权利要求3所述的基于人脸识别的弹幕点歌方法，其特征在于，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息；根据人脸关键点判断用户此刻心情状态包括：预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组；将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型；获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态信息。5.根据权利要求4所述的基于人脸识别的弹幕点歌方法，其特征在于，所述步骤S4包括：建立心情状态信息与应用场景的映射关系；获取步骤S3中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景；在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点上；根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹；根据通配符判断弹幕是否为点歌弹幕，在弹幕为点歌弹幕时，在显示弹幕同时调用播放器播放歌曲；跳转到步骤S2直至视频通信结束。6.一种基于人脸识别的弹幕点歌系统，其包括如下单元：预存分类单元...

【专利技术属性】
技术研发人员：何异，徐阿宏，杨柳，
申请(专利权)人：宁波三博电子科技有限公司，
类型：发明
国别省市：浙江;33