基于人脸识别的直播互动方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人脸识别技术领域，具体涉及一种基于人脸识别的直播互动方法、装置、设备及存储介质。基于人脸识别的直播互动方法包括：过获取脸部表情，并将脸部表情对应的脸部表情图片存储于图片存储库中；根据脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，表情库中包括脸部表情图片、表情包表情和脸部表情图片与表情包表情之间的映射关系；将获取到的表情包表情输出到直播互动界面中进行展示。本发明专利技术通过人脸识别快速识别出主播在看到观众留言后的第一反应表情，并实时将主播的表情发送至直播界面，提高了主播与观众的互动性，增加直播过程中的趣味性，能有效提高主播的关注量。

【技术实现步骤摘要】
基于人脸识别的直播互动方法、装置、设备及存储介质
本专利技术涉及人脸识别
，具体涉及一种基于人脸识别的直播互动方法、装置、设备及存储介质。
技术介绍
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别的一系列相关技术，通常也叫做人像识别、面部识别。当前在直播平台中主播与观众的互动一般是采用主播发起互动邀请的处理流程，观众则通过打字聊天或送礼物等方式进行主动性互动。由于主播与观众是一对多的关系，主播不可能针对每一个观众都做出相应的响应，这就使得直播中的互动性由主播主导，进而在一定程度上限制了观众互动的主动性，影响主播的关注量。
技术实现思路
基于此，有必要针对在目前直播平台中，主播不能及时对每一个观众的互动作出反馈，导致的观众在互动过程中的主动性降低、主播的关注量受到影响等问题，提供一种基于人脸识别的直播互动方法、装置、设备及存储介质。一种基于人脸识别的直播互动方法，其特征在于，所述基于人脸识别的直播互动方法，包括如下步骤：获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中；根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系；将获取到的所述表情包表情输出到直播互动界面中进行展示。在一个实施例中，所述获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中之前，包括：获取代表脸部不同表情的脸部表情图片，所述脸部表情图片包括脸部微动作图片组，所述脸部微动作图片组包括完成脸部微小表情动作的连续多帧图片；根据自定义映射规则建立所述脸部表情图片与表情包表情之间的映射关系，所述表情包表情从网络表情包库中获得；根据所述脸部表情图片、所述表情包表情和所述映射关系建立表情库。在一个实施例中，所述获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中，包括：调用客户端的摄像头拍摄用户的脸部表情，并将拍摄到的脸部表情图片存储于所述图片存储库中。在一个实施例中，所述根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情之前，包括：对获取到的所述脸部表情图片进行灰度化处理，获得灰度图像；对所述灰度图像进行增强处理，具体公式如公式(1)所示：公式(1)中，x、y分别表示图像中点的横、纵坐标，f(x,y)表示原图的灰度值，g(x,y)表示增强图像的灰度值，h1表示满足时的最大灰度值，h2表示满足时的最小灰度值，hist[]表示当前图像的灰度值直方图，N表示当前图像的总像素数。在一个实施例中，所述根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，包括：识别获取到的所述脸部表情图片中所包含的五官动作；根据所述脸部表情图片、识别到的所述五官动作和所述映射关系从所述表情库中获取对应的所述表情包表情。在一个实施例中，所述识别获取到的所述脸部表情图片中所包含的五官动作，包括：根据MtCNN网络识别所述脸部表情图片，所述MtCNN网络包括PNet网络结构、RNet网络结构和ONet网络结构；获取所述脸部表情图片后，调用所述PNet网络结构对所述脸部表情图片进行非极大值抑制算法NMS计算后产生若干个候选框以及每个候选框的置信度；从所述脸部表情图片的原图像上截取出所述PNet网络结构确定的所有图像片段，并将所有图像片段进行缩放后传送给所述RNet网络结构；调用所述RNet网络结构对所有图像片段进行所述NMS计算后得到每个候选框的置信度和修正值，并将置信度高于阈值的候选框加上修正值进行修正；从所述脸部表情图片的原图像上截取出所述RNet网络结构确定的所有图像片段，并将所有图像片段传送给所述ONet网络结构；调用所述ONet网络结构对所有图像片段的候选框进行所述NMS计算后得到每个候选框的置信度和修正值，对置信度高于阈值的候选框进行修正后产生多个关键点坐标；根据所述关键点坐标识别出所述脸部表情图片中所包含的五官动作。在一个实施例中，所述将获取到的所述表情包表情输出到直播互动界面中进行展示，包括：获取根据所述脸部表情图片所选取的对应的所述表情包表情；将所述表情包表情传送至直播互动界面的对话框中，并从所述对话框中将所述表情包表情发送至直播互动界面中。基于相同的构思，本申请还提供了一种基于人脸识别的直播互动装置，所述基于人脸识别的直播互动装置包括：获取模块，设置为获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中；匹配模块，设置为根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系；输出模块，设置为将获取到的所述表情包表情输出到直播互动界面中进行展示。基于相同的构思，本申请实施例还提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述基于人脸识别的直播互动方法的步骤。基于相同的技术构思，本申请实施例还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行如上述基于人脸识别的直播互动方法的步骤。上述基于人脸识别的直播互动方法、装置、设备及存储介质，通过获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中；根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系；将获取到的所述表情包表情输出到直播互动界面中进行展示。因此，通过人脸识别快速识别出主播在看到观众留言后的第一反应表情，并实时将主播的表情发送至直播界面，提高了主播与观众的互动性，增加直播过程中的趣味性，能有效提高主播的关注量。附图说明图1为本申请在一个实施例中的基于人脸识别的直播互动方法的流程图；图2为本申请在一个实施例中的建立表情库的流程图；图3为本申请在一个实施例中的获取表情包表情的流程图；图4为本申请在一个实施例中的基于人脸识别的直播互动装置的结构框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。图1为本申请在一个实施例中提供的基于人脸识别的直播互动方法的流程图，如图所示，包括：S1、获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中；本步骤中通过调用客户端的摄像头拍摄获取用户的脸部表情，并将拍摄到的所述脸部表情对应的脸部表情图片存储于图片存储库中，用于后续对所述脸部表情图片中包含的五官动作进行识别。S2、根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系；本步骤中通过从图片存储库中本文档来自技高网...

【技术保护点】
1.一种基于人脸识别的直播互动方法，其特征在于，所述基于人脸识别的直播互动方法，包括：获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中；根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系；将获取到的所述表情包表情输出到直播互动界面中进行展示。

【技术特征摘要】
1.一种基于人脸识别的直播互动方法，其特征在于，所述基于人脸识别的直播互动方法，包括：获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中；根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系；将获取到的所述表情包表情输出到直播互动界面中进行展示。2.如权利要求1所述的一种基于人脸识别的直播互动方法，其特征在于，在所述获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中之前，包括：获取代表脸部不同表情的脸部表情图片，所述脸部表情图片包括脸部微动作图片组，所述脸部微动作图片组包括完成脸部微小表情动作的连续多帧图片；根据自定义映射规则建立所述脸部表情图片与表情包表情之间的映射关系，所述表情包表情从网络表情包库中获得；根据所述脸部表情图片、所述表情包表情和所述映射关系建立表情库。3.如权利要求1所述的一种基于人脸识别的直播互动方法，其特征在于，所述获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中，包括：调用客户端的摄像头拍摄用户的脸部表情，并将拍摄到的脸部表情图片存储于所述图片存储库中。4.如权利要求1所述的一种基于人脸识别的直播互动方法，其特征在于，在所述根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情之前，包括：对获取到的所述脸部表情图片进行灰度化处理，获得灰度图像；对所述灰度图像进行增强处理，具体公式如公式(1)所示：公式(1)中，x、y分别表示图像中点的横、纵坐标，f(x,y)表示原图的灰度值，g(x,y)表示增强图像的灰度值，h1表示满足时的最大灰度值，h2表示满足时的最小灰度值，hist[]表示当前图像的灰度值直方图，N表示当前图像的总像素数。5.如权利要求1所述的一种基于人脸识别的直播互动方法，其特征在于，所述根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，包括：识别获取到的所述脸部表情图片中所包含的五官动作；根据所述脸部表情图片、识别到的所述五官动作和所述映射关系从所述表情库中获取对应的所述表情包表情。6.如权利要求5所述的一种基于人脸识别的直播互动方法，其特征在于，所述识别获取到的所述脸部表情图片中所包...

【专利技术属性】
技术研发人员：张国梁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44