一种基于表情识别的实时假面视频展示方法技术

本发明专利技术提供了一种基于表情识别的实时假面视频展示方法，包括表情特征库、假面库、视频发送方S端、视频接收方R端及以下步骤：基于表情特征库识别视频发送方视频中的人脸表情，获取当前帧的人脸表情特征，并将该表情特征发送给视频接收方，视频接收方从假面库中选择满足该表情特征的假面进行展示。本发明专利技术利用具有视频采集装置的智能设备，基于使用者真实表情用假面进行实时聊天、直播、基于表情驱动的动画制作，使得使用者可以使用不同的假面进行聊天、直播，提升视频交互的趣味性；或者进行基于表情驱动的自动化动画制作，大大提升动画制作的效率。

A real-time mask video display method based on facial expression recognition

The present invention provides a method for real-time video display mask based on facial expression recognition, including face mask feature library, library, video, video sender S terminal receiver R end and the following steps: facial expression feature recognition library video sender in the video based on the facial features of the current frame, and transmits the facial feature to the video receiver, video receiver selection to meet the facial feature mask are displayed from mask in the library. The invention uses intelligent device with video capture device, true expression by real-time chat, masked live, based on the expression driven animation based on the user, so that users can use different persona, live chat, video to enhance the interest of interaction; or automated animation making based on expression driven, greatly enhance the efficiency of animation.

【技术实现步骤摘要】
一种基于表情识别的实时假面视频展示方法
本专利技术涉及利用具有视频采集装置的智能设备，基于使用者的真实表情用假面进行实时视频聊天、视频直播、基于表情驱动的动画制作，使得使用者可以使用不同的假面进行聊天、直播，提升视频交互的趣味性；或者进行基于表情驱动的动画制作，大大提升动画制作的效率。
技术介绍
基于智能设备的视频聊天、视频直播已经非常普遍，近来在人脸上添加各种趣味装饰的图聊软件，因其趣味性深受年轻人追捧，这类应用是在真人脸上贴图实现，其变脸的效果有限。本专利技术可以用各种假面替换真人形象，并实时同步真人面部表情，实现如动画片一样的社交互动效果。另一方面，现有的动画制作是设计人员通过专业工具制作整个动画情节，本专利技术可以基于真人视频中表情识别实现表情驱动的自动化动画制作，大大提升动画制作的效率。
技术实现思路
本专利技术采用的技术方案为：首先建立表情特征库E、假面库M；然后基于所述表情特征库E识别视频发送方视频中的人脸表情，获取当前帧的表情特征，并将该表情特征发送给视频接收方，视频接收方从所述假面库M中选择满足该表情特征的假面进行展示。本专利技术的技术方案总流程图如图1所示。本专利技术提供了一种基于表情识别的实时假面视频交互方法，包括表情特征库E、假面库M、视频发送方S端与视频接收方R端，具体交互过程包含如下步骤：(1)在所述视频发送方S端，初始化S端假面Ms；(2)在所述视频发送方S端，将S端假面Ms的标识ID(Ms)发送给所述视频接收方R端；(3)在所述视频发送方S端，获取当前帧fcurrent，检测到人脸k＝face(fcurrent)；(4)在所述视频发送方S端，基于所述表情特征库E识别S端视频中人脸表情，获取k的表情特征ek；(5)在所述视频发送方S端，将表情特征ek发送给所述视频接收方R端；(6)在所述视频发送方S端，转步骤(3)；(7)在所述视频接收方R端，接收S端假面Ms的标识ID(Ms)；(8)在所述视频接收方R端，接收表情特征ek；(9)在所述视频接收方R端，从所述假面库M中选择并展示标识为ID(Ms)且满足表情特征ek的假面Ms(ek)；(10)在所述视频接收方R端，转步骤(8)。所述表情特征库E是一组定义不同表情的抽象特征表示。所述假面库M是包含E中定义表情的不同假面的集合。所述视频发送方S端和所述视频接收方R端，可以在同一个设备上，也可以是基于有线、无线网络进行通信的多个终端。在所述视频接收方R端，从所述假面库M中选择并展示标识为ID(Ms)且满足表情特征ek的假面Ms(ek)，通过连续展示系列假面，从而实现实时假面视频交互。本专利技术具有以下优点：(1)视频交互双方可以自由选择不同的假面进行互动，提升视频交互的趣味性。(2)可以基于真人表情驱动实现动画制作，大大提高动画制作的效率。(3)由于视频交互中仅传递表情特征而非视频数据，对网络带宽的要求大大降低，可以在带宽有限的网络环境下实现基于真人表情的动画互动。附图说明图1是一种基于表情识别的实时假面视频展示方法的总流程图。具体实施方式下面结合附图，通过具体实施例来进一步阐述本专利技术。具体实施例仅用于说明本专利技术而不用于限制本专利技术要求保护的范围。表情特征库E＝{E1，E2，...，En}，有n种表情特征。假面库有m个假面形象，每个假面形象有n种表情，因此共有m×n个假面。其中，ij为Mij的标识，i＝1，2，...，m，j＝1，2，...，n。参照图1，在步骤S1中，在S端，视频发送方选择自己想用的假面Mi，初始化S端假面Ms＝Mi；步骤S2中，在S端，将Ms的标识ID(Ms)＝i发送给接收端R；步骤S3中，在S端，获取当前帧fcurrent，检测到人脸f＝face(fcurrent)；步骤S4中，在S端，基于表情特征库E，用googlenet算法识别S端视频中人脸表情，获取k的表情特征ek＝El，l＝[1，2，...，n]；步骤S5中，在S端，将表情特征ek发送给视频接收方R端；步骤S6中，在S端，转步骤S3；步骤R1中，在R端，接收S端假面Ms的标识ID(Ms)＝i；步骤R2中，在R端，接收表情特征ek＝El；步骤R3中，在R端，从假面库M中选择并展示标识为ID(Ms)＝i且满足表情特征ek＝El的假面Ms(ek)；步骤R4中，在R端，转步骤R2。尽管已经参照本专利技术的特定示例性实施例详细阐述了本专利技术，但是本领域技术人员应理解，在不脱离由权利要求及其等同物定义的本专利技术的精神和范围的情况下，可在形式和细节上进行各种改变。本文档来自技高网...

【技术保护点】
一种基于表情识别的实时假面视频展示方法，其特征在于包括表情特征库E、假面库M、视频发送方S端与视频接收方R端，且包含以下步骤：(1)在所述视频发送方S端，初始化S端假面M

【技术特征摘要】
1.一种基于表情识别的实时假面视频展示方法，其特征在于包括表情特征库E、假面库M、视频发送方S端与视频接收方R端，且包含以下步骤：(1)在所述视频发送方S端，初始化S端假面Ms；(2)在所述视频发送方S端，将S端假面Ms的标识ID(Ms)发送给所述视频接收方R端；(3)在所述视频发送方S端，获取当前帧fcurrent，检测到人脸k＝face(fcurrent)；(4)在所述视频发送方S端，基于所述表情特征库E识别S端视频中人脸表情，获取k的表情特征ek；(5)在所述视频发送方S端，将表情特征ek发送给所述视频接收方R端；(6)在所述视频发送方S端，转步骤(3)；(7)在所述视频接收方R端，接收S端假面Ms的标识ID(Ms)；(8)在所述视频接收方R端，接收表情特征...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：康一梅，
类型：发明
国别省市：北京,11