一种通过面部要素触发情景控制的方法与系统技术方案

在一种通过面部要素触发情景控制的方法及其系统中，方法包括在智能家居设施处生成对应进场人员的虚拟身份，在虚拟身份中生成对该人员的第一要素处理内容，在读取该第一要素处理内容时检测虚拟子身份的输入，响应虚拟子身份输入在拍摄期间经摄像头感测与人员面部要素关联的视频信息，并经语音设备获取该人员音频信号以从所获音频信号中提取音频特性信息，从同步视频信号中提取与面部要素特征关联的面部要素特性信息，基于面部要素特性信息和音频特性信息生成音频特征信号，生成第二要素处理内容以检测与确定对情景模式的触发，本发明专利技术系统用于实现上述方法。

【技术实现步骤摘要】
一种通过面部要素触发情景控制的方法与系统
本专利技术主要是关于使用用户面部要素触发家居情景控制的方法及其实现系统。
技术介绍
目前家居、社区环境的智能化应用已经越来越普遍，而伴随着智能化应用的深入，家居设备开始具有图像识别功能，例如可以对注册用户的面部要素进行图形拍摄、录像以进行图形分析确定当前用户身份，或者是可以识别视野内人体或动物的移动等等。然而，目前在家居设备安防领域，期望于更便利地利用用户的面部要素来识别和触发对联网的家居设备的控制，以增强用户交互使用体验。
技术实现思路
本专利技术旨在解决目前这种功能需求，设计一种通过面部要素触发情景控制的方法，主要包括：在至少具有摄像头和/或语音设备的智能家居设施处，生成对应于每一进场人员的虚拟身份，在所述虚拟身份中生成对该人员的第一要素处理内容；在读取对应于所述虚拟身份的第一要素处理内容时，检测在所述虚拟身份中的虚拟子身份的输入；响应所检测到虚拟身份中的所述虚拟子身份输入，在拍摄期间经所述摄像头感测获取与所述人员的面部要素关联的视频信息，并经所述语音设备获取该人员音频信号以从所获音频信号中提取音频特性信息；以及从所获的同步视频信号中提取与面部要素特征关联的面部要素特性信息，并响应检测到所述拍摄操作结束后，至少部分地基于所述面部要素特性信息和音频特性信息，生成音频特征信号，根据该面部要素特性信息在所述虚拟身份中生成第二要素处理内容以检测与确定对情景模式的触发。具体来说，如果在同一场景中的一个摄像头已拍摄了未经滤噪处理的进场人员的面部图像，而另一个摄像头也同样地拍摄到了该人员的头像，则该人员的面部要素被选择更新为具有更佳效果的拍摄图像，或者这两个摄像头各自拍摄到的视频被剪辑成判断为连续的图像，而采用新选择的头像照片作为虚拟身份的处理源。作为一种变型，所述的方法还包括存储与从所述视频信号中提取的所述面部要素特性信息相关联的面部要素特征的元数据和与从所述音频信号中提取的所述音频特性信息相关联的音频元数据。作为另一种变型，所述的方法还包括根据确定所述音频信号的所述特性提取部分对应于所述面部要素，存储所述音频信号的所述部分以用于生成所述经调整的音频信号。在此基础上，所述的方法还包括根据确定所述音频信号的所述部分不对应于所述面部要素，至少移除所述音频信号的所述部分，其中所述音频特性信息包括与所述感测视场中的所述面部要素相关联的语音的特征。进一步地，所述的方法还可包括至少部分地基于所述面部要素特性信息和所述音频特性信息来生成经调整的面部要素元数据。作为又一种变型吗，所述的方法还包括根据所述经调整的面部要素元数据和所述经调整的音频信号来生成所述虚拟头像的所述第二要素处理内容。在以上各个变型中，在对上述面部要素的处理进程中，通过所述摄像头检测该人员是否在移动，从而预触发邻近可用的门锁执行其机械和/或电子动作，或者同步录制和解析当前人员说出的语言内容来确定其接下来期望的行走动作。本专利技术在以上基础上还设计一种通过面部要素触发情景控制的系统，包括用于实现上述方法的图形处理器。附图说明图1是实现本专利技术方法的逻辑原理框图；图2是本专利技术实现方法的应用情景示意图。具体实施方式作为本文的较佳实施方案，可结合图1、2来说，一种通过面部要素触发情景控制的方法可包括：S100、在图示的区域空间内具有摄像头50和/或例如墙面式语音设备30的安防设施可感测的情景区域处，生成对应于每一进场人员1的虚拟身份31，在虚拟身份31中嵌入对应该人员1的第一要素处理内容。其中，所述虚拟身份的第一要素处理内容是来自于所述摄像头的感测视场中每一进场人员1特定的面部要素301的实时视频或拍摄多个连续图形帧。举例来说，可从进入当前情景区域中的不同人员1、2获取用于表示其动态表情的流媒体数据以生成视频数据。例如，可根据门锁（或类似门禁装置）120中安装的摄像头拍摄的感测视场中的人员1活动状态对视频进行有效内容的剪辑。或者，对进场人员1的活动拍摄也可由预定时长来确定是否有效，或者是视频拍摄可因该人员1在所述情景区域中活动的连续性而不受所述时长的约束。所述第一要素处理内容可包含对进场人员1的面容特征311、321的检测识别来确定（以及记录、录制）该人员1的身份标识（ID），从而根据该身份ID生成相应的虚拟身份。例如，该虚拟身份31可用于对每一进场人员的身份ID生成虚拟头像来作为注册身份组别。在此基础上，在所拍摄面部要素的一帧或多帧图像中，对面容特征的处理区域可运用面部要素的实时表示来划定。例如，摄像头50可被配置为提供对同一进场人员1的各种时刻或角度的头像进行数字裁剪，还可以生成或导入该人员1头像的立体建模从而确定其虚拟身份。所述的处理区域还可被配置为提供对该头像的立体建模的初始化处理和所录制视频的剪辑处理以动态地确定该人员1相应的虚拟身份。另外，对录制视频的剪辑可在没有任何视频或音频效果的情况下以其原始形式处理，或者可在不具有音频和/或具有视频效果（例如动态补光、滤镜、防抖动等）的情况下处理以确定初始状态下的处理噪声。在一个具体实施例中，摄像头或者与之耦接的处理器包含图形处理器，可被配置为在对已录制的初始视频进行剪辑处理之后选择静态的面部要素301用于虚拟头像生成。然后，所述图形处理器可被配置为选择性地将视频剪辑处理的虚拟头像从一个静态模式转换成另一动态模式，另外，还可对其等应用相同或不同的动态效果。又例如，如果门锁120内置的摄像头已拍摄了未经滤噪处理（诸如没有灰度处理效果的原始形式）的进场人员1的面部要素301图像，但另一个门禁设备（例如进入办公室区域的门锁20）也同样地拍摄到了该人员1的头像，则该人员1的面部要素可被选择更新为具有更佳效果的办公室内的门锁20拍摄到的图像，或者这两个门锁各自拍摄到的视频被剪辑或灰度处理成判断为具有连续活动状态的图像，而只是采用了新选择的面部要素302的头像照片作为虚拟身份的处理源。换言之，在情景区域中的安防设施（例如多个摄像头同时）录制的视频中甄别到的该进场人员1的面部要素特征和/或其说出的自然语言的音频信号源可在更理想的拍摄条件（例如更理想的光照）下被所述图形处理器提取。S200、在读取对应于所述虚拟身份的第一要素处理内容时，检测在所述虚拟身份中的虚拟子身份的输入。举例而言，该进场人员1可在面对的任一门锁位置呈现另一面部要素，以此提供基于之前已被验证的虚拟身份（诸如该人员1的默认头像提取的）上的另一验证选择操作。较佳地来说，面部要素301用于在所述的处理区域中界定有效检测区，并且门禁设备10将同步地使用一个或多个语音设备（可集成在摄像头110内）和/或另一个或多个摄像头开始录制对应当前人员1的音频和/或视频信息。在一些情况下，初始的面部要素处理是对视频信息进行甄别和提取，而对虚拟子身份的输入获取则可以是仅拍摄图片来获取。在此基础上，所述的图形处理器也可被配置为分析所获视频信息中的随机帧图像并提取面部要素特征用于第一要素处理内容，而为了更快速地获取和识别来本文档来自技高网...

【技术保护点】
1.一种通过面部要素触发情景控制的方法，其特征是包括：/n在至少具有摄像头和/或语音设备的智能家居设施处，生成对应于每一进场人员的虚拟身份，在所述虚拟身份中生成对该人员的第一要素处理内容；/n在读取对应于所述虚拟身份的第一要素处理内容时，检测在所述虚拟身份中的虚拟子身份的输入；/n响应所检测到虚拟身份中的所述虚拟子身份输入，在拍摄期间经所述摄像头感测获取与所述人员的面部要素关联的视频信息，并经所述语音设备获取该人员音频信号以从所获音频信号中提取音频特性信息；以及/n从所获的同步视频信号中提取与面部要素特征关联的面部要素特性信息，并响应检测到所述拍摄操作结束后，至少部分地基于所述面部要素特性信息和音频特性信息，生成音频特征信号，根据该面部要素特性信息在所述虚拟身份中生成第二要素处理内容以检测与确定对情景模式的触发。/n

【技术特征摘要】
1.一种通过面部要素触发情景控制的方法，其特征是包括：
在至少具有摄像头和/或语音设备的智能家居设施处，生成对应于每一进场人员的虚拟身份，在所述虚拟身份中生成对该人员的第一要素处理内容；
在读取对应于所述虚拟身份的第一要素处理内容时，检测在所述虚拟身份中的虚拟子身份的输入；
响应所检测到虚拟身份中的所述虚拟子身份输入，在拍摄期间经所述摄像头感测获取与所述人员的面部要素关联的视频信息，并经所述语音设备获取该人员音频信号以从所获音频信号中提取音频特性信息；以及
从所获的同步视频信号中提取与面部要素特征关联的面部要素特性信息，并响应检测到所述拍摄操作结束后，至少部分地基于所述面部要素特性信息和音频特性信息，生成音频特征信号，根据该面部要素特性信息在所述虚拟身份中生成第二要素处理内容以检测与确定对情景模式的触发。


2.根据权利要求1所述的方法，其特征是：如果在同一场景中的一个摄像头已拍摄了未经滤噪处理的进场人员的面部图像，而另一个摄像头也同样地拍摄到了该人员的头像，则该人员的面部要素被选择更新为具有更佳效果的拍摄图像，或者这两个摄像头各自拍摄到的视频被剪辑成判断为连续的图像，而采用新选择的头像照片作为虚拟身份的处理源。


3.根据权利要求1所述的方法，其特征是：还包括存储与从所述视频信号中提取的所述面部要素特性信息相关联...

【专利技术属性】
技术研发人员：江小青，
申请(专利权)人：杭州鸿雁电器有限公司，
类型：发明
国别省市：浙江;33