一种注视识别及互动方法与装置制造方法及图纸

一种注视识别及互动方法与装置，此方法适用于具有摄像头及舵机的电子装置，其中舵机用以将摄像头转向。所述方法包括下列步骤：利用所述摄像头获取多个视频帧；检测这些视频帧的当前视频帧与所述当前视频帧相对于方向轴旋转后所产生的旋转视频帧中的至少一个人脸；利用预先训练的分类器识别所检测的各个人脸是否对视摄像头；以及如果识别结果确认有人脸对视，则依据此人脸在当前视频帧中的位置或是由旋转视频帧映射回当前视频帧的位置，控制舵机将摄像头转向被识别为对视的人脸。

A method and device for gaze recognition and interaction

A method and device for gaze recognition and interaction. This method is suitable for an electronic device with a camera and a rudder, in which the steering gear is used to turn the camera. The method comprises the following steps: using the camera to obtain a plurality of video frames; the current video frame to detect these video frames and the current frame with respect to at least one face rotation axis direction of the video frames generated by the pre training; use classification identifies each face detection on the camera is not if the recognition results are confirmed; and on the face, according to the position of the face in the video frames in the video frames or is formed by rotating the map back to the current video frame position servo control of the camera to be identified as on the face.

【技术实现步骤摘要】
一种注视识别及互动方法与装置
本申请是有关于一种互动方法与装置，且特别是有关于一种注视识别及互动方法与装置。
技术介绍
现行的互动装置(例如电子玩偶、电子宠物或智能机器人)可通过肢体移动或声光效果与使用者互动，借以达到娱乐效果。例如，电子宠物可检测使用者的声音，而对应地变换表情或做出响应动作。通过即时响应的动作，可达到与使用者互动的效果。然而，这些互动装置的动作或响应都必须预先定义，且在与使用者互动的过程中，也只能针对特定的指示(例如按下按键或发出声音)做出简单的响应动作，并无法依据使用者的脸部表情或肢体语言作出适当的响应，未能体现出真实场景中人与人互动的效果。
技术实现思路
有鉴于此，本申请提供一种注视识别及互动方法及装置，可模拟真实场景中人与人对话时的对视交流效果。本申请的注视识别及互动方法适用于具有摄像头及舵机的电子装置，其中舵机是用以将摄像头转向。所述方法包括下列步骤：利用摄像头获取多个视频帧(videoframe)；检测这些视频帧的当前视频帧与所述当前视频帧相对于方向轴旋转后所产生的旋转视频帧中的至少一个人脸；利用预先训练的分类器识别所检测的各个人脸是否对视摄像头；以及如果识别结果确认有人脸对视，则依据此人脸在当前视频帧中的位置或是由旋转视频帧映射回当前视频帧的位置，控制舵机将摄像头转向被识别为对视的人脸。本申请的注视识别及互动装置包括摄像头、舵机、存储装置及处理器。其中，摄像头用以获取多个视频帧。舵机用以将摄像头转向。存储装置用以存储多个模块。处理器用以存取并执行存储在存储装置的模块。这些模块包括视频帧旋转模块、人脸检测模块、对视识别模块及转向模块。其中，视频帧旋转模块将所述视频帧的当前视频帧相对于方向轴旋转为旋转视频帧。人脸检测模块检测当前视频帧及旋转视频帧中的至少一个人脸。对视识别模块利用预先训练的分类器识别所检测的各个人脸是否对视摄像头。转向模块在对视识别模块的识别结果确认有人脸对视时，依据此人脸在当前视频帧中的位置或是由旋转视频帧映射回当前视频帧的位置，控制舵机将摄像头转向被识别为对视的人脸。基于上述，本申请的注视识别及互动方法与装置通过对摄像头获取的视频帧进行人脸检测，并将该视频帧依不同轴向旋转后再进行人脸检测，可检测出各种姿态下的人脸。而通过预先训练的分类器对所检测的人脸进行对视识别，可确认所检测的人脸是否对视着摄像头，进而控制摄像头转向该人脸。借此，可模拟出真实情景中人与人对话时的对视交流效果。为让本申请的上述特征和优点能更明显易懂，下文特别举实施例，并配合所附图示作详细说明如下。附图说明图1是依据本申请实施例所示的注视识别及互动装置的方块图。图2是依照本申请实施例所示的注视识别及互动方法流程图。图3是依照本申请实施例所示的旋转视频帧的示意图。图4是依照本申请实施例所示的控制摄像头转向的示意图。图5是依照本申请实施例所示的注视识别及互动方法流程图。具体实施方式本申请将声音识别、人脸检测及对视识别等技术整合至智能机器人或其他可与人互动的智能装置。当接收到使用者的声音时，机器人即会转向发声方向，使得配置在机器人身上的摄像头可获取到使用者的视频帧(videoframe)。而当使用者注视机器人时，机器人可从视频帧中检测出人脸，并利用预先训练的分类器识别所检测的人脸是否对视着机器人，进而将机器人的头转向人脸中心(代表使用者的眼睛)，借此可模拟出真实情景中人与人对话时的对视交流效果。图1是依据本申请实施例所示的注视识别及互动装置的方块图。请参考图1，本实施例的注视识别及互动装置10例如是智能机器人或其他可与人互动的电子装置，其中包括摄像头12、舵机14、存储装置16及处理器18，其功能分述如下：摄像头12例如是由镜头、光圈、快门、影像传感器等元件组成。其中，镜头包括多个光学透镜，其例如是通过步进电机或音圈电机(VoiceCoilMotor，VCM)等致动器驱动，以改变透镜之间的相对位置，从而改变焦距。光圈是由许多金属叶片构成的圈状开孔，此开孔会随着光圈值的大小而开大或缩小，进而控制镜头的进光量。快门则是用以控制光进入镜头的时间长短，其与光圈的组合会影响影像传感器所获取影像的曝光量。影像传感器例如是由电荷耦合元件(ChargeCoupledDevice，CCD)、互补金属半氧化物半导体(ComplementaryMetal-OxideSemiconductor，CMOS)元件或其他种类的感光元件组成，其可感测进入镜头的光线强度以产生被摄物的视频帧。舵机14例如是伺服电机，其可配置于摄像头12下方或周围，而可依据处理器18的控制信号，推动摄像头12以改变其位置及/或角度。存储装置16可以是任何型态的固定式或可移动式随机存取存储器(randomaccessmemory，RAM)、只读存储器(read-onlymemory，ROM)、闪存(flashmemory)、硬盘驱动器(harddiskdrive，HDD)、固态硬盘(solidstatedrive，SSD)或类似元件或上述元件的组合。在本实施例中，存储装置16用以存储人脸检测模块162、视频帧旋转模块164、对视识别模块166及转向模块168的软件程序。处理器18例如是中央处理单元(CentralProcessingUnit，CPU)，或是其他可编程的微处理器(Microprocessor)、数子信号处理器(DigitalSignalProcessor，DSP)、可编程控制器、特殊应用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)或其他类似元件或上述元件的组合。在本实施例中，处理器18用以存取并执行上述存储装置16中所存储的模块，借以实现本申请实施例的注视识别及互动方法。图2是依照本申请实施例所示的注视识别及互动方法流程图。请同时参照图1与图2，本实施例的方法适用于上述的注视识别及互动装置10，以下即搭配图1中注视识别及互动装置10的各项元件，说明本实施例方法的详细流程。首先，由处理器18控制摄像头12获取多个视频帧(步骤S202)。接着，由处理器18执行视频帧旋转模块164，以将当前视频帧相对于方向轴旋转为旋转视频帧，并执行人脸检测模块162，以检测当前视频帧及旋转视频帧中的至少一个人脸(步骤S204)。其中，人脸检测模块162例如会执行维奥拉-琼斯(Viola–Jones)检测法或其他人脸检测算法，以即时处理摄像头12所获取的视频帧或旋转后的视频帧，并检测出现在这些视频帧中的人脸。具体而言，在与人互动的初始场景中，人脸可能并未正对着注视识别及互动装置10，这使得该人脸在摄像头12所获取的视频帧中有可能是侧面对着或歪着对着注视识别及互动装置10。对此，本实施例例如是通过将当前视频帧对水平轴或垂直轴以顺时针或逆时针的方向旋转某个角度，以便于人脸检测模块162进行人脸。而通过重复上述旋转视频帧及检测人脸的步骤，有机会将视频帧中原本歪斜的人脸转正，使得人脸检测模块162能够顺利地检测人脸。举例来说，图3是依照本申请实施例所示的旋转视频帧的示意图。请参照图3，假设x轴、y轴、z轴为三维空间的3个方向轴，其中xz平面为水平面、xy平面为竖直面。图3中所示的由z轴旋转至x轴(对y轴顺时针旋转本文档来自技高网...

【技术保护点】
一种注视识别及互动方法，适用于具有摄像头及舵机的电子装置，所述舵机用以将所述摄像头转向，所述方法包括下列步骤：利用所述摄像头获取多个视频帧；检测所述视频帧的当前视频帧与所述当前视频帧相对于方向轴旋转后所产生的旋转视频帧中的至少一个人脸；利用预先训练的分类器识别所检测的各所述人脸是否对视所述摄像头；以及如果识别结果确认有人脸对视，则依据所述人脸于所述当前视频帧中的位置或是由所述旋转视频帧映射回所述当前视频帧的位置，控制所述舵机将所述摄像头转向被识别为对视的所述人脸。

【技术特征摘要】
1.一种注视识别及互动方法，适用于具有摄像头及舵机的电子装置，所述舵机用以将所述摄像头转向，所述方法包括下列步骤：利用所述摄像头获取多个视频帧；检测所述视频帧的当前视频帧与所述当前视频帧相对于方向轴旋转后所产生的旋转视频帧中的至少一个人脸；利用预先训练的分类器识别所检测的各所述人脸是否对视所述摄像头；以及如果识别结果确认有人脸对视，则依据所述人脸于所述当前视频帧中的位置或是由所述旋转视频帧映射回所述当前视频帧的位置，控制所述舵机将所述摄像头转向被识别为对视的所述人脸。2.如权利要求1所述的注视识别及互动方法，其中所述电子装置还包括收音装置，而在利用所述摄像头获取所述视频帧的步骤之前，还包括：利用所述收音装置接收音频，并判定所述音频的来源方向，以控制所述舵机将所述摄像头转向所述来源方向。3.如权利要求1所述的注视识别及互动方法，在检测所述视频帧的当前视频帧与所述当前视频帧相对于所述方向轴旋转后所产生的所述旋转视频帧中的所述人脸的步骤之后，还包括：判断所述旋转视频帧中的所述人脸映射回所述当前视频帧后与所述当前视频帧中位置相应的所述人脸的重叠面积与所述人脸于所述当前视频帧中的原始面积的比值是否大于阈值；以及如果所述比值大于所述阈值，则放弃保存所述旋转视频帧中的所述人脸的信息。4.如权利要求1所述的注视识别及互动方法，其中在利用预先训练的所述分类器识别所检测的各所述人脸是否对视所述摄像头的步骤之前，还包括：采集大量的人脸影像，并依据各所述人脸影像中的人脸是否对视标注对视标签；以及利用所述人脸影像及其对应的所述对视标签训练神经网络，以获得用以识别对视的所述分类器。5.如权利要求1所述的注视识别及互动方法，其中在利用预先训练的所述分类器识别所检测的各所述人脸是否对视所述摄像头的步骤之后，还包括：检测所述当前视频帧的下一视频帧及其旋转后的旋转视频帧中的所述人脸，并识别所检测的各所述人脸是否对视所述摄像头，以判定所述下一视频帧是否有人脸对视；以及重复上述步骤，并在连续判定有人脸对视的所述视频帧的数目大于预设数目时，确认有人脸对视。6.如权利要求1所述的注视识别及互动方法，其中控制所述舵机将所述摄像头转向被识别为对视的所述人脸的步骤包括：将所述当前视频帧等分为多个区域，而依据所述人脸于所述当前视频帧中的位置或是由所述旋转视频帧映射回所述当前视频帧的位置偏离所述区域...

【专利技术属性】
技术研发人员：蒋静，
申请(专利权)人：威盛电子股份有限公司，
类型：发明
国别省市：中国台湾,71