一种识别用户身份的方法、装置和物业服务机器人制造方法及图纸

本发明专利技术提供一种识别用户身份的方法、装置和物业服务机器人。方法包括：对第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图；对彩色图和深度图进行处理，确定第一视频图像信息中的至少一名用户；采用人脸定位方法计算第一视频图像信息中各个用户的人脸位置；确定第二摄像头获取的第二视频图像信息中各个用户的人脸区域；采用人脸特征提取方法对第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；将获得的人脸特征信息与存储的预设人脸特征信息进行比对；当比对一致时，将预设人脸特征信息对应的预设用户身份信息确定为用户的身份。本发明专利技术提高了用户的体验度。

Method, device and service service robot for identifying user identity

The invention provides a method, a device and a service service robot for identifying a user identity. The method includes: deep processing of the first video camera to obtain the image information first, the depth map and color map; processing of color images and depth images, determining at least one user first video image information; the face position calculation of the first video image information of each user using face positioning method; determine the face region of each second user video image information obtained by the camera in second; face region extraction method using face feature for each user second video image information for feature extraction, face feature information corresponding to each individual face region respectively; face feature information storage and the preset feature information for comparison when compared to the same time; that will determine the presupposition for the identity of the user corresponding feature information preset user identity information. The invention improves the user's experience.

【技术实现步骤摘要】
一种识别用户身份的方法、装置和物业服务机器人
本专利技术涉及机器人制造
，尤其涉及一种基于深度学习的机器人识别用户身份的方法、装置和物业服务机器人。
技术介绍
随着科学技术的高速发展，机器人制造技术也得以发展迅速，机器人的应用已逐步进入家庭服务行业。物业服务机器人是一种不受环境、温度的影响，能够动态地实现对用户身份识别的机器人，该类机器人需要在用户身份识别方面有卓越的辨识能力。基于目前的机器视觉处理技术，机器人对于用户身份的识别仍然是技术难点，特别是在非特定角度下去实现用户身份的识别更是几乎无法实现。目前机器人在识别用户身份时，则是需要要求用户固定或静止于某个高度和/或角度才能进行识别，显然这在实际应用过程中降低了用户的体验度。因此，现有技术急需一种不需要用户固定或静止于某个高度和/或角度的机器人识别用户身份的方法，以提高用户的体验度。
技术实现思路
有鉴于此，本专利技术提供一种识别用户身份的方法、装置和物业服务机器人，不需要用户固定或静止于某个高度和/或角度即可实现用户身份的识别，提高了用户的体验度。技术方案如下：基于本专利技术的一方面，本专利技术提供一种识别用户身份的方法，应用于机器人，所述机器人包括第一摄像头和第二摄像头，所述第一摄像头和第二摄像头同步工作，分别用于实时获取视频图像信息，所述方法包括：对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图；对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息；采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。优选地，所述第一摄像头为双目摄像头，所述第二摄像头为高清摄像头。优选地，所述对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户包括：对所述彩色图进行深度卷积神经网络DeepCNN的深度学习，获得所述第一视频图像信息的初步人体检测结果；基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果；根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。优选地，所述采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置包括：采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。优选地，所述采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置之后，所述方法还包括：再次获取所述深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。优选地，所述采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息包括：对所述第二视频图像信息中各个用户的人脸区域进行人脸DeepCNN的深度学习，获得每个人脸区域对应的人脸DeepCNN特征。优选地，所述将获得的人脸特征信息与存储的预设人脸特征信息进行比对包括：采用最临近KNN最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。基于本专利技术的另一方面，本专利技术还提供一种识别用户身份的装置，包括：第一摄像头，用于实时获取第一视频图像信息；第二摄像头，用于实时获取第二视频图像信息，所述第一摄像头和所述第二摄像头同步工作，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息；深度处理模块，同时分别与所述第一摄像头和所述第二摄像头连接，用于对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图，以及用于获取所述第二摄像头获取到的第二视频图像信息；图片处理模块，用于对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；人脸定位模块，用于采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；人脸区域确定模块，用于基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域；人脸特征信息提取模块，用于采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；比对模块，用于将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；用户身份确定模块，用于当所述比对模块对比所述获得的人脸特征信息与存储的预设人脸特征信息一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。优选地，所述第一摄像头为双目摄像头，所述第二摄像头为高清摄像头。优选地，所述图片处理模块包括：第一处理子模块，用于对所述彩色图进行深度卷积神经网络DeepCNN的深度学习，获得所述第一视频图像信息的初步人体检测结果；第二处理子模块，用于基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果；用户确定子模块，用于根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。优选地，所述人脸定位模块具体用于，采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。优选地，还包括：错误排除模块，用于再次获取所述深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。优选地，所述人脸特征信息提取模块包括人脸DeepCNN深度学习网络；所述人脸DeepCNN深度学习网络用于，对所述第二视频图像信息中各个用户的人脸区域进行人脸DeepCNN的深度学习，获得每个人脸区域对应的人脸DeepCNN特征。优选地，所述比对模块具体用于，采用最临近KNN最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。基于本专利技术的再一方面，本专利技术还提供一种物业服务机器人，包括前文任一项所述的识别用户身份的装置。本专利技术包括第一摄像头和第二摄像头，且第一摄像头和第二摄像头同步工作，分别用于实时获取视频图像信息。本专利技术首先对第一摄像头获取到的第一视频图像信息进行深度处理，获得深度图和彩色图；进而对彩色图和深度图进行处理，确定出第一视频图像信息中的至少一名用户；进一步的，采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。在确定出第一视频图像信息中各个用户的人脸位置后，确定第二摄像头获取的第二视频图像信息中各个用户的人脸区域，并采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；最后将获得的人脸特征信息与存储的预设人脸特征信息进行比对，当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。因此，本专利技术利用第一摄像头和本文档来自技高网...

【技术保护点】
一种识别用户身份的方法，应用于机器人，其特征在于，所述机器人包括第一摄像头和第二摄像头，所述第一摄像头和第二摄像头同步工作，分别用于实时获取视频图像信息，所述方法包括：对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图；对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息；采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。

【技术特征摘要】
1.一种识别用户身份的方法，应用于机器人，其特征在于，所述机器人包括第一摄像头和第二摄像头，所述第一摄像头和第二摄像头同步工作，分别用于实时获取视频图像信息，所述方法包括：对所述第一摄像头获取的第一视频图像信息进行深度处理，获得深度图和彩色图；对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户；采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置；基于所述第一视频图像信息中各个用户的人脸位置，确定所述第二摄像头获取的第二视频图像信息中各个用户的人脸区域，所述第一视频图像信息和所述第二视频图像信息分别为所述第一摄像头和所述第二摄像头在同一时刻分别获取的视频图像信息；采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息；将获得的人脸特征信息与存储的预设人脸特征信息进行比对，所述预设人脸特征信息与预设用户身份信息一一对应；当比对一致时，将所述预设人脸特征信息对应的预设用户身份信息确定为所述用户的身份。2.根据权利要求1所述的方法，其特征在于，所述第一摄像头为双目摄像头，所述第二摄像头为高清摄像头。3.根据权利要求1或2所述的方法，其特征在于，所述对所述彩色图和深度图进行处理，确定所述第一视频图像信息中的至少一名用户包括：对所述彩色图进行深度卷积神经网络DeepCNN的深度学习，获得所述第一视频图像信息的初步人体检测结果；基于所述初步人体检测结果，结合所述深度图的图像信息，确定所述第一视频图像信息的最终人体检测结果；根据所述最终人体检测结果确定所述第一视频图像信息中的至少一名用户。4.根据权利要求1或2所述的方法，其特征在于，所述采用人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置包括：采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置。5.根据权利要求4所述的方法，其特征在于，所述采用基于边框的人脸定位方法计算所述第一视频图像信息中各个用户的人脸位置之后，所述方法还包括：再次获取所述深度图，并依据所述深度图中人脸位置处的深度信息分布情况，排除错误的人脸位置。6.根据权利要求1或2所述的方法，其特征在于，所述采用人脸特征提取方法对所述第二视频图像信息中各个用户的人脸区域进行特征提取，分别获得每个人脸区域对应的人脸特征信息包括：对所述第二视频图像信息中各个用户的人脸区域进行人脸DeepCNN的深度学习，获得每个人脸区域对应的人脸DeepCNN特征。7.根据权利要求1或2所述的方法，其特征在于，所述将获得的人脸特征信息与存储的预设人脸特征信息进行比对包括：采用最临近KNN最近距离算法，将获得的人脸特征信息与存储的预设人脸特征信息进行比对。8.一种识别用户身份的装置，其特征在于，包括：第一摄像头，用于实时获取第一视频图像信息；第二摄像头，用于实时获...

【专利技术属性】
技术研发人员：黄巍伟，周禄兵，苗振伟，
申请(专利权)人：中新智擎有限公司，
类型：发明
国别省市：广东,44