服务机器人自主获取人穿携物品归属语义的方法及系统技术方案

本发明专利技术公开了一种服务机器人自主获取人穿携物品归属语义的方法及系统，进行人脸识别，并对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；获取人的身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系。本发明专利技术能推动服务机器人真正走入人的工作和生活的进程，同时推动服务机器人的产业化。

A method and system for the autonomous acquisition of the belongings of a human being with a service robot

The invention discloses a method and a system for a service robot to get people wear articles belonging to the semantic, face recognition, and the depth of training model for the image, face recognition model, using the model of face image feature extraction, feature extraction of linear classifier into the match, get the identity of the characters; acquisition the key point of human body information, the localization of wear articles, collected from point cloud information items, items identified by the cloud semantic database, access to goods category information; in service period, using the memory matrix representation of people and goods between people belonging, identity and goods related to learning and memory based on the study, obtained corresponding relationship between characters and items. The invention can push the service robot into the process of human work and life, and promote the industrialization of the service robot.

【技术实现步骤摘要】
服务机器人自主获取人穿携物品归属语义的方法及系统
本专利技术涉及一种服务机器人自主获取人穿携物品归属语义的方法及系统。
技术介绍
服务机器人要给人提供服务，必须提高其智能水平。智能服务机器人应能够与作业环境、人和其它机器人自然交互、自主适应复杂动态环境并协同作业。随着服务机器人越来越多地进入我们的工作和生活，按人的命令操作环境中的物品将越来越频繁。办公或者家庭环境中通常有多人同时工作或者生活，每个人都有自己专属的经常携带的日用品，如包、手机、杯子、帽子或者鞋等。当机器人提供服务任务时，准确找到命令发出者的物品是任务完成的前提。例如，若主人A让机器人执行拿手机任务，机器人需在几个手机中确定哪个属于主人A，才能顺利完成任务。主人B回到家中，机器人应能准确取主人B的拖鞋送到其跟前。主人C要出门时，机器人递上主人C的包、帽子和围巾。服务机器人学习了物品与人的语义归属关系，才能根据人的语义命令找到要拿的物品，满足人的个性化需求，提供智能化的服务。因此提取人穿携物品归属语义是机器人提供智能服务的根本保证。
技术实现思路
本专利技术为了解决上述问题，提出了一种服务机器人自主获取人穿携物品归属语义的方法本文档来自技高网...

【技术保护点】
一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：包括以下步骤：(1)进行人脸识别，并对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；(2)获取人的身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；(3)以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系。

【技术特征摘要】
1.一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：包括以下步骤：(1)进行人脸识别，并对获取的图像进行深度模型训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份；(2)获取人的身体关键部位点信息，对穿携物品进行定位，采集到物品的点云信息，通过云端语义样本库进行物品识别，获取到物品类别信息；(3)以服务周期为时间间隔，利用记忆矩阵表示人与物品归属关系，基于记忆的学习方式进行人物身份和物品关系的学习，得到人物身份和物品的对应关系。2.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，使用Kinect设备获取到深度信息，以深度信息为基础对不同姿态、光照和/或背景条件下的人脸图像进行自主采集。3.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，在获取人脸图像的同时，采集人的衣物图像，对其进行颜色和纹理特征提取，以这些特征作为区分不同人物的标签对人物图像进行标定，将获取到的图像以相应身份为区分指标进行存储，并定期与云平台进行交互，将图像以云数据的形式进行存储，图像获取完成后，使用获取到的人脸图像对深度模型进行训练，得到人脸识别模型，使用模型对人脸图像进行特征提取，送入线性分类器对提取的特征进行匹配，得到人物身份。4.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，以获取到的深度信息为基础，通过对人物头部及颈部进行空间位置进行标定，得到两者的空间坐标，通过空间距离计算公式得到两者之间的空间距离信息，以此空间距离信息为边界信息对人脸图像进行采集。5.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，使用SeetaFaceDetection对采集到的人脸图像进行人脸位置修正，SeetaFaceDetection为级联的漏斗结构，使用多层针对多姿态的快速LAB级联分类器和多层粗多层感知器级联后由一个粗多层感知器级联结构来处理所有姿态的候选窗口，最终得到人脸的位置信息。6.如权利要求1所述的一种服务机器人自主获取人穿携物品归属语义的方法，其特征是：所述步骤(1)中，利用反向传播算法对卷积神...

【专利技术属性】
技术研发人员：吴皓，马庆，赵贵祥，张珂，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37