【技术实现步骤摘要】
一种面向机器人的基于场景图的视觉场景理解系统及方法
[0001]本专利技术涉及视觉场景理解领域，尤其是涉及一种面向机器人的展厅场景下的基于场景图的视觉场景理解系统及方法。
技术介绍
[0002]机器人的良好人机交互表现十分依赖于对场景的正确理解，而人群关系分析是场景理解中十分重要的一个部分。为了实现与人群的交互，机器人需要根据视觉信息获得人群的视觉特征、判断语义关系。例如多个人同时站在机器人面前，机器人需要判断他们相互之间是否认识，是不是同属于一个群体；另外，在一群人中，可能有比较重要的人物，机器人需要识别出来，并关注与这个人的交互。然而由于人群具有随机性、多样化、非结构化、随时间动态变化等特点，因此预测人群关系是一个很有挑战性的任务。
[0003]在以往的工作中，为了实现对场景中对象的检测和关联，基于视觉的场景图的方法能检测出图像中的对象，并建立合理的关系，但是由于数据集和未设定使用环境，无法很好地识别特定场景下的对象，以及不能识别人物间的关系，也缺少场景图在人物社会关系中的探索与应用。此外，基于传统人物社会关系的...
【技术保护点】
【技术特征摘要】
1.一种面向机器人的基于场景图的视觉场景理解系统，包括：图片获取与调用模块、场景图关系识别模块（11）、人群关系预测模块（12），其特征在于：所述图片获取与调用模块，采集图片；所述场景图关系识别模块（11），调用图片获取与调用模块中的图片，并输入到训练好的深度学习网络中，输出图片中检测到的对象位置、预测的对象类别与对象之间的关系，生成对象和关系的场景图；所述人群关系预测模块（12），基于对象分类与关系分类，将人物的对象分成多个人群，人群内部相互之间关系强，人群间相互之间关系弱，单个人群中，通过将人物所属的关系进行融合，来预测该人群中人物的重要程度，并把其中最重要的人物作为该人群的重要人物。2.根据权利要求1所述的一种面向机器人的基于场景图的视觉场景理解系统，其特征在于所述场景图关系识别模块（11）包括对象检测模块（110）、对象分类模块（111）、关系分类模块（112）、展厅场景下的对象类别库（113）、展厅场景下的关系类别库（114）；所述对象检测模块（110），将从图片获取与调用模块调用的图片，输入到训练好的深度学习网络中，提取图片对象特征及对象位置；所述对象分类模块（111），将对象特征通过训练好的深度学习网络，得到预测的对象类别；所述关系分类模块（112），将从图片获取与调用模块、对象检测模块（110）、对象分类模块（111）获得的图片、对象特征及对象位置、对象的分类，通过训练好的深度学习网络，预测并输出两两对象之间的关系。3.根据权利要求2所述的一种面向机器人的基于场景图的视觉场景理解系统，其特征在于所述场景图关系识别模块（11）提取的对象特征用一个向量表示，对象位置通过对象的在图片中目标框的左上角像素坐标与右下角像素坐标表示。4.根据权利要求2所述的一种面向机器人的基于场景图的视觉场景理解系统，其特征在于所述对象分类模块（111）生成的物体类别来自展厅场景下的对象类别库（113），展厅场景下的对象类别库（113）的对象类别包括：人物person、屏幕screen、展板board、植物plant、摄像机camera、桌子table、展品exhibit。5.根据权利要求3所述的一种面向机器人的基于场景图的视觉场景理解系统，其特征在于所述关系分类模块（112）生成的物体关系来自展厅场景下的关系类别库（114），展厅场景下的关系类别库（114）的关系类别包括：看着looking at、在...旁边next to，对...讲话talk to，与...并排align with，背对back to，经过pass by，与...拉着手hold hands with，与...坐在一起sit together with，拍照taking photo of，指着pointing at，与...握手shake hands with；其中人物与其他物体之间的关系类别有：看着looking at、在...旁边next to，背对back to，经过pass by，拍照taking photo of，指着pointing at；其中人物与人物之间的关系类别有：看着looking at、在...旁...
【专利技术属性】
技术研发人员：林哲远，宋伟，朱世强，金天磊，王文，胡顺达，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。