【技术实现步骤摘要】
本专利技术涉及移动机器人室内导航，尤其涉及一种家庭室内全环境感知系统。
技术介绍
1、随着物联网、人工智能进步与成熟，家庭对可以提供日常生活辅助和陪伴的家用机器人的需求逐步增加。此外，移动机器人slam实时建图定位和智能路径规划控制技术、rgb-d摄像头和激光雷达等传感器技术、人工智能特别是基于深度学习的目标检测和语义分割技术以及应用于智能语音助手的自然语言处理等技术的成熟，为家用机器人的研发提供了技术基础。其中，应用于移动机器人的slam实时定位建图技术和基于深度学习的目标检测和语义分割技术是家用机器人感知周围环境的关键。slam技术通过实时定位机器人在世界坐标下的坐标和位姿，解决了机器人在哪里的问题；基于深度学习的目标检测和语义分割技术则识别周围的环境，获得周围物体的语义信息，解决了目标在哪里的问题。这样，家用机器人才能够根据任务需求，定位到自已和目标点的坐标，从而规划路径前往要求的地点进行完成任务的操作。比如移动物体、拿取放置和整理等任务。
2、在当前的室内家庭场景环境感知技术中，大多数部署于家用扫地机器人上。然而，这些技术存在一些限制。首先，它们的环境感知范围通常仅限于高度1米以下，无法获得完整的室内环境信息。其次，这些技术主要专注于简单类别的对象，例如地面和障碍物，而对于桌面及其上的物体，往往无法进行准确的识别和理解。
3、在一些已有的工作中，虽然部分对室内环境进行了语义建图，但其分类类别也相对有限，通常仅包括桌子、椅子、沙发、茶几、床、柜子、墙壁和地面等基本类别。然而，在家用机器人实现更复杂任
4、如何设计一种面向家庭环境的部署在家用移动机器人上的全环境感知系统，让家用机器人真正理解和适应室内家庭场景的复杂环境，从而更好地满足人们的需求，为家庭生活提供更智能、便捷的服务，成为亟待解决的问题。
技术实现思路
1、本专利技术的目的就在于为了解决上述问题而提供一种家庭室内全环境感知系统，本专利技术的将语义信息和带三维结构的场景信息相结合，使用语义分割方法实时判断环境中各种物体的坐标和语义类型标签，实时构建家庭室内环境的精细化三维语义地图，并可以在家用移动机器人上离线运行。
2、本专利技术通过以下技术方案来实现上述目的：
3、一种家庭室内全环境感知系统，包括数据采集装置、计算平台以及家用移动机器人；
4、所述数据采集装置实时采集家用移动机器人行进方向上的rgb图像和深度图像，并发送给计算平台；
5、所述计算平台被编程为：分析所述rgb图像和深度图像，实时建立家用移动机器人在行进方向上通过所述数据采集装置采集到的rgb图像和深度图像所涉及的环境部分的稠密语义地图；并确定关于家用移动机器人在所述稠密语义地图中的当前位置和姿态信息；
6、所述家用移动机器人的底盘是一个轮式移动机器人，其上搭载所述计算平台，并与所述数据采集装置固定连接。
7、进一步方案为，所述数据采集装置为深度相机。
8、所述数据采集装置、家用移动机器人与计算平台之间通过接口通讯连接。
9、进一步方案为，计算平台建立家用移动机器人周围环境的稠密语义地图并确定家用移动机器人在所述稠密语义地图中的当前位置和姿态信息，具体步骤如下：
10、步骤1、获取家用移动机器人行走区域环境的rgb图像，基于rgb图像构建像素级分类模型；
11、步骤2、将所述数据采集装置提供的rgb图像输入至像素级分类模型，得到基于平面图像的语义分类结果；
12、步骤3、将所述数据采集装置提供的rgb图像和深度图像发送给计算平台，得到rgb图像中像素点在空间中的坐标位置和移动机器人的当前位置信息和姿态信息的估计值；
13、步骤4、对像素点在空间中的坐标位置和家用移动机器人当前位置信息和姿态信息的估计值进行整体优化；
14、步骤5、利用优化后的像素点在空间中的坐标位置，构建稠密地图；
15、步骤6、利用得到的基于平面图像的语义分类结果反映射到稠密地图中对应的点上，得到带物体种类标签信息的语义地图。
16、进一步方案为，所述步骤1中，获取并处理家用移动机器人常用工作环境，即一般家庭室内环境的环境图像，并使用人工标注的方法标注环境中各对象的类别，得到家庭室内环境各种物体类别的数据集；
17、使用家庭室内环境各种物体类别的数据集训练像素级语义分割网络，训练过程中通过反向传播算法优化语义分割网络的各神经元参数，得到最终像素级分类模型。
18、进一步方案为，所述步骤2中，还包括在rgb图像输入至像素级分类模型前，对rgb图像的预处理的过程，具体操作如下：
19、步骤2.1、采用直方法对rgb图像进行自动曝光修正，使画面的平均亮度与极大极小值满足预设范围，以降低境光线因素对物体种类信息提取过程的影响；
20、步骤2.2、采用平均池化法对步骤2.1曝光修正后的图像降采样；
21、步骤2.3、将步骤2.2所得结果输入到像素级语义分割模型，得到平面的语义分割结果。
22、进一步方案为，所述步骤3中，详细步骤如下：
23、将rgb图像灰度化后，提取出带关键点信息和描述子信息的特征点；
24、在接收rgb图像的不同关键帧之间进行特征点匹配；
25、通过n点透视的方法使用特征匹配的结果估计当前机器人的位置信息和姿态信息。
26、进一步方案为，所述步骤4中整体优化方法为，使用bundleadjustment和位姿图优化的方法对像素点在空间中的坐标位置和家用移动机器人当前位置信息和姿态信息的估计值进行整体优化。
27、进一步方案为，所述步骤6中利用得到的基于平面图像的语义分类结果反映射到稠密地图中对应的点的具体做法为：
28、利用得到的当前位姿，将平面图像的语义分类结果的每一个像素的坐标从当前相机坐标系变换为地图坐标系下的坐标；
29、根据像素在地图坐标系下的坐标，将像素的语义标签信息写入稠密地图对应的坐标区域中。
30、本专利技术的有益效果在于：
31、1、本专利技术针对家庭室内的场景中常见的各种物体搭建并训练像素级语义分割模型，提高了在家庭场景下家用机器人对环境的语义理解能力，能够实时，精确地完成语义分割任务。
32、2、这项专利技术部署在家用移动机器人上。通过接口直接向家用移动机器人发布语义地图信息和定位信息，帮助机器人理解和适应室内家庭场景的复杂环境，并使家用移动机器人具备更高的智能水平。为家用机器人实现后续更多样化的任务，如清扫本文档来自技高网...
【技术保护点】
1.一种家庭室内全环境感知系统，其特征在于：包括数据采集装置、计算平台以及家用移动机器人；
2.如权利要求1所述的一种家庭室内全环境感知系统，其特征在于，所述数据采集装置为深度相机。
3.如权利要求1所述的一种家庭室内全环境感知系统，其特征在于，所述数据采集装置、家用移动机器人与计算平台之间通过接口通讯连接。
4.如权利要求1所述的一种家庭室内全环境感知系统，其特征在于，计算平台建立家用移动机器人周围环境的稠密语义地图并确定家用移动机器人在所述稠密语义地图中的当前位置和姿态信息，具体步骤如下：
5.如权利要求4所述的一种家庭室内全环境感知系统，其特征在于，所述步骤1中，获取并处理家用移动机器人常用工作环境，即一般家庭室内环境的环境图像，并使用人工标注的方法标注环境中各对象的类别，得到家庭室内环境各种物体类别的数据集；
6.如权利要求4所述的一种家庭室内全环境感知系统，其特征在于，所述步骤2中，还包括在RGB图像输入至像素级分类模型前，对RGB图像的预处理的过程，具体操作如下：
7.如权利要求4所述的一种家庭室
8.如权利要求4所述的一种家庭室内全环境感知系统，其特征在于，所述步骤4中整体优化方法为，使用BundleAdjustment和位姿图优化的方法对像素点在空间中的坐标位置和家用移动机器人当前位置信息和姿态信息的估计值进行整体优化。
9.如权利要求4所述的一种家庭室内全环境感知系统，其特征在于，所述步骤6中利用得到的基于平面图像的语义分类结果反映射到稠密地图中对应的点的具体做法为：
...【技术特征摘要】
1.一种家庭室内全环境感知系统，其特征在于：包括数据采集装置、计算平台以及家用移动机器人；
2.如权利要求1所述的一种家庭室内全环境感知系统，其特征在于，所述数据采集装置为深度相机。
3.如权利要求1所述的一种家庭室内全环境感知系统，其特征在于，所述数据采集装置、家用移动机器人与计算平台之间通过接口通讯连接。
4.如权利要求1所述的一种家庭室内全环境感知系统，其特征在于，计算平台建立家用移动机器人周围环境的稠密语义地图并确定家用移动机器人在所述稠密语义地图中的当前位置和姿态信息，具体步骤如下：
5.如权利要求4所述的一种家庭室内全环境感知系统，其特征在于，所述步骤1中，获取并处理家用移动机器人常用工作环境，即一般家庭室内环境的环境图像，并使用人工标注的方法标注环境中各对象的...
【专利技术属性】
技术研发人员：刘孟红，刘艳娇，黄瑞，穆逢君，展华益，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。