基于养老机器人的室内场景实时重建跟踪服务方法技术

本发明专利技术公开了一种基于养老机器人的室内场景实时重建跟踪服务方法：手持设备的用户信息导入，去噪滤波，进行初步分析处理；通过无线传输模块将数据传输到数据交互模块中的数据存储区；图像采集模块利用Kinect V2对室内图像采集，包括采集深度信息和颜色信息；重建作业，得到多帧的深度信息，去噪处理；坐标轴变换，获得点云信息；计算刚体变换矩阵，采用ICP算法；图像帧之间重复区域融合，提取关键点云信息，颜色信息加入；规划深度相机运动轨迹；对点云信息进行三角网格化，生成三维模型；放入数据交互模块的信息存储区；确定当前用户，利用Kinect V2跟踪服务，监听用户发出的指令，从而完成相应的服务功能。

Real time reconstruction and tracking service method of indoor scene based on pension robot

【技术实现步骤摘要】
基于养老机器人的室内场景实时重建跟踪服务方法
本专利技术主要涉及图像重建技术，特别是涉及实时三维场景重建的技术，更具体的说，是涉及一种基于养老机器人的室内场景实时重建跟踪服务方法。
技术介绍
伴随着当今社会人口老龄化的不断发展，我国即将成为深度人口老龄化国家，养老问题同样存在着巨大的缺口，由于子女的工作繁忙，老人不能在家中得到及时的照顾，容易患上孤独症，社会方面我们养老机构的养老功能不完善，不能满足现在老年人的养老需求。近年来人工智能的飞速发展，养老机器人也被许多老年人所喜爱，功能齐全的服务机器人能够解决一系列的养老问题，不仅让老年人享受到了高品质的生活，也大大减轻了年轻人的社会压力。但是目前市场上的养老机器人绝大部分机器人所能服务的功能都很有限，尤其在服务的时候需要场景内的三维信息的时候，许多的养老机器人没有办法做到精确的分析三维物体，在室内三维重建方面做的也并不是很突出，因此这也是目前养老机器人的一些缺陷导致所预设的服务功能单一，没有三维信息，而不能进行多样化服务。微软在几年前发布的Kinect深度相机，这款相机与传统的相机本文档来自技高网...

【技术保护点】
1.一种基于养老机器人的室内场景实时重建跟踪服务方法，其特征在于，包括以下过程：/nS1、手持设备的用户信息导入，并且将导入的数据信息进行去噪滤波，进行初步分析处理；/nS2、通过无线传输模块将初步分析处理后的数据传输到机器人本体中的数据交互模块中的数据存储区；/nS3、图像采集模块利用机器人本体中内置的Kinect V2深度相机对室内进行图像采集，包括采集深度信息和颜色信息，使用前需要编译与深度相机相兼容的函数库，并且设置好环境变量；/nS4、进行重建作业，将步骤S3采集到的图像信息进行测量，得到多帧的深度信息，并且利用图像去噪算法进行噪声的处理；/nS5、将处理过的图像信息进行坐标轴变换，...

【技术特征摘要】
1.一种基于养老机器人的室内场景实时重建跟踪服务方法，其特征在于，包括以下过程：
S1、手持设备的用户信息导入，并且将导入的数据信息进行去噪滤波，进行初步分析处理；
S2、通过无线传输模块将初步分析处理后的数据传输到机器人本体中的数据交互模块中的数据存储区；
S3、图像采集模块利用机器人本体中内置的KinectV2深度相机对室内进行图像采集，包括采集深度信息和颜色信息，使用前需要编译与深度相机相兼容的函数库，并且设置好环境变量；
S4、进行重建作业，将步骤S3采集到的图像信息进行测量，得到多帧的深度信息，并且利用图像去噪算法进行噪声的处理；
S5、将处理过的图像信息进行坐标轴变换，变换到一个统一的世界坐标中，从而获得点云信息；
S6、开始计算六个方向自由度的刚体变换矩阵，将目前的点云信息与已有的参考点云信息进行对齐，并且输出连续的两帧图像之间的相对变换矩阵参数，随后进行初始化为下一帧对齐时的相机姿态，此处采用ICP算法；
S7、ICP算法配准完成后，将图像帧之间重复的区域进行融合处理，并且提取出关键的点云信息，简化点云，并将颜色信息加入；
S8、实时进行场景的渲染并且指导用户规划深度相机的运动轨迹；
S9、利用表面重建算法对点云信息进行三角网格化，生成可视化的三维模型；
S10、将产生的三维模型放入数据交互模块的信息存储区，以备服务模块各个功能的使用调用；
S11、确定当前用户，并且利用KinectV2相机对用户进行跟踪服务，监听用户发出的指令，从而完成相应的服务功能。


2.根据权利要求1所述的基于养老机器人的室内场景实时重建跟踪服务方法，其特征在于，S1的具体操作步骤包括：
S11、利用手持设备APP导入用户当前的基本信息，例如姓名、年龄、身高、体重健康状况指标；
S12、采集用户的面部表情信息、姿势信息；
S13、进行信息预处理，对面部表情信息、姿态信息进行滤波；
S14、对采集的信息进行综合分析，通过网络参考数据，评判目前老人的健康状况，记录表情信息、姿势信息，将这些数据打包成固定的文件格式。


3.根据权利要求1所述的基于养老机器人的室内场景实时重建跟踪服务方法，其特征在于，S2的具体操作步骤包括：
S21、通过WIFI无线传输将数据传输到机器人本体的数据交互模块中；
S22、将打包好的文件存储到数据交互模块中的数据存储区。


4.根据权利要求1所述的基于养老机器人的室内场景实时重建跟踪服务方法，其特征在于，S3的具体操作步骤包括：
S31、首先将KinectV2的相机驱动程序安装好，并且在这个图像采集模块中搭建深度相机和OpenNI；
S32、找到Opencv和VTK源码，使用cmake进行编译，并且配置KinectV2所需要的环境变量；
S33、安装CUDA及其驱动程序，安装开源代码Eigen库，并配置所需要的环境变量。


5.根据权利要求1所述的基于养老机器人的室内场景实时重建跟踪服务方法，其特征在于，S4的具体操作步骤包括：
S41、将KinectV2在机器人身上安装好，并且将USB接口连接到机器人本体的内部计...

【专利技术属性】
技术研发人员：孟昭鹏，梁哲，徐超，胡静，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12