一种基于红外热成像的视觉语义与位置感知方法和系统技术方案

本发明专利技术提出一种基于红外热成像的视觉语义与位置感知方法和系统，用红外热成像仪获得红外热成像图；通过深度神经网络对图像进行处理分类和实例分割；用最小外接矩阵和图像矩等算例得到ROI的像素坐标；用视觉标定算法标定图像坐标系到相机坐标系的矩阵变换关系；用距离测量设备进行法向测距；确定图像中物体的类别和ROI的三维坐标；采用分布式节点的方式传输数据到上位机。本发明专利技术减小了环境不确定性造成的影响，不需要单独安装稳定均一的补光设备。此外，通过采用超声传感器和深度相机相结合的方式对物体进行三维定位，提高了定位的精确性和稳定性。为快速、精确、鲁棒的视觉识别和定位提供了可靠的技术方法。

【技术实现步骤摘要】
一种基于红外热成像的视觉语义与位置感知方法和系统
本专利技术涉及视觉识别
，特别涉及一种基于红外热成像的视觉语义与位置感知方法和系统。
技术介绍
由于人工智能的发展，视觉识别技术越来越广泛地应用于各种领域。视觉识别也就是把客观物体的图像信息提取、处理并理解，最终用于实际检测和控制。现有的技术方案是采集RGB图，用OpenCV传统算例或者神经网络进行分类，用于识别相关物体。针对视觉语义识别的类别，进行三维定位。目前用三维深度相机定位物体，这种定位方式存在的问题是点云图像不够密集，镜面物体容易发生反射，使得定位不精确。现有技术中视觉识别的难点在于容易受到外界环境的干扰，如物体间的遮挡、光照引起的物体明暗变化等。现有技术采用RGB图容易受室内室外光线影响；白天和晚上成像区别大；需要专门的补光设备才能使得成像稳定。在热辐射物体有遮挡时，比如带着口罩、帽子等面部和头部遮挡的人进行成像时，就无法准确地判断。
技术实现思路
鉴于此，为了解决现有技术的问题，本专利技术的目的是提出一种基于红外热成像的视觉语义与位置感知方法和系统本文档来自技高网...

【技术保护点】
1.一种基于红外热成像的视觉语义与位置感知方法，其特征在于，包括以下步骤：/n步骤S1、通过深度神经网络对获取的热成像图进行处理分类和实例分割，获得一组带有置信度的图像类别和掩膜封装图；/n步骤S2、对图像类别和掩膜封装图进一步处理，得到ROI的图像坐标，并对图像类别进行数据统计；/n步骤S3、对热成像图进行视觉标定，获得图像点基于世界坐标系的位置。/n

【技术特征摘要】
1.一种基于红外热成像的视觉语义与位置感知方法，其特征在于，包括以下步骤：
步骤S1、通过深度神经网络对获取的热成像图进行处理分类和实例分割，获得一组带有置信度的图像类别和掩膜封装图；
步骤S2、对图像类别和掩膜封装图进一步处理，得到ROI的图像坐标，并对图像类别进行数据统计；
步骤S3、对热成像图进行视觉标定，获得图像点基于世界坐标系的位置。


2.根据权利要求1所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，获取热成像图的步骤包括：
步骤S101、构建基于ROS框架的节点；
步骤S102、使用红外热成像仪捕获热成像图并配置图像模式；
步骤S103、使用ROS框架的通讯机制，利用ROS的消息通讯方式将热成像图进行发布，发布时设置消息对应的主题。


3.根据权利要求2所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，步骤S101中，是在linux系统中构建基于C++的节点。


4.根据权利要求2所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，所述的图像模式为灰度图和伪彩图。


5.根据权利要求1所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，所述的步骤S1包括：
步骤S101’、基于ROS框架构建深度神经网络处理节点；
步骤S102’、利用训练模型对场景内人物的检测，生成一组掩膜封装图和具有置信度的标签。


6.根据权利要求5所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，所述的训练模型的形成方法为：首...

【专利技术属性】
技术研发人员：刘辛军，叶彦雷，谢福贵，于超，刘建辉，宫昭，姜淞文，李鹏，刘魁，吕春哲，
申请(专利权)人：清华大学，烟台清科嘉机器人联合研究院有限公司，
类型：发明
国别省市：北京;11