一种基于红外热成像的视觉语义与位置感知方法和系统技术方案

本发明专利技术提出一种基于红外热成像的视觉语义与位置感知方法和系统，用红外热成像仪获得红外热成像图；通过深度神经网络对图像进行处理分类和实例分割；用最小外接矩阵和图像矩等算例得到ROI的像素坐标；用视觉标定算法标定图像坐标系到相机坐标系的矩阵变换关系；用距离测量设备进行法向测距；确定图像中物体的类别和ROI的三维坐标；采用分布式节点的方式传输数据到上位机。本发明专利技术减小了环境不确定性造成的影响，不需要单独安装稳定均一的补光设备。此外，通过采用超声传感器和深度相机相结合的方式对物体进行三维定位，提高了定位的精确性和稳定性。为快速、精确、鲁棒的视觉识别和定位提供了可靠的技术方法。

【技术实现步骤摘要】
一种基于红外热成像的视觉语义与位置感知方法和系统
本专利技术涉及视觉识别
，特别涉及一种基于红外热成像的视觉语义与位置感知方法和系统。
技术介绍
由于人工智能的发展，视觉识别技术越来越广泛地应用于各种领域。视觉识别也就是把客观物体的图像信息提取、处理并理解，最终用于实际检测和控制。现有的技术方案是采集RGB图，用OpenCV传统算例或者神经网络进行分类，用于识别相关物体。针对视觉语义识别的类别，进行三维定位。目前用三维深度相机定位物体，这种定位方式存在的问题是点云图像不够密集，镜面物体容易发生反射，使得定位不精确。现有技术中视觉识别的难点在于容易受到外界环境的干扰，如物体间的遮挡、光照引起的物体明暗变化等。现有技术采用RGB图容易受室内室外光线影响；白天和晚上成像区别大；需要专门的补光设备才能使得成像稳定。在热辐射物体有遮挡时，比如带着口罩、帽子等面部和头部遮挡的人进行成像时，就无法准确地判断。
技术实现思路
鉴于此，为了解决现有技术的问题，本专利技术的目的是提出一种基于红外热成像的视觉语义与位置感知方法和系统。本专利技术的目的是通过以下技术方案实现的：第一方面，本专利技术提出一种基于红外热成像的视觉语义与位置感知方法，包括以下步骤：步骤S1、通过深度神经网络对获取的热成像图进行处理分类和实例分割，获得一组带有置信度的图像类别和掩膜封装图；步骤S2、对图像类别和掩膜封装图进一步处理，得到ROI的图像坐标，并对图像类别进行数据统计；步骤S3、对热成像图进行视觉标定，获得图像点基于世界坐标系的位置。进一步的，获取热成像图的步骤包括：步骤S101、构建基于ROS框架的节点；步骤S102、使用红外热成像仪捕获热成像图并配置图像模式；步骤S103、使用ROS框架的通讯机制，利用ROS架构的消息通讯方式将热成像图进行发布，发布时设置消息对应的主题。进一步的，步骤S101中，是在linux系统中构建基于C++的节点。进一步的，所述的图像模式为灰度图和伪彩图。进一步的，所述的步骤S1包括：步骤S101’、基于ROS框架构建深度神经网络处理节点；步骤S102’、利用训练模型对场景内人物的检测，生成一组掩膜封装图和具有置信度的标签。进一步的，所述的训练模型的形成方法为：首先进行图像的采集；再对采集的图像进行标注；将标注好的图像分为训练集和测试集；对深度神经网络进行训练，获得针对具体场景的训练模型。进一步的，所述的步骤S2包括：步骤S201、将掩膜封装图进行处理，获得掩膜封装图中心点的位置；步骤S202、对图像中的图像类别进行统计和分析。进一步的，所述的步骤S3包括：步骤S301、采用深度图对齐热成像图，获得对应的图像坐标；步骤S302、利用距离测量设备测量其到障碍物的距离；步骤S303、建立图像坐标系到世界坐标系的转换矩阵。第二方面，本专利技术提出一种基于红外热成像的视觉语义与位置感知系统，包括热成像图捕获模块、热成像图处理模块、图像坐标和数据统计模块、三维坐标确定模块、数据传输模块；热成像图捕获模块：用于捕获人体的热成像图，并将捕获的热成像图发送给热成像图处理模块；热成像图捕获模块是红外热成像仪。热成像图处理模块：通过深度神经网络对热成像图进行处理分类和实例分割，获得一组带有置信度的图像类别和掩膜封装图，并发送给图像坐标和数据统计模块；图像坐标和数据统计模块：对图像类别和掩膜封装图进一步处理，得到ROI的图像坐标，并对图像类别进行数据统计；三维坐标确定模块：对图像进行视觉标定，获得图像点基于世界坐标系的位置；数据传输模块：将处理完的图像和统计信息用ROS中消息或者服务的通讯方式传递给其它节点和上位机，完成整个红外热成像视觉语义感知和定位。本专利技术所采用的视觉识别算法，减小了环境不确定性造成的影响，如室内室外环境、白天和晚上、晴天和阴天等。不需要单独安装稳定均一的补光设备，也不会因为物体遮挡(如衣服、帽子、口罩)而影响图像识别。此外，通过采用超声传感器与深度相机结合对物体进行三维定位，提高了定位的精确性和稳定性。为快速、精确、鲁棒的视觉识别和定位提供了可靠的技术方法。附图说明图1为本专利技术的基于红外热成像的视觉语义与位置感知方法的步骤图；图2为本专利技术的获取热成像图方法的步骤图；图3为本专利技术的获得图像类别和掩膜封装图的方法的步骤图；图4为本专利技术的对图像类别和掩膜封装图进一步处理的流程图；图5为本专利技术的获得图像点基于世界坐标系的位置的方法步骤图；图6为本专利技术的基于红外热成像的视觉语义与位置感知系统的框架图。具体实施例下面结合附图对本公开实施例进行详细描述。以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。实施例一本专利技术公开了一种基于红外热成像的视觉语义与位置感知方法，包括以下步骤：步骤S1、通过深度神经网络对获取的热成像图进行处理分类和实例分割，获得一组带有置信度的图像类别和掩膜封装图。语义在图像领域指的是对图像的内容及对图片表达的意思的理解。视觉语义(Visualsemantics)是指非语言的语义信息逐步积累的结果，如物品的类型颜色，或某种动物或某人运动特点。获取热成像图是利用热成像图捕获模块来完成的，该模块捕获热成像图用于神经网络的处理。具体实现步骤如下：步骤S101、在linux系统中(如Ubuntu16.04和18.04系统)构建基于ROS(RobotOperatingSystem，机器人操作系统)框架的节点，用于集成相机的SDK,一般视觉厂家SDK使用C++进行编写，在这里构建基于C++的节点。步骤S102、使用红外热成像仪的库函数(SDK)，捕获热成像图并配置模式，如灰度图和伪彩图。不同物体热辐射是不一样的，因此可以通过识别热成像图来区分生物体和周围环境。步骤S103、使用ROS架构的消息通讯方式将热成像图发布，设置消息对应的主题，以便其它节点订阅该热成像图。通过深度神经网络对图像上的物体进行分类和实例分割，获得相对应的掩膜封装图。S1的具体实现步骤包括：步骤S101’、基于ROS框架构建深度神经网络处理节点，在这里编写基于Python语言的处理节点，用于图像的识别。步骤S本文档来自技高网...

【技术保护点】
1.一种基于红外热成像的视觉语义与位置感知方法，其特征在于，包括以下步骤：/n步骤S1、通过深度神经网络对获取的热成像图进行处理分类和实例分割，获得一组带有置信度的图像类别和掩膜封装图；/n步骤S2、对图像类别和掩膜封装图进一步处理，得到ROI的图像坐标，并对图像类别进行数据统计；/n步骤S3、对热成像图进行视觉标定，获得图像点基于世界坐标系的位置。/n

【技术特征摘要】
1.一种基于红外热成像的视觉语义与位置感知方法，其特征在于，包括以下步骤：
步骤S1、通过深度神经网络对获取的热成像图进行处理分类和实例分割，获得一组带有置信度的图像类别和掩膜封装图；
步骤S2、对图像类别和掩膜封装图进一步处理，得到ROI的图像坐标，并对图像类别进行数据统计；
步骤S3、对热成像图进行视觉标定，获得图像点基于世界坐标系的位置。


2.根据权利要求1所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，获取热成像图的步骤包括：
步骤S101、构建基于ROS框架的节点；
步骤S102、使用红外热成像仪捕获热成像图并配置图像模式；
步骤S103、使用ROS框架的通讯机制，利用ROS的消息通讯方式将热成像图进行发布，发布时设置消息对应的主题。


3.根据权利要求2所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，步骤S101中，是在linux系统中构建基于C++的节点。


4.根据权利要求2所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，所述的图像模式为灰度图和伪彩图。


5.根据权利要求1所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，所述的步骤S1包括：
步骤S101’、基于ROS框架构建深度神经网络处理节点；
步骤S102’、利用训练模型对场景内人物的检测，生成一组掩膜封装图和具有置信度的标签。


6.根据权利要求5所述的一种基于红外热成像的视觉语义与位置感知方法，其特征在于，所述的训练模型的形成方法为：首...

【专利技术属性】
技术研发人员：刘辛军，叶彦雷，谢福贵，于超，刘建辉，宫昭，姜淞文，李鹏，刘魁，吕春哲，
申请(专利权)人：清华大学，烟台清科嘉机器人联合研究院有限公司，
类型：发明
国别省市：北京;11